Serving Compound Inference Systems on Datacenter GPUs

本文提出了 JigsawServe 框架，通过自适应选择模型变体、细粒度 GPU 空间分区以及任务图感知的资源预算分配，联合优化延迟、精度与成本，从而显著提升了复合推理系统在数据中心 GPU 上的服务效率与资源利用率。

要点

这篇论文介绍了一个名为 JIGSAWSERVE（可以想象成“拼图服务”）的新系统，它的目标是让数据中心里的 GPU（图形处理器，AI 的大脑）干活更高效、更省钱。

为了让你轻松理解，我们把整个场景想象成一个繁忙的披萨店，而 JIGSAWSERVE 就是那个超级智能的店长。

1. 背景：以前的问题是什么？

想象一下，现在的 AI 应用（比如增强现实 AR、多智能体系统）不再只是做一道菜（比如只识别图片），而是做一套复杂的套餐。

• 以前的做法（单任务）： 顾客点一份披萨，厨房就只烤一个披萨。
• 现在的做法（复合推理系统）： 顾客点了一个“全家福套餐”。这个套餐包含：先识别图片里的物体（任务 A），然后给物体起个名字（任务 B），最后把名字念出来（任务 C）。这三个任务必须按顺序完成，才能把最终结果交给顾客。

痛点：

1. 资源浪费： 以前，每个任务都独占一台大烤箱（GPU）。但任务 A 可能只需要烤 1 分钟，任务 C 需要 10 分钟。如果任务 A 烤完了，烤箱就空转了，太浪费！
2. 预算难分： 顾客说：“我只要 5 分钟内拿到套餐，而且味道（准确率）不能太差。”店长很难决定：是花 3 分钟做 A、2 分钟做 B、0 分钟做 C？还是反过来？如果某个环节用了“速成版”（精度低但快），会不会影响整体味道？
3. 硬件太贵： 数据中心的 GPU 非常昂贵，如果利用率低，老板就要亏钱。

2. JIGSAWSERVE 的三大绝招（拼图魔法）

JIGSAWSERVE 就像一位拼图大师，它把整个任务流程拆解，然后重新组合，用三种魔法来解决上述问题：

魔法一：灵活选料（模型变体选择 / Accuracy Scaling）

• 比喻： 就像做披萨，你可以选“顶级和牛”（高精度模型，慢但好吃），也可以选“普通牛肉”（低精度模型，快但普通）。
• 做法： 店长会根据情况灵活搭配。对于不重要的步骤（比如只是大概看看有没有人），就用“普通牛肉”（快模型）；对于关键步骤（比如最后念名字），就用“顶级和牛”（慢但准的模型）。
• 效果： 在保证整体套餐“味道”达标的前提下，大大加快了速度。

魔法二：切分烤箱（GPU 空间分区 / Spatial Partitioning）

• 比喻： 以前，一个大烤箱只能烤一个披萨，烤完一个才能烤下一个。现在，JIGSAWSERVE 把一个大烤箱切成了7 个小隔间（利用 NVIDIA 的 MIG 技术）。
• 做法： 任务 A 用 1 个小隔间，任务 B 用 2 个小隔间，任务 C 用 1 个小隔间。它们可以同时在同一个大烤箱里工作，互不干扰。
• 效果： 以前一个烤箱一小时只能烤 1 个披萨，现在切分后，一小时能烤 7 个（甚至更多，如果配合魔法三）。

魔法三：全局统筹（任务图感知预算 / Task-Graph-Informed Budgeting）

• 比喻： 这是一个超级计算器。它知道整个套餐的流程图（任务图）。
• 做法： 它不仅仅看单个任务，而是看整体。它知道：“哦，任务 A 如果慢一点，会卡住后面所有的任务，所以必须给 A 多分点资源；而任务 B 后面还有缓冲，可以稍微慢点。”它把“时间预算”和“精度预算”像切蛋糕一样，精准地分给每一个环节。
• 效果： 避免了“木桶效应”，确保整个套餐在 5 分钟内完美交付。

3. 它是怎么工作的？（店长的日常）

1. 注册与画像（Profiler）： 在开业前，店长会先做实验。测试每种“牛肉”（模型）在不同大小的“烤箱隔间”（GPU 分区）里，烤一个披萨需要多久，味道如何。把这些数据记在小本本上。
2. 智能排班（Controller）： 当顾客点单（请求）来了，店长拿出小本本，用数学公式（MILP，混合整数线性规划）快速计算：
   • 今天人多，我要切几个隔间？
   • 任务 A 用哪种牛肉？
   • 怎么分配才能让所有顾客都在 5 分钟内拿到，且味道不缩水？
3. 动态调整： 如果突然来了很多顾客，店长会立刻重新计算，把烤箱切得更细，或者换更快的牛肉，确保不超时。

4. 效果有多惊人？

论文通过实验发现，JIGSAWSERVE 简直是降维打击：

• 吞吐量暴增： 在同样的 GPU 数量下，它能处理的请求量是以前最先进系统的 11.3 倍！这意味着同样的硬件，能服务 10 倍多的用户。
• 极度省钱： 它平均只用了 43.3% 的 GPU 资源就能满足所有要求。换句话说，以前需要 100 台机器，现在可能 45 台就够了，省下的钱能买新设备。
• 几乎不违约： 它承诺的“准时送达”（延迟 SLO）和“味道达标”（准确率 SLO）几乎都能做到，违约率低于 0.6%。

5. 总结

JIGSAWSERVE 就像是一个懂数学、会切分、能变通的超级店长。

它不再让昂贵的 GPU 大材小用或闲置等待，而是通过把大任务拆成小拼图，灵活选择材料，并精细分配烤箱空间，让 AI 服务变得既快、又准、又便宜。

一句话总结： 以前是“一个萝卜一个坑，萝卜大了坑也空”，现在是“把萝卜切碎了填进坑里，还能同时种好几个萝卜”，让每一分算力都物尽其用。

技术摘要

1. 研究背景与问题 (Problem)

随着机器学习（ML）推理成为数据中心的主要工作负载，复合推理系统（Compound Inference Systems） 在 XR（扩展现实）、多智能体系统等新兴领域变得越来越重要。这类系统不再依赖单个模型，而是将多个 ML 模型组合成任务图（Task Graph，通常为有向无环图 DAG） 来处理每个请求。

现有的推理服务系统在处理此类复合系统时面临两个核心挑战：

1. 端到端预算分配（Budget Apportionment）： 系统的延迟（Latency）和精度（Accuracy）服务等级目标（SLO）是针对整个复合系统设定的，如何将这些预算合理分配给图中的各个子任务？
2. 异构资源分配（Resource Allocation）： 不同任务对资源的需求不同，且同一任务存在多种模型变体（Model Variants，精度/延迟/成本不同）。如何在满足端到端 SLO 的前提下，高效地利用 GPU 资源？

现有的工作大多针对单一模型推理，或者仅部分考虑了复合系统的特性（如仅分配延迟预算，未考虑精度缩放或 GPU 空间划分），导致在数据中心 GPU 上的资源利用率低下。

2. 方法论：JIGSAWSERVE 框架 (Methodology)

作者提出了 JIGSAWSERVE，这是首个针对数据中心 GPU 上的复合推理系统，联合优化延迟、精度和成本（GPU 资源） 的服务框架。其核心设计理念是“像拼图一样”灵活选择模型变体和 GPU 切片。

核心组件

JIGSAWSERVE 包含四个主要组件（如图 1 所示）：

1. 注册处理器 (Registration Handler)： 注册复合系统，包括任务图、模型变体及其精度、依赖关系以及端到端 SLO。
2. 分析器 (Profiler)： 离线分析所有模型变体、GPU 分段类型（MIG 实例大小）和批处理大小（Batch Size）组合下的延迟和吞吐量，建立性能档案。
3. 控制器 (Controller)： 核心优化引擎。利用分析数据，通过混合整数线性规划 (MILP) 求解最优配置。
   • 决策变量： 为每个任务选择模型变体、GPU 分段类型（MIG 实例大小 + MPS 并发数）和最大批处理大小。
   • 约束条件： 满足端到端延迟 SLO、精度 SLO（基于路径精度乘积）、以及 GPU 切片总数限制。
   • 目标函数： 最大化系统精度，同时最小化使用的 GPU 资源。
   • 动态调整： 根据实时需求变化，控制器异步运行 MILP 并重新配置 GPU 空间划分（MIG 实例）。
4. 前端 (Frontend)： 处理客户端请求，跟踪需求变化，并将请求路由到任务图的第一个任务。

关键技术机制

• 精度缩放 (Accuracy Scaling)： 为每个任务动态选择不同精度的模型变体（例如，对精度不敏感的任务使用轻量级模型）。
• GPU 空间划分 (Spatial Partitioning)： 利用 NVIDIA GPU 的 MIG (Multi-Instance GPU) 和 MPS (Multi-Process Service) 技术。
  • 将物理 GPU 划分为多个隔离的 MIG 实例。
  • 在每个 MIG 实例内运行多个 MPS 进程（共享显存但隔离计算资源），实现细粒度的资源复用。
• 任务图感知的预算分配 (Task-Graph-Informed Budgeting)： 考虑任务间的乘数因子（Multiplicative Factors）（例如，一个检测任务可能触发多个后续分类任务），据此计算每个任务的吞吐量需求，从而更精准地分配资源。
• 批处理与早期丢弃 (Batching & Early Dropping)： 支持动态批处理，并在无法在 SLO 内完成时主动丢弃请求，以保护整体系统的 SLO 违规率。

3. 主要贡献 (Key Contributions)

1. 首个联合优化框架： 提出了 JIGSAWSERVE，首次将每任务的精度缩放、GPU 空间划分和任务图感知的资源预算三者结合，用于复合推理系统。
2. 全面的分析评估： 通过 MILP 分析，量化了各个特征（A: 精度缩放，S: 空间划分，T: 任务图预算）的独立贡献及组合效果。
   • 发现空间划分 (S) 带来的性能提升最大（相比无优化提升 5.25 倍）。
   • 三者结合（A+S+T）相比仅使用部分特征（如 A+T 或 S+T）有显著优势，实现了 21.6 倍 的服务容量提升（相比无优化系统）。
3. 超越现有工作： 证明 JIGSAWSERVE 的服务容量比最接近的现有工作（Loki，对应 A+T 方案）高出 11.3 倍。
4. 实证评估： 在多种真实应用场景（社交媒体、交通分析、AR 助手）和负载条件下进行了端到端测试。

4. 实验结果 (Results)

实验在配备 4 块 NVIDIA H100 GPU 的服务器上运行，对比了 JIGSAWSERVE 与多种基线系统（如仅做精度缩放、仅做空间划分、或仅做任务图预算的组合）。

• 最大服务容量： 在大型测试床（120 块 GPU）上，JIGSAWSERVE 的最大可服务请求量是未优化系统的 21.6 倍，是最近邻基线（A+T）的 11.3 倍。
• 资源效率： 在实证评估中，JIGSAWSERVE 平均仅使用了 43.3% 的可用 GPU 资源，同时满足了精度 SLO。
• SLO 违规率： JIGSAWSERVE 的延迟 SLO 违规率平均低于 0.6%。相比之下，其他基线系统（如 S+T, A+T）在部分场景下 SLO 违规率超过 10%，且资源消耗是 JIGSAWSERVE 的 2 倍以上。
• 特征消融分析： 实验表明，牺牲任何一项功能（精度缩放、空间划分或任务图预算）都会显著降低效率。特别是空间划分（S）是提升效率最关键的因素。
• 配置选择策略： JIGSAWSERVE 能够智能地根据任务在图中的位置选择模型。例如，在 AR 助手应用中，它对 GIT（图像描述）任务选择较低精度的模型，而对 YOLO（目标检测）和 TTS（语音合成）任务选择高精度模型，以平衡整体精度和资源消耗。

5. 意义与结论 (Significance)

• 效率突破： 证明了通过联合优化模型选择、细粒度 GPU 资源划分和任务图结构，可以极大地提高数据中心 GPU 的利用率，显著降低推理成本。
• 对硬件厂商的启示： 呼吁 GPU 厂商继续发展和优先支持空间划分机制（如 MIG），因为这是提升复合系统效率的关键硬件基础。
• 对 ML 社区的启示： 鼓励模型开发者发布同一架构的多种模型变体（不同精度/大小），以提供灵活性供服务系统动态选择。
• 未来方向： 论文指出未来可探索更复杂的任务图（非 DAG）、多 GPU 实例的大模型支持、以及更高级的负载预测算法来掩盖重配置开销。

总结： JIGSAWSERVE 通过“拼图”式的精细化资源管理，解决了复合推理系统在数据中心部署中的效率瓶颈，实现了在极低资源消耗下的高吞吐、低延迟和高精度服务。