Compass: SLO-aware Query Planner for Compound AI Serving at Scale
Compass 是一种新颖的服务等级目标感知查询规划器，它通过分解复杂规划问题、利用选择性剖析进行成本效益高的性能估算，并采用二分图匹配以在显著降低成本和规划延迟的同时最大化服务吞吐量，从而支持跨多样化部署环境的高效、大规模复合 AI 服务。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在经营一家规模宏大、技术先进的餐厅厨房。过去，厨师（AI 模型）独自在一间大厨房（云端）里工作。但现在，“复合 AI"就像一道复杂的菜肴，需要整个团队协同工作：一名副厨负责切菜，一名烧烤大师负责烤肉，一名酱汁专家，还有一名配送员，所有人齐心协力，只为向顾客呈上一道菜。
问题出在哪里？成千上万的订单同时涌入。有些顾客希望 30 秒内吃到食物（实时视频聊天），而另一些顾客则愿意多等一会儿，但希望这是最便宜的选项（批量代码生成）。此外，你的厨房不仅仅是一间房间；你拥有一间豪华的主厨房（云端）、附近一间较小的卫星厨房（边缘），甚至还有一些可以帮忙的家庭厨师（边缘设备）。
Compass 是一位全新、超级聪明的主厨（查询规划器），专为管理这种混乱局面而设计。以下是它的工作原理，使用简单的类比来说明：
1. 问题：选择太多，时间不足
在过去，如果有新订单进来，主厨会尝试找出完美的食谱。但在复合 AI 时代，制作这道菜有数百万种方法：
- 部署位置：切菜应该在主厨房进行，还是在卫星厨房进行？
- 配置：我们应该使用一把巨大而昂贵的刀（大型 AI 模型），还是一把小巧快速的刀？
- 资源：我们应该分配多少名厨师？
试图为每一笔订单找到完美的计划需要数小时。等到主厨想清楚时，顾客早已离开，或者食物已经变凉。现有的系统要么太慢，要么仅适用于简单的、单一菜肴的订单。
2. 解决方案：Compass 的“智能捷径”
Compass 并不试图品尝每一种可能的食谱。相反，它利用三种巧妙的技巧，在几秒钟内找到极佳的食谱：
A. “相似性”捷径（搜索优化器）
想象一下，你曾为某位顾客做过一道“辣味豆腐”。现在，一位新顾客点了“少放点盐的辣味豆腐”。
Compass 不会从头开始，而是查看它的历史记录。它会说：“嘿，我知道上一道辣味豆腐做得怎么样。我可以利用这些知识来推测这道新菜的味道。”
- 比喻：这就像一位记得“食谱 A"和“食谱 B"有 90% 相似的厨师。他们不需要重新品尝整道菜，只需调整盐量即可。这节省了巨大的时间和金钱（GPU 成本）。
B. “试吃”分诊（SLO 分析器）
要判断一道食谱是否好，你通常需要把整道菜做完并品尝。但运行一个大型 AI 模型非常昂贵（在强大的计算机上运行需要真金白银）。
Compass 使用一种智能采样技术。
- 比喻：Compass 不会吃掉整块披萨来判断盐分是否足够，而是只尝一小口。如果第一口明显太咸，它会立即停止，并说：“不行，扔掉这个食谱。”如果第一口明显完美，它就会停止并说：“很好，保留这个。”只有当结果模棱两可时，它才会做完整块披萨。这节省了巨额的资金和时间。
C. “全局座位表”（多查询规划器）
如果你单独规划每一笔订单，可能会不小心把所有“烧烤大师”都安排到同一张桌子，导致其他桌子空置且饥饿。
Compass 会同时查看所有订单。它创建一张座位表来平衡负载。
- 比喻：这就像俱乐部的门卫，不是让人们一个接一个地进入。他们会观察整个人群，然后说：“好的，A 桌有空位给大团体，B 桌给小团体，这样每个人都能得到服务，而无需等待太久。”这确保了整个厨房高效运转，而不仅仅是某一道菜。
3. 结果：更快、更便宜、更好
该论文在现实场景中测试了 Compass，例如与 AI 代理的实时视频聊天、语音转文本和代码生成。结果如下：
- 速度：Compass 在几秒钟内就找到了一个可行的计划（比之前快 2.4 到 5.1 倍）。这意味着用户无需等待 AI“思考”如何开始。
- 成本：它将运行这些服务的成本降低了3.8 到 4.5 倍。这就像通过使用正确的食材和正确的厨房，以几分之一的价格获得同样的餐食。
- 质量：它在未违反规则（SLO）的情况下，成功服务的客户数量增加了2.4 到 5.1 倍。
总结
将Compass想象成一座 AI 机器人城市的终极交通控制器。Compass 不会让每个机器人随意行驶（导致交通堵塞和延误），而是查看整张地图，记住它曾经去过的地方，并指挥交通，确保每个人都能快速、廉价且安全地到达目的地。它将混乱、昂贵的局面转变为顺畅、高效的运营。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。