🤖 AI

Beyond Accuracy and Cost: Latency-Aware LLM Query Routing for Dynamic Workloads

本文提出了一种延迟感知型查询路由系统，该系统集成了一个轻量级的首字时间估计器，并采用针对准确性、成本和延迟的联合优化策略，与标准负载均衡方法相比，在不增加响应时间的情况下，实现了高达 40% 的准确性-成本效用提升。

原作者： Shivam Patel, Akaash R. Parthasarathy, Ankur Mallick, Gauri Joshi

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Shivam Patel, Akaash R. Parthasarathy, Ankur Mallick, Gauri Joshi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：你拥有一支厨师团队，每位厨师都有不同的技能水平和价格标签。有些是名厨，能做出米其林星级大餐，但收费昂贵且耗时较长。另一些则是快速、实惠的流水线厨师，能迅速做出还不错的汉堡。在人工智能的世界里，这些“厨师”就是大语言模型（LLM）——它们是背后支撑着编写故事、解决数学问题或总结新闻的聊天机器人的大脑。当你提出问题时，一个“路由”（router）会决定由哪位厨师来接单。目标很简单：以最低的价格获得最好的答案。

但有一个问题，大多数路由器至今都在忽略它：排队。即使你选到了完美的厨师，如果他们正忙于处理其他订单，你的食物可能会在厨房里搁置很久。在 AI 世界中，这种等待时间被称为“延迟”（latency）。如果你在聊天机器人忙碌时向它提问，你可能会盯着旋转的等待光标看上好几分钟。这是一个问题，因为有时候你需要的是“立刻”得到答案，而不仅仅是一个“好”的答案。研究人员试图解决的核心问题是：我们如何在不破坏预算的前提下，既能选出合适的厨师获得优秀的答案，又能快速得到结果，即便是在厨房一片混乱的情况下？

来自卡内基梅隆大学和微软的研究人员推出了一项新研究，试图解决这个确切的问题。他们意识到，目前的系统在平衡质量和成本方面做得很好，但它们是“延迟无关”（latency-agnostic）的，这意味着它们对实际排队情况是盲目的。为了解决这个问题，团队构建了一个聪明的、轻量级的“模拟器”，它就像一个数字水晶球。它不仅仅是猜测服务器有多忙，而是实时观察厨房的情况。它观察有多少订单正在等待，当前的菜肴需要多久才能做熟，甚至观察厨房工作人员是如何进行批量化工作的。然后，它会精确预测你的特定订单需要多久才能吃到第一口食物（他们称之为“首个 Token 生成时间”，即 Time-to-First-Token）。

通过将这种预测输入到他们的路由系统中，研究人员创建了一个智能调度器，它不仅看菜单价格或厨师的声誉，还会观察等待时间。他们使用不同类型的提问和不同程度的厨房混乱情况对该系统进行了测试。结果令人振奋：与标准方法相比，他们的新方法将整体“价值”（平衡了质量、成本和速度）提升了高达 40%，同时保持了与现有最佳负载均衡技巧相当的低等待时间。简而言之，他们找到了一种方法，通过最终关注“排队情况”，让 AI 聊天机器人变得更快、更便宜、更聪明。

他们创新的核心是一个被称为“服务框架模拟”（Serving Framework Simulation, SFS）的工具。把它想象成繁忙高速公路上的交通控制器。旧的方法可能只是计算路上的车辆总数并猜测行驶时间。但 SFS 更聪明；它模拟实际的驾驶条件。它知道有些车快但重（比如长而复杂的提问），而有些车轻但数量多。它还知道高速公路有特定的规则，关于车辆如何汇入以及行驶速度有多快。通过模拟这些规则，SFS 可以精确预测一辆新车何时到达出口匝道。

研究人员发现，仅仅根据路上的车辆数进行猜测（他们称之为“基于吞吐量的估计法”）往往会导致错误的预测。如果高速公路上堵满了缓慢、沉重的卡车，那么即使总车辆数并不多，一辆新车也可能会被卡住。然而，他们的模拟器考虑到了这种“交通拥堵”效应。他们在各种任务（从写短篇故事到总结长篇报告）上测试了他们的系统，发现它始终优于旧方法。在模拟中，他们的方法比现有的最佳基准方法在“及时效用”（OnTimeUtility，一个衡量答案质量、成本以及是否按时到达的分数）上提高了 33% 到 40%。

该系统处理“突发性”流量的方式也是最有趣的发现之一。想象一下突然涌入的大量订单，就像午餐高峰期的顾客。旧系统经常会被压垮，并将所有人发送给最便宜但最慢的厨师，从而导致严重的延迟。而新系统则会动态地转移负载。它可能会因为排队较短，将一个简单的问题交给一个快速且廉价的模型；或者将一个复杂且紧急的问题交给一个功能强大、虽然排队稍长但整体完成任务速度更快的模型。这种灵活性使其即使在需求激增时也能保持高性能。

团队还展示了其模拟器本身的速度极快。运行模拟并做出决策所需的时间不到一毫秒，这意味着它不会拖慢它试图帮助的系统。这至关重要，因为如果路由器决策耗时过长，就违背了节省时间的初衷。他们验证了预测的准确性，在测试中误差率低于 5%，这比他们观察到的旧式简单猜测方法的 85% 误差率有了显著提升。

最终，这篇论文表明，高效 AI 的未来不仅仅在于构建更大的模型或寻找更便宜的模型，而在于成为一个更好的“交通管理者”。通过将“哪个模型最好”的智慧与“排队有多长”的现实相结合，我们可以创造出即使在高负载下也让人感觉即时且响应迅速的系统。虽然这些结果来自模拟和受控实验，但作者认为，这种方法为使 AI 服务在现实世界中更加可靠和用户友好提供了一条切实可行的路径。

技术摘要：超越准确率与成本：面向动态工作负载的延迟感知型 LLM 查询路由

问题陈述

现代语言查询路由器通过将查询分配给不同的大语言模型（LLM）实例，来优化响应质量（准确率）与货币成本之间的权衡。然而，现有的路由器在很大程度上是延迟无关的（latency-agnostic）。它们根据准确率和成本预测器来选择模型，却忽略了查询在特定模型实例处将经历的生成延迟。

在实践中，延迟是由系统级负载均衡策略（例如轮询、加入最短队列）决定的，而这些策略并不考虑模型的准确率或推理成本。相反，系统级延迟优化假设查询到模型的分配是固定的，从而忽略了准确率-成本的权衡。这造成了一个鸿沟：当前的路由器可能会将查询路由到过载的实例，导致长时间的排队延迟并违反服务水平目标（SLO）；而系统级优化器则无法利用模型池中异构的准确率-成本能力。

核心挑战在于，生成延迟是非确定性的，并且取决于：

硬件规格和模型架构。
实例当前的工作负载组成（预填充阶段 vs. 解码阶段）。
服务框架（如 vLLM、Sarathi-Serve）的具体批处理和调度策略。

准确估计传入查询的**首字延迟（TTFT）**非常困难，因为这需要模拟服务框架如何将新查询与现有的驻留序列进行批处理，同时要考虑预填充（计算密集型）和解码（内存密集型）之间的干扰。

方法论

作者提出了一个联合优化准确率、成本和延迟的路由框架。该系统由三个主要部分组成：

1. 路由目标

路由器为查询 $q_i$ 选择一个模型实例 $m(i)$ ，以最大化准确率-成本效用 ( $\hat{U}_{i,j}$ )，同时满足 TTFT 约束 ( $\tau_i$ )。

效用： $\hat{U}_{i,j}(\lambda) = \hat{acc}_{i,j} - \lambda \cdot \hat{cost}_{i,j}$ ，其中 $\lambda$ 平衡了质量与成本。
约束： 所选实例必须满足 $\hat{L}^{ttft}_{i,j}(t) \leq \tau_i$ 。如果没有实例满足约束，路由器将选择估计延迟最小的一个。
评估： 性能通过 OnTimeUtility 进行衡量，即平均计算满足其延迟约束的查询的效用（对违反约束的查询赋予零效用）。

2. 服务框架模拟（SFS）延迟估计器

为了在不进行实时执行的情况下准确预测 TTFT，作者设计了一个轻量级估计器来模拟服务框架的行为。

输入： 估计器使用模型实例的当前状态，包括驻留请求集 ( $R_j(t)$ )、它们的剩余预填充 Token 数以及预测的解码长度。
模拟过程：
1. 它构建一个包含新查询和所有驻留查询的增强工作负载。
2. 它确定性地模拟服务框架的连续批处理（continuous batching）和调度策略，以形成 Token 批次。
3. 它迭代这些批次，直到新查询生成其第一个解码 Token。
Token-Batch 处理时间模型： 估计器没有模拟底层算子，而是使用一个校准后的线性模型（公式 9）来预测每个 Token 批次的处理时间。该模型考虑了：
- 固定开销。
- Token 维度的稠密层计算（与批大小呈线性关系）。
- 注意力计算和 KV 缓存读取（与解码时的上下文长度呈线性关系）。
- 预填充注意力成本（在预填充块内呈二次方关系）。
输出： 在模拟直至第一个解码 Token 的所有批次处理时间之和，即为 TTFT 的估计值。

3. 平均情况估计（无实时数据）

在无法获取实时工作负载快照的场景下（例如路由至第三方云端），作者提出了一个使用**有限处理器共享（LPS）**模型的排队论抽象。该模型将实例建模为一个在最多 $k$ 个并发查询之间共享容量的服务器，其他查询在 FIFO 队列中等待。这使得能够基于到达率和服务容量来估计平均等待时间。

核心贡献

联合优化框架： 本文通过设计一个基于三种指标同时进行决策的路由器，弥合了准确率-成本路由与系统级延迟优化之间的鸿沟。
轻量级 SFS 估计器： 作者引入了一种新型延迟估计器，用于模拟自回归 Token 批处理。它捕捉了预填充与解码工作负载以及服务框架策略（如分块预填充）之间复杂的相互作用，且无需进行完整执行。
高精度与低开销： SFS 估计器在 TTFT 预测上的平均绝对百分比误差（MAPE）小于 5%，且测试时开销约为 0.14 ms（亚毫秒级），使其适用于路由的关键路径。
鲁棒性： 该框架在标准泊松到达和突发性的马尔可夫调制泊松过程（MMPP）到达下均进行了评估，证明了其一致的性能提升。

实验结果

作者使用部署在 H100 GPU 上的 vLLM 服务框架下的三个 Qwen3 模型（0.6B, 8B, 32B）对该方法进行了评估。他们将基于 SFS 的路由器与三个基线进行了比较：

轮询（Round Robin）： 忽略工作负载的循环分配。
最短队列（Shortest Queue）： 分配给请求最少的实例（侧重延迟，但与准确率无关）。
延迟无关型（Latency-Agnostic）： 最大化效用但忽略延迟。

主要发现：

效用提升： 与标准负载均衡基线（如最短队列）相比，该方法在保持相同延迟约束的同时，实现了高达 40% 的准确率-成本效用提升。
OnTimeUtility： 在不同的查询到达率下，SFS 路由器的 OnTimeUtility AUC（曲线下面积） 比表现最好的基线高出 33%。
权衡控制： 通过在拉格朗日松弛中改变延迟惩罚参数 $\delta$ ，路由器提供了一个可控的效用与延迟之间的权衡曲线，其表现优于无法有效平衡这些指标的基线。
估计器性能： 基于吞吐量的基线（忽略解码干扰）显示出 85% 的 MAPE，而 SFS 估计器将其降低到了 5%，凸显了模拟完整服务框架动态的必要性。

意义与主张

本文声称，准确率、成本和延迟的联合优化对于动态工作负载下的高效 LLM 部署至关重要。作者认为，现有路由器之所以失败，是因为它们将延迟视为一个独立于模型选择的系统级问题，从而导致资源利用率低下和 SLO 违规。

通过将轻量级、基于模拟的延迟估计器直接集成到路由决策中，所提出的框架既避免了过载实例，又保留了强大的准确率-成本性能。这项工作证明，可以在不牺牲延迟约束的前提下，实现显著的效用增益（高达 40%），从而有效地统一了以往孤立的“智能路由”（准确率/成本）与“负载均衡”（延迟）的目标。作者将其定位为应对动态查询工作负载和严格 SLO 要求的实际部署解决方案。