💬 NLP

Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving

本文提出了一种两阶段级联框架，通过对查询进行聚类以实现高性价比的模型路由，并将低质量输出升级至更强的模型，在无需人工重新配置的情况下，实现了接近最优的准确率并显著降低了推理成本。

原作者： Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan, Patricia Buffini, John D. Kelleher

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一家大公司经营着一个繁忙的客户服务中心。你有两种类型的代理人可以来帮助你的客户：

“速度型实习生” (The "Speedy Interns")： 他们动作非常快，雇佣成本低，擅长回答像“你们的营业时间是什么？”这类简单问题。但如果你问他们复杂的数学题或棘手的技术问题，他们可能会出错。
“资深专家” (The "Senior Experts")： 他们极其聪明，几乎能解决所有难题，即使是最难的问题也能搞定。然而，他们反应较慢，成本高昂，在给出答案前需要很长时间的思考。

问题所在：
如果将每一位客户都交给资深专家，你会浪费大量的金钱和时间在处理简单问题上。如果将每一位客户都交给速度型实习生，虽然能节省成本，但面对难题时会产生大量的错误答案。大多数公司通常只选择一种类型的代理人并一直沿用，这是一种低效的做法。

解决方案：两阶段“智能过滤器” (A Two-Stage "Smart Filter")
本论文提出了一种被称为 “聚类、路由、升级” (Cluster, Route, Escalate) 的巧妙系统，它就像一个智能交通警察，为你的客户服务提供两步走的流程，以实现速度、成本和准确性之间的最佳平衡。

第一阶段：“分组与路由” (交通警察)

首先，系统会观察传入的问题，并根据问题的类型将它们分为若干个“簇”（clusters）。

类比： 想象一下分拣邮件。你把所有的“账单”放在一堆，把“投诉”放在另一堆，把“一般问题”放在第三堆。
行动： 系统会做出决定：“好吧，‘一般问题’这一堆很简单，所以我们将把所有这些问题发送给速度型实习生。但‘复杂数学’这一堆对他们来说太难了，所以我们将直接把这些问题发送给资深专家。”
控制旋钮： 操作员可以转动一个特殊的旋钮（称为超参数 $\lambda$ ）。如果他们想节省更多资金，可以将旋钮调向发送更多问题给实习生；如果他们想要更高的准确性，则可以将旋钮调向发送更多问题给专家。这个旋钮会在预先设定好答案速度预算的基础上设置一次。

第二阶段：“质量检查” (安全网)

即使经过了第一阶段，发送给速度型实习生的某些问题可能仍然过于困难，导致实习生给出错误的答案。

类比： 想象一位初级编辑在检查草稿。如果草稿看起来不错，他就将其送去印刷；如果草稿看起来很糟糕或有风险，他就将其提交给资深编辑进行复审。
行动： 当速度型实习生给出一个答案时，一个小型且快速的“质量检查器”（轻量级 AI）会迅速扫描该答案。
- 如果答案看起来没问题？接受它并发送给客户。
- 如果答案看起来不稳妥或质量较低？升级处理。系统会立即将该特定问题发送给资深专家进行修正。

为什么这很重要

该论文在两种截然不同的任务类型上测试了这个系统：

电信问题： 关于电话网络的各种技术问题。
数学题： 高难度的竞赛级数学题。

结果：

准确性： 该系统保持了资深专家几乎所有的准确性（达到其表现的 97–99%）。
速度与成本： 与全部使用资深专家相比，该系统显著提高了速度并降低了成本。在数学测试中，它在保持近乎完美正确率的同时，速度提升了 18%。
无需额外工作： 该系统只需要知道答案是“正确”还是“错误”（这可以通过标准测试轻松获得），而不需要昂贵的人工标注或在每次添加新模型时进行复杂的重新训练。

核心结论

这个框架就像是一位聪明的管理者，他知道确切地什么时候该让实习生干活，什么时候该请专家出马。它在处理简单任务时节省了金钱和时间，同时确保了难题仍能获得顶级的关注，而且这一切都不需要人类每次都进行手动决策。

技术摘要：聚类、路由、升级：面向成本感知型 LLM 服务的高级级联框架

问题陈述

在生产环境中高效部署大语言模型（LLM）需要权衡准确性与服务成本。运营商通常会默认使用单一模型：要么是大型、昂贵的模型，在处理简单查询时过度投入计算资源；要么是小型、高效的模型，在处理困难问题时表现不佳。现有的模型路由系统通常需要标准任务评估之外的标注（例如人类偏好数据或复杂的难度标签），并且难以在显式推理成本预算下进行联合路由优化，同时通过生成后的质量估计来恢复准确性。此外，许多方法在面对可用模型池的变化时，无法在无需手动重新配置的情况下进行轻松适配。

方法论

作者提出了一个两阶段级联框架，该框架在满足每输出 Token 时间（TPOT）预算的同时，仅利用任务正确性标签来联合优化路由并恢复准确性。

第一阶段：基于聚类的路由

第一阶段在聚类层面运行，用于预路由查询，从而避免了在决定是否升级之前对每个查询都运行高效模型的低效做法。

语义聚类： 使用 all-MiniLM-L6-v2 对输入查询进行编码，并使用 k-means 将其划分为连贯的组（ $N$ 个簇）。簇的数量通过最大化平均轮廓系数（Silhouette score）来确定。
成本感知路由： 对于每个簇 $c$ 和模型 $m$ ，计算路由评分：
$\text{Score}(m, c) = \text{Error}(m, c) + \lambda \cdot \text{Cost}_{\text{norm}}(m)$
其中 $\text{Error}(m, c)$ 是训练数据上的经验错误率， $\text{Cost}_{\text{norm}}(m)$ 是模型的归一化 TPOT（最快为 0，最慢为 1）。
超参数微调 ( $\lambda$ )： 一个可解释的超参数 $\lambda$ 用于控制准确性与延迟之间的权衡。最优的 $\lambda^*$ 在离线状态下通过训练数据自动调整，以满足用户指定的 TPOT 预算 $B$ 。
帕累托分析（Pareto Analysis）： 在路由之前，被帕累托支配（在所有簇中都比另一个模型更慢且更不准确）的模型会被从模型池中剔除。
路由决策： 每个查询被分配到最近的簇中心点，并路由至使该簇得分最小化的模型。

第二阶段：质量估计（QE）级联

第二阶段作为路由至高效模型的查询的安全网。

机制： 一个轻量级的二分类器（微调后的 ModernBERT-base）会对高效模型的输出进行检查。
输入： 分类器接收查询、模型的输出以及生成长度。
决策： 基于高效模型在训练数据上的表现所衍生的任务正确性标签，分类器决定是接受输出还是将查询升级至更强的模型。
集成： 此阶段仅应用于路由至高效模型的输出；直接路由至强力模型的查询将跳过分类器，以保留延迟节省。

核心贡献

两阶段框架： 一种结合了生成前簇级路由与生成后质量估计的新颖架构，解决了先前研究中存在的“多阶段级联间隙”问题。
成本感知优化： 系统通过一个单一的可解释超参数 ( $\lambda$ )，在显式 TPOT 预算下联合优化路由，而非通过遍历货币成本曲线。
极简标注需求： 该框架仅需要标准的任务正确性标签（可通过标准基准测试评估获得），即可用于聚类路由和 QE 分类器的训练。
动态适应性： 通过帕累托分析和路由表的重新计算，系统能够自动适应模型池的变化（增加或移除模型），而无需手动重新配置。
泛化能力： 该方法在两个不同领域（电信领域的 TeleQnA 和数学推理领域的 AIME 2024）得到了验证。

实验结果

该框架在 TeleQnA 和 AIME 2024 上进行了评估，使用的模型池来自 Qwen 3/3.5 和 Gemma 4 系列。

AIME 2024（数学推理）：
- 结合了第一阶段和第二阶段的系统实现了 88.4% 的准确率，TPOT 为 9.7 ms。
- 这保留了最强模型（Qwen3-30B）97% 的准确率（89.1%），同时将延迟降低了 18%（快了 2.1 ms）。
- 第二阶段相比仅有第一阶段的系统，在仅增加 0.2 ms TPOT 的情况下，回收了 2.0% 的准确率增益。
TeleQnA（电信问答）：
- 结合后的系统实现了 74.3% 的准确率，TPOT 为 23.8 ms。
- 这处于最强模型准确率（76.4%）的 2.1% 差距之内，且速度快了 0.7 ms。
- 第二阶段相比仅有第一阶段的系统，回收了 3.1 个百分点 的准确率。
可扩展性： 向模型池添加新模型的实验表明，该框架会自动剔除被支配的模型并整合更优的模型，实现帕累托改进，而无需人工干预。

重要性与主张

论文声称，该框架为在成本受限的环境中部署 LLM 提供了一种实用的、可解释的解决方案，特别是在对本地部署和低延迟要求极高的电信等领域的自主智能体应用中。

效率 vs. 准确性： 系统证明了运营商无需在单一强力模型或单一高效模型之间做选择。相反，一种级联方法可以在显著降低推理成本（TPOT）的同时，保持接近最先进水平的准确性。
操作简易性： 通过依赖任务正确性标签和可解释的超参数 ( $\lambda$ )，该框架为运营商提供了一条管理模型池的“简易路径”，避免了训练复杂偏好数据路由器的复杂性。
可扩展性： 帕累托分析的使用确保了随着模型池的演进，路由逻辑保持稳健，使该框架适用于动态变化的生产环境。

作者承认了局限性，指出该框架目前依赖于离线聚类（无法在推理时适应查询分布偏移），并且使用 TPOT 作为成本的代理指标，这并未考虑排队或网络开销。然而，他们认为该框架为高效 LLM 服务提供了一个具有成本感知能力的基石架构。