技术摘要：任务级与会话级模型路由

问题陈述

智能体系统正日益将模型选择委托给路由器，以权衡任务质量、成本、延迟和工具调用正确性。然而，开源路由器的生态系统缺乏统一的评估框架。现有系统通常使用迥异的任务、候选模型池和执行协议进行评估，使得直接比较变得不可能。此外，单一基准测试的评估无法捕捉跨领域的敏感性，且此前的工作未能衡量路由器在聚合层级分布（它整体选择了哪些模型）与特定任务针对性（它是否将正确的任务分配给正确的层级）之间的区别。

方法论

作者提出了一个通用的测量协议和一个混合评估框架，旨在将路由行为从生成噪声中分离出来。

实验设置

• 评估的路由器： 四个代表不同范式的开源实现：
  1. RouteLLM： 一种训练后的偏好模型（矩阵分解），用于预测弱/强模型的适用性。
  2. LiteLLM Router： 一个使用静态规则、负载均衡和基于成本的回退机制（内容无关）的生产级网关。
  3. vLLM Semantic Router： 一个基于嵌入的调度器，将提示词与意图进行匹配。
  4. Aurelio Semantic Router： 一个使用参考话语和回退机制的基于嵌入的调度器。
• 基准测试： 四个涵盖单轮问答、函数调用、多轮策略会话和长程 Web 导航的基准测试：
  1. RouterBench： 日志化结果（重放）。
  2. BFCL v4： 函数调用正确性。
  3. tau2-bench： 多轮客户服务智能体。
  4. WebArena： Web 导航智能体。
• 候选池： 一个锁定的三个模型矩阵：cheap-small (gpt-5.4-nano), mid-general (claude-sonnet-4-6), 和 strong-frontier (claude-opus-4-8)。
• 混合执行协议：
  • 候选生成： 每个候选模型都在每个冻结的任务上执行，以填充共享的“结果矩阵”（2,610 行：290 个任务 × 3 个候选模型 × 3 次重复）。
  • 重放： 路由决策是实时做出的，但经过评分的结果是从保存的矩阵中检索的。这确保了路由器的性能差异源于选择逻辑，而非生成方差或供应商负载。
  • 粒度： 路由器在每个任务或会话中选择一个模型，而不是在轨迹内的每一步中进行选择。

评估框架

• 指标： 成功率、单任务成本、延迟、回退率和工具调用准确性。
• 帕累托分析： 识别基于成本-成功权衡的非支配路由器。
• 统计推断：
  • 优越性： 任务级符号翻转测试和层次化配对自助法（bootstrapping）。
  • 等效性： 针对协议声明的边际值 ($\Delta = 0.05$) 进行的双单侧检验 (TOST)。
  • 归因： 通过份额匹配排列检验（share-matched permutation test），将路由器的实际分配与其内容无关的分配进行比较，以隔离“针对性”的价值与“混合比例”的价值。
• 控制变量： 与固定层级基线（始终使用最便宜、始终使用中等、始终使用最强）以及经验性的单次调用上限一起进行评估。

核心贡献

1. 通用接口与测试工具： 一个软件制品 (router_benchmark)，可以通过标准化的适配器模式，评估任何路由器列表针对任何基准测试列表的表现。
2. 形式化聚合约束： 命题 1 确立了一旦两个路由器的排名在不同基准测试中发生反转，就不存在能同时保持两种排序的基注定标量。这使得按基准测试报告以及基于声明部署效用的加权报告成为必要。
3. 混合评估协议： 一种将候选生成与路由决策分离的方法，以实现跨异构基准测试的公平配对比较。
4. 归因方法论： 严格区分了聚合层级组成与特定任务针对性，利用份额匹配排列检验来确定路由器的成功是由于“知道该选哪个层级”还是仅仅因为“经常选到好的层级”。

结果

路由器性能 vs. 固定基线

• 恒定行为： 四个路由器中的三个（LiteLLM, RouteLLM, Aurelio）在评估配置下表现出恒定或近乎恒定的层级分配。
  • LiteLLM/RouteLLM： 100% 选择 cheap-small。
  • Aurelio： 几乎排他性地选择 mid-general (97–100%)，这主要由其在参考话语不匹配时的回退默认机制驱动。
• vLLM Semantic Router： 唯一一个根据提示词内容产生实质性层级变化的路由器。然而，它在四个基准测试中均未获得最高的观察成功率。
• 固定层级主导地位：
  • Always-Mid（选择 mid-general 的固定策略）在 RouterBench, BFCL 和 WebArena 上与 Aurelio 完全持平，在 tau2-bench 上仅落后 0.003。
  • Always-Strongest 在 RouterBench (0.800 vs. Aurelio 的 0.683) 上击败了所有路由器。
  • Always-Cheapest 在 BFCL 上领先 (0.833)。
• 结论（关于针对性）： 对于近乎恒定的路由器，观察到的增益与其选择的层级组成相关性更高，而非任务特定的针对性。所谓的“路由”优势很大程度上是由于其回退默认值落在了一个优于竞争对手所选的廉价层级的层级上。

统计发现

• 任务特定优越性： 对于 vLLM（唯一的变量路由器），没有基准测试显示其相对于份额匹配的内容无关分配具有统计学意义的任务特定成功优势。
  • 在 WebArena 上，在 $\pm 0.05$ 边际内建立了与内容无关分配的等效性，但在更紧密的边际（$\pm 0.03$ 或 $\pm 0.02$）下则不然。
  • 在其他基准测试上，结果是不确定的。
• 排名反转： 命题 1 得到了实证验证。Aurelio 在 RouterBench, tau2-bench 和 WebArena 上领先，但在 BFCL 上落后于 LiteLLM。没有任何单一标量排名能在不声明权重的情况下同时保持这些顺序。
• 帕累托前沿： LiteLLM 在所有基准测试中都是非支配的，因为它具有零成本（独特的成本最小化器）。Aurelio 在三个基准测试中是非支配的，但在 BFCL 上被支配。然而，当包含固定层级策略时，没有任何路由器能支配固定策略前沿。

成本与效用

• 效用最大化： 最优策略高度取决于成功的价值 ($V$) 和成本基础（仅候选成本 vs. 候选 + 服务费 + 外部计费支出）。
• 固定层级效率： 在大多数场景下，固定层级策略（Always-Cheapest, Always-Mid, 或 Always-Strongest）在整个成功值范围内都能实现效用最大化，且通常优于路由器。Aurelio 仅在特定的成本-质量交换率下成为最好的 路由器（而非最好的策略），即便如此，它也经常被固定层级超越。

意义与声明

本文声称，在特定的配置、候选池和冻结基准测试样本下：

1. 路由增益是由成分驱动的： 观察到的路由器性能提升主要由所选层级的聚合分布（例如，选择 mid 的频率高于 cheap）驱动，而非路由器将特定任务分配给正确层级的能力。
2. 控制变量的必要性： 固定层级基线和所选层级分布是路由器评估中必要的控制变量。如果没有它们，路由器的成功可能会被误归因为智能路由，而实际上它只是一个幸运的默认值或回退机制的结果。
3. 范围限制： 研究结果受限于这些特定的配置、三模型候选池以及冻结的基准测试样本。论文明确指出，其并不对一般的路由范式做出声明，也没有评估轨迹内的逐步路由。
4. 测量而非定论： 这是一项测量结果，而非对路由可行性的定论。作者强调，由于样本量（如 BFCL 为 30 个任务）和缺乏调优配置，外部有效性是有限的。更强的声明需要更广泛的任务样本、更多的候选池以及逐步（per-step）评估。

论文总结道，从业者在将聚合增益归功于路由机制之前，应当报告固定层级基线、所选层级分布以及特定基准测试的不确定性。