💻 computer science

RouteJudge: An Open Platform for Reproducible and Preference-Aware LLM Routing

本文介绍了 RouteJudge，这是一个通过基于用户偏好的成对比较来评估大语言模型（LLM）路由策略的开放式在线平台，并附带了 ORBIT，一个用于标准化路由算法开发、基准测试和集成的模块化工具箱。

原作者： Guannan Lai, Haoran Hu, Han-Jia Ye

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Guannan Lai, Haoran Hu, Han-Jia Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营一家规模宏大、高科技的餐厅。你拥有一个庞大的厨房，里面雇佣了各种不同技能水平的厨师：有些人动作极快但只能做简单的菜肴；而另一些人则是动作缓慢、价格昂贵的天才，能够烹饪复杂的杰作。

问题所在：“一刀切”的错误
过去，当人们想要使用人工智能（如大语言模型）时，往往会对每一个订单都选择那位“最强”的厨师（即最强大的 AI）。但这是一种浪费。如果顾客只想吃个快速三明治，把他们送到那个昂贵且缓慢的天才厨师那里，就是在浪费金钱和时间。如果他们想要一顿复杂的十道菜大餐，那快速厨师可能会失败。

这就是 LLM 路由（LLM Routing） 的作用。它就像一位聪明的领班，会观察顾客的订单并做出决定：“好吧，对于这个简单的请求，把它交给快速厨师。对于这个困难的请求，把它交给天才。”

旧的测试方法：“标准答案”陷阱
直到现在，科学家们一直使用僵化的标准答案来测试这些“聪明的领班”。他们给领班一个问题，看领班选择了哪位厨师，然后检查该厨师的答案是否与预先写好的“正确”答案相符。

缺陷： 现实生活并不是一场多项选择题考试。有时，一个问题可能有许多种“正确”的回答方式。有人可能想要简短幽默的回答，而另一个人可能想要冗长严肃的回答。旧的测试方法无法判断领班是否真的选择了那个顾客最喜欢的方案。

新的解决方案：RouteJudge
作者引入了 RouteJudge，它就像是一个现场举办的露天美食节。

运作方式： RouteJudge 不再对照僵化的标准答案，而是让真实的人去品尝食物。
设置： 当顾客提出一个问题时，几种不同的“聪明领班”（路由策略）会各自给出自己的推荐。
品鉴测试： 系统取出两个最好的推荐，隐藏掉厨师和领班的名字，然后询问顾客：“您更喜欢这两道菜中的哪一个？”
评分： 如果顾客喜欢这道菜，系统就会把功劳归于推荐了那位厨师的领班。这不在于谁做出了“完美”的答案，而在于谁做出了人类真正偏好的选择。

工具箱：ORBIT
构建这些聪明的领班非常困难，因为每个人的构建方式都不同。为了解决这个问题，作者还创建了 ORBIT（最优路由与预算推理工具箱）。

类比： 把 ORBIT 想象成一个标准化的“厨房套装”或一本通用的食谱。它为每位研究人员提供了相同的量杯、相同的食材清单以及相同的烹饪说明。
重要性： 这确保了当研究人员构建一个新的“聪明领班”时，他们都在遵循相同的规则。这使得他们可以轻松地在厨房（离线）中测试新的领班，然后将他们送到美食节（RouteJudge）去观察真实顾客的反应。

他们的发现（快照）
这篇论文展示了这一新系统的早期结果：

离线 vs. 在线： 一个在厨房里表现出色（通过纸面测试）的领班，并不总是在美食节上获胜。有时，人类实际更偏好的简单、廉价的策略，竟然击败了复杂且昂贵的策略。
成本很重要： 系统表明，最好的厨师并不总是最贵的那个。最聪明的领班是那个能在成本、速度和顾客真实需求之间取得平衡的人。

总结
这篇论文为测试 AI 管理员建立了一种新方法。它不再问“他们是否选对了答案？”，而是问“他们是否选了人类真正喜欢的答案？”它提供了一个标准化的工具包（ORBIT）来构建这些管理者，并提供了一个实时平台（RouteJudge）来根据真实的人类偏好对他们进行测试，从而确保人工智能在现实世界中被高效且有效地利用。

技术摘要：RouteJudge 与 ORBIT

1. 问题陈述

大语言模型（LLM）路由旨在为每个传入查询自动选择最合适的模型，以优化成本、延迟和吞吐量等约束。虽然现有的评估协议依赖于静态基准测试、“黄金”答案或自动化评分指标，但这些方法存在一个关键局限性：它们强加了一种固定的响应质量概念。在现实世界的交互中，用户偏好是多元化且依赖上下文的。对于创意写作、翻译或辅导等任务，多个输出可能在事实层面都是有效的，但用户可能会根据语气、细节程度或成本敏感度而偏好不同的响应。因此，一个在离线、符合基准测试指标的情况下表现良好的路由系统，在部署时可能会无法选择用户真正偏好的模型。本文识别了一个“多元化偏好对齐问题”，即当前的评估方法未能充分捕捉路由决策是否能在真实的查询分布下引导出用户偏好的响应。

2. 方法论

本文引入了一个由两部分组成的生态系统，旨在弥合离线基准测试与在线用户偏好之间的差距：RouteJudge 和 ORBIT。

RouteJudge: 在线偏好评估框架

RouteJudge 是一个在线平台，通过匿名的成对用户偏好而非固定的参考答案来评估路由策略。

评估记录： 不同于模型层面的排行榜，RouteJudge 存储了“以路由为中心”的记录 ( $Z$ )，包含用户查询、预算约束、多种策略做出的路由决策、被选中的模型响应、用户偏好标签、推理成本、延迟以及任务元数据。
工作流：
1. 提交： 用户提交一个查询和一个成本预算。
2. 路由器推荐： 多个路由策略 ( $R$ ) 从预算可行的模型集 ( $M_C$ ) 中独立选择候选模型。
3. 对决选择： 平台汇总投票以选择具有最高票数的“对决对”模型 ( $m_A, m_B$ )。
4. 匿名判断： 用户在盲测界面中比较 $m_A$ 和 $m_B$ 的响应，并在“A 胜”、“B 胜”、“平局”或“两者皆差”之间做出选择。
5. 路由器归因： 偏好信号被归因回选择了获胜（或失败）模型的路由策略。只有当其选择的模型参与了被评判的对决时，路由器才会获得评分；否则，其被标记为未参与 ( $\emptyset$ )。
指标： 系统追踪路由器的胜率、Elo 等级、参与率以及成本-质量帕累托前沿（Pareto frontiers），从而实现任务条件化和预算感知的分析。

ORBIT: 最优路由与预算化推理工具箱

ORBIT 是一个模块化、可扩展的工具箱，旨在标准化 LLM 路由的端到端工作流，以支持在 RouteJudge 上进行持续的方法扩展。

标准化： 它提供了统一的接口用于基准测试加载、查询表示（通过各种嵌入层）、路由实现（基于规则、学习型、检索型等）以及预算感知评估。
可组合性： 研究人员可以独立更换数据集、编码器和路由器，而无需重写核心逻辑。
集成层： ORBIT 作为 RouteJudge 的提交接口。研究人员在 ORBIT 内实现路由器，进行离线验证，并将兼容的路由器提交用于在线评估。
两阶段评估流水线：
1. 历史回放： 提交的路由器针对 RouteJudge 的历史记录进行评估，以确定它们是否会在过去的对比中选择用户偏好的模型。
2. 在线评估： 经过验证的路由器被部署到实时平台，参与实时的匿名成对比较并接收偏好归因。

3. 核心贡献

RouteJudge 平台： 首个专门设计用于通过匿名成对比较，基于多元化用户偏好来评估 LLM 路由系统的开放平台，将评估目标从模型层面的响应质量转向了路由器层面的决策质量。
ORBIT 工具箱： 一个标准化的开发与集成层，能够实现可重复的离线基准测试，并实现向 RouteJudge 顺畅提交路由方法，解决了当前路由研究中的工程碎片化问题。
评估协议： 一种新型协议，通过考虑预算约束、任务类型和参与率，将用户偏好归因回路由策略，而非依赖静态的“最佳模型”假设。
开放生态系统： RouteJudge 与 ORBIT 的结合创建了一个闭环，其中可以在离线开发方法、针对历史偏好进行验证，并在真实的面向用户的环境中进行测试。

4. 初步结果

作者展示了来自 ORBIT 离线流水线和 RouteJudge 在线平台（截至 2026 年 6 月）的初步实证发现：

离线一致性： 使用 RouterEval 基准测试，ORBIT 成功证明了不同的路由方法（如 EmbedLLM、Eagle、EquiRouter）可以在统一的协议下进行比较，揭示了性能-成本权衡曲线以及 nAUC 和峰值得分（Peak Score）等指标。
在线区分度： 在 RouteJudge 上，通过 109 次用户投票对比，平台成功区分了不同的路由策略。RouterLLM-MF 获得了最高的 Elo 分数 (1278)，而 NIRT-Router 显示出最高的观测胜率 (80.00%)。
与离线指标的背离： 结果表明，强大的离线设计并不总能转化为在线偏好优势。一些具有显式学习评分机制的路由器在用户偏好方面表现得比简单的非参数化或基于矩阵分解的方法更差。
成本-偏好权衡： 对模型层数据的分析显示，偏好并非仅由成本决定；一些低成本模型实现了具有竞争力的胜率，这表明有效的路由需要根据用户预算和任务上下文来调整模型选择，而不是默认选择能力最强的模型。

5. 重要性与主张

本文声称 RouteJudge 和 ORBIT 共同解决了 LLM 路由中的“多元化偏好对齐问题”。通过超越静态基准测试，该生态系统允许研究人员评估路由决策是否能在现实约束下与真实用户偏好保持一致。作者认为，这项工作并非旨在对所有路由方法进行最终排名，而是作为构建开放评估生态系统的基础性一步。他们认为，未来的路由研究不仅要考虑基准测试最优的模型选择，还要考虑用户偏好、成本感知以及部署敏感的行为。该系统旨在实现持续扩展，允许社区在通过 ORBIT 标准保持可重复性的同时，贡献新的路由器和基准测试。