🤖 machine learning

From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing

本文介绍了 DARS，这是一个通过利用同时兼顾输入变化和模型生成固有随机性的分布感知信号，来取代带有噪声的单次响应监督，从而提高 LLM 路由可靠性的框架。

原作者： Guannan Lai, Haoran Hu, Long Chen, Zhenguo Li, Han-Jia Ye

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Guannan Lai, Haoran Hu, Long Chen, Zhenguo Li, Han-Jia Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名繁忙呼叫中心的经理。你拥有一支由不同技能和薪酬水平的坐席组成的团队：有些坐席反应快且成本低，但只能处理简单问题；而另一些则是昂贵的专家，能够解决复杂问题。你的任务是构建一个“路由”（Router，即智能系统），决定每一通打进来的客户电话应该由哪位坐席来处理，从而在不浪费资金的前提下获得最佳效果。

旧方法：“单次尝试”的猜测

目前，大多数系统通过让每位坐席针对特定的客户问题仅回答一次来训练路由系统。

问题所在： 大语言模型（LLMs）就像人类一样，可能会有“状态不佳”的时候，或者会分心。即使某位坐席是专家，如果你问他们同一个问题两次，他们也可能给出两个略有不同的答案。有时他们答对了，有时则会出错。
缺陷： 如果你只听取这仅仅一次的尝试，你可能会误以为那位专家其实很差，仅仅是因为他们在那一刻出现了失误。或者，你可能会认为某个廉价坐席是个天才，仅仅是因为他们那一次运气好。
结果： 路由系统从“带有噪声”的数据中学习。它基于运气而非真正的能力来做决策，导致系统变得不可靠且不稳定。

新方案：DARS（分布感知路由监督）

该论文的作者提出了一种名为 DARS 的新框架。DARS 不仅仅要求坐席回答一次问题，而是要求他们以不同的方式回答问题多次，从而获取其能力的真实画像。

你可以这样理解：

改写问题（输入端）： 想象用五种不同的方式询问同一个客户问题（例如，“如何修理漏水？”对比“我的水槽在滴水，帮帮我！”）。这旨在检查无论问题如何表述，坐席的表现是否具有一致性。
重答问题（输出端）： 想象让坐席连续回答同一个问题的五次。这旨在检查他们的答案是稳定的，还是仅仅在随机猜测。

通过收集所有这些不同的尝试，DARS 不仅仅看单一的分数。它构建了一个能力分布——即坐席表现的全方位画像。它计算出：

平均技能： 他们通常有多好？
成本： 使用他们的成本是多少？
风险（稳定性）： 他们的答案在“极好”与“极差”之间波动的幅度有多大？

“风险意识”决策

DARS 教会路由系统去挑选那些不仅平均水平高，而且可靠的坐席。

旧路由系统： “坐席 A 在那一次尝试中得了满分！就用他吧！”（即便他平时表现很差）。
DARS 路由系统： “坐席 A 获得了一次满分，但其他四次都失败了。这太冒险了。坐席 B 的平均水平稍逊一筹，但他每次的表现都很稳定。让我们使用坐席 B。”

论文的研究发现

研究人员在三类任务上对该方法进行了测试：

科学问题 (GPQA)： 类似于高难度的常识问答。
数学问题 (MATH)： 类似于解方程。
阅读理解 (DROP)： 类似于在文章中寻找特定事实。

他们发现，旧有的“单次尝试”方法非常不稳定。对于科学问题，仅仅因为随机性的运气，所谓的“最佳”坐席几乎每次运行测试时都会发生变化。新的 DARS 方法提供了一种更稳定、更准确的方式来训练路由系统。

核心要点：

单次尝试具有误导性： 一次回答并不能说明 AI 能力的全貌。
变动是真实存在的： AI 模型天生具有不可预测性，忽视这一点会导致错误的路由决策。
数据越多 = 决策越好： 通过观察多次尝试（改写和重答），系统学会了信任那些始终如一表现优秀的坐席，而不是那些仅仅靠运气好了一次的坐席。
它适用于所有人： 这种方法提升了许多不同类型的路由系统的性能，而不仅仅是某一种特定的设计。

简而言之，DARS 阻止了路由系统去赌单次幸运的猜测，而是让它开始基于扎实的、长期的表现记录来进行决策。

技术摘要：从样本结果到能力分布：重新思考 LLM 路由的监督机制

1. 问题陈述

目前的语言大模型（LLM）路由方法通常依赖于单次采样监督（single-shot supervision），即根据单个生成的响应及其对应的评分来标注模型针对特定查询的能力。作者认为这种方法存在根本性缺陷，因为 LLM 的生成本质上是随机性的。单次采样的结果仅提供了关于“查询-模型”对行为的噪声观测，而非对其真实能力的可靠估计。

这种“点估计”视角引入了系统性噪声到路由监督信号中。由于 LLM 的输出会因采样随机性（输出侧不确定性）和对提示词措辞的敏感性（输入侧不确定性）而产生变化，单次采样可能会导致关于哪个模型最适合该查询的标签是不稳定或具有误导性的。因此，基于此类噪声标签训练的路由器可能会学习到反映偶然生成噪声而非稳定模型能力差异的策略，从而导致生产环境中不可靠的模型选择。

2. 方法论：DARS（分布感知路由监督）

为了解决这些局限性，作者提出了 DARS，这是一个通过构建模型行为的分布视角而非孤立样本来构建路由监督的框架。DARS 通过以下两个不同维度的不确定性来构建分布：

A. 数据构建

DARS 不再为每个“查询-模型”对生成一个响应，而是构建一组重复观测：

输入侧不确定性： 使用强大的语言模型多次重写原始查询，生成语义等价的变体（保留金标准答案和任务语义）。这捕捉了对查询表述形式的敏感性。
输出侧不确定性： 对于每个重写的查询，候选模型执行多次独立的随机解码运行。这捕捉了推理路径、事实性和最终答案的变异性。

这些步骤为每个“查询-模型”对生成了一个观测矩阵（例如， $N$ 次重写 $\times$ $M$ 次解码运行），记录了每一次观测的性能得分和推理成本。

B. 分布式能力估计

通过这些重复观测，DARS 为每个“查询-模型”对 $(x, m)$ 总结了三个关键的能力信号：

预期质量 ( $\mu_q$ )： 所有观测值的平均性能得分。
预期成本 ( $\mu_c$ )： 所有观测值的平均推理成本。
性能风险 ( $\sigma_q$ )： 性能得分的标准差，代表由输入重写和随机解码共同引起的聚合变异性。

C. 风险感知监督

DARS 构建了一个风险感知效用函数作为监督目标：
$U(x, m) = \mu_q(x, m) - \lambda \mu_c(x, m) - \beta \sigma_q(x, m)$
其中：

$\lambda$ 平衡质量与成本。
$\beta$ 惩罚不稳定行为（高方差）。

首选模型定义为 $m^*(x) = \arg\max_{m \in \mathcal{M}} U(x, m)$ 。该效用可以作为硬标签、软目标（通过 softmax）或连续回归目标，使 DARS 兼容各种路由器架构（回归、分类、排序、检索等）。

3. 核心贡献

诊断单次采样监督的局限性： 作者系统地分析了单次采样标签假设，通过诊断指标（结果不稳定性、获胜者翻转率以及与分布感知标签的不一致性）证明了单次采样监督是不稳定的，并能直接改变模型选择决策。
DARS 框架： 引入了一个分布感知的监督框架，该框架通过考虑输入侧（提示词重写）和输出侧（随机解码）的不确定性来构建可靠的路由标签。
实验验证： 在多样化的任务（科学推理、数学问题解决、阅读理解）和异构模型池上的广泛实验表明，与单响应监督相比，DARS 能产生更稳定的路由标签，并提升学习到的路由策略性能。

4. 实验结果

论文在三个数据集（GPQA, MATH-500, DROP-800）上评估了 DARS，并使用了包含六个异构 LLM 的模型池。

单次采样标签的不稳定性： 诊断分析显示单次采样监督具有高度不稳定性。例如，在 GPQA 上，“获胜者翻转率”（即最佳模型在样本间发生变化的频率）为 0.970，表明单次采样是预测最优模型的糟糕手段。
性能增益： DARS 在几乎所有测试的路由器家族（包括 MLP, kNN, EmbedLLM, GraphRouter, MIRT 等）中都提升了路由性能。在具有高输出侧不确定性的任务（如 GPQA）中，增益尤为显著。
消融实验：
- DARS 的仅输入侧和仅输出侧变体均优于单次采样基准，证实了两种不确定性来源都具有信息量。
- 完整的 DARS 框架（结合两者）达到了最佳效果，表明这两个来源是互补的。
- 包含风险项 ( $\sigma_q$ ) 会显著提高性能；移除该项会导致平均得分降低。
样本效率： 研究发现，适中的观测数量（例如 $3 \times 3$ 协议）足以达到接近完整 $5 \times 5$ 设置的性能，这表明 DARS 在实际部署中是可行的，无需过高的采样成本。
成本-质量权衡： 使用 DARS 训练的路由器比单次采样路由器实现了更优的帕累托前沿（Pareto frontier），并且在各种成本约束下通常优于表现最好的固定模型基准。

5. 重要性与主张

本文主张，可靠的 LLM 路由必须超越单次响应的观测。通过将路由监督建立在查询级模型能力分布之上，DARS 为训练路由器提供了更鲁棒的信号。作者强调，这种方法不需要新的路由器架构，而是需要对监督信号本身进行重新思考。结果表明，将路由标签视为来自底层能力分布的随机样本，可以实现更稳定、更有效且更具成本效益的模型选择策略。