🤖 AI

DART: Draft-Agreement Routing for Training-Free Adaptive Thinking Budgets in Hybrid Reasoning Models

DART 是一个用于混合推理模型的无需训练的路由框架，它通过采样廉价草案并利用其一致性或熵来决定是直接回答还是进行扩展推理，从而动态分配思考预算，进而显著减少 Token 使用量，同时提高在复杂数学和代码任务上的准确性。

原作者： Jungseob Lee, Seongtae Hong, Seungjun Lee, Jaehyung Seo, Junyoung Son, Sugyeong Eo, Chanjun Park, Hyeongju Park, Hyeonseok Moon, Heuiseok Lim

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jungseob Lee, Seongtae Hong, Seungjun Lee, Jaehyung Seo, Junyoung Son, Sugyeong Eo, Chanjun Park, Hyeongju Park, Hyeonseok Moon, Heuiseok Lim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明但价格昂贵的私人助理。这个助理有两种工作模式：

“快闪”模式 (The "Snap" Mode)： 他们不经思考就立即回答你的问题。这种方式速度快且成本低，但如果问题很棘手，他们可能会出错。
“深潜”模式 (The "Deep Dive" Mode)： 他们会花费大量的时间和精力（以及金钱）在回答之前，循序渐进地思考问题。对于难题，这种模式很准确，但对于简单问题则非常浪费。

问题在于：你如何知道在处理每一个问题时该使用哪种模式？

如果总是强制使用“深潜”模式，你会把钱浪费在简单的问题上（比如“2+2等于几？”）。如果总是使用“快闪”模式，你会在难题面前（比如复杂的数学谜题）败下阵来。

DART 登场：聪明的交通警察

这篇论文介绍了 DART（草稿-一致性路由，Draft-Agreement Routing for Thinking）。可以将 DART 想象成站在你助理办公室门口的一名聪明的交通警察。它不需要为了应对每一个新助理而重新训练，也不需要预先拥有一份“难”或“易”的问题清单。它只需观察助理的工作过程即可。

以下是 DART 的工作原理，它分为两个简单的步骤：

第一步：“双重检查”（第一阶段）

在让助理进入昂贵的“深潜”模式之前，DART 要求助理快速写下两个快速的、“快闪式”的答案（即草稿），且无需过度思考。

如果两个草稿达成一致： DART 会说：“太好了！你们两个得到了相同的答案。这很可能是正确的。这就是你的最终答案。” 助理无需进入昂贵的思考模式。结果： 你节省了大量的成本和时间。
如果两个草稿不一致： DART 会说：“噢，不，你们两个意见不一。这一定是个难题。请进入‘深潜’模式，进行彻底的思考。”

类比： 想象你问两个朋友：“法国的首都是哪里？” 如果他们立刻都说了“巴黎”，你会信任他们。如果一个人说“巴黎”，另一个人说“伦敦”，你就知道你需要拿出一张地图（即“深潜”）来弄清楚真相。

第二步：“预算”（第二阶段）

如果助理确实需要进入“深潜”模式，DART 也不会给他们无限的时间。它会观察助理在刚才那两次快速草稿过程中表现出的困惑程度。

高困惑度 (High Entropy)： 草稿的内容天差地别。DART 会说：“这是一个非常难的问题。这里有一个很大的时间与 Token 预算来解决它。”
低困惑度： 草稿大致相似，只是略有偏差。DART 会说：“这虽然有点棘手，但并非不可能。这里有一个较小的预算。”

这确保了最难的问题能获得最多的资源，而那些“中等难度”的问题也不会像每次都给予最大预算时那样浪费能量。

为什么这意义重大？

论文声称 DART 是一个“无需训练 (training-free)”的解决方案。通常，要构建一个知道何时该思考的系统，你需要喂给它数以千计的有标签示例（告诉它，“这是难的，使用深潜模式”）。DART 不需要这些。它通过检查快速草稿是否一致，在运行过程中实时判断。

结果（“计分板”）：

数学： 在极难的数学问题（如奥林匹克竞赛级别）上，DząT 实际上比始终强制要求助理深度思考能获得更多的正确答案，同时使用了少 15% 到 69% 的思考 Token（降低了成本）。
编程： 对于编写计算机代码，DART 将准确率提升了高达 22.5 个百分点，同时削减了 51% 到 63% 的思考成本。
效率： 这就像是在处理简单事务时使用法拉利的速度，而在应对复杂地形时使用坦克的威力，同时又不会在处理简单事务时为坦克的燃料买单。

缺陷（局限性）

论文诚实地指出了 DART 可能出错的地方：

多选题： 如果你问一个多选题，两个快速草稿可能会因为运气好而恰好猜中了同一个错误答案。在这种情况下，DART 会接受那个错误的答案。因此，DART 旨在用于开放式问题（如数学或编程），而非多项选择测试。
“一致性”陷阱： 如果助理在两个快速草稿中都表现得自信且错误，DART 会接受那个错误答案。论文指出这是误差的主要来源，但即便如此，它仍然比其他替代方案要好得多。

总结

DART 是一个聪明的、免费使用的工具，充当着守门人的角色。它利用两次廉价回答的快速“双重检查”来判断问题是容易还是困难。如果快速回答达成一致，它会为你省钱。如果它们不一致，它会将问题发送到昂贵的思考模式，但只会给予实际所需的时间和资源。它让 AI 在变得更聪明的同时，也变得更便宜。

技术摘要：DART（基于草案一致性的训练无关自适应思考预算路由）

1. 问题陈述

混合推理大语言模型（LLM）提供两种推理模式：NOTHINK（直接回答）和 THINK（扩展思维链）。虽然 THINK 模式在处理复杂任务时能提高准确率，但对其进行普遍应用既低效又往往适得其反。

低效性： 简单的查询会在不必要的推理上浪费 Token。
准确率下降： 近期研究表明，与直接回答相比，过长的推理有时反而会降低简单问题的准确率。
部署约束： 固定“始终思考”的部署面临运营成本问题，并存在在解决难题前耗尽上下文窗口（导致截断）的风险。
现有路由器的局限性： 当前的自适应路由策略通常需要带标签的训练数据（限制了仅使用 API 的场景），或者依赖于间接启发式方法（置信度/熵），这些方法无法直接衡量答案层面的协议一致性。此外，单次调用评估往往会将推理预算限制与答案截断混淆，从而产生测量伪影。

2. 方法论：DART

DART（Draft-Agreement Routing for Thinking）是一种训练无关、两阶段的路由框架，旨在优化准确率与 Token 效率之间的权衡，无需梯度更新或标注数据。

第一阶段：自一致性路由 (SC-Route)

主要目标是确定查询是否可以在不调用 THINK 模式的情况下直接回答。

机制： 系统在 NOTHINK 模式下（温度 $T$ ）采样 $K$ 个独立的草案（drafts）。
决策逻辑： 答案提取器对每个草案的输出进行归一化。如果所有 $K$ 个草案在可插拔的等价函数 $eq$ 下达成一致（全票通过），则系统立即接受该草案答案。
升级机制： 如果草案之间存在分歧，则将查询路由至 THINK 模式。
设计选择： 作者使用严格的一致性（ $K=2$ ）而非多数投票，旨在将概率集中在主导答案上，同时保持低成本，避免标准自一致性解码中较大的 $K$ 值带来的开销。
等价模块： 这是唯一的领域特定组件。它可以是数学领域的字符串归一化、代码领域的沙盒执行匹配，或是结构化输出比较。

第二阶段：熵-预算分配

对于被路由到 THINK 模式（即草案存在分歧）的查询，DART 分配的是针对查询特定的思考预算，而非使用固定上限。

不确定性信号： 系统根据 $K$ 个 NOTHINK 草案计算草案熵 ( $H(q)$ )。较高的熵表示较高的不确定性/难度。
预算映射： 使用在留出集（held-out calibration set）的歧义查询上拟合的保序回归（isotonic regression），将熵映射为思考预算 $\hat{B}$ 。
两阶段生成： 为了避免“单次调用截断伪影”（即模型在推理过程中耗尽 Token 并导致无法生成最终答案），推理轨迹（reasoning trace）和最终答案是在两个独立的补全调用中分别生成的。当推理轨迹达到预测的预算 $\hat{B}$ 时，注入一个停止标记，然后在新的调用中生成最终答案。

3. 核心贡献

草案一致性作为难度代理： 本文将廉价 NOTHINK 草案之间的协议程度表征为查询难度的强二元信号，证明了其与“始终思考”正确率之间存在一致的相关性。
训练无关的路由器： DART 在无需难度标注数据或模型特定重训练的情况下运行，使其兼容仅限文本 API 访问的闭源混合模型。
两阶段协议： 通过将推理轨迹与最终答案生成分离，DART 消除了在紧凑 Token 预算下由答案截断引起的测量伪影。
基于熵的预算分配： 该框架根据草案熵动态分配推理预算，将 Token 集中在更难的查询上，同时允许较易的路由查询提前终止。

4. 实验结果

该框架在 Qwen3（8B, 14B, 32B）和 DeepSeek-V3.2 上进行了评估，涵盖数学推理（MATH-500, OlympiadBench）和代码生成（HumanEval, MBPP）。

准确率 vs. 效率： DART 在显著减少思考 Token 使用量的同时，匹配或超过了“始终思考”（AT）基准线的准确率。
- 数学推理： 在 Olympiad 级别的题目上，准确率提升高达 +9.0 个百分点（Qwen3-14B），同时减少了 15–69% 的思考 Token。
- **代码推理：在 HumanEval 上，准确率提升高达 +22.5 个百分点（Qwen3-32B），同时减少了 51–63% 的思考 Token。代码方面的增益归功于路由器正确识别出许多代码查询通过直接回答（NOTHINK）比通过扩展推理效果更好。
基准对比：
- DART 优于即使拥有草案特征的监督学习路由器（MLP, 梯度提升树）。
- 它显著优于自提示路由（self-prompted routing）和多数投票聚合基准，特别是在执行类协议（execution-based agreement）优于 Token 级投票的代码任务中。
泛化性： 路由信号（草案一致性）在不同模型规模（0.6B 到 32B）和不同模型族中均保持稳健。
延迟： 与 AT 相比，DART 实现了 2.3 倍的实际运行时间（wall-clock latency）加速，这主要是因为 78% 的查询通过并行的 NOTHINK 草案得到了解决。

5. 重要性与主张

论文声称 DART 为混合推理模型提供了一种实用的、可部署的解决方案，且无需重新训练。

成本降低： 它证明了可以在不牺牲（甚至通常能提高）准确率的情况下，实现显著的 Token 节省（高达 69%）。
鲁棒性： 该方法在开源权重模型和托管 API（DeepSeek）上均有效，证明了其在权重不可及的真实部署场景中的实用价值。
测量完整性： 通过解决“截断伪影”，论文指出以往在路由策略与“始终思考”基准之间进行的比较往往存在缺陷；DART 的两阶段协议提供了更公平的比较，揭示了即使在匹配的 Token 预算下，路由也能优于固定预算的“始终思考”模式。
误差分析： 作者指出“错误接受”（即草案达成一致但答案错误）是目前主要的剩余误差源，这表明未来的改进可以侧重于轻量级校准或选择性的额外草案轮次，而非复杂的训练。

研究结论认为，草案协议（draft agreement）是一种与领域无关的高精度信号，能够实现既高效又准确的自适应思考预算。