🤖 AI

Reasoning Can Be Restored by Correcting a Few Decision Tokens

本文表明，通过识别并干预基础模型与更强推理模型不一致的稀疏早期高不确定性规划令牌，并采用一种能显著提升性能的轻量级推理时委托策略，大语言模型的推理能力可被高效恢复。

原作者： Changshuo Shen, Leheng Sheng, Yuxin Chen, An Zhang, Xiang Wang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Changshuo Shen, Leheng Sheng, Yuxin Chen, An Zhang, Xiang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《通过修正少量决策令牌可恢复推理能力》的通俗解读，辅以生动的类比。

核心理念：“GPS 与司机”的困境

想象有两位司机试图前往同一个目的地（解决一道高难度数学题）。

司机 A（基础模型）： 这位司机速度快、效率高，且熟悉本地街道。然而，面对复杂陌生的路线时，他们往往会在早期犯下几个关键错误——比如在第一个路口本该右转却转了左。一旦拐错弯，他们便会自信地沿着错误路线继续行驶，越走越偏。
司机 B（推理模型）： 这位司机是一位缓慢而严谨的专家。他们会反复确认每一个转弯，仔细规划整条路线，几乎从不迷路。但他们的速度慢，且雇佣他们完成每一次行程的成本高昂。

问题所在： 我们希望司机 A 能达到司机 B 的水平，但又不想为整个行程支付使用司机 B 的高昂成本。

研究发现： 研究人员发现，司机 A 并非全程表现糟糕。他们在 90% 的行程中行驶得完美无缺。他们仅在极少数特定时刻——通常是在路线变得棘手的开头部分——才会出错。这些时刻就是“决策令牌”。

核心发现：关键在于最初的几次转弯

论文分析了数百万个两位司机意见相左的步骤，得出了三个令人惊讶的结论：

错误很罕见： 快速司机生成的词汇（令牌）中，只有约 8% 是真正出现分歧的地方。其余 92% 都是正确的。
错误发生得很早： 关键错误几乎总是出现在答案的最开始。这就好比司机在第一个路口拐错了弯，而剩下的旅程只是他们自信地朝着错误方向行驶罢了。
错误发生在“规划”时刻： 错误发生在司机决定“下一步该做什么”（规划）时，而不是在单纯进行数学计算（执行）时。这是“我该左转还是右转？”的抉择时刻，而非"1 + 1 = 2"的计算时刻。

解决方案：“抽查”干预机制

研究人员没有聘请慢速专家全程驾驶，而是提出了一种巧妙的技巧，称为“分歧引导的令牌干预”。

其运作方式如下：

快速司机（基础模型）开始驾驶。
一个智能的“抽查”系统监控路况。它将快速司机的下一步动作与慢速专家（推理模型）本会采取的动作进行对比。
触发机制： 如果两位司机对下一步骤存在强烈分歧（出现分歧“峰值”），系统会瞬间踩下刹车。
接管： 慢速专家介入，说出唯一一个能修正方向的正确单词或短语，随即立刻将方向盘交还给快速司机。
结果： 快速司机沿着正确的路线继续完成剩余旅程，自行处理所有常规工作。

类比：编辑与作家

将基础模型想象成一位快速、精力充沛的作家，能在几秒钟内写完整个故事。但有时，他们在第一段就会把情节搞错。
将推理模型想象成一位缓慢、一丝不苟的编辑，他们知道完美的故事该如何讲述。

研究人员发现，与其让编辑重写整个故事（这需要耗费无穷的时间），不如只让编辑修正情节变得混乱的前几句话。修正之后，作家就能独自完美地完成故事的其余部分。

通过仅修正 8% 的词汇（即关键的决策点），这位快速作家的表现甚至超过了那些被训练成“推理专家”的版本。

为何这很重要

这篇论文证明，“推理”并不是一种需要为每一步都配备庞大大脑的魔法能力。相反，推理主要关乎在最初阶段做出正确的少数选择。一旦路径被正确设定，模型就能轻松处理其余部分。

通过仅在模型感到困惑的高不确定性时刻进行干预，我们可以用极少量的帮助恢复模型的推理能力，使其比全程使用巨型推理模型更快、更经济。

简而言之： 你不需要修好整辆车才能让它跑起来；你只需要在驾驶刚开始时修好方向盘即可。

技术摘要：通过修正少量决策令牌即可恢复推理能力

问题陈述

大型推理模型（LRMs）在具有挑战性的推理基准测试中 consistently 优于其基础大型语言模型（LLM）对应版本，这一差距通常归因于测试时扩展和基于强化学习的后训练（例如 RLVR）。然而，驱动这一性能差距的具体机制仍鲜为人知。目前尚不清楚基础模型在逐令牌生成过程中何处失效、推理能力是否潜藏于基础模型之中，以及如何在不为每个令牌运行完整 LRM 的计算成本下高效地弥合性能差距。

方法论

作者提出了一种框架，旨在通过令牌级分布分歧来分析并弥合基础模型与 LRM 之间的差距。

1. 量化分歧

本研究利用基于似然度的散度，主要是交叉熵（CE）和反向 Kullback–Leibler（KL）散度，来衡量基础模型（ $M_b$ ）与更强推理模型（ $M_r$ ）在每个生成步骤 $t$ 处的分歧。分歧分数 $s_t$ 定义为：
$s_t = D_{CE}(p_b(\cdot | x_t), p_r(\cdot | x_t)) = -\sum_{y \in V} p_b(y | x_t) \log p_r(y | x_t)$
其中 $p_b$ 和 $p_r$ 分别为下一个令牌的概率分布。

2. 分歧引导的令牌干预

基于对分歧模式的分析，作者引入了一种稀疏的、推理时的委托方案，称为分歧引导的令牌干预。

机制：系统默认使用高效的基础模型（ $M_b$ ）。然而，当分歧分数 $s_t$ 超过校准后的全局阈值 $\tau$ 且满足局部相对尖峰条件（ $s_t > \lambda \cdot \bar{s}_{t,W}$ ）时，会发生“单令牌接管”。
接管：在这些高分歧位置，由推理模型（ $M_r$ ）生成下一个令牌。紧接着，控制权切换回基础模型。
校准：阈值在保留集上进行校准，以针对特定的“尖峰比率” $r$ （例如，分歧分数的前 3% 或 5%），确保干预预算保持较小。

主要发现与贡献

1. 推理差距的稀疏性与集中性

该论文证明，基础模型与推理模型之间的性能差距是高度稀疏的。

重尾分布：极小比例的令牌（例如，在 Qwen3-0.6B 上约为 $\sim8\%$ ）占据了分布分歧的绝大部分。分歧质量（disagreement mass）的基尼系数极高（ $\approx 0.936$ ），表明大多数令牌积累的分歧质量很少。
早期集中：高分歧尖峰呈现前置特征，在生成轨迹中不成比例地早期发生（众数位于 $u \approx 0.05$ ）。这与推理收益主要源于过程后期长轨迹的直觉相悖。

2. 与不确定性和规划的关联

分歧尖峰并非随机；它们表现出特定的结构属性：

不确定性对齐：分歧尖峰与基础模型的内在不确定性（香农熵）高度重叠。
规划富集：这些关键令牌在规划相关决策（例如策略选择、变量绑定、分解）上高度富集。在 Qwen3-0.6B 中，规划令牌仅占全局流的 $\sim1.9\%$ ，却出现在 $\sim14\%$ 的分歧尖峰中（富集倍数达 $7.46\times$ ）。

3. 预测能力

聚合前 $K$ 个令牌的分歧分数可作为推理失败的强预测指标。基于分歧的分数在预测最终答案错误方面优于基础模型熵（例如，在 GSM8K 上 AUROC 为 0.851 对比 0.817）。

4. 通过稀疏干预实现性能恢复

所提出的干预方案带来了不成比例的性能恢复：

效率：在少量令牌预算上进行干预（例如， $\bar{\rho} \approx 0.13$ ，即 13% 的令牌），可使 0.6B 基础模型恢复相对于同尺寸（0.6B）“思考”变体 157% 的 Pass@8 差距，实际上超越了后者。
与基线对比：随机令牌替换或仅替换前 $\rho$ 个令牌（仅早期）产生的增益显著较低，证实了选择特定高分歧令牌是关键因素，而不仅仅是干预的体量。
泛化性：该现象在不同模型家族（Qwen3 和 LLaMA）及领域（数学和科学问答）间具有迁移性，尽管恢复幅度有所不同。

意义与主张

该论文主张一种推理的稀疏控制观。它提出，基础模型拥有潜在的推理机制，这些机制在特定的高不确定性规划点上往往发生错位。LRMs 的“推理模式”未必是根本不同的架构，而是对这些关键早期决策的稳定化。

作者声称：

推理是稀疏的：少量早期的规划承诺引导了整个推理轨迹。
修正即足够：通过仅选择性修正这些高分歧决策令牌，基础模型即可在不进行完整后训练或连续 LRM 推理的情况下，恢复出更强模型的推理能力。
机制洞察：该干预作为一种轻量级的“暂停并检查”机制，在将执行权交还给基础模型之前，解决了变量绑定或策略选择中的歧义。

这项工作表明，“推理差距”并非基础模型缺乏能力，而是在特定分支点上未能坚持正确的轨迹，这一问题可通过有针对性的、分歧引导的干预来补救。