🤖 machine learning

Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning

本文提出了一种后验自蒸馏（Hindsight Self-Distillation, HSD）方法，该方法通过将教师模型置于成功的同伴展开（peer rollouts）之上，从而在关键的分歧点提供稠密的、路径特定的指导，以此改进长推理轨迹中的标记级信用分配，从而在数学和代码基准测试上超越了现有的强化学习和蒸馏基准。

原作者： Yu Li, Shu Hong, Tian Lan

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yu Li, Shu Hong, Tian Lan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一名学生解决一道复杂的数学题。你给出一个问题，学生在纸上写下了一段长长的、循序渐进的推理过程。在最后，他们写下了最终答案。

这个问题：“沉默的老师”
在传统的 AI 训练（特别是被称为“强化学习”的方法）中，老师只看最终答案。

如果答案错了，老师只会说：“做得不好”，并给这整篇“论文”打一个“差评”。
学生并不知道自己到底在哪里出错了。是第一步错了？中间错了？还是最后的计算错了？
因为老师只能看到最终结果，所以在漫长而混乱的中间推理过程中，老师是“沉默”的。他们无法指出逻辑在哪一句话中崩溃了。
这在答案非常短的任务（例如单个数字）中尤其糟糕。如果答案仅仅是“42”，老师无法得知学生写的 500 个词中，哪些词导向了这个数字，或者哪个词导致了错误。

旧的解决方法：“答案条件化”蒸馏
研究人员尝试了一种更聪明的方法，称为“自我蒸馏”。在这里，AI 扮演两个角色：

学生： 尝试在没有任何帮助的情况下解决问题。
老师： 尝试在已知正确最终答案的情况下解决问题。

其核心思想是：如果老师知道答案是“42”，他们就能更好地引导学生。但研究发现了一个缺陷：如果答案只是一个短数字，老师仍然不知道如何到达那里。老师在中间步骤中依然保持沉默，因为最终答案无法提供足够的线索来指引路径。这就像告诉一名徒步旅行者：“顶峰就在山顶，”却没向他展示路径。徒步旅行者依然会在森林里迷失方向。

新的解决方案：“后视自我蒸馏”（Hindsight Self-Distillation, HSD）
作者提出了一个巧妙的新技巧——后视自我蒸馏。与其只看最终答案，不如让老师观察一个成功的同伴。

它是这样运作的：

老师要求 8 名学生（由 AI 生成 8 次不同的尝试）来解决同一个问题。
7 名学生失败了，1 名学生成功了。
老师将成功学生的完整文章展示给那些失败的学生看。
老师说：“看 4 号同学。他们得到了正确答案。你们两个（1 号和 2 号同学）在前 50 个词的过程中，正是在遵循与 4 号同学完全相同的路径。但在第 51 个词时，你们转向了错误的路径。那就是你们需要改变思维的地方。”

为什么这有效（“分歧”时刻）
奇迹发生在分歧点——即失败学生的路径与成功学生的路径发生分离的那个精确时刻。

分离之前： 老师保持沉默，因为两名学生都在做同样的事情。
分离之时： 老师大喊：“停！看看成功的路径！你往左走了，但你应该往右走！”
分离之后： 老师的引导逐渐消失，因为失败的学生现在已经处于一条完全不同的轨道上了。

这为 AI 提供了每一个词的精确“信用评分”。它能准确告诉 AI 哪个词导致了失败，而不是仅仅说“整篇文章都很糟糕”。

实验结果
研究人员在两个强大的 AI 模型（Qwen3-8B 和 Qwen3-32B）的数学和编程问题上测试了该方法。

测试： 他们使用了像 AIME（数学竞赛）这样答案极短的困难基准测试。
结果： HSD 击败了所有其他方法，包括标准的“赞成/反对”方法以及旧的“仅限答案”老师方法。
巨大的胜利： 这种改进在最困难、答案最短的任务上最为显著。这证明了相比于仅仅给出最终答案，给 AI 一个“成功同伴的路径”进行对比要好得多。

总结
这种方法不再仅仅是批改期末考试，而是让 AI 通过将自己的失败尝试与同一次训练会话中“兄弟姐妹”的成功尝试进行对比来进行学习。它强调了逻辑偏离轨道的精确时刻，从而使 AI 能够学习得更快、更准确。

技术摘要：在分歧处实现局部化信用分配

1. 问题陈述

本文探讨了大型语言模型（LLM）中**基于可验证奖励的强化学习（RLVR）**的一个根本瓶颈：Token 级信用分配（token-level credit assignment）。

在标准的 RLVR 流水线（如 GRPO）中，会采样一组展开（rollouts），由验证器评分，并基于标量优势（scalar advantage）进行更新。该标量对于轨迹中的每个 token 都是相同的。因此，虽然模型能够学习到某条轨迹失败了，但它无法识别失败究竟源于何处。一个长推理链可能包含正确的设置、一个错误的代数步骤以及基于该错误得出的最终答案；标量奖励对整个序列进行统一处理，未能惩罚特定的分歧点。

**在线自我蒸馏（On-policy self-distillation）**试图通过将模型同时作为学生（以提示词为条件）和教师（以提示词加上特权上下文为条件，通常是标准答案 $a^\star$ ）来解决这一问题。教师分布与学生分布之间的 Kullback-Leibler（KL）散度提供了一种密集的、逐 token 的梯度。

然而，作者指出标准特权上下文选择（ $c = a^\star$ ）存在一个关键缺陷：端点上下文瓶颈（Endpoint Context Bottleneck）。

在具有简洁答案的任务上（例如 AIME，其答案是一个三位数字），标准答案仅约束最终的 token 跨度。
它无法为到达该答案所需的中间推理路径提供信息。
经验表明，以答案为条件的教师会在大部分推理链中表现出“沉默”（近乎零的预测偏移），信号仅出现在接近最终答案的位置。这使得模型在最需要路径级修正的位置缺乏引导。

2. 方法论：后验自我蒸馏 (HSD)

作者提出了后验自我蒸馏（Hindsight Self-Distillation, HSD），该方法将特权上下文从端点（答案）转向了路径（一个成功的同伴轨迹）。

核心机制

HSD 不仅仅以标准答案 $a^\star$ 为条件，而是以一个**成功的同伴展开（ $o^+$ ）**作为教师的条件。

输入： 对于一个失败的展开 $o_i$ ，如果组内包含一个成功的展开 $o^+$ ，则教师的条件为 $c_i = (a^\star, o^+)$ 。
回退机制： 如果组内没有成功的展开（ $S_i = \emptyset$ ），该方法会回退到标准的端点上下文 $c_i = a^\star$ 。
成本： 这不需要额外的采样。成功的同伴已作为标准组相对采样过程（例如 GRPO 的 $G$ 个展开组）的一部分被生成。

理论依据

理想信用： 理想的逐 token 信用应当倾向于那些能增加最终验证器成功概率的 token。
路径级信息： 成功的同伴 $o^+$ 是成功条件策略 $\pi^+$ 的精确样本。通过提供 $o^+$ 作为上下文，教师获得了访问完整成功推理路径的途径。
局部化： 当一个失败的展开 $o_i$ $o_{i}$ 与一个成功的同伴 $o^+$ $o^{+}$ 在分歧点 $\tau$ $τ$ 之前共享前缀时：
- 分歧前 ( $t < \tau$ )： 教师和学生看到相同的前缀。信用接近于零（“沉默底线”）。
- 分歧处 ( $t = \tau$ )： 教师看到成功的后续内容 $o^+_{\tau}$ ，而学生生成失败的 token。KL 散度在此处激增，在错误发生的精确位置产生了一个强烈的、局部化的梯度信号。
- 分歧后 ( $t > \tau$ )： 随着学生的序列偏离演示内容越来越远，信号会逐渐衰减。

3. 核心贡献

诊断端点上下文失效： 本文证明了在具有简洁答案的基准测试中，以答案为条件的自我蒸馏会失效，因为答案施加的信息上限（ $\log V_k$ ）不足以约束中间推理路径。教师在最重要的推理步骤上保持“沉默”。
后验自我蒸馏 (HSD)： 对训练循环进行了一个极简的、单行的修改，使教师以成功的同伴轨迹为条件。这改变了信用分配的景观，将梯度信号定位在分歧位置 $\tau$ 。
实证验证： 在数学（MATH, GSM8K, AIME）和代码（APPS, LiveCodeBench）基准测试中，对 Qwen3-8B 和 Qwen3-32B 进行了受控比较。
- HSD 在面对 GRPO 变体和在线蒸馏基线（OPSD, SDPO, RLSD）时达到了最先进的结果。
- 在简洁答案任务（如 AIME）上收益最为显著，因为这些任务的端点上下文最弱。例如，在 AIME-24 上，HSD 使 32B 模型的表现超过 GRPO 基线 >5 个百分点，超过 >7 个百分点。
- 经验信用剖面证实了该理论：在共享前缀处接近于零，并在分歧点处出现尖峰。

4. 结果与分析

性能： HSD 在两种模型规模的数学和代码基准测试中均优于所有基线。其相对于最强非 HSD 基线（GRPO 与 OPSD 的混合体）的提升是一致的，这表明基于路径的监督在稀疏奖励和端点蒸馏的线性组合之外提供了额外价值。
信用局部化： 对逐 token 信用剖面的分析显示，HSD 将约 55% 的信用质量集中在分歧点 $\tau$ 的 $\pm 8$ 个 token 范围内。相比之下，基线方法（OPSD）会将信用均匀分布或停留在沉默带中。
覆盖率： HSD 的有效性取决于是否存在成功的同伴。当组成功率 $p$ 处于适中水平时（对于规模为 8 的组，约为 0.25），拥有成功同伴的概率达到峰值。这符合以下观察：HSD 在 AIME（成功率较低至中等）上的增益比在 HumanEval+（成功率较高，导致用于监督的失败展开较少）上更大。
计算成本： 由于教师上下文更长，HSD 带来了适度的开销（每步比 OPSD 多约 25% 的实际运行时间），但不需要额外的展开采样。

5. 重要性与主张

本文声称，当前在线蒸馏的主要局限性不在于蒸馏方法本身，而在于特权上下文的选择。通过将上下文从端点（答案）转向路径（成功的同伴），HSD 解锁了在不需要外部奖励模型或额外采样的情况下实现局部化信用分配的能力。

作者将 HSD 定位为一种简单且有效的修改，解决了教师在简洁答案任务上的“沉默”问题。这项工作表明，来自同一训练组内的成功同伴的“后验信息”是引导推理模型的充分且强大的信号，有效地将组相对采样机制转化为密集的、路径级的监督来源。

承认的局限性：

HSD 依赖于存在成功的同伴；如果整个组都失败了，它会回退到较弱的端点信号。
该方法是在具有程序化验证器的数学和代码任务上进行评估的；其在噪声奖励、多轮交互或指令微调起点上的适用性尚未建立。
“困难尾部”（即成功率极低的情况）可能会面临覆盖率低的问题，这是未来研究的一个潜在方向，可以考虑引入缓冲过去的成功案例。