💬 NLP

Reinforcement Learning from Rich Feedback with Distributional DAgger

本文介绍了 DistIL，这是一种基于分布式的 DAgger 方法，它通过前向交叉熵目标利用丰富的反馈，以实现单调的策略改进，并在推理、编程和数学任务方面相比标准的 RLVR 和自蒸馏方法表现出更优越的性能。

原作者： Rishabh Agrawal, Jacob Fein-Ashley, Paria Rashidinejad

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Rishabh Agrawal, Jacob Fein-Ashley, Paria Rashidinejad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位才华横溢但缺乏经验的学生解决复杂的谜题，比如编写代码、解决数学问题或解释科学概念。

旧方法 (RLVR)：“通过/失败”的考试
目前训练这些 AI 模型最流行的方法，就像是给他们进行一场只有一种反馈的期末考试：“通过”或“失败”。

学生尝试解决一个问题。
如果最终答案正确，他们会得到一颗金星；如果错误，则会得到一个红色的 X。
问题在于： 老师并没有告诉学生为什么失败了。是因为他们在第一步、中间还是最后一步出了错？因为反馈仅仅是最后的一个“通过/失败”，学生必须去猜测哪些具体的词汇或步骤导致了错误。这就像是在学开车时，只有在车撞上墙壁后才被告知“你撞车了”，却不知道是因为转弯太早、刹车太晚，还是忘了检查后视镜。

新思路：丰富的反馈
在现实世界中，我们通常拥有更好的反馈机制。

在编程中： 我们能得到显示哪一行代码出错的错误日志。
在数学中： 我们可能会得到分步解题过程或提示。
在科学中： 我们可能会得到对推理过程的评论。
该论文指出，我们应该使用这种“丰富”的反馈，而不是仅仅看最后的“通过/失败”。

现有“丰富”方法的缺陷
研究人员曾尝试利用这种丰富的反馈，让 AI 模型同时扮演学生和老师的角色。模型生成一个解决方案，获取反馈，然后尝试模仿它“修正后”的自己。
然而，作者发现目前这种做法存在两个主要缺陷：

“错误方向”陷阱： 有时，即使老师比学生更聪明，用于教导学生的数学逻辑也可能会无意中将他们推离正确答案。这就像教练告诉球员：“你做错了，”但具体的指令却导致球员自己绊倒了自己。
“盲点”问题： 当前的方法只关注眼下的错误。如果学生在第一步犯了一个微小的错误，导致第十步发生了巨大的灾难，当前的方法往往会忽略第一步，因为错误直到第十步才显现出来。它们未能将责任（或归因）追溯到导致后期问题的早期决策上。

解决方案：DistIL (分布式模仿学习)
作者提出了一种名为 DistIL 的新算法。你可以把它想象成一种基于经典技术“DAgger”的新型、更智能的教练方法。

以下是 DistIL 的工作原理，使用一个简单的类比：

“面向未来”的教练： DistIL 不仅仅关注当前的错误，它还会观察整个旅程。如果学生在开始阶段做了一个微小的选择，导致了后期的糟糕结果，DistIL 会将这个糟糕的结果一直追溯到开头，并说：“嘿，最初那个选择才是问题的根源！”这被称为面向未来的信用分配 (future-aware credit assignment)。
“直接模仿”规则： DistIL 不再使用有时会导致方向错误的复杂数学逻辑，而是使用一个简单的“前向交叉熵”规则。想象老师说：“完全照着我做的来。”DistIL 只是简单地尝试匹配老师选择正确路径的概率。作者从数学上证明了，这种方法始终会让学生朝着正确的方向移动（单调改进），且绝不会意外地让表现变差。
对“黑盒”友好： 这种方法非常灵活。它可以向人类专家、计算机程序或另一个 AI 模型学习，即使那个“老师”是一个黑盒（你看不透它的大脑，只能看到它的答案）。

实验结果
团队在三个困难任务上测试了 DistIL：

科学推理：（生物、化学、物理）。与容易变得混乱且不稳定的以往方法相比，DistIL 学习得更快、更稳定。
编程： 当 AI 需要编写能够实际运行的代码时，DistIL 利用错误日志进行改进的效果，远好于那些只看最终“通过/失败”的方法。
高难度数学： 在 AI 通常会完全失败的极难数学问题上，DistIL 能够从正确解法中学习，并显著提高成功率，而其他方法则完全无法实现进步。

总结
该论文介绍了 DistIL，这是一种利用详细反馈（如错误日志或分步提示）而非仅仅依靠最终成绩来教导 AI 模型的新方法。它通过确保 AI 始终朝着正确的方向学习，并将早期错误与其后续后果联系起来，解决了现有方法的缺陷。其结果是，AI 学习得更快、更稳定，并且能解决更难的问题。

技术摘要：基于分布式 DAgger 的丰富反馈强化学习

问题定义

本文探讨了推理模型训练中主流范式——基于可验证奖励的强化学习（RLVR）的局限性。在 RLVR 中，模型生成多个候选解，每个解根据最终答案被分配一个单一的二元奖励（正确/错误）。这种方法存在两个关键缺陷：

信用分配（Credit Assignment）能力差： 终端奖励被均匀地广播到响应中的所有 token 上，无法区分哪些特定的推理步骤导致了成功或失败。
不适用于不可验证领域： RLVR 依赖于对最终答案的自动验证，这使得它不适用于缺乏标准答案或难以检查真值的任务。

虽然许多场景提供了“丰富反馈”（例如：执行轨迹、错误日志、专家纠错或自我评估），但目前试图通过在策略自我蒸馏（如 SDPO, OPSD）来利用这些反馈的方法面临着理论和实践上的障碍。现有方法通常最小化学生策略与受反馈调节的教师策略之间的 $f$ -散度（如反向 KL 或 Jensen-Shannon），作者认为这些方法缺乏单调策略改进的保证，且无法进行序列级的信用分配，往往导致次优收敛。

方法论：DistIL

作者提出了 DistIL（分布式模仿学习），这是一种针对带有丰富反馈的强化学习而改进的经典 DAgger 算法的分布式变体。

核心目标

DistIL 在学生访问的状态上，优化学生策略 ( $\pi_\theta$ ) 与受反馈调节的教师策略 ( $\pi_T$ ) 之间的前向交叉熵损失：
$\mathcal{L}_{\text{DistIL}}(\theta) := \mathbb{E}_{x \sim \rho, y \sim \pi_\theta(\cdot|x)} \left[ \sum_{t=1}^H H_\times(\pi_T(\cdot | s_t), \pi_\theta(\cdot | s_t)) \right]$
其中 $H_\times(p, q) = -\mathbb{E}_{y \sim p}[\log q(y)]$ 是前向交叉熵。至关重要的是，教师 $\pi_T$ 以丰富的反馈 $f$ （如执行日志或真值）为条件，但在学生更新期间保持固定。

梯度与信用分配

与仅使用局部 token 级差异（实际上冻结了状态分布）来近似梯度的先前自我蒸馏方法不同，DistIL 使用了全梯度。梯度分解为两个项：

局部模仿： 一个由教师加权的项，旨在使学生在当前状态下匹配教师的分布。
具备未来感知能力的信用分配： 一个将未来时刻观察到的交叉熵差异回传至早期决策的项。这确保了那些影响轨迹走向高教师-学生差异状态的早期 token 选择，能够获得适当的信用或惩罚。

该算法支持黑盒教师（外部模型或人类专家），因为它不需要访问教师的对数概率，只需要样本或估计目标的能力。

核心贡献

1. 现有方法的理论局限性

论文通过形式化证明指出，基于 $f$ -散度（包括反向 KL 和 Jensen-Shannon）的现有在策略自我蒸馏目标存在两个根本问题：

无单调改进保证： 即使教师的期望奖励严格高于学生，最小化 $f$ -散度也无法保证自然梯度步会增加学生的期望奖励。由于受到对数比率加权的影响，更新方向可能会无意中增加次优动作的概率。
通过局部近似导致的次优收敛： 通过忽略“未来信用”项（即当前动作对未来状态分布的影响），局部梯度近似可能会收敛到严格次优的策略。作者证明，在简单的两步 MDP 中，局部更新无法为那些对于到达高奖励状态至关重要的早期决策分配信用。

2. DistIL 的理论保证

DistIL 被证明具有使优化与奖励最大化保持一致的特性：

单调策略改进： 在标准的局部实现性假设下，前向交叉熵目标保证了向更好的教师移动会增加学生的期望奖励。
遗憾界限（Regret Bounds）： 该算法具有亚线性遗憾界限，其收敛速率取决于集中系数和教师的方差。
Pass@N 优化： 该目标被证明是在最大化教师加权的成功率的下界。这为为什么 DistIL 能在所有 $N$ 下都提高 Pass@N 指标（即在 $N$ 个样本中至少生成一个正确答案的概率）提供了原则性的解释。

3. 实验性能

DistIL 在三个领域进行了评估：

科学推理： 在 SciKnowEval（化学、物理、生物、材料）上，DistIL 的表现优于 SDPO 和 GRPO（在策略和离策略），并取得了更高的 Best@16 和 Maj@16 分数。值得注意的是，DistIL 展示了稳定的训练过程，而 SDPO 在某些领域表现出显著的振荡和性能崩溃。
编程： 在 LiveCodeBench 上，利用执行轨迹作为反馈，DistIL 在精确正确性和部分准确性方面均优于 SDPO 和 GRPO。
困难数学推理： 在具有挑战性的问题（AIME, HMMT）上，基础模型的通过率为零，此时 RLVR 方法（GRPO）由于缺乏优势信号而无法改进。DistIL 成功利用真值解来提升性能，超越了自我蒸馏基线（SDPO, OPSD）和 SFT。

重要性与主张

论文声称，DistIL 通过提供一个具有理论依据的框架来学习丰富反馈，弥合了模仿学习与强化学习之间的鸿沟。其重要性在于：

修正目标函数： 从 $f$ -散度最小化（可能与奖励失配）转向前向交叉熵，后者在教师更优时保证了单调改进。
实现序列级学习： 通过利用全梯度，DistIL 解决了长程推理中固有的信用分配问题，确保早期决策是基于其下游后果进行评估的。
实际鲁棒性： 该方法支持黑盒教师和多样化的反馈类型（从二元正确性到执行日志），使其适用于比标准 RLVR 更广泛的推理任务。

作者总结道，结合奖励对齐的目标函数和具备未来感知能力的信用分配，对于有效地将丰富反馈蒸馏到推理模型中至关重要，从而在对比最先进的基线模型时取得了一致的经验增益。