🤖 machine learning

Self-Distilled RLVR

该论文指出仅依赖特权教师信号进行自蒸馏会导致信息泄露和训练不稳定，因此提出了 RLSD 方法，通过结合 RLVR 的环境反馈确定更新方向，并利用自蒸馏获取的细粒度策略差异来调节更新幅度，从而在提升训练稳定性的同时实现了更高的收敛上限。

原作者： Chenxu Yang, Chuanyu Qin, Qingyi Si, Minghui Chen, Naibin Gu, Dingyu Yao, Zheng Lin, Weiping Wang, Jiaqi Wang, Nan Duan

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chenxu Yang, Chuanyu Qin, Qingyi Si, Minghui Chen, Naibin Gu, Dingyu Yao, Zheng Lin, Weiping Wang, Jiaqi Wang, Nan Duan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何更好地训练人工智能（AI）“大脑”的故事。为了让你轻松理解，我们可以把训练 AI 想象成教一个学生做数学题。

1. 背景：两种传统的教学方法

在训练 AI 做推理题（比如数学或逻辑题）时，以前主要有两种方法：

方法一：RLVR（环境反馈法）——“只看分数”
- 比喻：老师（AI）做了一套卷子，最后只告诉学生一个结果：“对了”或者“错了”。
- 优点：方向很明确，不会跑偏。
- 缺点：太粗糙了。如果学生做错了，老师只说“错了”，但没说哪一步错了。是第一步算错了？还是最后抄错了？学生只能瞎猜，进步很慢。
方法二：OPSD（自我蒸馏法）——“带着答案复习”
- 比喻：为了让学生进步更快，老师让学生在做题时，偷偷看一眼标准答案（这叫“特权信息”），然后让学生模仿答案的每一个字怎么写。
- 优点：非常细致，学生能学到很多细节，进步很快。
- 缺点：作弊了！ 学生习惯了看着答案做题。一旦考试时把答案拿走，学生就懵了，甚至会在解题过程中自言自语：“虽然题目没给答案，但我知道答案应该是……"（这就是论文里说的“信息泄露”）。而且，这种进步不可持续，练久了反而退步。

2. 核心问题：为什么“带着答案复习”会失败？

论文发现，OPSD 方法有一个致命的结构性缺陷：

信息不对称：学生（AI 模型）在考试时看不到答案，但老师（AI 模型自己）在复习时能看到答案。
后果：学生为了模仿老师，被迫去猜测“如果我有答案，我会怎么想”。这导致学生把“如何猜答案”这种作弊技巧当成了“解题能力”刻在了脑子里。
比喻：就像学生背下了“看到题目 A 就选 C"的规律，而不是真正学会了数学。一旦考试题目稍微变一下，或者没有答案参考，学生就彻底崩盘了。

3. 解决方案：RLSD（自蒸馏 + 强化学习）——“聪明的助教”

作者提出了一个新方法叫 RLSD。它的核心思想是：把“答案”的作用从“模仿对象”变成“评分尺子”。

我们可以这样理解 RLSD 的运作流程：

方向由“裁判”定（环境奖励）：
- 学生做完题，裁判（环境）只看最终结果：对还是错？
- 如果对了：整道题都要表扬（正向激励）。
- 如果错了：整道题都要批评（负向惩罚）。
- 这一步保证了 AI 不会学坏，方向永远是正确的。
力度由“助教”定（自蒸馏信号）：
- 虽然方向定了，但哪个步骤该多表扬，哪个步骤该多批评呢？
- 这时候，我们请出那个“看过答案的助教”（也就是同一个模型，但这次它带着答案看）。
- 助教不看学生具体写了什么字，而是判断：“这一步推理，对得出正确答案有多大的贡献？”
- 比喻：
  - 如果学生做对了，但中间有个步骤是瞎蒙的，助教会说：“虽然结果对了，但这步运气好，给个小表扬。”
  - 如果学生做对了，且每一步都逻辑严密，助教会说：“这步太关键了，给大表扬！”
  - 如果学生做错了，且错在第一步，助教会说：“第一步错得离谱，重罚！”
  - 如果学生做错了，但中间有个步骤其实是对的，助教会说：“虽然最后错了，但这步思路对，少罚一点。”

4. 为什么 RLSD 这么厉害？

既快又稳：它像 OPSD 一样，能给出非常细致的反馈（告诉学生哪一步好，哪一步坏），所以学得很快。
绝不作弊：它像 RLVR 一样，最终的方向完全由“对错”决定。学生不需要去猜答案，只需要专注于如何把每一步做得更漂亮。
比喻总结：
- 旧方法 (OPSD)：学生看着答案抄作业，以为学会了，一考试就露馅。
- 新方法 (RLSD)：学生自己独立做题，做完后，老师拿着标准答案来批改。老师不会告诉学生“答案是什么”，而是告诉学生“你刚才那个解题思路太棒了，值得加 10 分”或者“你刚才那个假设太草率，扣 5 分”。
- 这样，学生既学到了精细的解题技巧，又保持了独立思考的能力。

5. 实验结果

论文在多个复杂的数学和逻辑推理测试中验证了 RLSD：

它比传统的“只看分数”方法（GRPO）进步更快，准确率更高。
它比“看着答案复习”的方法（OPSD）更稳定，不会出现“练着练着就变笨”的情况。
它甚至能在训练步数只有别人一半的情况下，达到别人训练两倍步数的效果。

一句话总结：
这篇论文发明了一种**“既给方向，又给细节，还防作弊”的新训练法。它让 AI 在训练时能利用“参考答案”来精细化评分**，而不是盲目模仿，从而让 AI 真正学会了如何像人类一样进行严密的逻辑推理。

这篇论文提出了一种名为 RLSD (RLVR with Self-Distillation) 的新训练范式，旨在解决大语言模型（LLM）在强化学习验证奖励（RLVR）与在线自蒸馏（OPSD）结合时面临的根本性理论缺陷。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

在训练大语言模型进行推理任务时，主要有两种范式：

RLVR (如 GRPO)：利用环境反馈（如答案正确性）提供稀疏的序列级奖励信号。优点是方向可靠，缺点是信号稀疏，无法区分序列中不同 Token 的贡献。
OPSD (On-Policy Self-Distillation)：让同一个模型既作为学生也作为教师。教师模型利用“特权信息”（如验证过的推理轨迹或参考答案 $r$ ）生成密集的词级（Token-level）信号来指导学生。

核心问题：
尽管 OPSD 在初期能带来快速收敛，但论文通过实验和理论分析发现，OPSD 会导致严重的“特权信息泄露”（Privileged Information Leakage）和训练后期的性能退化。

现象：模型在推理阶段（测试时没有特权信息 $r$ ）会显式地引用或依赖训练时看到的“参考解”，导致泛化能力下降。
理论根源：OPSD 的目标函数在信息不对称（教师有 $r$ $r$ ，学生无 $r$ $r$ ）下是病态的（ill-posed）。
- 学生试图匹配教师的条件分布 $P_T(\cdot | x, r)$ ，但学生只能学习边缘分布 $P_S(\cdot | x)$ 。
- 这导致了一个不可约的互信息间隙 $I(Y_t; R | X, Y_{<t}) > 0$ 。无论模型容量多大，学生都无法消除这个差距。
- 在梯度层面，虽然期望梯度是良性的，但每个样本的梯度包含一个与 $r$ 相关的偏差项。随着训练进行，学生逐渐逼近教师的边缘分布，有益梯度消失，而由互信息驱动的偏差项主导了参数更新，迫使模型学习 $x \to r$ 的虚假相关性，从而引发泄露和性能崩溃。

2. 方法论：RLSD (Methodology)

为了解决上述问题，作者提出了 RLSD，其核心思想是解耦更新方向与更新幅度，将自蒸馏从“分布匹配”转变为“信用分配（Credit Assignment）”。

核心机制

方向锚定 (Direction Anchoring)：
- 更新方向（即策略是增强还是惩罚）完全由环境奖励（Verifier Reward，如答案是否正确）决定。
- 这确保了优化方向始终基于可验证的正确性，避免了特权信息误导优化方向。
幅度调制 (Magnitude Modulation)：
- 利用特权信息 $r$ 来调节每个 Token 更新的幅度（权重）。
- 计算“特权信息增益”： $\Delta_t = \text{sg}(\log P_T(y_t) - \log P_S(y_t))$ 。
- 构建证据权重： $w_t = \exp(\text{sign}(A) \cdot \Delta_t) = (P_T(y_t) / P_S(y_t))^{\text{sign}(A)}$ $w_{t} = exp (sign (A) \cdot Δ_{t}) = (P_{T} (y_{t}) / P_{S} (y_{t}))^{sign (A)}$ 。
  - 如果序列正确 ( $A>0$ )，教师支持的 Token 获得更高权重。
  - 如果序列错误 ( $A<0$ )，教师反对的 Token 承担更多“责备”（权重更大）。
- 该权重被截断（Clipping）以限制单个 Token 的影响，并作为乘数作用于序列级优势函数 $A$ 。
算法流程：
- 在标准的 GRPO 框架中，不再使用均匀的优势函数，而是使用经过自蒸馏信号加权的 Token 级优势函数 $\hat{A}_t$ 。
- 不需要额外的辅助损失函数或外部教师模型，仅需一次额外的前向传播（Forward Pass）来获取教师 logits。

理论优势

贝叶斯解释：权重 $w_t$ 被解释为贝叶斯信念更新比率，衡量生成 Token $y_t$ 对“当前轨迹符合正确推理 $r$ "这一信念的更新程度。
无泄露保证：由于梯度方向仅由环境奖励和学生的采样决定，且特权信息仅作为标量乘数（Stop-gradient），从数学结构上切断了特权信息 $r$ 进入参数更新方向的路径，从而彻底消除了泄露风险。

3. 主要贡献 (Key Contributions)

理论诊断：首次形式化证明了在线自蒸馏（OPSD）在信息不对称下的病态性，揭示了不可约的互信息间隙是导致特权信息泄露和训练不稳定的根本原因。提出了“不可行三元悖论”（Impossibility Trilemma）：在共享参数的分布匹配框架下，无法同时满足目标稳定性、持续改进和无泄露训练。
提出 RLSD：设计了一种新的训练范式，将自蒸馏信号重新定义为信用分配信号而非分布匹配目标。成功结合了 RLVR 的可靠方向性和 OPSD 的密集 Token 级信号优势。
实验验证：在五个多模态推理基准（MMMU, MathVista, MathVision, ZeroBench, WeMath）上进行了广泛实验。

4. 实验结果 (Results)

性能提升：在 Qwen3-VL-8B-Instruct 模型上，RLSD 在 5 个基准上的平均准确率达到 56.18%，比基线 LLM 提升 4.69%，比标准 GRPO 提升 2.32%。
收敛速度与稳定性：
- RLSD 在训练初期收敛速度显著快于 GRPO。
- 与 OPSD 不同，RLSD 没有出现后期性能崩塌（Performance Collapse），而是保持了 GRPO 的训练稳定性并达到了更高的收敛上限。
- 在 200 步训练时，RLSD 的表现已经超过了训练 400 步的 GRPO。
信用分配可视化：热力图显示，RLSD 能准确地将高信用分配给推理中的关键步骤（如计数、减法），而将低信用或惩罚分配给无关的叙述或错误的推理步骤，证明了其细粒度信用分配的有效性。

5. 意义与影响 (Significance)

理论突破：解决了自蒸馏在强化学习中的理论缺陷，澄清了为什么简单的“自教师”会导致模型幻觉（泄露），并给出了结构性的解决方案。
工程价值：RLSD 是一个即插即用（Drop-in replacement）的模块，可以直接替换 GRPO 中的均匀优势计算，无需额外的教师模型或昂贵的过程奖励模型（PRM），计算开销极小（仅增加一次前向传播）。
范式转变：将自蒸馏从“模仿学习（Behavioral Cloning）”转变为“逻辑信用归因（Logical Credit Attribution）”，为未来大模型的强化学习训练提供了新的设计原则：方向靠环境，幅度靠先验/教师。

总结来说，这篇论文通过深刻的理论分析指出了现有自蒸馏方法的致命弱点，并提出了一种巧妙且高效的 RLSD 方法，在保持训练稳定性的同时，显著提升了大模型在复杂推理任务上的表现。