🤖 machine learning

Self-Distilled Policy Gradient

本文提出了 SDPG，一种自蒸馏策略梯度框架，该框架通过结合全词表反向 KL 散度实现的在策略自蒸馏、组相对验证器优势以及参考策略正则化，来增强稀疏奖励强化学习的稳定性和性能。

原作者： Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教学生如何更好地思考

想象一下，你正在训练一名才华横溢但缺乏经验的学生（AI 模型）来解决困难的数学问题。这个学生很聪明，但他们经常在自己的推理步骤中迷失方向。

目前，训练这类学生的标准方法是具有可验证奖励的强化学习 (RLVR)。你可以把它想象成一场“及格/不及格”的考试。学生写出完整的解题过程，然后由一名严格的监考员（验证器）检查最终答案。

如果答案正确： 学生获得一颗金星 (+1)。
如果答案错误： 他们得到一个红叉 (0)。

问题在于： 这种“及格/不及格”的系统过于模糊。如果学生答错了，他们不知道究竟是哪一个具体的步骤导致了错误。是他们在第 3 步搞错了代数运算？还是在第 7 步逻辑出了问题？因为反馈非常稀疏（只在最后时刻给出），学生学习得很慢，有时甚至会感到困惑，导致训练不稳定。

解决方案：“自我蒸馏”导师

作者提出了一种名为 SDPG 的新方法。与其仅仅等待最终成绩，不如让学生在写作过程中就能获得解题思路的“小抄”或“特权视角”。

以下是 SDPG 的工作原理，分为三个部分：

1. 两顶帽子：学生与老师

在传统的教学中，你需要一位博学而昂贵的教授（老师）来教导一名小学生。这很难，因为你必须同时运行两台庞大的计算机。
在自我蒸馏中，学生戴着两顶帽子：

学生帽： 模型尝试仅根据问题本身来解决问题（没有提示）。
老师帽： 同一个模型再次尝试解决问题，但这一次它拥有“特权上下文”（由像 Gemini 这样强大的 AI 生成的提示、解题路径或推理指南）。

模型通过尝试让其“学生帽”的预测与“老师帽”的预测相匹配来进行学习。这就像音乐家练习一首歌：他们聆听完美的录音（老师），并试图让自己的演奏（学生）在每一个音符上都与之契合。这为他们提供了密集、步进式的反馈，而不仅仅是一个最终成绩。

2. 安全网：“好主意”过滤器

这里存在一个风险。如果学生完全走错了方向（例如，他们正在解决一个完全错误的问题），那么“老师帽”可能仍然会给出一个针对错误问题的完美解法。如果学生盲目模仿，他们只会变得更擅长犯错。

SDPG 通过正向优势门控 (Positive Advantage Gating) 解决了这个问题。

类比： 想象一位教练在观察学生。如果学生跑偏了（从验证器那里得到了低分），教练会说：“停！先不要听那个完美的解法，因为你解题的方向错了。”
系统只有在“学生帽”已经产生了一个验证器认为有前景的路径（正向奖励）时，才会允许学生向“老师帽”学习。这确保了学生只会内化正确的推理，而不是仅仅学会对错误问题的完美回答。

3. 热身与冷却

作者还意识到，你不能强迫学生立即或者永远听从老师。

热身阶段： 在开始阶段，学生由于太困惑而无法从老师那里学习。因此，他们从单纯的“及格/不及格”考试开始。一旦他们开始能答对一些问题，系统就会慢慢开启“老师帽”的指导。
冷却阶段： 在训练接近尾声时，学生已经内化了这些教训。如果他们一直过度听从老师，他们可能会停止独立思考（这被称为“模式崩溃”问题）。因此，系统会逐渐关掉老师的声音，让学生依靠自己的技能进行测试。

结果

通过将最终成绩（来自验证器）与步进式指导（来自自我老师）相结合，并利用过滤器确保学生只从正确的路径中学习，AI 变得：

更稳定： 它在训练过程中不会崩溃或感到困惑。
更聪明： 它学会了更好的推理，因为它能获得每一步的反馈，而不只是终点。
更快： 与之前的方法相比，它能在更少的训练步骤内达到极高的性能水平。

简而言之，SDPG 就像是给学生配备了一位导师，这位导师只在学生走在正确轨道上时才会开口说话，并在学生掌握知识后，逐渐让他们独立完成测试。

技术摘要：自蒸馏策略梯度 (Self-Distilled Policy Gradient, SDPG)

问题陈述
带有可验证奖励的强化学习 (RLVR) 已成为针对数学和代码生成等推理任务进行大语言模型 (LLM) 后训练的标准方法。诸如组相对策略优化 (GRPO) 等算法通过基于规则的结果奖励（例如正确/错误答案）进行优化，而无需人工偏好标注。然而，RLVR 面临两个主要局限性：

稀疏奖励： 奖励信号是在序列层面应用的，这使得将信用分配给特定的推理步骤（token）变得困难，从而导致探索效率低下。
训练不稳定： 训练早期阶段经常受到负优势 (negative advantages) 的影响，导致不稳定并可能导致基础语言能力的退化。

虽然在线蒸馏 (On-Policy Distillation, OPD) 已被提议用于提供稠密的、token 级别的监督，但传统方法依赖于外部更大的教师模型，这会带来高昂的显存成本并引入分布失配。近期的“自蒸馏”方法（即模型利用特权上下文（如标准答案/ground-truth solutions）同时充当学生和教师）解决了显存问题，但如果缺乏适当约束，可能会在全局错误的轨迹上强化局部看似合理的 token。此外，纯粹的自蒸馏可能会导致模式崩溃 (mode collapse) 并降低探索能力。

方法论：SDPG 框架
本文提出了 自蒸馏策略梯度 (SDPG) 框架，该框架整合了精确的全词表在线自蒸馏与 KL 正则化策略优化。其核心目标结合了三个组件：

基于结果的策略梯度 ( $L_{out}$ ):
SDPG 保留了来自验证器的稀疏二元奖励信号。它利用在一组采样 (rollouts) 中归一化的组相对优势 ( $A_{out}$ ) 来稳定学习，类似于 GRPO，但将其公式化为直接的 REINFORCE 式代理损失，而不使用 PPO 式的优势比例裁剪。
精确全词表在线蒸馏 ( $L_{OPD}$ ):
不同于通过采样 token 来近似教师信号，SDPG 计算学生分布 ( $p_t$ ) 与以额外上下文 $c$ （如解题过程或推理路径）为条件的特权教师分布 ( $q_t$ ) 之间的精确反向 Kullback-Leibler (KL) 散度。
- 梯度恒等式： 作者推导出了一个关键的理论结果（命题 3.1）：关于反向 KL 全词表损失对学生策略的梯度，在局部上等同于一个分离采样 (detached-sampling) 策略梯度更新。该更新中的“优势”是教师概率与学生概率的中心化对数比。
- 门控机制： 为了防止特权教师强化错误的轨迹，蒸馏损失由结果优势进行门控。只有当轨迹被验证为正确时 ( $A_{out} > 0$ )，才会应用蒸馏。
参考策略正则化 ( $L_K$ ):
为了防止策略偏离其初始能力或发生崩溃，SDPG 将更新后的策略锚定在一个固定的参考策略 ( $\pi_{ref}$ ) 上。本文采用了非归一化 KL (Unnormalized KL, UKL) 散度（前向或反向）进行正则化，与标准的归一化 KL 相比，它提供了更优雅且对称的梯度，尤其是在处理非归一化度量时。

稳定策略
为了管理特权信号的噪声以及探索与利用之间的权衡，SDPG 引入了两种稳定器：

正向优势门控 (Positive Advantage Gating)： 确保蒸馏仅发生在由验证器认可的轨迹上。
预热-衰减调度 ( $\beta(k)$ )： 蒸馏系数 $\beta$ 逐渐增加（预热），以便模型在依赖蒸馏之前先找到正确的轨迹；随后在训练结束前逐渐减少（衰减）。这可以防止特权信号在模型内化必要知识后过度约束模型，从而鼓励最终阶段的探索。

核心贡献

理论推导： 本文推导出了反向 KL 全词表在线蒸馏的精确局部策略梯度形式，证明其等价于一个带有中心化对数比优势的分离采样更新。
新颖目标： 提出了一个结合了二元结果奖励、门控全词表特权蒸馏以及针对固定参考进行非归一化 KL 正则化的统一目标。
稳定技术： 引入了正向优势门控和蒸馏系数的预热-衰减调度，以平衡稠密监督与探索。

实验结果
作者使用 Qwen3-4B 在数学推理基准测试（AIME2024, AIME2025, AMC23）上评估了 SDPG。

性能： 两种 SDPG 变体（使用非归一化前向 KL 和非归一化反向 KL）在所有基准测试中均优于基线 GRPO 和自蒸馏基线 RLSD。
稳定性： 与 RLSD 在第 250 步左右表现出的熵崩溃（模式崩溃的迹象）相比，SDPG 变体能更快地达到高奖励平台，并且在整个训练过程中保持了更高的 Actor 熵。
效率： SDPG 方法生成的响应长度足以支持多步推理，但比 GRPO 冗长的输出更为简洁。

意义
本文声称 SDPG 成功弥合了稀疏奖励 RLVR 与稠密监督自蒸馏之间的差距。通过将自蒸馏视为策略梯度更新，并通过门控和调度严格控制特权信号，SDPG 实现了卓越的稳定性和性能。它证明了源自模型自身特权上下文的稠密 token 级监督，可以在不引入外部教师显存开销或纯自蒸馏不稳定性e的情况下，有效地引导推理模型。