🤖 machine learning

OPD+: Rethinking the Advantage Design for On-Policy Distillation

本文介绍了 OPD+，这是一个经过修正的在策略（on-policy）蒸馏框架，它从数学上证明了标准停止梯度操作在优势估计中导致的偏差，并提出了一种通用的基于 f-散度（f-divergence）的优化方法，从而提升了在推理和工具使用基准测试上的性能。

原作者： Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名年轻学徒（学生模型）通过观察一位大师级厨师（教师模型）来解决复杂的谜题。学徒观察大师烹饪，尝试模仿其动作，并根据自己与大师食谱的接近程度获得反馈。这个过程被称为在策略蒸馏（On-Policy Distillation, OPD）。

长期以来，研究人员一直认为有一种特定的“配方”来提供反馈效果最好：一种被称为 Reverse KL 的方法。这就像是在说：“学习的唯一方式就是以此种特定方式来衡量差异。”

然而，这篇论文的作者发现，在计算这种反馈时存在一个隐藏的缺陷。他们发现，反馈的传递方式实际上是存在问题的，这会导致混乱和学习效率低下，尤其是在尝试不同的反馈配方时。

以下是他们发现的详细拆解，使用了简单的类比：

1. 失灵的反馈循环（“停止梯度”问题）

在旧的方法中，当学徒尝试学习时，老师会说：“这是你这一步的得分”，但随后会立即冻结这个分数，使其无法改变。这样做是为了保持稳定性，就像老师指着一张静态图表说：“这就是目标；不要担心这张图表是如何绘制出来的。”

论文指出，这在数学上是错误的。

类比： 想象你正在学习射箭。老师说：“你的箭射偏了左边 5 英寸。”但紧接着，老师又说：“别担心我是如何计算出这 5 英寸的；就把这当作一个既定的事实。”
问题： 这“5 英寸”实际上取决于你握弓的方式（学生的当前状态）。如果你改变握姿，距离就会改变。通过冻结计算，老师给出了一个谎言。你试图根据一个拒绝随你新握姿而更新的数字来调整握法。这会导致偏差估计——你以为自己在进步，但实际上你正朝着错误的方向移动。

2. 新的解决方案：OPD+

作者提出了 OPD+，它本质上是“修复数学问题”，让反馈能够随着学生的学习而更新。

修复方案： OPD+ 不再冻结分数，而是说：“这是得分，而且这里还有一条规则，说明如果你的手移动，这个得分会如何变化。”它在反馈中加入了一个微小的修正项。
结果： 这就像老师现在说：“你的箭射偏了左边 5 英寸。但请记住，如果你收紧握力，这个距离会缩小 1 英寸。”这个微小的修正让学习过程变得诚实且准确。

3. 惊喜：其他配方也有效！

多年来，人们一直认为 Reverse KL 是衡量学生与教师之间差异的唯一好方法。他们认为其他方法（如 Forward KL 或 JSD）是没用的，会导致学生“崩溃”（完全停止学习）。

论文表明，这些其他方法并不是真的不好，而是因为存在“停止梯度”（Stop Gradient）问题而被误用了。

类比： 这就像大家都认为某种特定的锤子是驱动钉子的唯一工具。他们尝试使用螺丝刀，结果把木头弄坏了，于是得出结论认为螺丝刀是没用的。
发现： 作者修复了握持螺丝刀的方式（即数学逻辑）。突然间，螺丝刀完美地发挥了作用！事实上，在某些情况下（如 JSD 方法），螺丝刀的效果甚至比锤子还要好，让学生能够解决更难的数学问题，并更有效地使用工具。

4. 他们测试了什么

他们在两个非常困难的任务上进行了测试：

数学推理： 解决高水平的竞赛数学问题（如 AIME 和 HMMT）。
工具使用： 教导 AI 使用外部工具（如计算器或搜索引擎）来解决问题。

结果：

旧的方法（带有错误的数学逻辑）导致某些学习风格完全失败（准确率为 0%）。
新的方法（OPD+）修复了这些失败。
即使对于“标准”方法（Reverse KL），新的数学逻辑也让学生学习得更快，并达到了更高的性能峰值。

总结

该论文声称，我们目前教 AI 模型互相模仿的方式存在一个根本性的数学错误。通过修复一行代码——停止“冻结”反馈——我们可以：

使学习过程在数学上保持诚实。
解锁那些此前被认为是有缺陷的不同学习策略的潜力。
即使使用现有的模型，也能在数学和工具使用等困难任务上获得更好的结果。

简而言之：不要冻结反馈。让数学进行更新，AI 才会学得更好。

技术摘要：OPD+：重新思考在策略蒸馏中的优势设计

1. 问题陈述

在策略蒸馏（On-policy distillation, OPD）是一种用于将能力从强大的教师语言模型迁移到基础学生模型的技术，它通过优化源自学生生成采样（rollouts）的密集、Token 级监督信号来实现。虽然现有的 OPD 实现（例如 Tinker）通常使用 Kullback-Leibler（KL）散度作为主要目标，但它们采用了一种特定的设计选择：对奖励项进行梯度停止（stop the gradient）（即奖励项是学生与教师似然度的对数比值）。

这种设计的设计初衷是为了数值稳定性，借鉴了深度 Q 网络（DQN）中目标网络（target networks）的思想。然而，作者指出这种方法存在一个关键的理论缺陷：

有偏的梯度估计： 对于一般的 $f$ -散度，奖励函数取决于学生策略参数 $\theta$ 。对该奖励项进行梯度停止忽略了奖励对 $\theta$ 的直接依赖性，从而导致数学上错误的梯度估计。
性能退化： 这种偏差导致除了逆向 KL（Reverse KL）以外的其他散度函数（如前向 KL 和 Jensen-Shannon 散度）出现灾难性的训练崩溃，使其在标准的 OPD 设置下无法训练。即使对于逆向 KL，虽然由于得分恒等式（score identity）该偏差在理论上会消失，但实验结果表明，梯度停止设计在实践中仍会导致次优的性能表现。

2. 方法论：OPD+ 框架

本文提出了 OPD+，这是一个经过修正的优化框架，旨在根据 $f$ -散度重新评估在策略蒸馏中的优势设计。

2.1 理论基础

作者将 OPD 目标公式化为最小化学生策略 $p_\theta$ 与教师策略 $q$ 之间的 $f$ -散度。目标函数定义为：
$J_f(\theta) = \mathbb{E}_{x \sim X, y \sim p_\theta(\cdot|x)} \left[ \sum_{n=1}^{L_y} f(u_{\theta,n}) \right]$
其中 $u_{\theta,n} = q(y_n | y_{<n}, x) / p_\theta(y_n | y_{<n}, x)$ 是 Token 级的密度比， $f$ 是满足 $f(1)=0$ 的凸函数。

2.2 修正方案

论文推导了该目标的真实梯度。标准的 OPD 使用一种“梯度停止”策略梯度估计器，其中奖励 $r = -f(u_{\theta,n})$ 被视为固定值。作者证明，真实的梯度包含两个项：

标准的得分函数项（score-function term）： $\mathbb{E}[r \nabla_\theta \log p_\theta]$ 。
一个直接奖励梯度项（direct reward-gradient term）： $\mathbb{E}[\nabla_\theta r]$ 。

对于一般的 $f$ -散度，直接奖励梯度项不会消失。具体而言， $\nabla_\theta r = u_{\theta,n} f'(u_{\theta,n}) \nabla_\theta \log p_\theta$ 。
因此，正确的优势函数（advantage function）不仅仅是 $-f(u)$ ，而是一个加权项：
$w_f(u) = -f(u) + u f'(u)$

2.3 特例：逆向 KL

对于逆向 KL， $f(u) = -\log u$ 。修正项变为：
$w(u) = -(-\log u) + u(-1/u) = \log u + 1$
额外的 $+1$ 项是一个常数基准（constant baseline）。由于 $\mathbb{E}[\nabla_\theta \log p_\theta] = 0$ （得分恒等式），该项在期望中理论上会消失。然而，作者认为在实践中，这个常数基准起到了方差缩减机制的作用，提高了收敛速度和稳定性。

2.4 实现

OPD+ 仅需在现有 OPD 实现中进行一行代码的修改：将原始的负散度奖励 $-f(u)$ 替换为修正后的权重 $w_f(u)$ 。该框架支持各种 $f$ -散度，包括前向 KL、逆向 KL 和 Jensen-Shannon 散度（JSD）。

3. 核心贡献

通用优化框架： 论文提供了一个基于一般 $f$ -散度的在策略蒸馏统一框架，推导出了考虑奖励对策略参数依赖性的正确梯度和损失函数。
偏差的理论证明： 它从数学上证明了标准的梯度停止操作会导致一般 $f$ -散度的梯度估计出现偏差，从而使将奖励视为固定值的常见做法失效。
OPD+ 算法： 作者引入了 OPD+，这一修正后的算法消除了在前向 KL 和 JSD 中观察到的训练崩溃现象，并提升了逆向 KL 的性能。
实证验证： 该工作挑战了关于逆向 KL 是在策略蒸馏中唯一可行或最优距离度量的普遍观点，证明了当优化正确时，其他散度可以表现得更好。

4. 实验结果

作者在 QWEN3 模型系列（1.7B 和 8B 参数）的两个不同领域对 OPD+ 进行了评估：竞赛数学（DeepMath, AIME 24/25, HMMT 25）和智能体工具使用（Agentic Tool Use）。

4.1 挽救“不可训练”的散度

在标准梯度停止设计（OPD）下，前向 KL 和 JSD 表现出灾难性的失败，在工具使用任务上的准确率降至 0%，且在数学任务上无法达到 SFT 初始化基准的水平。

OPD+ 修正： 通过应用修正后的优势函数 $w(u)$ ，OPD+ 完全消除了这种失败模式。
JSD 性能： JSD+ 不仅实现了稳定，还超越了标准的逆向 KL 基准。在极具挑战性的 AIME 25 基准测试中，JSD+ 达到了 50.42% 的准确率，而逆向 KL 为 48.54%。在工具使用任务中，JSD+ 达到了 60.29%，超过了逆向 KL 基准的 59.97%。

4.2 对逆向 KL 的改进

即使是在逆向 KL 传统上占据主导地位的领域，OPD+ 也带来了严格的实证改进：

AIME 24： 逆向 KL+ 从 64.27% 提升至 64.69%。
工具使用： 逆向 KL+ 从 59.97% 提升至 61.44%。
收敛性： 训练动态（图 1）显示，OPD+ 变体加速了早期收敛，并防止了标准基线中出现的性能平台期或退化现象。

4.3 自我蒸馏 (OPSD)

该方法也在在策略自我蒸馏（On-Policy Self-Distillation, OPSD）设置下得到了验证，其中模型既是学生也是教师（教师以特权真值解为条件）。在所有散度类型中，OPD+ 始终优于传统的梯度停止版本，其中修正后的逆向 KL 在所有散度中表现最佳。

5. 意义与主张

论文声称，历史上其他 $f$ -散度（前向 KL、JSD）在在策略蒸馏中表现不佳，并非这些散度本身的内在局限性，而是由于梯度停止设计导致的梯度系数设定错误所致。

通过将优势函数修正为在数学上忠实于 $f$ -散度目标，OPD+:

扩展了设计空间： 它使得使用更多种类的统计距离进行蒸馏成为可能，超越了行业标准的逆向 KL。
提升了性能： 它在推理和工具使用基准测试中建立了新的最先进性能峰值。
挑战了惯例： 它质疑了认为逆向 KL 因其稳定性而本质上更优越的普遍看法，暗示这种稳定性其实是优化方法的产物，而非散度本身的选择。

作者总结道，他们的工作提供了一个在数学上更正确且在经验上更有效的算法，可能引发对在策略蒸馏中优势函数设计的进一步研究。他们承认了在模型规模分析以及单 Token 似然度与 Logit 蒸馏对比方面的局限性，并将这些列为未来的研究方向。