🤖 machine learning

On the Position Bias of On-Policy Distillation

本文指出在在策略蒸馏（On-Policy Distillation）中存在位置偏差，即由于分布漂移，较晚出现的 token 会提供退化的监督信号，并提出了重要性加权在策略蒸馏（Importance-Weighted On-Policy Distillation, IW-OPD）来动态降低这些较晚 token 的权重，从而在各种设置下实现更快的收敛速度和更优越的性能。

原作者： Yan Xie, Sijie Zhu, Tiansheng Wen, Bo Chen, Yifei Wang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yan Xie, Sijie Zhu, Tiansheng Wen, Bo Chen, Yifei Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过让一名年轻学徒（学生）观察一位大师（老师）解题的过程，来教导他们如何解决复杂的数学问题。

在本文描述的标准方法中，被称为在线策略蒸馏（On-Policy Distillation, OPD）。在这种方法下，学徒被要求独立解决一个问题。当他们一步步写下解题过程时，大师会注视着并纠正他们写的每一个字。其目标是让学徒从这些纠正中学习。

然而，作者们发现这种教学过程中存在一个隐藏的缺陷。他们称之为**“位置偏差”（Position Bias）**。

问题所在：“漂移的列车”类比

请将学徒的解题过程想象成一次列车旅程。

旅程开始（前缀）： 当列车刚离开车站时，学徒思路清晰，仍遵循着大师大致会走的路径。此时大师的纠正是金子般的珍贵。它们准确、有帮助，并能让列车保持在正确的轨道上。
旅程中后期（后缀）： 随着列车继续行驶，学徒开始犯一些小错误。由于他们只是学徒，这些微小的错误会不断累积。突然之间，列车驶向了一条完全不同的轨道，远离了大师原本会走的路。

问题的关键在于：标准教学方法将学徒写的每一个字都视为同等重要。它对第一个字给予的“注意力”与对第100个字给予的注意力是完全一样的。

论文指出，当学徒写到第100个字时，他们已经偏离航道太远，以至于大师的建议已经变得毫无用处。事实上，大师可能会感到困惑，试图去纠正一条在大师自己的世界观里根本不成立的路径。研究发现，如果你只使用学徒答案中**前30%部分的纠正，学生的学习效果与使用整个答案时几乎一样好；但如果你只使用最后30%**的部分，学生几乎学不到任何东西。

解决方案：“聪明的导师”（IW-OPD）

为了解决这个问题，作者们创造了一种新方法，称为重要性加权在线策略蒸馏（Importance-Weighted On-Policy Distillation, IW-OPD）。

将 IW-OPD 想象成一位意识到列车正在发生漂移的聪明导师。这位导师不会在整个旅程中都以相同的音量大声喊叫纠正意见，而是会调整他们的声音：

旅程早期： 导师说话大声且清晰，提供高价值的纠正，因为此时学徒仍处于正确的路径上。
旅程后期： 随着学徒的路径开始偏离大师的风格，导师会调低音量。他们不再浪费精力试图去纠正一条大师永远不会采取的路径。

这位聪明导师会根据学徒目前的路径与大师路径之间的偏离程度来计算这个“音量”。如果偏离较小，纠正力度就强；如果偏离巨大，纠正就会变得微弱或被忽略。

为什么这很重要

论文使用不同规模的学生和老师（从小型 AI 模型到大规模模型）对这种“聪明导师”方法进行了测试。结果非常明确：

学习更快： 学生学习的速度大大加快。他们能在更少的训练步骤内达到高性能水平，因为他们不再把时间浪费在听取对自己答案后半部分毫无意义的错误建议上。
效果更好： 即使在训练结束后，使用这种方法的学生在解决问题（特别是数学和编程挑战）方面的表现，也优于使用标准方法的学生。
普适性强： 该方法在学生远小于老师（即两者技能差距巨大）的情况下效果最为显著，而这恰恰是“漂移”问题最严重的时候。

总结

本文认为，在 AI 训练中，并非所有时刻的价值都是相等的。试图从 AI 犯下的每一个错误中学习是低效的，因为最终 AI 会彻底迷失方向，导致老师的建议变得无关紧要。通过将学习预算集中在答案中高质量的早期部分，并忽略掉后期那些已经偏离轨道的无效部分，我们可以更聪明、更快速、更有效地进行训练。

技术摘要：论在策略蒸馏中的位置偏差

问题陈述

在策略蒸馏（On-Policy Distillation, OPD）通过从生成自身展开（rollouts）的教师模型向学生模型提供密集的、Token 级别的监督，从而增强了大语言模型（LLM）强化学习（RL）的学习效率。然而，标准的 OPD 目标函数对 Token 级别的损失进行统一平均（通常通过 KL 散度），这隐含地假设了序列中所有 Token 的价值是相等的。

作者识别出这种方法中存在一个关键的位置偏差（Position Bias）：随着学生展开过程的延长，生成的轨迹会逐渐偏离教师模型的分布。因此，在序列后期的教师监督质量会发生退化。实证观察表明：

监督价值的不对称性： 仅使用前 30% 的 Token（前缀）进行训练所获得的性能，与使用全部 Token 进行训练相比，其表现相当甚至更好；而使用后 30% 的 Token（后缀）进行训练则几乎没有学习收益。
持续的偏差： 即使在收敛后，教师与学生之间的 KL 散度仍然显著，这表明 OPD 仅在策略空间的极小局部区域内优化学生模型。
低效性： 对所有 Token 进行均匀加权，会将有限的梯度更新预算浪费在那些学生已经漂移到相对于教师的分布外（OOD）区域的后期 Token 上，使得监督信号变得嘈杂或无用。

方法论：重要性加权在策略蒸馏（IW-OPD）

为了解决这种偏差，作者提出了重要性加权在策略蒸馏（IW-OPD），该方法根据学生与教师分布之间累积的差异动态调整 Token 权重。

理论基础

作者将 OPD 框架化为一个约束优化问题（局部投影），其中学生策略在由 KL 散度预算 $\rho$ 定义的信任区域内进行更新。

最优策略推导： 在满足 $D_{KL}(q \| \pi_\theta) \leq \rho$ 的约束下求解 $D_{KL}(q \| \pi_T)$ 的受限最小化问题，可以得到闭式解形式的最优策略 $q^\star$ 。
似然比重加权： 解 $q^\star$ 通过似然比 $(\pi_T / \pi_\theta)^\alpha$ 对学生策略 $\pi_\theta$ 进行重加权。这意味着，在教师概率显著高于学生概率（高兼容性）的 Token 处应获得更高的权重，而在学生发生漂移（低比例）的 Token 处应降低权重。

实际实现

由于概率在长序列上的指数级累积，直接使用原始似然比会导致数值不稳定。因此，IW-OPD 引入了一个稳定的、**无符号累积前缀差异（unsigned cumulative prefix discrepancy）**作为重要性权重的代理：

累积差异： 该方法不是使用原始比例，而是计算从序列开始到当前 Token $t$ 为止的绝对 Token 级优势（advantages, $|A^{OPD}_k|$ ）之和。这捕捉了相对于教师偏好路径的总“漂移”。
归一化： 累积差异在每个样本内被标准化到 $[0, 1]$ 范围内，以确保缩放的稳定性。
插值： 为了防止完全消除对漂移 Token 的监督，最终权重是标准 OPD 信号（权重为 1）与基于差异得出的重要性权重之间的插值。
- 公式： $\tilde{r}^{IW-OPD}_t = 1 + \gamma \cdot (1 - \frac{\sum_{k<t} |A^{OPD}_k|}{\sum_{k<T} |A^{OPD}_k|})$ 。
- 其中， $\gamma$ 控制重要性加权的贡献程度。

这种方法自然地提升了早期 Token（前缀与教师兼容）的权重，并降低了后期 Token（累积漂移较大）的权重，从而有效地将梯度预算重新分配给最具信息量的部分。

核心贡献

识别位置偏差： 本文通过实证证明并从理论上解释了 OPD 存在位置偏差，即由于分布漂移，早期 Token 提供的监督价值显著高于后期 Token。
约束优化视角： 作者从约束局部投影的角度提供了对 OPD 的原则性理解，并推导出最优更新策略本质上需要基于比例的重加权。
IW-OPD 算法： 他们提出了 IW-OPD，这是一个实用的、稳定的算法，利用无符号累积前缀差异来估计 Token 的重要性。该方法除了标准的 OPD 之外，不需要额外的教师评估。
实证验证： 大量实验表明，在各种模型规模和教师-学生配置下，IW-OPD 的收敛速度更快，且最终性能高于标准 OPD。

实验结果

作者使用 Qwen3 模型（0.6B, 1.7B, 4B, 30B, 和 235B）作为教师和学生，在数学推理（AIME-2024, AIME-2025, HMMT-2025）和代码生成（HumanEval+, MBPP+）基准测试中评估了 IW-OPD。

性能提升： IW-OPD 一致地优于标准 OPD。
- 在 Qwen3-1.7B 学生模型配合 Qwen3-30B 教师模型的设置下，IW-OPD 在第 10 步时将 AIME-2025 准确率提升了 +6.9 个百分点，在收敛时提升了 +1.7 个百分点。
- 在所有学生规模（0.6B 到 30B）和教师设置下，IW-OPD 都提高了平均性能得分。
样本效率： IW-OPD 的收敛速度显著加快。在若干情况下，IW-OPD 在第 10 步时的检查点就已达到或超过了标准 OPD 的最终性能。
缩放效应：
- 更强的教师： IW-OPD 使更强的教师更具样本效率。虽然标准 OPD 在面对较大的教师-学生差距时初期表现挣扎（需要更多步骤才能从更强的教师那里获益），但 IW-OPD 能立即利用更强教师的信号。
- 更小的学生： IW-OFD 的相对增益随着学生模型变小而增加（例如，0.6B 学生的相对增益为 +9.5%，而 4B 学生为 +1.8%），这表明它在漂移更严重的跨规模蒸馏中特别有效。

意义与主张

本文主张，有效的在策略监督必须考虑轨迹上下文，而不仅仅是 Token 级别的分歧。通过认识到在学生生成的轨迹中，教师的监督并非在所有位置都同样可靠，IW-OPD 将有限的梯度预算重新分配给了“与教师兼容”的前缀。

作者得出结论，这种简单的修改——即降低学生偏离教师分布的 Token 的权重——显著提高了在策略蒸馏的样本效率和最终性能。这一见解表明，未来的在策略方法在分配信用或监督权重时，应该考虑展开过程的累积历史（前缀），而不是将轨迹中的所有 Token 视为独立且价值相等的个体。