🤖 AI

Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning

该论文提出了步级在策略蒸馏（Step-Level On-Policy Distillation, SOPD），这是一种在监督微调与在策略蒸馏之间进行插值的创新方法，旨在对学生生成的轨迹提供完整的步级修正，从而在推理和智能体任务中显著超越这两种传统方法。

原作者： Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，大型语言模型常被比作必须向老师学习的学生。多年来，教导这些数字学生的标准方式是向它们展示由专家编写的完美范例，并要求它们记忆这一序列。这种被称为“监督微调”的方法虽然有效但过于僵化；它假设学生总能完美地遵循专家的路径，却忽略了学生实际容易犯下的错误。一种被称为“策略内蒸馏”（on-policy distillation）的新方法试图解决这个问题，它让学生生成自己的答案，然后逐个词（token）地对其进行纠正。虽然这让学生能够从自己的错误中学习，但也产生了一个不同的问题：由于纠正过于碎片化，学生永远无法看到一条完整、连贯且通向正确答案的路径。这就像是通过在每次你触碰方向盘时接收一个单词的指令来学习驾驶，而不是被展示如何通过一个完整的弯道。

研究人员现在开发了一种新的训练方法来弥补这一差距，将两者的优点结合在一起。通过引入一种称为“步级策略内蒸馏”（Step-Level On-Policy Distillation）的技术，团队允许学生自主完成一个完整的思想或动作序列，然后要求老师为该旅程中的每个主要步骤提供一次连贯的纠正。这种方法在从解决困难数学题到在虚拟家庭环境中导航等复杂任务上进行了测试。结果表明，这种方法能让学生比以往的技术学得更快、更准确，达到了此前同类规模模型无法企及的成功率。其核心发现是，通过将学习过程分解为自然、有意义的块（chunks），而不是单个词汇或随机的纠正，模型不仅能理解什么是正确答案，还能理解如何从其特定的错误中抵达正确答案。

这种新方法的核心在于它如何处理学生模型与老师之间的交互。在传统的策略内蒸馏方法中，老师观察学生的工作并为生成的每一个单词提供微小的纠正。如果学生在早期犯错，老师会尝试逐词修复，但学生仍处于混乱状态，试图沿着一条破碎的路径前进。新的“步级策略内内蒸馏”改变了这种交互的节奏。首先，允许学生在不受干扰的情况下生成完整的响应或一整套动作序列。一旦学生完成，系统会将该响应分解为自然的步骤，例如数学证明中的一个完整句子，或游戏中一次完整的对话轮次。

此时，老师介入了，但并不是为了重写整个故事。相反，老师观察学生在每个特定步骤的起点，并生成该步骤的一个正确版本。随后，学生学习在保持其原有上下文的同时，匹配这个正确的步骤。这意味着学生学习纠正自己的轨迹，而不至于让老师接管整个过程。老师为旅程的每个部分提供清晰的局部引导，确保学生能从出错的具体位置看到一条完整、逻辑清晰的前进路径。这保留了学生经历错误的过程，同时赋予了它们修复错误的一种结构化方式。

研究人员在两个截然不同的环境中测试了这种方法，以观察其在压力下的表现。第一个测试涉及一个在模拟家中导航的智能体，这项任务被称为 ALFWorld。在这个环境中，模型必须通过与文本世界交互来完成诸如寻找钥匙或清理房间等任务。团队使用了一个强大的老师模型来引导一个较小的学生模型。当他们将新方法与旧的逐词纠正风格进行对比时，结果令人震惊。使用新方法训练的学生在处理已见过的任务时，成功率提升了超过 18 个百分点，在处理从未见过的任务时，提升了超过 21 个百分点。此外，它们完成这些任务所需的尝试次数更少，这表明它们不仅是在更好地猜测，而且是在学习更高效的解题方式。

第二个测试侧重于数学推理，这是一个逻辑一致性至关重要的领域。在这里，模型被要求解决竞赛级别的数学题。研究人员发现，新方法使学生能够将其思考组织成更清晰、更有结构的步骤。随着训练的进行，学生开始生成更明显的推理步骤，而老师的纠正也变得更加丰富和详细。在四个不同的数学基准测试中，使用这种新方法训练的学生以大幅优势超越了之前的最佳方法，平均准确率提升了近 10 个百分点。这证明了该方法不仅适用于简单任务，也是提高复杂推理能力的稳健方式。

这种新技术最实用的优势之一是它不需要老师揭示其内部计算过程。在许多以往的方法中，学生需要获取老师针对每个单词的原始概率得分，如果老师是一个封闭的“黑盒”系统，这通常是无法实现的。新方法仅要求老师生成文本，这使得它更容易应用于那些最佳模型并非完全开放的现实场景。此外，由于老师是基于学生现有的工作一次生成一个步骤，因此该过程更快，并避免了因等待环境对每一个动作做出反应而导致的延迟。

这项研究证实，我们如何构建学习过程与老师的质量同样重要。通过从碎片化的、逐词的纠正转向连贯的、步级的引导，研究人员创造了一种既尊重学生自身路径，又提供清晰纠正地图的训练动态。这种方法成功地将从自身错误中学习的灵活性与专家指导的清晰性结合在一起。研究结果表明，为了让人工智能变得更强大、更可靠，特别是在复杂的交互式任务中，我们必须设计出能够让模型看到其错误的全局图景，并学会如何在一次逻辑性的运动中修复错误的训练方法。

技术摘要：步级在策略蒸馏 (Step-Level On-Policy Distillation, SOPD)

1. 问题陈述

本文旨在解决当前用于训练大语言模型（LLM）的**在策略蒸馏（On-Policy Distillation, OPD）与监督微调（Supervised Fine-Tuning, SFT）**范式中的局限性，特别是在推理和智能体任务中。

标准 OPD 的局限性： 虽然 OPD 使学生模型在学生生成的轨迹上与教师的 Logit 分布对齐（避免了离策略方法中的状态分布不匹配问题），但它是在标记（token）级别运行的。这导致了“碎片化修正”。当学生犯错时，教师仅根据错误的候选前缀提供单标记引导。因此，教师无法展开一个完整且连贯的修复路径；后续的目标仍然是基于原始错误的学进行条件化，而非基于修正后的轨迹。
标准 SFT 的局限性： SFT 提供连贯的长程监督，但本质上是**离策略（off-policy）**的。它在教师生成的轨迹上进行训练，导致训练时的状态分布与学生在推理过程中实际访问的状态分布之间存在不匹配。
现有混合方法的局限性： 诸如 DAgger 或在策略专家修正（OEC）等方法试图通过将教师响应插入学生轨迹来弥补这一差距。然而，这些方法本质上改变了学生原本会产生的轨迹，从而改变了状态分布，削弱了训练的在策略特性。

2. 方法论：步级在策略蒸馏 (SOPD)

作者提出了步级在策略蒸馏（SOPD），该方法在 SFT 的长程修正能力与 OPD 的在策略优势之间进行了插值。

核心机制

SOPD 在完整的学生生成轨迹上运行，但将其划分为自然步（natural steps）（例如，数学中的推理段落，或智能体中的环境交互回合）。

学生采样（Student Rollout）： 学生模型 $\pi_\theta$ 生成一条完整的轨迹 $\tau_S = (s_1, s_2, \dots, s_K)$ ，其中每个 $s_k$ 是一个自然步。记录前缀序列 $h_k$ （第 $k$ 步之前的状态）。
教师查询（Teacher Query）： 在学生完成轨迹后，针对每一步查询一次教师模型。对于每个记录的前缀 $h_k$ $h_{k}$ ，教师生成一个目标步 $\tilde{s}_k \sim q_T(\cdot | h_k)$ $\tilde{s}_{k} \sim q_{T} (\cdot ∣ h_{k})$ 。
- 至关重要的是，教师仅基于学生的前缀 $h_k$ 独立地生成该目标步。它不会看到之前的教师输出，其输出也不会改变学生轨迹。
- 这保留了学生的态占用（ $h_k \sim d_{\pi_\theta}$ ），同时为该特定步骤提供了连贯的多标记修正路径。
训练目标： 学生被训练为在给定前缀 $h_k$ 的情况下预测教师生成的步骤 $\tilde{s}_k$ 。损失函数是步平衡交叉熵（step-balanced cross-entropy）：
$L_{SOPD} = \frac{1}{|S_B|} \sum_{(h_k, \tilde{s}_k) \in S_B} \frac{1}{|\tilde{s}_k|} \sum_{j=1}^{|\tilde{s}_k|} -\log \pi_\theta(\tilde{s}_{k,j} | h_k, \tilde{s}_{k,<j})$
该公式在每个步骤内取平均值，然后再在所有步骤间取平均值，防止较长的教师步骤主导梯度更新。

实现细节

打包注意力掩码（Packed Attention Mask）： 为了确保效率，输入提示、完整的学生轨迹以及所有教师目标步骤被打包进单个序列中。注意力掩码确保每个教师目标只能关注到提示词、其对应的学生前缀及其自身的因果标记。未来的学生步骤和其他教师目标会被遮蔽。
黑盒兼容性： SOPD 仅需要教师生成的文本，而不需要教师的 Logits。这使其适用于黑盒蒸馏场景。
并行生成： 由于教师查询是条件独立的（基于固定的学生前缀），它们可以在学生采样完成后并行生成，从而避免了顺序进行教师-环境交互带来的延迟。

理论极限

作者证明了 SOPD 连接了两个粒度极限：

单步极限： 如果将整个响应视为一个步骤，SOPD 退化为标准的序列 SFT。
单标记极限： 如果每个步骤都是单个标记，SOPD 近似于采样的 Forward-KL OPD 目标。

3. 核心贡献

提出 SOPD： 一种新的蒸馏范式，结合了 OPD 的在策略状态覆盖能力与 SFT 的连贯多标记监督能力。
黑盒适用性： 不同于需要教师 Logits 的标准 OPD，SOPD 仅需要教师文本生成，使其适用于黑盒教师。
理论统一： 本文建立了 SOPD 在数学上如何根据步长退化为 SFT 或近似于 Forward-KL OPD，提供了一个统一的视角。
实证验证： 在推理和智能体任务中展示了优于 SFT 和原生 OPD 的优越性。

4. 实验结果

作者在两个不同领域评估了 SOPD：ALFWorld（交互式智能体任务）和数学推理。

ALFWorld (智能体交互)

设置： 从 7B RL 教师（Qwen2.5-7B-RL）中蒸馏 3B 学生（Qwen2.5-3B）。
结果： SOPD 在 "Valid Seen" 任务上达到了 84.29% 的成功率，在 "Valid Unseen" 任务上达到了 82.09%。
- 这比原生 OPD 分别提升了 +18.57 和 +21.64 个百分点。
- SOPD 也将平均环境交互回合数比 OPD 减少了约 3.5 到 4.3 次，表明策略更加高效。
- 在 "Hard" 任务中，SOP 保持了学生方法中最短的交互轨迹，同时实现了最高的成功率。

数学推理

设置： 使用 DeepMath 数据集，从 4B RL 教师（Qwen3-4B-Non-Thinking-RL-Math）中蒸馏 4B 非思考型学生。
基准测试： AIME24, AIME25, HMMT25 (Feb), 以及 HMMT25 (Nov)。
结果： SOPD 在所有基准测试中均显著优于原生 OPD。
- 平均准确率： SOPD 实现了 57.7% 的平均准确率，而 OPD 为 47.7%（约 10 个百分点的增益）。
- 具体增益包括 AIME24 提升 +9.9 点，HMMT25-Nov 提升 +13.1 点。
训练动态： 分析显示，随着训练推进，学生模型生成了更自然的推理步骤，且教师提供的监督也变得更丰富（每步更多标记），这表明模型学会了组织更具结构化的推理过程。

5. 重要性与主张

本文声称 SOPD 通过解决状态分布对齐（OPD）与连贯监督（SFT）之间的权衡，为蒸馏方法提供了新视角。

连贯修正： 不同于标记级的 OPD，SOPD 允许教师在不改变轨迹本身的情况下，为学生轨迹的特定片段提供完整的、可执行的修正路径。
高效性： 通过将教师生成与学生的环境交互解耦（在智能体任务中），并允许并行查询，SOPD 将黑盒蒸馏的实际成本降低到与标准 SFT 相当的水平。
普遍有效性： 结果表明，步级监督是提高推理能力和智能体交互策略的鲁棒机制，优于现有的最先进的蒸馏和微调基准。

作者总结道，SOPD 有效地将学生访问的中间状态转化为黑盒教师查询，在保持学生状态分布完整性的同时，提供了密集且局部的监督。