🤖 machine learning

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing

该论文提出了近策略蒸馏（NPD），这是一种异步框架，通过将生成与训练解耦并采用 $\Delta$ -IFD 过滤来缓解策略滞后，从而加速了在线策略知识蒸馏，实现了比标准监督微调（SFT）和更大模型快 8.1 倍的速度提升以及更优越的性能。

原作者： Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《近策略蒸馏》（Near-Policy Distillation）的解释。

核心难题：“教师 - 学生”不匹配

想象一下，你正在教一名学生（一个小 AI 模型）如何写文章，方法是让他们模仿一位大师级教师（一个巨型 AI 模型）。

旧方法（标准蒸馏）： 你给学生一份教师已经写好的文章清单。学生死记硬背这些文章。但当学生参加考试时，他们必须从头开始写作。由于他们只记住了教师的完美答案，一旦需要生成自己的句子，就会感到困惑。这就像一个能背诵剧本的学生，在被要求即兴发挥时却僵住了。
“同策略”方法（昂贵的修复方案）： 为了解决这个问题，你让学生先自己写文章，然后拿给教师批改。这种方法效果很好，因为学生能从自己的错误中学习。然而，它极其缓慢。每写一个句子，教师都必须停下来，阅读、评分并给出反馈，之后学生才能写下一个句子。这就像一位辅导老师，除非给上一个句子评完分，否则绝不允许学生写下一个字。

解决方案：近策略蒸馏（NPD）

作者提出了一种名为近策略蒸馏的新方法。你可以把它想象成一条高速装配线，它保留了“同策略”方法的优点，却去除了其缓慢的缺点。

其工作原理如下，分为三个部分：

1. 异步装配线（解耦）

NPD 不再让教师和学生在缓慢的一对一对话中工作，而是将他们分离开来。

学生的任务： 学生模型在计算机上快速运行，一次性生成数千篇文章（回复），就像工厂批量生产产品一样。它不需要等待教师。
教师的任务： 一旦学生积累了一大堆文章，教师模型就会一次性审视所有这些文章。由于教师无需等待学生打字，它可以“成批”处理（就像一次读完一整章书，而不是一次读一页）。
结果： 这种方法比旧有的缓慢方法快 8.1 倍，因为计算机不再因等待反馈而闲置。

2. “安全过滤器”（∆-IFD 机制）

这里有一个陷阱。由于学生是在教师评分之前生成文章的，学生可能会对自己的想法有些“上头”。它可能会开始胡言乱语或完全错误地写作，因为它的“策略”（思维方式）已经偏离了教师。

为了解决这个问题，论文引入了一种名为**∆-IFD的智能过滤器**。

类比： 想象学生是一位新手厨师，而教师是一位米其林星级厨师。学生做了一堆菜。
- 区域 1（退化区）： 学生做的菜太简单、太奇怪（比如一碗白开水），连教师都觉得太容易，但学生却感到困惑。过滤器会将这些丢弃。
- 区域 2（认知脱节区）： 学生对自己做的菜非常自信，但米其林厨师认为这是垃圾。这很危险，因为学生固执地错了。过滤器会将这些丢弃。
- 区域 3（邻近学习区）： 学生做的菜略高于其技能水平，但教师认为这很好且有帮助。这是学生唯一从中学习的区域。

这个过滤器确保学生只从“金发姑娘”式的例子中学习——不太容易，不太难，也不危险地错误。即使学生和教师不是实时交流，这也能保持训练的稳定。

3. “稀疏更新”（偶尔的重置）

通常，在这些高速装配线上，随着时间的推移，学生的想法可能会偏离教师的风格太远。

修复方案： NPD 不会为了每一秒都同步而停止整个工厂（这太慢了），而是偶尔停止流水线，将学生的“大脑”重置以匹配教师当前的风格。
结果： 论文发现，在整个训练过程中只需进行一两次这样的“重置”，就足以让一切保持正轨，从而节省大量时间。

最终成果：超级学生

论文表明，这种方法不仅让学生训练得更快，而且让他们变得更聪明。

结果： 他们使用这种方法训练了一个拥有 10 亿参数的小模型（一个“微型”AI）。
对比： 这个微型模型在经过 NPD 训练并辅以少量强化学习后，在困难的推理测试中得分68.73%。
令人震惊的是： 它击败了一个更大、更著名的模型（Qwen3-1.7B），该模型拥有 17 亿参数，得分仅为63.69%。

总结

近策略蒸馏就像建立了一条高速工厂，学生从中学习教师的反馈而无需排队等待。它利用智能过滤器剔除糟糕的示例，并通过偶尔的重置让学生保持在正确的轨道上。其结果是一个微小的 AI，它学得更快、成本更低，最终比大得多的模型更聪明。

技术摘要：近策略蒸馏（NPD）

1. 问题陈述

自回归大型语言模型（LLM）的标准知识蒸馏（KD）面临根本性的分布不匹配问题：学生模型在教师强制（teacher-forced）序列上进行训练，但在推理期间生成自回归序列。虽然on-policy 方法（如 GKD、DistiLLM）通过在学生生成的输出（SGOs）上进行训练来缓解这一问题，但它们依赖于计算成本高昂的类强化学习（RL）框架。这些框架需要教师与学生同步推理，导致无法使用序列打包（sequence packing），从而造成 token 利用率低和训练吞吐量慢。相反，标准的监督微调（SFT）支持序列打包，但无法纠正推理时的分布偏移，导致暴露偏差和误差累积。

2. 方法论：近策略蒸馏（NPD）

作者提出了近策略蒸馏（NPD），这是一种旨在将学生生成与训练循环解耦的异步框架。这种重构使得系统能够近似 on-policy 蒸馏的分布匹配优势，同时保留 off-policy SFT 的高吞吐量。

核心架构

NPD 流程包含三个异步阶段：

学生驱动的生成：当前学生模型为提示数据集生成响应。这些序列以高吞吐量批次生成（例如使用 vLLM）。
通过打包并行预填充进行教师标注：与需要同步自回归解码的 on-policy 方法不同，NPD 将多个学生响应拼接成固定长度的序列。教师模型通过并行预填充（prefill）步骤处理这些序列以生成 logits。仅记录前 $k$ 个 logits 以平衡存储与监督质量。
复合优化：学生模型使用带有复合损失函数的标准 SFT 架构进行更新：
$L_{total} = (1 - \lambda) \cdot L_{CE} + \lambda \cdot L_{KD}$
其中 $L_{KD}$ 是仅在教师高置信度预测上计算的 Top- $k$ KL 散度。

解决策略滞后： $\Delta$ -IFD 与稀疏更新

NPD 的异步特性引入了策略滞后，即数据生成策略偏离当前训练策略，可能引入噪声。NPD 通过两种机制应对这一问题：

$\Delta$ -IFD 过滤：一种基于指令遵循难度（IFD）指标的启发式样本选择机制。它计算差异难度： $\Delta IFD = IFD_{Teacher} - IFD_{Student}$ $Δ I F D = I F D_{T e a c h er} - I F D_{S t u d e n t}$ 。
- 退化区（ $\Delta IFD < 0$ ）：拒绝教师比学生更自信的样本（通常是琐碎或无意义的模式）。
- 认知脱节区（ $\Delta IFD > \tau$ ）：拒绝学生自信但教师高度不确定的样本（表明存在严重错误）。
- 邻近学习区（ $0 \le \Delta IFD \le \tau$ ）：仅保留教师确认基础质量且难度差距适中的样本。这确保更新保持在“安全的邻近学习区”内。
稀疏学生更新：为防止生成策略发生显著偏离，学生模型仅定期更新（例如每 10 个 epoch 更新一次），而非连续更新。这最小化了策略同步的计算成本，同时维持“近策略”状态。

与强化学习（RL）的协同作用

NPD 作为后续 RL（如 GRPO）的优越初始化。通过在高质量、经过过滤的数据上 exclusively 训练，学生的概率质量集中在逻辑正确轨迹的流形上。这有效地缩小了后续 RL 阶段的探索空间，使其能够绕过低效的随机探索，专注于细粒度的优化。

3. 主要贡献

NPD 框架：一种异步蒸馏框架，将生成与训练解耦，实现了序列打包，在保留性能优势的同时，相比 on-policy 基线实现了8.1 $\times$ 的加速。
稳定机制：稀疏更新与 $\Delta$ -IFD 过滤机制的集成有效缓解了策略滞后和样本噪声。这防止了噪声主导的梯度，并在经验上稳定了优化轨迹，将 KL 散度保持在 0.10 以下。
RL 初始化：该方法证明，NPD 训练模型为 RL 提供了显著更好的起点，缩小了搜索空间并实现了更高的渐近性能。

4. 实验结果

实验使用 openPangu-Embedded-7B 作为教师模型，openPangu-Embedded-1B 作为学生模型，并与 Qwen2.5-Math 模型进行了比较。

蒸馏性能：在大规模工业数据集（120 万样本）上，NPD 比标准 SFT 高出8.09%，比标准 SeqKD 方法高出 4.83%。
效率：与最先进的 on-policy 方法 DistiLLM-2 相比，NPD 在 GSM8K 和 MATH-500 基准测试上取得了更优的准确率，同时将训练时间减少了8.1 $\times$ （每 epoch 1.48 NPU 小时 vs. 12.00 NPU 小时）。
RL 协同：当用作 GRPO 的初始化时，NPD 模型在 11 个基准测试中取得了**68.73%**的最终平均分。
最先进对比：最终的 openPangu-Embedded-1B-RL 模型（10 亿参数）以**68.73%**的分数优于规模大得多的 Qwen3-1.7B（63.69%）。它还在 GSM8K（87.60%）和 MATH-500（84.76%）上获得了领先分数。

5. 意义与主张

该论文声称，NPD 通过协调高性能 AI 与边缘约束，为无处不在的设备端智能提供了一条可扩展的路径。通过有效缩小后续 RL 的探索空间并实现高效的序列打包，该框架表明，先进的训练和对齐方法比单纯扩大模型规模更具影响力。作者强调，他们的方法降低了训练和部署更好对齐的小型模型的成本，使高能力 LLM 更易于应用于需要低延迟和隐私保护的现实世界部署场景。

该研究结论指出，尽管 NPD 受限于教师的分布，但其通过 $\Delta$ -IFD 过滤系统性错误并通过稀疏更新稳定训练的能力，使其成为自回归模型中高效知识转移的稳健解决方案。