🤖 machine learning

Less is More: Early Stopping Rollout for On-Policy Distillation

本文识别了在线策略蒸馏中的“离线教师衰减”问题，并提出了一种早期停止展开（ESR）策略，该策略将训练限制在初始响应令牌上，经验表明其在效率和稳定性方面优于完整展开方法，并通过“级联对齐”和“子模式承诺”等机制甚至超越了教师性能。

原作者： Zhou Ziheng, Jiaqi Li, Huacong Tang, Ying Nian Wu, Demetri Terzopoulos

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhou Ziheng, Jiaqi Li, Huacong Tang, Ying Nian Wu, Demetri Terzopoulos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《少即是多：在线策略蒸馏的早期停止展开》的解释。

核心理念：别让老师累垮

想象你正在教一个学生（学生 AI）如何通过观察一位大师级老师（教师 AI）来解决一道难题。

在标准方法（称为在线策略蒸馏）中，学生尝试一步步解决问题。每当学生写下一个字或一个数字，老师就会查看学生目前写下的内容，并给出“评分”或关于接下来该写什么的提示。随后，学生尝试模仿老师的风格。

问题所在： 论文发现了这一过程中的一个缺陷，称为**“非策略教师衰退”**。

类比： 想象老师是一位天才厨师。在食谱开始时，老师给出了完美的指导。但随着学生开始烹饪，他们可能会犯一个小错误，或者走上老师从未设想过的奇怪路径。
如果学生持续很久（写一个非常长的故事或解决方案），老师最终会因学生那条奇怪的路径而感到困惑。老师不再像一位大师厨师那样行事，而是开始像一个通用的自动补全工具，只是猜测下一个词以完成句子，而不是纠正学生的逻辑。
等到学生完成长答案的末尾时，老师的建议已不再有帮助；它仅仅是在“填补空白”。

解决方案：“早期停止”规则

作者提出了一种简单的修复方法，称为早期停止展开（ESR）。

类比： 与其让学生写完整篇 10 页的论文并让老师批改每一个字，不如告诉学生：“只写前 3 段，然后停止。”
老师只批改这前 3 段。
神奇之处： 尽管老师从未看到论文的其余部分，但学生从这几段中学到了极好的东西，以至于他们能够独立完成论文的其余部分，而且往往比如果让他们接受整篇论文批改时做得更好。

为什么这有效？（“秘密配方”）

论文研究了为什么早期停止如此有效，并发现了两个主要原因：

1. “多米诺效应”（级联对齐）

类比： 想象故事的前几句话是在搭建舞台。如果你把背景、人物和主要目标设定对了，故事的其余部分自然会顺理成章。
论文发现，回复的前 100 个词元（tokens）通常包含策略（例如，“我需要找出这个三角形的面积”）。回复的其余部分仅仅是执行（做数学题）。
通过仅针对策略（即第一部分）训练学生，学生学会了老师的“思维模式”。一旦策略被锁定，学生自然就能掌握执行过程，而无需被告知每一个步骤。

2. 选择“最佳”路径（子模式承诺）

类比： 有时老师有点优柔寡断。他们可能有两种解决问题的方法：一种冗长啰嗦，另一种简短巧妙。如果你强迫学生复制整个长答案，学生会感到困惑，并试图模仿那种啰嗦。
但如果你只向学生展示开头，学生可能会意识到：“哦，老师是以简短巧妙的方式开始的！”于是学生便致力于这条简短高效的道路。
由于学生没有被强迫去模仿老师冗长啰嗦的结尾，学生最终变得比老师本身更好、更快。

结果：更快、更便宜、更聪明

论文在多种不同任务（数学、编程、函数调用）和不同规模的 AI 模型上测试了这种方法。

性能： “早期停止”方法始终胜过“全长度”方法。在许多情况下，学生 AI 实际上变得比教师 AI 更聪明。
稳定性： 当老师和学生来自不同的“家族”（例如 Qwen 模型教导 Gemma 模型）时，旧方法往往会完全失败（老师变得过于困惑）。而新方法保持稳定且效果良好。
效率： 这是一个巨大的胜利。因为 AI 只生成 100 个词而不是 1000 个词，训练速度快了 24 倍，使用的计算机内存减少了 4 倍。这就像在一个下午就获得了一个学期的学习成果。

总结

论文认为，在 AI 训练中，少即是多。通过提前停止训练过程，仅关注答案的开头，我们避免了让老师感到困惑，节省了大量的时间和金钱，并且往往能培养出比老师更聪明的学生。事实证明，学习最重要的部分是开始，而不是结束。

技术摘要：少即是多：用于在线策略蒸馏的早期停止生成

1. 问题陈述：离线策略教师衰退

本文指出了**在线策略蒸馏（OPD）中的一个关键失效模式。在该范式中，学生模型生成自己的推理轨迹（rollouts），随后由教师模型进行评分，以提供 token 级别的软目标。尽管 OPD 是工业界的主流实践，但作者观察到了一种被称为“离线策略教师衰退”**的现象。

在标准 OPD 中，教师模型在每一个 token 位置 $t$ 对学生生成的内容进行评分。然而，随着学生生成的 token 增多，上下文 $y_{<t}$ 相对于教师的训练分布变得越来越“离线策略”。本文认为，当教师模型基于偏离其自身高概率推理区域的学生生成前缀进行条件化时，其提供校正信号的能力会下降。教师模型不再纠正学生以解决问题，而是退回到预训练行为，实际上充当了学生轨迹的自动补全器。

在 MATH-500 数据集上的实证验证表明，当教师模型从学生生成的 300 个 token 前缀继续生成时，其准确率显著下降（从约 65% 降至约 51%），接近未训练的学生基线性能。这表明，在完整生成 OPD 中，后期位置的 token 评分并非可靠的校正信号，而是反映了教师模型无法从学生的离线策略轨迹中恢复的能力不足。

2. 方法论：早期停止生成（ESR）

为了解决这种衰退，作者提出了早期停止生成（ESR），这是对标准 OPD 循环的最小化修改。

核心机制：学生不再生成完整长度的回复，而是将其生成截断至前 $N$ 个 token（其中 $N \ll T$ ， $T$ 为完整序列长度）。蒸馏损失（反向 KL 散度）仅在此早期窗口上计算。
实现：这仅需在训练循环中修改一行代码。如果学生在位置 $N$ 之前输出了序列结束（EOS）token，生成过程会自然终止。
Token 对齐：对于具有不同分词器的跨家族或跨生成模型对，学生生成的轨迹会被解码为文本，并在教师的分词器下重新编码，以确保损失计算的 token 级别对齐。

3. 主要贡献

本文做出了三项主要贡献：

方法改进：ESR 在多样化的任务（数学、代码、函数调用）、模型规模（1.5B–32B 学生模型，1.7B–72B 教师模型）以及训练范式（LoRA 和全量微调）中，始终优于完整生成 OPD。它在跨家族和跨生成场景中尤为有效，而在这些场景中，完整生成 OPD 经常失效。
效率与稳定性：ESR 大幅降低了计算成本，在墙钟时间上实现了高达24 倍的加速，并将峰值 GPU 内存使用量减少了4 倍。它还提供了显著更高的训练稳定性，避免了完整生成设置中观察到的灾难性失效模式。
机理洞察：作者深入探讨了 ESR 为何有效，识别出三个关键现象：
- 离线策略教师衰退：完整生成失效的根本原因。
- 级联对齐：在早期窗口上的训练改善了未训练后期 token 的对齐。
- 子模式承诺：ESR 允许学生通过承诺教师分布中特定的高质量子模式，从而超越教师性能。

4. 实验结果

作者在综合设置矩阵中评估了 ESR：

性能：在所有测试配置中，ESR 的表现均匹配或优于完整生成 OPD。值得注意的是，在跨家族设置中（例如从 Gemma-2 到 Qwen3），完整生成 OPD 经常失效（性能下降超过 10% 或无法收敛），而 ESR 则持续提升性能。
超越教师：在许多情况下，经 ESR 训练的学生模型性能超过了教师模型本身，这是标准蒸馏中罕见的现象。
对 $N$ 的鲁棒性：该方法在 $N$ 的某个范围内（例如 $N \in [50, 200]$ ）对 $N$ 的选择具有鲁棒性，尽管跨家族模型对 $N$ 的敏感度高于同家族模型。
效率：在 A6000 GPU 上，ESR 将总步长时间从 194 秒（OPD）减少到 8 秒，主要通过消除为评分生成长序列的成本来实现。

5. 机理分析

本文研究了为何将训练限制在早期 token 能产生如此显著的效果：

级联对齐：即使损失仅在最初 $N$ 个 token 上计算，后续未训练 token 上的 KL 散度也下降了 30–40%。作者推测，早期 token 通常包含战略规划和问题构建（例如定义变量、建立几何关系）。一旦学生从教师那里学到了正确的策略，执行过程（后期 token）就会自然跟随，从而在无需直接监督的情况下有效完成。
子模式承诺：反向 KL 散度（ $KL(\pi_s \parallel \pi_t)$ $K L (π_{s} ∥ π_{t})$ ）具有模式寻求特性；它惩罚学生将概率质量放在不支持的 token 上，但不惩罚将概率质量集中在单个受支持的 token 上。
- 教师模型通常冗长且多模态（同时支持简洁和冗长的解决方案）。
- 完整生成 OPD 倾向于平均这些模式，将学生拖向教师的冗长风格。
- ESR 通过截断生成，防止学生被拖入教师的冗长尾部。相反，学生承诺于教师分布中特定的、通常更简洁且正确的子模式。这使得学生有时能超越教师的平均行为。
位置与信号：消融研究表明，仅基于高 KL 散度或高熵选择 token 并不能复制 ESR 的成功。事实上，按 KL 散度选择前 100 个 token 的表现往往不如标准 OPD。这表明位置是 token 选择的一个独立且关键的因素，而不仅仅是信号强度的代理。

6. 意义与主张

本文主张，ESR 为在线策略蒸馏提供了一种“少即是多”的方法。通过将生成限制在初始战略窗口，ESR 减轻了教师信号的退化，提高了训练稳定性，并降低了资源消耗。

作者强调，他们的发现挑战了“更长生成提供更多学习信号”的假设。相反，他们证明在跨模型场景中，后期 token 中由离线策略教师衰退引入的“噪声”超过了额外数据带来的益处。关于学生可以通过子模式承诺超越教师的发现，暗示了一种新的蒸馏路径，其目标不是模仿教师的整个分布，而是提取并承诺其最有效的推理策略。

局限性：作者指出，他们的实验假设学生模型已经是具有基本推理能力的指令微调模型。他们承认，对于从零开始（仅预训练）的模型，全轨迹监督可能仍然是必要的。此外，ESR 在万亿参数模型规模及海量数据预算下的有效性仍然是一个未解之谜。