🤖 machine learning

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

本文挑战了在持续后训练中同策略自蒸馏（on-policy self-distillation）是一种更优方法的假设，通过 SDPO 实验证明，虽然它加速了领域内专业化，但由于参数漂移的增加和格式伪影的放大，与同策略强化学习方法相比，它往往会导致更严重的遗忘和模型崩溃。

原作者： Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：为什么“多”并不总是“更好”

想象你正在教一个学生（大语言模型）学习新技能。你希望他能先后学会数学、科学和编程，且在学习新学科时不会忘记之前的知识。

最近，一种被称为**自我蒸馏（Self-Distillation）**的方法成为了“黄金法则”。其理念非常简单：让学生生成一个答案，然后让这个学生本身（扮演老师的角色）对该答案中的每一个词进行实时评分。因为老师会对每一个词都给出反馈（即“密集监督”），这似乎会让学生学得飞快，且永远不会忘记旧课。

但这篇论文说：“等等，事实并非如此。”

作者发现，虽然这种“逐词教学”对于快速掌握某个特定主题非常有效，但在你试图连续教授模型许多不同事物时，它实际上是危险的。它经常会导致模型忘记之前学到的一切，有时甚至会导致模型彻底崩溃。

核心冲突：“狂热者” vs. “稳健的手”

论文对比了两种教学风格：

“逐词纠错”的导师 (SDPO)： 这是自我蒸馏方法。老师看着学生的草稿，并立即纠正其中的每一个词。
- 类比： 想象一位教练在短跑运动员身边奔跑，每走一步就大喊：“左脚移动！不对，再快点！膝盖弯曲！注意手臂动作！”
- 结果： 运动员在跑当前这条特定的赛道时会变得非常快。但如果教练每隔几秒钟就改变一次对技术的看法，或者教练开始模仿运动员自身的错误，运动员就会感到困惑，失去平衡，甚至彻底忘记如何跑步。
“终点线”教练 (GRPO)： 这是传统的强化学习方法。学生跑完整个比赛，教练只在最后给出评分（例如：“做得好，你用了10秒完成”）。
- 类比： 教练让运动员跑自己的比赛。他们不会干预每一个步伐，只对最终结果给出反馈。
- 结果： 运动员进步的速度可能稍慢，但他们会形成一种稳定、自然的风格。当他们切换到一条新赛道（一个新学科）时，不会失去平衡，依然能记得如何跑步。

用比喻解释的关键发现

1. “脆弱的老师”问题

在“逐词纠错”的方法中，老师本身就是模型。论文发现，如果老师更新得太快（试图保持“新鲜感”），就会变得不稳定。

类比： 想象一位既是老师又是学生的老师。如果老师根据学生刚刚说了什么，每5分钟就改变一次对“正确”答案的看法，学生就会感到头痛。学生会开始模仿老师的混乱。
解决方法： 论文发现，老师需要保持稳定。与其让老师不断变化，不如让老师保持一段时间不变，然后进行快速刷新，这样效果更好。

2. 错误的“回音壁”效应

当模型进行逐词自我纠错时，它可能会无意中强化坏习惯。

类比： 想象一个学生在作文里不小心写了一个奇怪的符号（比如一个故障的表情符号）。“逐词纠错”的老师看到了它，认为“哦，这是某种风格”，然后告诉学生再写一遍。学生又写了一遍，老师再次赞扬，很快学生就开始只写这些奇怪的符号了。
结果： 模型发生了“崩溃”。它不再回答问题，而是反复重复格式错误，因为反馈循环将一个微小的错误放大成了一个巨大的习惯。

3. “中间地带”陷阱（遗忘）

论文发现了模型在遗忘方面的一种奇特模式。

类比： 想象你在学习弹钢琴。
- 如果你学习一首与你已知知识非常相似的曲子，你会在这两者上都变得更好。
- 如果你学习一首完全不同的曲子（比如从钢琴转到架子鼓），你的钢琴技巧会保持安全，因为它们差异巨大。
- 危险之处： 如果你学习一首有些相似但规则略有不同的曲子，你的大脑会产生混乱。你会尝试把旧规则应用到新曲子上，结果导致两者的表现都变差了。
发现： “逐词纠错”法擅长处理“非常相似”的任务，但在处理“有些相似”的任务时表现糟糕。它会导致模型忘记那些足够接近以至于会产生干扰、但又不够接近以至于无法提供帮助的旧技能。

4. “漂移”

论文观察了模型内部的“大脑”（参数）发生了什么变化。

类比： “终点线”教练（GRPO）会对运动员的鞋子进行细微且谨慎的调整。而“逐词纠错”教练（SDPO）则是在不断地重建运动员的腿部并改变他们的步幅。
结果： “逐词纠错”法导致模型离原本的自我太远，以至于失去了处理新情况和意外情况的能力。它变成了一个只能在既定框架内思考的专家。

总结

论文得出结论：密集监督（纠正每一个词）是一把双刃剑。

何时奏效： 如果你有一个非常稳定的老师和一个非常明确的任务，它能帮助模型快速实现专业化。
何时失效： 在“持续学习”的情景下（即一个接一个地学习新事物），它过于激进。它会放大噪声，强化格式错误，并导致模型忘记先前的知识。

核心启示： 不要假设给模型更多的反馈（每个词都给反馈）会让它变得更聪明或更稳定。有时，一种更缓慢、更稳健的方法（如“终点线”教练）反而更好。论文警告我们，不要把自我蒸馏视为一种神奇的稳定器；它需要精细的管理，以避免破坏模型。

技术摘要：密度并不等于质量：论在持续性后训练中在线自我蒸馏的局限性

问题陈述

持续性后训练对于使基础模型在获取新领域知识的同时保留现有能力至关重要。虽然近期文献表明，在线强化微调（RFT）比监督微调（SFT）能更好地缓解灾难性遗忘，但一种新的范式——在线自我蒸馏（on-policy self-distillation）已作为一种极具前景的替代方案脱颖而出。这种方法以自我蒸馏策略优化（SDPO）为代表，它将模型生成的采样（rollouts）转化为密集的标记级（token-level）监督，利用模型自身作为教师，并以特权上下文（如解题过程、反馈或演示）为条件进行引导。

本研究旨在解决的核心问题是：在持续学习场景下，对在线自我蒸馏的乐观观点是否依然成立。具体而言，作者调查了 SDPO 是否能继承归功于在线 RL 的保留能力优势，还是说标记级监督的密集性会引入新的失效模式，如不稳定性、干扰和崩溃，从而在应用于连续任务时产生负面影响。

研究方法

本研究采用了一个对比实验框架，将自我蒸馏策略优化（SDPO）与组相对策略优化（GRPO，一种序列级奖励优化方法）进行对比分析。

实验设置：
- 模型： 实验使用了 Qwen3-4B 和 Olmo-3-7B 系列模型。
- 任务： 训练涵盖四个领域：数学（MATH）、科学（SCIENCE）、工具使用（TOOLUSE）和编程（CODING）。
- 评估： 通过分布内基准测试和分布外（OOD）任务（如 AIME、GPQA、BFCLv4、MMLU-R）来衡量性能，以评估专业化程度、保留能力和迁移能力。
- 持续学习设置： 模型按顺序进行训练（MATH → SCIENCE → TOOLUSE → CODING），以模拟持续性后训练。
关键变量：
- 教师稳定性： 作者通过改变教师模型的指数移动平均（EMA）更新率（ $\alpha$ ）来测试“新鲜度”与“时间稳定性”之间的权衡。他们引入了“重启并冻结”（Restart-and-Freeze）策略（StableSDPO）来解耦这些因素。
- 监督密度： 研究对比了标准 SDPO 与蒸馏思维链（CoT）标记的变体，以评估更密集的监督（标记级 vs. 序列级）是否能改善学习。
- 诊断工具： 作者利用奇异值分解（SVD）指标（谱偏移、主角度旋转、掩码重叠）分析参数漂移，并通过嵌入相似度分析响应流形（response manifold）的偏移。此外，他们还通过“过度 KL 漂移”（excess-KL drift）框架进行了理论分析。

核心贡献

本文做出了四个主要贡献：

解耦数据与目标： 作者将数据的来源（在线策略）与训练目标分离。他们证明了虽然在线数据是有益的，但密集的自我蒸馏这一特定目标并不会自动继承序列级在线 RL 的保守更新偏好。
密集信号的脆弱性： 研究表明 SDPO 是一种强大的专业化方法，但在持续学习信号方面却非常脆弱。其有效性高度依赖于教师的稳定性和标记的可靠性。研究揭示了 CoT 蒸馏和快速教师更新会放大噪声和格式化伪影。
持续学习的权衡： 在持续学习设置中，SDPO 变体的保留能力明显弱于 GRPO。遗忘并非均匀发生；它集中在“中等距离”任务上——即那些既足够接近受源域更新影响，又因错位而无法从中受益的任务。
机理诊断： 本文通过以下方式诊断了 SDPO 失效的原因：
- 参数/响应漂移： 与 GRPO 相比，SDPO 诱发了更大的谱偏移和响应流形变化。
- 伪影放大： 存在一个“确认偏差”循环，即格式化伪影（如重复标记）通过教师-学生循环被强化，导致模型崩溃。
- 理论上的过度 KL： 通过证明展示了 SDPO 向特权教师的标记级投影会诱发比基于序列奖励的 KL 极小化投影更高的过度 KL 漂移，从而预测了额外的遗忘。

实验结果

专业化 vs. 保留能力： SDPO 在即时专业化方面表现出色（例如，在 MATH 训练后显著提高 Math500 分数），但在跨领域转换时无法保留能力。在四阶段持续训练序列中，使用快速更新教师（ $\alpha=5\%$ ）的 SDPO 性能几乎崩溃至零，而 GRPO 则在所有领域中维持并提升了能力。
教师稳定性： 不存在全局最优的单一 EMA 率。快速更新（ $\alpha=5\%$ ）往往因时间不稳定性而导致性能下降。“重启并冻结”策略的表现显著优于连续 EMA，这表明稳定的周期性教师更新至关重要。
CoT 蒸馏： 蒸馏 CoT 标记能提升在结构化、短路径任务（工具使用）上的表现，但会损害在长路径、高噪声推理任务（数学、科学）上的表现，因为中间标记往往包含会稀释信用分配（credit assignment）的伪影或冗余自检。
中等距离干扰： OOD 泛化遵循非单调模式。非常接近训练领域或非常远离训练领域的任务通常会被保留或提升。然而，处于中等距离的任务受到的遗忘最为严重，这一现象与线性模型中的干扰理论一致。
崩溃模式： 研究识别出一种特定的失效模式，即模型崩溃为重复格式化标记（如 \boxed）。这归因于密集自我蒸馏中高频伪影的自我强化循环。

意义与主张

本文得出结论：在线自我蒸馏并非持续性后训练的默认稳定器。虽然当教师目标稳定且标记级监督可靠时，它能提供强大的专业化信号，但也引入了权衡：更密集的监督增强了局部学习信号，但也增加了对噪声、领域失配和累积伪影的敏感性。

作者认为，“密度越高越好”的直觉在持续学习语境下是错误的。与 GRPO 等采取保守适应并保留先前能力的序列级方法不同，SDPO 激进的标记级更新会导致灾难性遗忘和模型崩溃。论文指出，在线自我蒸馏在持续学习中的未来不在于增加信号密度，而在于通过标记加权、教师控制和数据平衡来保护信号，以确保稳定性和对伪影的感知。