🤖 machine learning

Self-Distillation Enables Continual Learning

本文介绍了自我蒸馏微调（Self-Distillation Fine-Tuning, SDFT），这是一种利用上下文学习从专家演示中生成策略内（on-policy）训练信号的方法，使基础模型能够在持续获取新技能的同时，与传统的监督微调相比大幅减少灾难性遗忘。

原作者： Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：你最喜欢的电子游戏角色每当你玩游戏时，都能学会一个新的关卡，在掌握新技能的同时，也不会忘记如何跳过旧的障碍。这就是人工智能中“持续学习”（continual learning）的梦想。目前，大多数 AI 模型就像静态的雕像；一旦它们被构建并发布，就无法在不破坏原有知识的情况下学习新事物。如果你试图教一个模型一项新技能，它往往会遭受“灾难性遗忘”（catastrophic forgetting），即它会突然忘记以前擅长做的一切事情。科学家们面临的巨大挑战在于，如何让这些数字大脑像人类一样，在不断成长和学习新技巧的同时，又不丢失原有的个性或能力。

你即将阅读的这篇论文通过引入一种被称为**自我蒸馏微调（Self-Distillation Fine-Tuning, SDFT）**的巧妙新方法来解决这个问题。你可以把它想象成一种利用“自身的另一个版本”来教导 AI 的方法。与其只是死记硬背教科书中的答案（这通常会导致遗忘），不如让 AI 观察一个任务的示例，想象自己是一个刚刚看过该示例的专家，然后尝试教导它的“学生”自我。这个过程被称为“在策略学习”（on-policy learning），它允许 AI 在学习新技能的同时，保护好旧有的技能。研究人员发现，这种方法比标准的 AI 训练方式效果要好得多，它能让单个模型随着时间的推移学习多种新技能，而不会出现性能退化。

问题所在：健忘的学生

想象你是一名数学很棒的学生。有一天，老师给了你一叠关于新学科（比如化学）的练习题。你努力学习，但你的学习方式只是机械地抄袭书后答案，并没有真正理解步骤。当你参加化学考试时，你表现尚可。但当你第二天尝试解一道数学题时，你发现自己竟然忘记了基础代数的运算方法！这就是当今大多数 AI 模型面临的情况。

教导 AI 新事物的标准方法被称为监督微调（Supervised Fine-Tuning, SFT）。这就像学生只是在死记硬背专家演示数据集中的“正确”答案。问题在于这种方法是“离策略”（off-policy）的，这意味着 AI 是在学习它自己并未生成的数据。这就像是在学习一张你从未去过的城市地图。当你实际走在街头（解决新问题）时，你会迷路；而在迷路的过程中，你也忘记了如何导航自己的社区。其结果就是“灾难性遗忘”，即 AI 为了学习特定的新技巧而失去了通用的智能。

解决方案：师生博弈

这篇论文的作者 Idan Shenfeld 及其团队提出了一种更聪明的学习方法，称为自我蒸馏微调（SDFT）。他们不再只是单纯地复制答案，而是使用一场由“同一个”AI 模型同时扮演“教师”和“学生”角色的游戏。

这个神奇的技巧是如何运作的：

设置： 你有一个提示词（问题）和一个演示（一个好的答案示例）。
教师： AI 模型观察问题以及示例。由于它是一个聪明的模型，它利用其“上下文学习”（in-context learning）能力来理解示例，并生成一个完美的、专家级的答案。这就是模型的“教师”版本。
学生： 同一个 AI 模型只观察问题（不看示例），并尝试自己生成答案。这就是“学生”。
教学： 学生试图匹配教师的答案。但关键的区别在于：学生是从自己的尝试中学习，而不仅仅是复制一个静态列表。它生成自己的路径，观察自己相对于教师在哪里出了错，然后进行自我修正。

这就是“在策略”学习。AI 是从它实际采取的路径中学习，就像人类通过摔倒并重新站起来来学习骑自行车，而不是仅仅阅读说明书。

他们的发现：学习而不丢失

研究人员通过两种主要方式测试了这个想法：教导 AI 新技能（如使用工具或回答科学问题）以及教导它新事实（如发生在 AI 最初训练数据截止日期之后的突发新闻事件）。

1. “不遗忘”测试
在一项严苛的实验中，他们让一个模型先后学习三种不同的技能：使用工具、回答科学问题和医学推理。

旧方法 (SFT)： 一旦模型开始学习第二项技能，它在第一项技能上的表现就会崩塌。到它学习第三项技能时，它已经忘记了前两项。这是一个学习与遗忘的循环。
新方法 (SDFT)： 模型学习了第二项技能，然后是第三项，并且保持了对第一项技能越来越强的能力。它不仅是在学习，更是在积累知识。论文表明，SDFT 允许单个模型随着时间的推移堆叠多种技能，而不会出现性能下降。

2. “真实理解”测试
在教导 AI 新事实（例如 2025 年发生的地震细节，该事件发生在其实际训练数据截止之后）时，标准方法 (SFT) 教导模型记忆特定答案。如果提问方式稍有不同，它就会感到困惑。
然而，SDFT 帮助模型真正“理解”了这些事实。当被问及与记忆文本不直接匹配的刁钻问题时，SDFT 几乎 100% 能够答对，而标准方法则表现挣扎。这表明 SDFT 帮助 AI 构建了一个真正的内部知识库，而不仅仅是一个参考指南。

3. “推理”救援
关于擅长“思考”（逐步推理）的 AI，有一个非常酷的发现。有时，当你用简短、简单的答案来训练这些模型时（因为数据本身只有这么短），它们会停止思考并只给出简短回答。它们失去了“思维链”（chain of thought）。
研究人员发现，SDFT 拯救了局面。即使训练数据中只有简短答案，SDFT 方法也保持了模型的推理能力。模型继续产生长篇、深思熟虑的解释，因为它是从一个理解答案“意图”而非仅仅是“文字”的“教师”那里学习的。

规模的重要性

论文还发现，这个技巧在“大脑”更大时效果最好。他们测试了不同规模的模型（30 亿、70 亿和 140 亿参数）。

小模型 (3B) 不够聪明，无法充当优秀的教师；它无法很好地理解示例，因此该方法对其帮助不大。
中型模型 (7B) 表现出了显著进步。
大型模型 (14B) 提升最大，大幅度超越了标准方法。

这表明，随着 AI 模型变得更大、更擅长“上下文学习”（即在运行中理解示例），这种自我教学方法将会变得更加强大。

局限与未来

当然，这其中也有一些权衡。这种方法并非免费的午餐。因为 AI 必须生成自己的答案来学习，所以它的训练成本比标准方法高出约 2.5 倍的计算能力，且耗时约 4 倍。然而，作者认为，从长远来看，这可能会节省时间，因为你不需要为了解决遗忘问题而进行多轮重复训练。

此外，该方法依赖于 AI 本身足够聪明以理解示例。如果模型太小或不够聪明，“教师”就不会太出色，教学也就无法奏效。

最后，这篇论文提出了一个充满希望的前行方向。通过让 AI 模型利用自身更“睿智”的版本作为引导来进行自我教学，我们或许终于能够构建出那种不仅能学习一次，而且能在其生命周期内不断学习、成长和进化的 AI，就像我们人类一样。

技术摘要：自我蒸馏实现持续学习

问题陈述

基础模型目前面临一个根本性的局限：它们在部署后保持静态。虽然它们可以通过提示（prompting）或检索在推理时调整行为，但它们无法更新其参数以获取新技能或内化新知识。核心挑战在于持续学习（continual learning）——使模型能够在不退化现有能力的情况下，随着时间的推移不断学习和改进。

现有的从专家演示（expert demonstrations）中学习的方法（这是替代显式奖励函数的主要手段）依赖于监督微调（SFT）。然而，SFT 本质上是离策（off-policy）的，是在固定的、离线的数据分布上进行训练。这会导致灾难性遗忘（catastrophic forgetting），即适应新任务会导致先前的通用能力发生严重退化。相反，在策学习（on-policy learning）（即在模型自身生成的轨迹上进行训练）已被证明可以减少遗忘并提高泛化能力，但它通常需要显式的奖励函数（强化学习），而这在现实世界场景中往往是无法获得的。

本研究解决的核心问题是：当只有专家演示可用时，我们如何获得在策学习的收益？

方法论：自我蒸馏微调 (SDFT)

作者提出了自我蒸馏微调（Self-Distillation Fine-Tuning, SDFT），这是一种通过利用大型预训练模型的**上下文学习（in-context learning, ICL）**能力，直接从演示中实现在策学习的方法。

核心机制

SDFT 在训练期间利用单个模型扮演两个不同的角色：

教师（Teacher）： 同时以任务输入 ( $x$ ) 和专家演示 ( $c$ ) 为条件的模型。这创建了一个演示感知分布 $Q = \pi(\cdot|x, c)$ 。提示结构旨在鼓励模型理解演示背后的意图，而非仅仅是逐字复制。
学生（Student）： 仅以任务输入 ( $x$ ) 为条件的基座模型，产生分布 $P = \pi(\cdot|x)$ 。

训练目标

学生被训练去匹配由学生自身生成的轨迹上的教师行为（在策）。其目标是最小化学生分布与教师分布之间的反向 KL 散度（reverse KL divergence）：
$\mathcal{L}(\theta) = D_{KL} (\pi_\theta(\cdot|x) \parallel \pi(\cdot|x, c)) = \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} \left[ \log \frac{\pi_\theta(y|x)}{\pi(y|x, c)} \right]$

理论解释

论文通过两个视角来解读 SDFT：

蒸馏（Distillation）： 一个学生-教师框架，其中教师是学生的一个“更聪明”、具备演示感知能力的版本。
逆强化学习（Inverse Reinforcement Learning, IRL）： 作者从数学上证明了 SDFT 等价于最大化一个隐式奖励函数。通过假设以演示为条件的策略近似于最优策略（ $\pi^* \approx \pi(\cdot|x, c)$ ），教师与学生分布之间的对数比值充当了内在奖励信号。这使得模型可以在没有显式奖励函数的情况下进行在策更新。

实际实现

教师参数化： 教师的参数通常是学生参数的指数移动平均（EMA）。
损失函数： 虽然理论推导建议使用反向 KL，但作者发现，在 logit 层级使用**前向 KL（Forward KL）**在实际表现上效果更好。
梯度估计： 损失被分解为 token 级别的损失，在计算梯度时将教师分布视为固定。

核心贡献

新颖框架： 引入了 SDFT，这是一种无需显式奖励推理即可将专家演示转化为在策学习信号的简单方法。
理论等价性： 证明了从演示中进行自我蒸馏在数学上等价于最大化源自模型自身上下文学习能力的隐式奖励函数。
验证 ICL 假设： 通过实证证据表明，以演示为条件的模型可以作为高质量的教师（产生最优输出），同时保持与基座策略接近（最小化偏差），从而满足信任区域正则化的要求。
对数据局限性的鲁棒性： 证明了即使在监督数据缺乏显式思维链（chain-of-thought）轨迹的情况下，SDFT 也能有效地训练推理模型，防止了在仅含答案数据的标准 SFT 中常见的“推理崩溃”现象。

实验结果

作者在两种设置下评估了 SDFT：技能学习（获取新任务）和知识获取（整合新的事实信息）。

1. 技能学习（顺序学习）

任务： 科学问答、工具使用和医学推理。
发现：
- 灾难性遗忘： 在顺序训练实验中（按顺序学习三个技能），SDFT 使单个模型能够在不产生先前任务性能退化的情况下累积技能。相比之下，SFT 表现出严重的干扰，即学习新任务会导致先前技能的快速退化。
- 泛化性： 与 SFT 相比，SDFT 在新任务上实现了更高的准确率，表明具有更好的分布内泛化能力。
- 帕累托效率（Pareto Efficiency）： 与基线（SFT、DFT 和 Re-invoke）相比，SDFT 在新任务准确率与保留先前能力之间始终取得了更优的权衡。

2. 知识获取

设置： 将关于 2025 年自然灾害（训练截止日期后）的事实知识整合到模型中。
发现：
- SDFT 在严格准确率和分布外（间接）问题上均显著优于 SFT 和持续预训练（CPT）。
- SDFT 在间接问题上达到了近乎完美的准确率，这表明新知识被正确地整合到了模型的内部记忆中，而不仅仅是作为特定的答案模式被记忆。

3. 规模与模型大小

对 ICL 的依赖： SDFT 的有效性与模型规模紧密耦合。较小的模型（如 3B）由于上下文学习能力较弱，无法提供有意义的教师信号，表现甚至差于 SFT。较大的模型（7B, 14B）显示出单调提升，其中 14B 模型比 SFT 高出 6.9 个百分点。

4. 推理模型

仅含答案的监督： 当在仅包含最终答案（无思维链）的数据上微调推理模型（Olmo-3-7B-Think）时，标准 SFT 会导致推理深度崩溃（响应变短）并降低准确率。SDFT 则在提高准确率的同时，保留了模型的长思维链行为。

重要性与主张

论文声称，SDFT 建立了以自我蒸馏作为从演示中进行持续学习的实用路径。

克服离策局限性： 该工作证明，只要模型具备足够的上下文学习能力，即使没有显式的奖励函数，也可以实现在策学习的收益（减少遗忘、更好的泛化）。
实际可行性： 虽然由于在策采样（on-policy rollouts）的原因，SDFT 的计算成本较高（与 SFT 相比，FLOPs 约为 2.5 倍，墙钟时间约为 4 倍），但作者认为，这可以通过消除为了缓解遗忘而需要的多阶段训练流水线（例如 SFT 后接 Re-invoke）来抵消。
与 RL 的互补性： 作者将 SDFT 定位为一种补充机制，而非在策强化学习（RL）的替代品。它可以作为后续基于奖励的微调阶段的有效初始化。

论文总结道，SDFT 使基础模型能够不断学习和改进，从而更接近人类在终身过程中积累知识和精炼技能的能力。