🤖 machine learning

Decoupling KL and Trajectories: A Unified Perspective for SFT, DAgger, Offline RL, and OPD in LLM Distillation

本文提出了一种统一框架，解耦了大语言模型蒸馏中传统上相互耦合的前缀源选择与 KL 散度方向选择，揭示了四种不同的目标，并引入了 KL 混合与熵门控课程等实用技术，以优化推理任务中准确性、多样性与效率之间的权衡。

原作者： Anhao Zhao, Haoran Xin, Yingqi Fan, Junlong Tong, Wenjie Li, Xiaoyu Shen

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Anhao Zhao, Haoran Xin, Yingqi Fan, Junlong Tong, Wenjie Li, Xiaoyu Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位年轻学徒（学生 AI）如何通过观察一位大师厨师（教师 AI）来解开复杂的数学谜题。你分享的这篇论文就是关于如何最有效地举办这堂烹饪课的指南。

长期以来，研究人员认为举办这堂课只有两种方法：

“复制 - 粘贴”法：教师写出一份完美的食谱，学生逐行死记硬背。
“现场实践”法：学生尝试烹饪，教师在他们操作过程中实时纠正。

这篇论文的作者意识到，这两种方法实际上混淆了两种不同的要素：课程来源（前缀来源）和纠正方式（KL 方向）。他们决定将这些要素拆解开来，看看混合搭配它们会发生什么。

以下是简单易懂的分解：

1. 两种要素

论文指出，我们需要关注两个独立的选择：

选择 A：课程从哪里开始？（前缀来源）
- 教师路径：学生通过观察教师预先写好的完美步骤来学习。（就像阅读教科书）。
- 学生路径：学生通过练习自己的步骤来学习，教师针对那些特定步骤进行纠正。（就像教练看着你比赛并指导你）。
选择 B：我们如何衡量错误？（KL 方向）
- “像我一样”法（前向 KL）：教师说：“你必须完全匹配我的概率。”这就像说：“如果我说放盐的概率是 70%，你也必须说是 70%。”这非常严格，试图覆盖教师的所有可能性。
- “别犯错”法（反向 KL）：教师说：“不要选择我认为糟糕的选项。”这就像说：“如果我认为这种食材很糟糕，就不要用。”它专注于避免教师最糟糕的错误，这通常会使学生非常自信，但缺乏创造力。

2. 四种新食谱

通过混合这两种选择，作者发现了四种训练方法，而不仅仅是两种。他们发现，旧的方法只是这四种中的两种特定组合。

食谱 1（教师路径 + “像我一样”）：这是当今许多大公司使用的标准“复制 - 粘贴”方法。它很稳定，但可能过于僵化。
食谱 2（学生路径 + “像我一样”）：这就像教练看着你比赛并纠正你的具体动作。它帮助学生从自己的错误中学习。
食谱 3（教师路径 + “别犯错”）：这是一个新概念。它就像阅读教科书，但只专注于避免教师的糟糕想法。它充当了“安全过滤器”。
食谱 4（学生路径 + “别犯错”）：这就是“现场实践”法。学生尝试，教师说：“别那样做。”这对于快速获得高分非常有效，但有一个隐藏的陷阱。

3. 三大权衡

该论文进行了许多实验（主要在数学问题上），发现了三个主要的“陷阱”或权衡：

“自信 vs. 创造力”陷阱：
如果你使用“别犯错”法（反向 KL），学生在平均获得正确答案方面会变得非常擅长。然而，他们会变得过于自信，停止尝试新事物。他们失去了“多样性”。如果你让他们用十种不同的方式解决一个问题，他们可能会给出十次相同的答案，或者陷入死循环。
- 类比：就像一个学生把答案钥匙背得太熟，以至于想不出解决这个问题的其他方法。
“质量 vs. 成本”陷阱：
如果学生通过自己的路径练习，他们能学得更好，因为他们正在修正自己的具体错误。但这很昂贵，因为计算机必须每次都生成新的答案。
如果学生只是阅读教师的笔记（教师路径），则更便宜、更快，因为笔记已经写好了，但学生可能无法深入理解。
“长 vs. 短”陷阱：
在非常长且复杂的问题（长序列）上训练会使学生更聪明。但是，如果你在长问题上使用“别犯错”法，学生会变得害怕。他们开始写极其冗长、啰嗦的答案，只是为了避免犯错，或者干脆停止思考。
- 类比：就像一个学生，当被要求写一篇大文章时，因为害怕写错字，开始胡言乱语只是为了填满页面。

4. 解决方案：混合与门控

为了解决这些问题，作者提出了两个简单的技巧：

混合食谱（KL 混合）：
与其只选择“像我一样”或“别犯错”，他们建议混合使用它们。
- 修正方法：主要使用“别犯错”以获得高分，但加入一点“像我一样”以保持学生的创造力，防止他们陷入冗长、无聊的循环。这就像告诉学生：“不要用那个糟糕的食材，但也要记住，这道菜有很多好的烹饪方法。”
“熵门控”（长度课程）：
不要一开始就强迫学生练习长而难的问题，而是让他们从短而简单的问题开始。
- 修正方法：只有当学生思维清晰（具有高“熵”或创造力）时，才增加问题的长度。如果学生开始困惑或重复，就停止增加长度。这能保持他们的敏锐度，防止他们写出那些冗长、啰嗦的答案。

结论

这篇论文认为，我们不应该盲目遵循标准的“复制 - 粘贴”或“现场实践”方法。通过理解我们向何处学习和我们如何纠正错误是两件不同的事情，我们可以将它们混合搭配。

最佳策略是平衡：

不要太严格，否则学生会失去创造力。
不要只是模仿教师，否则学生会浪费计算资源。
不要太快进入长问题，否则学生会感到困惑。

通过使用他们的“混合”和“门控”技巧，他们展示了你可以得到一个既聪明、有创造力、高效又稳定的学生。

技术摘要：在大语言模型蒸馏中解耦 KL 散度与轨迹

问题陈述

知识蒸馏已成为大语言模型（LLM）后训练的基石，特别是在推理任务中，常与强化学习（RL）协同使用。然而，蒸馏的设计空间仍缺乏充分理解。当前的流程通常遵循两种范式之一：离线策略蒸馏（在教师生成的轨迹上进行训练，通常通过监督微调实现）或在线策略蒸馏（OPD）（在基于学生生成的 rollout 上进行训练，并辅以教师反馈）。

本文认为，这些主流范式隐含地将两个正交的设计选择耦合在一起：

前缀来源：监督是应用于教师生成的前缀（离线策略）还是学生生成的前缀（在线策略）。
Token 级 KL 方向：目标是最小化前向 KL（ $KL(p_{teacher} \parallel q_{student})$ ）还是反向 KL（ $KL(q_{student} \parallel p_{teacher})$ ）。

传统做法将教师前缀与前向 KL 耦合，将学生前缀与反向 KL 耦合。作者认为，这种耦合在 Token 层面并非固有属性，解耦这两个维度将揭示一个更广阔的设计空间，包含四个有效的目标，每个目标对应不同的学习机制。

方法论

理论框架：解耦维度

作者利用自回归链式法则对序列级 KL 散度进行分解。他们证明：

前向 KL（ $KL(p_T \parallel q_S)$ ）自然地与教师前缀（离线策略）配对，因为期望是相对于教师的轨迹分布计算的。
反向 KL（ $KL(q_S \parallel p_T)$ ）自然地与学生前缀（在线策略）配对，因为期望是相对于学生的轨迹分布计算的。

通过将这两个维度视为独立的，作者定义了四个目标：

教师前缀 + 前向 KL：对应离线策略 SFT（标准蒸馏）。
学生前缀 + 前向 KL：对应 DAgger 风格的在线策略 SFT。
教师前缀 + 反向 KL：对应离线 RL 风格的蒸馏目标。
学生前缀 + 反向 KL：对应在线策略蒸馏（OPD），可视为具有稠密奖励的在线策略 RL。

本文建立了梯度层面的恒等式，表明：

前向 KL产生带有教师软目标的 SFT 风格交叉熵梯度。
反向 KL产生带有由教师 - 学生对数比率定义的稠密奖励（ $r = \log p_T - \log q_S$ ）的 RL 风格策略梯度。

实验设置

作者使用 Qwen3 模型（0.6B 学生模型，4B/8B 教师模型）在数学推理任务上进行了受控研究。他们在两种机制下评估了这四个目标：

独立蒸馏：比较仅使用每个目标训练的模型的最终性能。
蒸馏后 RL：将蒸馏后的检查点作为群相对策略优化（GRPO）的初始化。

他们跟踪了在不同序列长度（128 与 4096 tokens）和基准测试（MATH500, GSM8K, AIME24, AMC23）下的准确率、预测熵和响应长度。

主要贡献

1. 识别三种权衡

实证分析揭示了支配蒸馏设计的三个基本权衡：

准确率 - 熵权衡（KL 方向）：反向 KL 在独立准确率（Avg@k）方面始终表现更好，但会导致预测熵崩溃，降低多样性（Pass@k 较低），并使模型在后续 RL 中变得不稳定。前向 KL 保留了熵，支持更稳定的 RL 改进，尽管初始独立准确率较低。
质量 - 计算权衡（前缀来源）：在匹配训练步数下，学生前缀（在线策略）通过监督学生实际访问的状态，实现了更高的准确率。然而，在匹配 FLOPs 下，教师前缀（离线策略）更具计算效率，因为它们允许重用缓存的教师 logits 和离线轨迹，避免了在线学生生成的成本。
准确率 - 稳定性权衡（训练长度）：长序列蒸馏（4096 tokens）提高了推理准确率，但在反向 KL 下尤其会导致严重的熵崩溃和“长度膨胀”（响应达到生成长度限制）。短序列训练更稳定但准确率较低。

2. 提出的平衡权衡的方法

受这些发现启发，作者提出了两种实用方法：

KL 混合：在每个前缀处对前向和反向 KL 进行加权组合。作者发现，在长序列蒸馏中，前向主导的混合至关重要。它在保留反向 KL 准确率优势的同时，防止熵崩溃和长度膨胀，从而稳定训练动态。
熵门控长度课程：一种训练计划，从短视野开始，仅当预测熵保持在稳定性阈值之上时才增加序列长度。这种方法避免了固定长视野训练相关的熵崩溃。

结果

独立蒸馏

反向 KL在独立准确率（Avg@k）方面通常优于前向 KL，平均提升 +2.45 分。
学生前缀在准确率方面优于教师前缀，特别是在长序列设置中（Avg@k 提升 +3.55）。
熵崩溃：长序列设置中的纯反向 KL 将熵驱动至接近零，并导致响应长度膨胀至最大限制（例如 8192 tokens），从而降低 Pass@k。

蒸馏后 RL（GRPO）

初始化稳定性：使用前向 KL初始化的模型（即使独立准确率较低）在 GRPO 期间表现出更可靠的改进，因为它们保留了更高的熵。
反向 KL 陷阱：使用反向 KL 初始化的模型通常起始准确率更高，但由于熵低和探索能力减弱，在 RL 过程中往往会退化或停滞。
课程成功：熵门控长度课程显著提高了性能。与固定的 4096-token 训练相比，它将Avg@k 提高了 3.6 分，Pass@k 提高了高达 5.8 分，同时将平均响应长度减少了约3 倍（例如，从约 8185 降至约 2688 tokens）。

KL 混合结果

在长序列设置中，具有高前向 KL 权重的混合（例如 0.8 前向 / 0.2 反向）在稳定熵并防止长度膨胀的同时，保留了反向 KL 的大部分准确率。

意义与主张

本文声称提供了一个统一的理论框架，将不同的训练配方（SFT、DAgger、离线 RL、OPD）连接为两个正交设计选择的具体实例。通过解耦前缀来源和 KL 方向，作者认为从业者可以超越僵化的范式，设计推理蒸馏目标，明确平衡：

准确率（通过反向 KL 和长序列），
多样性/探索（通过前向 KL 和熵保留），
计算效率（通过教师前缀/缓存），以及
下游 RL 可训练性（通过稳定的熵）。

提出的方法（KL 混合和熵门控课程）被呈现为应对已识别权衡的实用工具，使得训练更小且既准确又稳定的推理模型成为可能，以便进行进一步策略优化。作者强调，“最佳”的独立目标不一定是 RL 流程的最佳初始化，这凸显了对后训练过程进行整体视角的必要性。