💬 NLP

Distribution Corrected Offline Data Distillation for Large Language Models

本文提出了一种原则性的离线推理蒸馏框架，该框架通过校正教师生成前缀与学生生成前缀之间的分布漂移，从而在无需昂贵在线滚动的情况下，提升小型语言模型在复杂数学推理任务上的准确性与稳定性。

原作者： Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图通过观察一位大师厨师（教师）烹饪，来教导一名年轻学徒（学生）如何解决复杂的数学谜题。

问题：“照猫画虎”的陷阱

通常，当我们教导学徒时，我们会给他们看一段大师厨师完美烹饪菜肴的视频。学徒观看视频，并试图完全复制每一个动作。这被称为离线蒸馏。

然而，这种方法存在一个隐藏的缺陷：

在视频中：大师厨师从新鲜食材开始，遵循完美的路径。
在现实中：学徒必须从零开始烹饪。如果他们在早期犯了一个微小的错误（比如切洋葱时稍微切歪了一点），他们就不得不基于这个错误继续烹饪。
结果：因为学徒只被训练去复制那个完美的视频，所以当犯错时，他们不知道如何补救。随着他们尝试解决一个漫长而复杂的问题，他们的小错误会不断累积，最终导致菜肴变得糟糕透顶。这被称为分布漂移。

其他方法试图通过让学徒自行练习烹饪（在线学习）来解决这个问题，但这既缓慢又昂贵，而且学徒在学习过程中往往会做出糟糕的菜肴。

解决方案：“智能教练”（DISCORD）

本文的作者提出了一种名为DISCORD（分布校正蒸馏）的新教学方法。

DISCORD 不再只是告诉学徒“复制视频”，而是像一位智能教练一样，同时观察视频和学徒当前的技能水平。

以下是它如何通过一个简单的类比来运作的：

视频（教师数据）：记录了大师厨师的完美食谱。
技能检查：在教授特定步骤之前，教练会问：“如果学徒现在尝试烹饪这一步，他们做对的概率有多大？”
加权教学：
- 如果这一步是学徒很可能靠自己就能做对的，教练会说：“太好了！仔细观察大师是如何完成这一部分的。这是一个高价值的课程。”
- 如果这一步是学徒不太可能做对的（因为这对他们当前的风格来说太超前或太怪异），教练会说：“不必太担心完美复制这个具体动作。这不是你自己在烹饪风格中可能会遇到的步骤，所以让我们专注于你实际上能够掌握的部分。”

用技术术语来说，论文称之为重加权。它根据学生实际能处理的内容，调整教师指令的重要性。它将学生的注意力集中在教师推理中与其自身“风格”和能力相匹配的部分。

结果：更美味的菜肴，更少的浪费

研究人员在数学问题（如高中竞赛和奥林匹克竞赛中遇到的问题）上测试了这种方法。

更高的准确率：使用 DISCORD 训练的学生比那些盲目模仿教师的学生获得了更多正确答案。
更稳定的思维：即使学生在推理早期犯了一些小错误，他们也没有陷入混乱。他们能更好地保持正轨。
无额外成本：与“自行练习”的方法不同，DISCORD 不需要学生生成数千个额外的练习题。它使用了相同的固定教师视频，但更智能地传授了课程。

核心结论

将 DISCORD 视为连接教师完美逻辑与学生不完美现实的翻译器。它不是强迫学生模仿一条他们无法行走的完美路径，而是突出显示他们能够行走的路径部分，确保他们学到最有用的技能，而不会迷失在他们尚未准备好的细节中。

这使得更小、更便宜的 AI 模型能够在不需要昂贵且耗时的训练过程的情况下，变得在推理方面更加聪明。

技术摘要：面向大语言模型的分布校正离线数据蒸馏

问题陈述

本文解决了将复杂推理能力从大型、强大的“教师”大语言模型（LLM）转移到小型、资源受限的“学生”模型所面临的挑战。虽然离线蒸馏（在教师生成的固定推理轨迹上训练学生）具有样本高效性并提供高质量的监督，但它存在根本性的分布漂移。

在训练期间，学生模型以教师生成的前缀为条件。然而，在推理期间，学生必须自回归地生成自己的前缀。随着学生生成的标记偏离教师的轨迹，它会进入训练数据中代表性不足的标记空间区域。这导致在长推理轨迹中出现累积误差和不可靠的行为，而现有的改进蒸馏目标（例如双向 KL 散度最小化）未能完全解决这一限制，因为它们仍然针对教师提供的分布进行优化。

相反，同策略方法（例如 GRPO、RLHF）通过在自生成数据上训练来缓解这种漂移，但在线采样会带来高昂的计算成本，并且往往在训练早期阶段难以处理低质量的轨迹。

方法论：DISCORD

作者提出了DISCORD（分布校正蒸馏），这是一个原则性的离线框架，在保留教师生成数据效率的同时校正分布不匹配。其核心机制涉及根据学生当前的支持度（即其生成该标记的可能性）自适应地重新加权教师标记的监督信号。

关键技术组件：

学生支持感知的重新加权：
该方法引入密度比来重新加权训练轨迹 $\{x, y \sim \pi_T(x; c)\}$ ：
$\frac{\bar{\pi}_\theta(y|x)}{\bar{\pi}_T(y|x;c)}$
其中 $\pi_\theta$ 是学生模型， $\pi_T$ 是教师模型，上划线表示停止梯度操作。该比率优先考虑学生在推理期间可能遇到的教师标记。
稳定化变换：
直接应用密度比会导致训练不稳定，这是由于无界值以及在长序列上的高方差所致。作者应用了两种稳定化措施：
- Sigmoid 变换：对数密度比通过 Sigmoid 函数 $\sigma(\tau \cdot \log(\dots))$ 传递，将校正映射到有界范围 $(0, 1)$ 内，在保持比率排序的同时防止爆炸。
- 标记级近似：为了减轻长度偏差（即较长序列累积更大的总权重），校正在标记级别应用。对于轨迹中的每个标记 $y_t$ ，权重为：
  $r_t = \sigma\left(\tau \log \frac{\bar{\pi}_\theta(y_t | x; y_{<t})}{\bar{\pi}_T(y_t | x; c; y_{<t})}\right)$
  该权重作为梯度乘数应用于基础目标（例如 SFT 或 KL 散度）的训练中。
解释：
校正权重 $r_t$ （设 $\tau=1$ ）被解释为在假设均匀先验的情况下，标记来自学生分布而非教师分布的后验概率。这将该方法与对比解码原则联系起来，但在训练期间应用这些原则，以优先学习学生能够可靠占据的区域。

主要贡献

原则性的离线框架：DISCORD 是第一种仅使用离线、教师提供的数据就能有效校正师生分布漂移的方法，消除了对昂贵的在线学生滚动的需要。
灵活的集成：标记级重新加权机制与各种离线蒸馏骨干兼容，包括标准的监督微调（SFT）和基于 KL 散度的目标。
稳定化技术：引入 Sigmoid 变换和标记级近似，解决了基于密度比的校正在长序列中固有的方差和不稳定性问题。

实验结果

该方法在数学推理基准（GSM8K、MATH、MATH500）和更具挑战性的保留竞赛风格任务（AMC、AIME、OlympiadBench、Omni-Math）上进行了评估，使用了 Qwen2.5 和 Llama-3.2 模型。

性能提升：DISCORD 在域内和域外（OOD）任务上始终优于强大的离线基线（SFT、ToDi、对称 KL）。例如，在 Qwen2.5-7B $\to$ 3B 蒸馏中，DISCORD 将 MATH500 准确率提高了 4.60 分（相比标准 SFT）和 2.60 分（相比对称 KL）。
对前缀漂移的鲁棒性：使用ExAccErr（分布发散）进行的评估表明，随着前缀长度增加（学生生成的前缀偏离教师），标准 SFT 的性能显著下降，而 DISCORD 保持了稳定的性能，表明累积误差减少。
与在线方法的效率对比：DISCORD 实现了与在线学生滚动方法（如 GKD）相当的性能，但计算成本显著降低。在 7B $\to$ 3B 设置中，DISCORD 仅需3.12 GPU 小时，而 GKD 需要49.56 GPU 小时，且 DISCORD 未使用任何在线学生标记。
推理质量：定性分析显示，DISCORD 生成的轨迹更清晰、更简洁且逻辑更连贯。它减少了常见的失败模式，如重复、答案后的延续以及多个不同的最终答案。关键在于，在“失败恢复”案例中，即使 DISCORD 没有模仿教师表面的格式，它也能保留教师解决方案的底层数学结构。

意义与主张

本文主张，轻量级的、分布校正感知的训练可以在不需要在线交互的情况下显著加强离线推理蒸馏。

弥合差距：这项工作表明，通过智能地重新加权现有的离线数据，而不是生成新数据，可以缩小离线和在线蒸馏方法之间的性能差距。
通用性：虽然实验集中在数学推理上，但作者认为该方法适用于其他长视界生成设置，包括代码生成和科学推理。
实际部署：通过避免在线采样的高计算成本，DISCORD 为在资源受限环境中部署具备推理能力的模型提供了一条可行路径。

作者保持谦逊，指出虽然他们的方法优于之前的离线基线，但由于直接观察学生的滚动分布，像 GKD 这样的在线方法在某些特定的域内基准测试中仍具有优势。然而，DISCORD 在性能和计算效率之间提供了更优越的权衡。