💬 NLP

SelFusion: Self-distillation for Diffusion Language Models

该论文提出了 SelFusion，一种用于扩散语言模型的创新自蒸馏框架，它通过在困难和容易掩码模式之间进行双向知识蒸馏来动态纠正标记级错误，从而显著提升生成质量，并往往能超越外部教师模型。

原作者： Hyeongsoo Lim, Jinyoung Kim, Eunseo Seo, Minho Jang, Jiwon Yoon

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyeongsoo Lim, Jinyoung Kim, Eunseo Seo, Minho Jang, Jiwon Yoon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，速度与质量之间存在着一种持久的张力。多年来，最强大的语言模型一直依赖于一种被称为“自回归”（autoregression）的方法，即计算机一次生成一个词，通过阅读之前生成的输出内容来决定下一个词。这种顺序处理过程就像一个人在写句子时，每写下一个词之前都要回头看一眼刚才写的每一个词；它虽然可靠且能产生高质量的结果，但本质上很慢。新一代被称为“扩散语言模型”（diffusion language models）的模型试图通过同时生成许多词来解决这一瓶颈。这些模型不是从头到尾地书写句子，而是从一组乱序、隐藏的词块开始，逐渐将它们细化为连贯的响应，就像雕塑家从一块原石中揭示出雕像一样。虽然这种并行方法承诺了近乎瞬时的响应速度，但这些模型在历史上一直难以达到其较慢的顺序型对手那样的清晰度和准确度。

研究人员长期以来一直试图利用一种称为“知识蒸馏”（knowledge distillation）的技术来弥补这一差距，即让一个更小、更快的模型通过模仿一个更大、更准确的“教师”的行为来进行学习。然而，当科学家们将这种标准方法应用于新的扩散模型时，结果却令人失望。试图强迫快速的并行模型去复制缓慢的顺序模型的尝试往往以失败告终，导致输出结果并不比模型自主学习时更好，有时甚至更差。根本问题在于这两种类型的模型对单词的“思考”方式不匹配。慢速模型对自己的选择非常确定，而快速模型则更不确定，并将信心分散在许多可能性之中。试图强迫不确定的模型去模仿确定的模型，就像要求一名学生去模仿一位说着不同语言的老师；学生无法理解底层的逻辑，只能捕捉到表面的噪声。

为了克服这一问题，中央大学（Chung-Ang University）的一个研究小组提出了一种名为 SelFusion 的新方法，该方法完全抛弃了外部教师的概念。系统不再向外部寻求指导，而是通过同时运行两个不同版本的同一任务来进行自我教学。想象一下，一名学生正在参加考试，其中一个版本的试卷有很多问题被隐藏了，迫使学生根据有限的线索进行猜测；而第二个版本的同一份试卷则隐藏的问题较少，提供了更多的上下文。研究人员在单个模型内部创建了这两个“模式”：一个是在许多隐藏词的情况下工作的“困难模式”，以及一个是在较少隐藏词情况下工作的“简单模式”。拥有更多信息的简单模式通常能产生更好的预测，但它并不完美。它有时会变得过度自信，仅仅因为拥有更多上下文，就对错误答案表现出极高的确定性。

这项创新的核心在于系统如何处理这两种模式。研究人员并没有简单地让简单模式去教导困难模式，而是设计了一种动态的双向交换机制。系统会不断检查每种模式对于每个特定单词是否真正正确。如果简单模式是正确的，它就会引导困难模式；如果困难模式在简单模式自信地出错时反而表现正确，那么困难模式就会占据主导地位。这种双向流动确保了模型能够从任何给定时刻最可靠的信号中学习。为了防止简单模式对自己的错误过于固执，研究人员增加了一个微小的校准步骤，通过轻轻降低其在错误时的置信度，确保它不会误导学习过程。整个过程都在单个模型内完成，不需要外部教师，也仅需对模型规模进行极小的扩充。

在各种指令遵循任务的测试中，这种自我教学方法被证明非常有效。经过 SelFusion 训练的模型表现始终优于那些依赖外部教师的方法，无论这些教师是缓慢的高质量模型还是其他扩散模型。在许多情况下，这个自我教学的模型甚至超越了它原本旨在模仿的那些规模更大、速度更慢的模型。例如，在特定的基准测试中，这种新方法取得了比现有的最佳外部教师更高的分数，证明了模型可以通过精炼其内部逻辑，实现超越其初始能力的进化。研究人员发现，这种方法不仅提高了生成文本的质量，还保持了扩散方法的速度优势，为创造快速、高质量的语言工具提供了一条切实可行的路径。

该研究还强调了为什么以往结合这些技术的尝试会失败。通过分析模型的内部运作，团队证实，快速模型与慢速模型在置信度分布上的差异是主要的障碍。慢速模型过于僵化，而快速模型则过于分散，导致直接复制无法奏效。自我蒸馏法之所以成功，是因为它没有试图进行直接复制，而是允许模型在自身的犹豫不决与更具信息量的预测之间找到平衡。这种方法表明，快速语言生成的未来可能并不取决于寻找一个更大、更好的教师，而在于教会模型信任自己最好的直觉，同时保持足够的谦逊以纠正错误。研究结果表明，通过正确的内部框架，并行生成的速度与顺序推理的质量终于可以共存。

技术摘要：SelFusion —— 用于扩散语言模型的自蒸馏技术

问题陈述

扩散语言模型（DLMs）通过利用并行解码机制来缓解推理延迟瓶颈，为自回归（AR）大语言模型（LLMs）提供了一种极具吸引力的替代方案。然而，目前的 DLM 生成质量较差，限制了其在实际中的应用。虽然知识蒸馏（KD）已被证明是提升 LLM 性能的有效策略，但本研究中的经验观察表明，将传统的 KD 应用于 DLM 时，收益微乎其微，甚至会导致性能下降。

研究确定了两个主要的失效模式：

LLM 到 DLM 的蒸馏：AR 教师模型（其为 top-1 token 分配近 100% 的概率）与 DLM 学生模型（其表现出更平坦的分布，例如在 50% 掩码下概率约为 60%）之间存在显著的分布失配。这种失配阻碍了有效的 logits 级知识转移。
DLM 到 DLM 的蒸馏：现有的 DLM 教师模型往往缺乏足够的生成质量来提供有益的监督，且序列级 KD 的性能提升仍然有限。

方法论：SelFusion

为了在不依赖外部教师模型的情况下解决这些挑战，作者提出了 SelFusion，这是一种全新的自蒸馏框架，能够在单个 DLM 内部实现有效的知识蒸馏。

核心架构

SelFusion 利用 DLM 内在的加噪过程，在同一个模型中创建了两种不同的前向模式：

易模式（Easy Mode）：采用较低的掩码率，暴露更多的上下文。该模式预期会产生更准确的预测，并作为“教师”为难模式提供指导。
难模式（Hard Mode）：采用较高的掩码率（遵循原始的随机掩码方案），充当“学生”。

关键组件

双向 KD：
与“易模式总是更优”的假设相反，作者观察到易模式在错误的 token 上可能会表现出过度自信。因此，SelFusion 采用了动态的、token 级的双向蒸馏策略。蒸馏方向 ( $D_t$ ) 通过评估两种模式的正确性和置信度来确定：
- 如果两者都正确：以具有更高概率的模式作为目标。
- 如果两者都错误：以对真实 token 具有更高概率的模式作为目标。
- 如果其中一个正确：正确的模式作为目标。
  这确保了模型在 token 级别学习到最可靠的信号。
基于 RMSNorm 的 Logit 校准：
为了缓解易模式的过度自信问题（即易模式倾向于在错误的预测上也产生尖峰分布），作者在易模式的最终隐藏状态与语言模型头之间插入了一个 RMSNorm 层。该层能选择性地抑制错误预测的置信度，同时保留正确预测的置信度，从而促进更有效的知识转移。
目标函数：
总损失 ( $L_{SelFusion}$ ) 是以下各项的联合优化：
- 难模式的扩散损失 ( $L^{(h)}_{diff}$ )。
- 易模式的扩散损失 ( $L^{(e)}_{diff}$ )。
- 通过温度缩放分布计算的双向 KD 损失 ( $L_{bkd}$ )。

核心贡献

创新的自蒸馏框架：SelFusion 填补了现有 DLM 蒸馏研究的空白（现有研究主要集中在预训练阶段），通过提供一种无需外部教师模型的有效自蒸馏方法，解决了后训练场景下的问题。
双向动态目标选择：引入了 token 级的双向 KD，能够根据正确性动态选择蒸馏方向，克服了固定单向蒸馏的局限性。
过度自信缓解：应用基于 RMSNorm 的 logit 校准专门针对低掩码场景下的过度自信问题，这是稳定自蒸馏的关键因素。
参数效率：该框架仅引入了 1,280 个额外参数（RMSNorm 层），同时消除了训练独立教师模型的计算成本。

实验结果

作者在多个指令遵循基准测试（Dolly, Self-Inst, Vicuna, Sinst, Uinst）上使用 SMDM 架构（472M 和 1476M 参数）对 SelFusion 进行了评估。

性能增益：SelFusion 显著优于所有基线模型，包括使用外部 LLM 和 DLM 教师的传统 logits 级和序列级 KD。
超越教师模型：在许多配置下，使用 SelFusion 训练的学生模型性能超过了 LLM 教师（例如，在 Self-Inst 和 Vicuna 上获得了更高的 ROUGE-L 分数）。
消融实验：移除双向 KD 或 RMSNorm 会导致所有基准测试中的性能一致下降，证实了动态方向选择和 logit 校准的必要性。
效率：虽然 SelFusion 的单次迭代计算量比标准监督微调（SFT）大约多 2 倍，但与需要单独训练教师模型的 KD 方法相比，它减少了约 2 倍的总训练计算量。
推理速度：DLM 保持了相对于 AR 模型的显著速度优势；即使在 32 步扩散的情况下，DLM 也实现了比 LLM 快 1.5 倍的速度。

重要性与主张

论文声称 SelFusion 提供了一条 提升 DLM 生成质量的切实路径。通过将单个模型分解为易模式和难模式，它创建了一个“对学生友好”的教师分布，该分布与学生的学习动态比外部 AR 教师更契合。

作者强调，SelFusion 有效地实现了单模型内的知识转移，克服了跨架构蒸馏固有的分布失配问题。这项工作表明，通过适当的双向逻辑和校准设计，自蒸馏可以弥补 DLM 与 AR 模型之间的性能差距，且无需外部教师模型的开销。

局限性

作者指出了以下几点局限性：

目前可用的 DLM 主干网络有限，限制了在更广泛架构上的验证。
目前的评估仅限于英语指令微调，更广泛的领域和多语言设置留待未来研究。