💬 NLP

Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed

本文介绍了 Efficient-DLM，这是一个通过采用分块注意力模式和位置相关令牌掩码，将预训练自回归模型转化为高效扩散语言模型的框架，从而在准确性和吞吐量方面优于最先进模型。

原作者： Yonggan Fu, Lexington Whalen, Zhifan Ye, Xin Dong, Shizhe Diao, Jingyu Liu, Chengyue Wu, Hao Zhang, Enze Xie, Song Han, Maksim Khadkevich, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yonggan Fu, Lexington Whalen, Zhifan Ye, Xin Dong, Shizhe Diao, Jingyu Liu, Chengyue Wu, Hao Zhang, Enze Xie, Song Han, Maksim Khadkevich, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Efficient-DLM：从自回归到扩散语言模型，以及在速度上的超越》的通俗解释，辅以日常类比。

全景概览：交通拥堵与高速公路

想象两种写故事的方式：

旧方法（自回归/AR）： 这就像一条单行道。你写一个词，然后写下一个，再写下一个。在第一个词完成之前，你无法写第二个词。这种方式非常准确，但速度很慢，因为你必须为每一个词排队等待。
新方法（扩散/DLM）： 这就像一条多车道高速公路。你可以同时（并行）写很多词。它应该快得多。然而，过去这些“高速公路”颠簸不平、令人困惑，且产出的故事质量往往不如单行道。而且，建造它们（训练）的成本也非常高昂。

问题所在： 科学家们想要高速公路的速度，同时拥有单行道的质量，但他们无法在不从零开始（这需要巨额资金）的情况下构建出这样的系统。

解决方案： 这篇论文的作者发现，如何将现有的高质量“单行道”模型转化为既快速又准确的“高速公路”模型。他们将这个新的模型家族称为Efficient-DLM。

他们是如何做到的：三个关键技巧

该论文确定了实现这一转化必须遵循的三条主要“规则”。

1. “干净上下文”规则（分块法）

旧错误： 之前的尝试试图让模型一次性查看整个句子，甚至包括那些仍然混乱或缺失的部分。这就像试图解决一个拼图，其中一半的拼图块缺失，而你却被允许将空白处视为已填充。这会让模型感到困惑，并使其忘记之前学到的内容。
修正： 作者决定将句子拆分成小的块（就像书中的章节）。
- 模型查看之前的章节，这些章节已经完成且干净。
- 它只尝试修复当前的章节，即混乱的部分。
- 类比： 想象一个施工队。他们不会试图一次性修复整栋建筑。他们会先完成地基和一楼（干净上下文），然后再向上移动去修复二楼（混乱的块）。这保持了结构的稳定性，并允许他们使用“捷径”（称为 KV 缓存）来记住他们已经建造的内容，从而使过程快得多。

2. “无 Token 移位”规则（停止猜测下一步）

旧错误： 在转换旧模型时，研究人员曾让模型去猜测下一个词，就像旧的单行道模型那样。
修正： 作者发现，模型不需要猜测“下一个”词。它只需要修复眼前缺失的词。
类比： 想象你在编辑一份文档。
- 旧方式： 你读一个句子，然后试图预测下一个句子，甚至在你完成当前句子的编辑之前。
- 新方式： 你只需专注于填补当前段落中的空白。事实证明，修复空白比试图预测未来更容易、更准确。

3. “位置相关掩码”规则（从左到右的偏差）

问题： 在模型训练时，它过去是随机隐藏单词（就像抽取彩票号码）。但在模型实际使用（推理）时，它自然地倾向于从左到右完成单词，就像人类阅读一样。这造成了不匹配：训练看起来不像真实的测试。
修正： 作者改变了训练方式，使模型更有可能隐藏块末尾的单词，而不是开头的单词。
类比： 想象一位老师在批改试卷。
- 旧训练： 老师遮盖页面上的随机问题。
- 新训练： 老师意识到学生通常会在某个部分的最后几个问题上卡住。因此，老师专门练习遮盖该部分的末尾。这使模型为现实世界做好了准备，在那里它必须从左到右完成句子。

结果：速度与智慧

遵循这些规则，作者创建了Efficient-DLM家族（规模分别为 15 亿、40 亿和 80 亿参数）。

速度： 它们比现有的最佳模型快得多。例如，他们的 80 亿参数模型比竞争对手"Dream"快4.5 倍，比"Qwen3 4B"快2.7 倍。
准确性： 尽管速度更快，但在数学、编程和推理任务上，它们实际上比被击败的模型更准确。
灵活性： 因为它们可以一次生成多个单词，所以你可以调整它们。如果你需要速度，就一次生成更多单词；如果你需要极高的精度，就一次生成较少单词。这就像拥有一辆可以瞬间在“赛车模式”和“巡航模式”之间切换的汽车。

总结

该论文指出：“我们让一个缓慢但准确的模型学会了在高速公路上奔跑。我们通过将工作组织成干净的块、停止其猜测未来、以及训练其关注句子末尾来实现这一点。结果是一个既比当前最先进模型更快、又更聪明的模型家族。”

他们还指出，由于这些模型可以从两个方向查看文本（双向），它们在理解和搜索及嵌入任务的文本“含义”方面表现出色，超越了旧的单向模型。

以下是论文《Efficient-DLM：从自回归到扩散语言模型，以及速度上的超越》的详细技术总结。

1. 问题陈述

尽管**自回归（AR）**大型语言模型（LLM）实现了最先进的准确率，但它们受限于串行解码瓶颈（一次生成一个 token），这限制了吞吐量和硬件利用率，尤其是在内存受限的场景中。

**扩散语言模型（dLMs）**通过迭代去噪实现并行、非自回归生成，提供了一种有前景的替代方案。然而，现有的 dLM 面临两个关键挑战：

训练效率：从头开始训练 dLM 成本高得令人望而却步，因为它们必须学习所有可能的 token 排列，而 AR 模型仅需学习从左到右的依赖关系。
性能差距：将预训练的 AR 模型转换为 dLM 时，现有方法（通常使用完全双向注意力）会导致显著的准确率下降，并且无法充分利用键值（KV）缓存，导致在实际推理中速度慢于 AR 模型。

这项工作解决的核心问题是：我们如何高效地将预训练的 AR 模型转换为 dLM，在保持高任务准确率的同时实现显著更快的并行生成速度？

2. 方法论：Efficient-DLM 框架

作者提出了一种系统性的方法，通过连续预训练将预训练的 AR 模型转换为高效的 dLM。他们的方法侧重于三个关键支柱：

A. 注意力模式优化

论文指出，注意力模式是 AR 转 dLM 转换中最关键的因素。

完全双向注意力的局限性：现有方法会破坏整个序列，允许所有 token 相互关注。这导致权重相对于原始 AR 模型发生巨大漂移，破坏了因果性，并使得 KV 缓存变得复杂。
提出的解决方案：带干净上下文的块状注意力：
- 块状因果性：序列被划分为块。注意力在块之间是因果的（一个块仅关注前面的块），但在块内部是双向的。
- 干净上下文条件：在训练期间，一个噪声块是基于所有 preceding 块的干净（完全解码）上下文进行条件设定的，而不是基于被破坏的上下文。
- 优势：这种设计模仿了测试时的推理过程（即前面的块已完全解码），最小化了与预训练 AR 模型的权重漂移，并支持原生 KV 缓存。

B. 位置相关的 Token 掩码

作者识别出 token 掩码策略中存在训练 - 测试差距。

差距：现有的 dLM 使用均匀掩码（无论位置如何随机掩码 token）。然而，在使用基于置信度的采样进行推理时，去噪过程自然地表现出从左到右的倾向（随着置信度的建立，token 从左到右依次被解码）。
提出的解决方案：一种位置相关的掩码策略，其中 token 被掩码的概率随着 token 位置向块末尾移动而增加（特别是在低噪声水平下）。
- 这由超参数 $\beta$ （或半衰期比率 $\lambda$ ）控制。
- 目标：迫使模型在训练期间更有效地学习“更难”的情况（块中的后续 token），使训练分布与推理行为保持一致。

C. 训练动态与 Token 偏移

Token 偏移：论文发现，“token 偏移”机制（预测下一个 token 而不是被掩码的 token 本身，这在某些 AR 转 dLM 转换中很常见）是不必要且可能有害的。移除它可以提高准确率。
训练预算：虽然低成本训练（约 100 亿 token）可以恢复大部分 AR 准确率，但延长训练（约 1000 亿 + token）显著改善了似然估计，从而能够在不牺牲准确率的情况下实现更激进的并行解码（更高吞吐量）。

3. 主要贡献

Efficient-DLM 模型家族：发布了一个新的模型家族（15 亿、40 亿、80 亿参数），由 Qwen2.5 和 Qwen3 AR 模型转换而来，其性能优于最先进的 AR 和 dLM 基线。
带干净上下文的块状注意力：一种新颖的训练方案，保留了 AR 权重分布并支持 KV 缓存，解决了准确率与效率之间的权衡问题。
位置相关的掩码：一种弥合训练 - 推理差距的策略，在激进并行解码设置下显著提升了性能。
综合分析：对块大小、注意力模式和训练动态进行了系统性研究，为社区提供了可操作的建议。

4. 实验结果

Efficient-DLM 模型在 12 项任务（数学、编程、推理等）上与最先进的 AR 模型（Qwen3、Llama3.2）和 dLM（Dream、LLaDA）进行了基准测试。

准确率与吞吐量：
- Efficient-DLM 8B 比 Dream 7B 实现了高 5.4% 的准确率，同时吞吐量高出 4.5 倍。
- 与 Qwen3 4B 相比，Efficient-DLM 8B 实现了高 2.7% 的准确率，同时吞吐量高出 2.7 倍。
- 它在准确率上优于 Qwen3 8B，同时提供了显著更好的吞吐量。
灵活性：单个 Efficient-DLM 模型可以通过在推理期间调整置信度阈值，动态平衡准确率和速度，为不同的部署场景提供“一劳永逸”的解决方案。
文本嵌入：由于其双向特性，Efficient-DLM 在文本嵌入任务（MTEB 基准）上显著优于同尺寸的 AR 模型，显示出约 7-10% 的平均提升。
消融研究：
- 从双向注意力切换到带干净上下文的块状注意力，使平均准确率提高了约 19%。
- 在激进并行解码下，添加位置相关的掩码使准确率提高了约 2.6%。

5. 意义与影响

范式转变：这项工作表明，如果转换过程得到正确优化，dLM 可以比 AR 模型更快且更准确。它挑战了 dLM 本质上更慢或准确率更低的观念。
实际部署：通过启用 KV 缓存和并行解码，Efficient-DLM 使得在有限硬件上进行高吞吐量 LLM 推理成为可能，解决了现实应用中的主要瓶颈。
可扩展性：这些发现提供了一个可扩展的配方，用于将现有的大规模 AR 模型（如 Qwen、Llama）转换为高效的 dLM，而无需从头开始训练，极大地降低了采用基于扩散生成的成本。
未来方向：论文指出，dLM 不仅是生成的替代方案，更是需要双向上下文（如嵌入）和规划的任务的更优候选者。

总之，Efficient-DLM 通过精心设计的架构（块状注意力）和训练策略对齐（位置相关的掩码），解决了效率和准确率瓶颈，为扩散语言模型确立了新的最先进水平。