💬 NLP

Why Diffusion Language Models Struggle with Truly Parallel (Non-Autoregressive) Decoding?

该论文指出扩散语言模型因训练数据与目标不匹配而退化为自回归解码，并提出了 NAP 方法，通过构建独立推理轨迹的数据策略和并行强制解码，成功实现了更高效的非自回归并行生成。

原作者： Pengxiang Li, Dilxat Muhtar, Tianlong Chen, Lu Yin, Shiwei Liu

发布于 2026-03-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengxiang Li, Dilxat Muhtar, Tianlong Chen, Lu Yin, Shiwei Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：为什么现在的“扩散语言模型”（DLM）明明号称可以“并行”（同时）生成文字，但实际上却总是像老式的“自回归”模型那样，一个字一个字地按顺序写？

为了让你轻松理解，我们可以把生成文章的过程想象成**“写小说”或“盖房子”**。

1. 核心矛盾：想“齐头并进”，却被迫“排长队”

理想情况（真正的并行）：
想象你有一支由 100 个作家组成的团队。你给他们一个题目，他们同时动笔，每个人负责写故事的不同部分，最后大家把稿子拼起来。这就是并行生成，速度极快，因为大家不用等别人写完。
- 扩散模型（DLM）的初衷就是做这个： 它理论上可以一次性把整篇文章的草稿都“去噪”出来，不需要等前一个字写完再写后一个字。
现实情况（自回归的陷阱）：
虽然这支团队有 100 个人，但奇怪的是，他们最后写出来的故事，依然是一个字接一个字地按顺序出现的。就像 100 个人其实只排成了一个长队，第一个人写完，第二个人才能动笔。
- 论文发现： 现在的 DLM 虽然架构允许“并行”，但在实际使用时，它们还是退化成了“排队模式”。

2. 为什么会这样？（罪魁祸首：训练数据）

论文作者认为，问题不出在模型本身，而出在**“教材”（训练数据）**上。

比喻：错误的“教学大纲”
想象一下，你教一群学生（模型）写故事。你给他们的教材（训练数据）全是**“按时间顺序写”**的故事：先写开头，再写中间，最后写结尾。
- 哪怕你告诉学生：“你们可以随便写，不用按顺序！”
- 但因为教材里全是“先...然后...最后..."的套路，学生们的大脑就被**“洗脑”*了。他们潜意识里觉得：“写故事肯定得按顺序来，不然逻辑就乱了。”*
- 结论： 只要教材是“按顺序”的，模型就会学会“按顺序”思考。这就是论文说的**“数据与目标的错配”**。
长链条推理（CoT）的副作用：
现在的模型为了变聪明，会学习“思维链”（Chain-of-Thought），即一步步推导。但这就像教学生解数学题时，必须把步骤 1、2、3、4 按顺序写下来。模型学久了，就认为**“思考”本身就是一条单行道**，必须一步一步走，不能同时走好几条路。

3. 作者提出的解决方案：NAP（非自回归并行模型）

为了解决这个问题，作者提出了一个叫 NAP 的新方法。我们可以把它想象成**“多线并行的头脑风暴”**。

改变“教材”（数据重构）：
作者不再给模型看“单一线性”的故事，而是给它们看**“多版本草稿”**。
- 比喻： 以前是给学生看一本写好的书。现在，作者让学生看三个不同人写的同一道题的解法：
  - 解法 A：先算加法，再算乘法。
  - 解法 B：先画个图，再列公式。
  - 解法 C：先猜个答案，再验证（虽然错了，但也展示了过程）。
- 最后，再给一个**“总结”**，告诉学生哪个解法是对的。
- 这样，模型就学会了：“原来解决一个问题，可以有多条路同时走，不一定非要死守一条线。”
改变“考试规则”（并行强制解码）：
在模型生成答案时，作者强制它同时生成这几条不同的思路，而不是等一条路走通了再走下一条。
- 比喻： 就像让那 100 个作家真的同时动笔，每个人负责不同的段落，最后再拼成一个完整的故事。

4. 效果如何？

在“慢速”模式下（步骤多）： 新方法和老方法差不多，都能写出好文章。
在“极速”模式下（步骤少，要求并行度高）： 旧方法（老教材）直接崩盘，因为一旦要求它“同时写”，它就乱了套，逻辑全错。而新方法（NAP）因为平时就练的是“多线并行”，所以在速度极快的时候，依然能保持很高的准确率。

总结

这篇论文告诉我们一个深刻的道理：

如果你想让 AI 跑得更快（并行生成），光换“跑鞋”（算法架构）是不够的，还得换“跑道”（训练数据）。

如果训练数据里全是“排队走路”的规矩，AI 就学不会“齐头并进”。只有给 AI 提供**“多线程思考”的教材，并强制它练习“多路并行”**的写法，它才能真正发挥扩散模型“瞬间生成”的潜力。

一句话概括： 别怪模型笨，是教它的书太“按部就班”了；换个“多线程”的教法，它就能真正起飞。

1. 研究背景与核心问题 (Problem)

背景：
扩散语言模型（Diffusion Language Models, DLMs）理论上能够通过迭代去噪实现并行 Token 生成，从而突破传统自回归（Autoregressive, AR）模型“逐个生成”的串行瓶颈，显著降低推理延迟并更好地利用并行硬件。

核心问题：
尽管 DLMs 宣称支持并行解码，但现有的“快速”DLM 在实际应用中往往退化为**类自回归（AR-like）**的生成模式。

现象： 即使模型架构支持双向上下文和任意顺序更新，解码动态仍倾向于从左到右（Left-to-Right）的串行生成。
后果： 这种“伪并行”导致 DLM 无法真正消除 AR 的串行关键路径，无法充分利用分布式硬件，且延迟随输出长度线性增长。
现有尝试的局限： 强行通过随机化解码顺序来降低 AR 倾向，往往会导致推理能力（如数学解题）急剧下降。

核心假设：
作者认为，造成这一现象的根本原因在于训练目标与训练数据之间的不匹配。现有的 DLM 训练数据（如标准预训练语料和长思维链 CoT 数据）具有极强的内在序列依赖性（Sequential Dependence）。模型在学习去噪过程中，内化了“推理必须按顺序进行”的隐式偏见，导致其即使在并行解码策略下，也倾向于重建串行路径。

2. 方法论：NAP (Non-Autoregressive Parallel DLMs)

为了解决上述问题，作者提出了 NAP 框架，这是一种**数据与解码协同设计（Data-Decoding Co-design）**的方法。

2.1 数据策展 (Data Curation)

传统的 CoT 数据是单条线性的推理链，强化了顺序依赖。NAP 重新构建了训练数据格式：

并行推理轨迹： 对于每个问题，利用教师模型生成 $P$ 条独立的推理轨迹（Reasoning Trajectories）。这些轨迹包含不同的解题思路、逻辑顺序，甚至包含错误的尝试（噪声）。
聚合与总结： 将多条并行轨迹与最终的正确答案（Summary）组合成单个训练样本。
目的： 这种格式消除了“特权 Token 顺序”（Privileged Token Order），迫使模型学习如何从多条并行路径中识别有效信息并聚合结果，而非依赖前一个 Token 来预测下一个。

2.2 并行强制解码策略 (Parallel-Forced Decoding)

为了配合上述数据，NAP 设计了一种结构化的解码画布（Decoding Canvas）：

结构化输出： 定义包含 $m$ 个独立推理块（ $R^{(1)} \dots R^{(m)}$ ）和一个总结块（ $S$ ）的输出格式。
宏观并行（Macro-Parallel）： 在每一步去噪中，强制将去噪预算（Unmasking budget）均匀分配给所有 $m$ 个推理块。这防止了模型先稳定上游路径再处理下游路径的串行行为。
微观置信度更新（Micro-Confidence）： 在每个独立的推理块内部，基于置信度选择去噪 Token，不强制局部从左到右的顺序。
效果： 确保全局过程是并行的（同时演化多条轨迹），同时保留局部生成的灵活性。

3. 关键发现与实验结果 (Key Findings & Results)

作者首先对现有 DLM 进行了系统性分析，验证了假设，随后在数学推理基准上验证了 NAP 的有效性。

3.1 现有 DLM 的局限性分析

训练数据的序列依赖性（SeqDep）： 测量显示，FineWeb 和 OpenR1-Math 等数据集具有极高的序列依赖性，后续 Token 高度依赖前文。
解码时的 AR 倾向： 即使使用任意顺序（Arbitrary Order, AO）解码策略，LLaDA 和 Dream 等模型仍表现出极高的 ARness 分数（接近 1.0），即实际上仍按从左到右生成。
性能与 AR 性的权衡： 强行使用随机解码（Random Decoding）虽然降低了 ARness，但导致数学推理准确率崩溃。
长 CoT 监督加剧 AR 性： 在长思维链数据上进行微调（SFT）会进一步增加 ARness，使模型更依赖串行路径。
现有加速方法的本质： 现有的“快速”DLM 方法（如 Fast-dLLM）实际上是通过加速串行关键路径来提升速度，而非消除串行瓶颈。

3.2 NAP 的实验结果

在 GSM8K、MATH-500 和 GPQA 等基准测试中，NAP 表现出显著优势：

并行解码下的性能提升： 在低步数（高并行度，如 256 步，每步生成 4 个 Token）场景下，NAP 显著优于基于标准长 CoT 训练的基线模型。
- 案例： 在 GSM8K 上，Dream-7B 使用 NAP 在 256 步时达到 60.9% 准确率，而标准长 CoT 模型仅为 46.5%。
并行度越高，优势越大： 随着并行度增加（步数减少），NAP 与基线的性能差距扩大（从 +5.6% 扩大到 +14.4%），证明 NAP 真正适应了非自回归的并行动态。
ARness 降低： 可视化显示，NAP 的解码动态打破了单一的左到右对角线模式，呈现出多条并行的推理轨迹。
消融实验：
- 仅改变解码策略而不改变数据，性能会下降。
- 仅改变数据而不使用并行强制解码，效果不如两者结合。
- 增加并行路径数量（ $m$ ）能带来持续的准确率提升（集成效应）。

4. 主要贡献 (Key Contributions)

诊断了 DLM 并行失败的根源： 明确指出训练数据（特别是长 CoT 数据）的强序列依赖性是导致 DLM 退化为类自回归生成的主要原因，而非模型架构或解码算法本身的缺陷。
提出了 NAP 框架： 首次系统性地展示了通过数据策展（生成并行推理轨迹）与解码策略（并行强制更新）的协同设计，可以有效解耦推理能力与生成顺序。
实证了非自回归生成的可行性： 证明了在数学推理任务中，通过重新设计监督信号，DLM 可以在保持高准确率的同时，实现真正的并行生成，且在高并行度下性能优于传统串行方法。
开源代码与基准： 提供了相关代码，为后续研究非自回归语言模型的数据中心方法（Data-Centric Approach）提供了基础。

5. 意义与展望 (Significance)

理论意义： 挑战了“推理必须串行”的固有认知，表明推理能力可以通过并行轨迹的聚合来习得，而非必须依赖线性链。
工程价值： 为降低大模型推理延迟、提升硬件利用率提供了新的方向。如果 DLM 能真正实现并行解码，将大幅减少推理成本，特别是在长文本生成场景下。
未来方向： 作者指出当前 NAP 主要基于微调（Post-training）和小规模数据。未来的工作应探索在预训练阶段引入非序列化的并行数据结构，以从根本上消除自回归瓶颈，彻底释放 DLM 的并行潜力。

总结： 这篇论文不仅揭示了 DLM 难以实现真正并行的原因（数据偏差），更提供了一套行之有效的解决方案（NAP），证明了通过“数据 + 解码”的协同重构，可以打破自回归的桎梏，实现高效的非自回归并行生成。