💬 NLP

Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models

本文提出了一种仅用于推理的膨胀去掩码调度器（DUS），该方法将序列位置划分为非相邻组以进行并行去掩码，从而最小化联合熵增益，进而在不降低质量或修改底层去噪器的情况下，使掩码扩散语言模型的文本生成速度提升高达 5.8 倍。

原作者： Omer Luxembourg, Haim Permuter, Eliya Nachmani

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Omer Luxembourg, Haim Permuter, Eliya Nachmani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试拼一幅巨大的拼图，但你不是先看到图案，而是从一个盒子开始，盒子里的每一块拼图都被黑色贴纸覆盖。你的目标是撕掉贴纸，揭示出图案。

在 AI 文本生成的世界里，掩码扩散语言模型（MDLMs） 就是这样工作的。它们从一个每个词都被隐藏（掩码）的句子开始，尝试逐个“解掩码”以重建答案。

问题：“自信”的方法很慢

传统上，这些 AI 模型表现得像一个非常谨慎、自信的人。它们观察拼图，猜测哪一块最有可能是正确的，然后只撕掉那个位置的贴纸。接着它们再次观察，猜测下一个最自信的位置，再撕掉另一张贴纸。

虽然这种方法准确，但极其缓慢。如果你需要揭示 100 个词，你就必须向“猜测机器”（AI 模型）进行 100 次单独的访问。这就像试图用一把小刷子蘸一下油漆罐，刷一平方英寸，再蘸一下刷子，如此反复来粉刷一面墙。

一些研究人员试图通过说：“好吧，让我们直接挑选最自信的 10 个位置，一次性全部解掩码！”来加速这个过程。但这往往适得其反。因为这些 10 个位置是基于置信度选择的，它们通常彼此相邻。同时解掩码相邻的词，就像在不知道它们如何连接的情况下试图粉刷 10 个相邻的方块；AI 往往会感到困惑，犯下错误，不得不回退或产生无意义的结果。

解决方案：“膨胀”策略

本文的作者提出了一种名为膨胀解掩码调度器（DUS） 的新玩法。

将 DUS 想象成不是一个在猜测最佳位置的人，而是一位拥有固定计划的聪明的施工工头。工头不是问 AI“你认为哪个词是对的？”，而是说：“我们将按位置 1、5、9、13……的顺序解掩码单词。”

这里的类比是：
想象你在用灯泡照亮一条长长的黑暗走廊。

旧方法（逐个令牌）： 你打开一个灯泡，等待房间适应，再打开下一个，再等待，依此类推。这花费了太长时间。
“自信”的并行方法： 你观察走廊，发现前 5 个灯泡很容易猜测，所以一次性全部打开。但因为它们都挤在一起，光线不均匀，你错过了更远处的黑暗区域。
DUS 方法： 你使用膨胀调度。
1. 第一轮： 你打开位置 1、5、9、13、17……的灯泡（留下大间隙）。
2. 第二轮： 你填补它们之间的空隙：3、7、11、15……
3. 第三轮： 你填补剩下的小空隙。

为什么这有效

DUS 的魔力在于间距。通过迫使 AI 在早期轮次中揭示彼此相距较远的单词，你避免了“聚集”问题。

独立性： 相距较远的单词彼此依赖程度较低。独立猜测句子的第一个词和最后一个词，比一起猜测第 5 和第 6 个词要容易得多。
构建上下文： 一旦这些广泛分布的单词被揭示，它们就充当了锚点。当 AI 在第二轮回去填补空隙时，它拥有了更丰富的句子“地图”作为参考，使得猜测更加准确。

结果：既快又准

该论文在解决数学问题（GSM8K）、编写代码（HumanEval）和回答常识性问题等困难任务上测试了这种方法。

速度： DUS 允许 AI 在短短几轮（对数时间）内解掩码整个文本块，而不是每个词一轮。这使得速度比旧的缓慢方法提高了高达5.8 倍。
质量： 令人惊讶的是，通过每次解掩码较少的单词但拉开它们的间距，AI 实际上比“自信”的并行方法犯了更少的错误。它不仅变得更快，同时也变得更聪明了。
无需重新训练： 这是一个“即插即用”的升级。你不需要重新训练 AI 模型或改变其“大脑”。你只需要改变它在游戏过程中揭示单词的规则手册。

总结

这篇论文介绍了一个简单的调度技巧：不要先猜最容易的词；先猜分布最分散的词。

通过将文本生成视为一个建设项目，即先搭建远处的支柱，再填充墙壁，AI 可以在不丧失推理、解决数学问题或编写代码能力的情况下，以快得多的速度生成文本。它将一个缓慢的、逐步的过程转变为一个快速的、并行的过程，而无需任何新硬件或模型训练。

技术摘要：加速计划：掩码扩散语言模型的膨胀调度

1. 问题陈述

掩码扩散语言模型（MDLMs）通过支持并行、非自回归的文本生成，为传统自回归（AR）模型提供了一种有前景的替代方案。然而，其推理效率存在一个关键瓶颈。尽管 MDLM 在理论上支持任意顺序的生成，但现有的采样策略往往无法实现这一潜力。

当前方法通常依赖自规划器（self-planners），根据模型置信度或熵来选择要解除掩码的 token。本文指出，这些基于置信度的规划器无意中模仿了自回归行为。通过贪婪地选择最自信的 token（这些 token 通常在空间上相邻），它们忽略了并行解除掩码步骤之间的相互作用。这导致了一个“短视”的过程，模型实际上退化为缓慢的逐 token 生成，生成长度为 $G$ 的序列需要 $O(G)$ 次去噪器调用。

其他策略，如半自回归块扩散，将序列划分为连续的片段，但每个大小为 $B$ 的块仍需 $O(B)$ 次去噪器调用，未能充分利用并行性。此外，近期将解除掩码视为推理时规划问题的工作通常需要外部引导模型或复杂的训练目标，限制了其作为即插即用解决方案的实用性。

2. 方法论：膨胀解除掩码调度器（DUS）

作者提出了膨胀解除掩码调度器（Dilated Unmasking Scheduler, DUS），这是一种纯推理时、模型无关的规划器，旨在最小化每个去噪步骤中的联合熵增益，无需修改底层去噪器或重新训练。

核心概念

DUS 将大小为 $B$ 的序列块划分为非相邻的膨胀组（dilated groups），并并行解除它们的掩码。该调度器基于以下原则：最小化可处理的边际和目标与不可处理的联合熵目标之间的熵隙（ $\Delta$ ），是实现高质量并行采样的关键。

$\Delta(I_t; S_t) = \sum_{i \in I_t} H(X_i | S_t) - H(X_{I_t} | S_t)$

其中 $I_t$ 是步骤 $t$ 解除掩码的索引集合， $S_t$ 是当前状态。当所选 token 条件独立时，该间隙最小。

算法设计

DUS 采用确定性的、由粗到细的调度：

膨胀模式：DUS 不使用模型分数来选择 token，而是使用固定的膨胀模式预定义要解除掩码的索引。
迭代细化：对于大小为 $B$ $B$ 的块，调度器在 $R = \lceil \log_a B \rceil$ $R = ⌈ lo g_{a} B ⌉$ 次迭代中完成该块（其中 $a > 1$ $a > 1$ 为基数，通常为 2）。
- 早期迭代：解除掩码一组稀疏的、间距较宽的 token（大步长 $s_t$ ）。这基于快速混合变长马尔可夫链（VLMC）的假设，减少了同时采样的 token 之间的条件依赖性。
- 后期迭代：随着上下文 $S_t$ 因揭示的邻居而变得更加丰富，以更细的分辨率填补剩余的空隙。
复杂度：该方法将每个块的去噪器调用次数从 $O(B)$ 减少到 $O(\log B)$ ，实现了 $O(\frac{G}{B} \log B)$ 的总复杂度。

理论保证

在快速混合 VLMC 的假设下，本文证明了将索引间距设置为距离 $d$ 会导致它们之间的互信息呈几何级数衰减。因此，间距较宽的 token 的联合条件熵趋近于其各自条件熵之和，从而验证了在并行采样中使用边际熵代理的合理性。

3. 主要贡献

仅推理、模型无关的解码：DUS 是一种“即插即用”策略，无需对模型架构、权重或训练过程进行任何修改。
对数级解除掩码调度：它引入了一种确定性的、由粗到细的膨胀策略，尊重局部上下文，并在 $O(\log B)$ 次迭代中最小化联合熵。
理论分析：作者提供了理论界限，表明在快速混合假设下，DUS 在每次迭代中都能逼近联合熵界限，这与因聚集 token 选择而可能产生巨大熵隙的基线方法形成对比。
互补的混合扩展：本文证明，膨胀间距原则可作为自适应采样器（熵有界和置信度有界）的后过滤器应用，在匹配或适度更高的计算预算下提高其准确性。

4. 实验结果

作者在四个基准类别上评估了 DUS 在五种 MDLM 变体（LLaDA-8B、Dream-7B、DiffuCoder-7B）上的表现：

数学：GSM8K、MATH500
代码：HumanEval、MBPP
通用知识：BBH、MMLU-Pro
指令遵循：IFEval

主要发现

速度 - 准确性权衡：DUS 始终优于传统的基于置信度的规划器。在匹配加速比的情况下，DUS 在数学基准测试上将下游任务准确性提高了高达27%，在代码基准测试上提高了20%。
挂钟时间加速：DUS 在不修改去噪器的情况下，实现了比逐 token MDLM 解码高达5.8 倍的挂钟时间加速。例如，在 LLaDA-8B 的 GSM8K 任务上，DUS（块大小 $B=32$ ）以 5.8 倍的加速比实现了 49.36% 的准确率，而逐 token 基线虽然达到了 72.63% 的准确率，但速度慢得多。
与 AR 的比较：在特定配置下（例如 LLaDA-8B 在 GSM8K 上使用 DUS），该方法比自回归 Llama-3-8B 基线快 5.6 倍，同时保持了具有竞争力的准确性。
鲁棒性：该方法在代码生成和通用知识推理等多样化领域表现良好，验证了膨胀调度即使在可能违反严格快速混合假设的任务上也是有效的。
混合改进：当作为后过滤器应用于自适应采样器（EB/CB）时，膨胀间距通过防止选择紧密聚集的 token 来提高准确性（例如，EB 在 HumanEval 上提升了 13.4%）。

5. 意义与主张

本文声称，DUS 成功解决了掩码扩散模型固有的“质量 - 速度权衡”。与通常会导致性能下降的典型加速方法不同，DUS 既加速了推理，又相对于现有的并行采样策略提升了输出质量。

作者强调，DUS 无需以下操作即可解锁扩散解码固有的并行性：

重新训练模型。
添加辅助规划器模型（如 BERT 引导的规划器）。
修改去噪器的训练目标。

通过将质量 - 速度权衡转化为块大小 $B$ 的确定性、可预测函数，DUS 为部署高效、高质量的掩码扩散语言模型提供了一条实用路径。该方法被呈现为一种与其他效率提升技术（如 KV 缓存）互补的技术，后者通过降低每步成本而非改变解除掩码调度来正交地发挥作用。