💬 NLP

Beyond Masks: Efficient, Flexible Diffusion Language Models via Deletion-Insertion Processes

本文提出了删除 - 插入扩散语言模型（DID），通过用离散扩散过程替代传统的掩码机制，在无需超参数调整的情况下显著提升了训练与推理效率，并原生支持变长序列生成及动态自校正功能。

原作者： Fangyu Ding, Ding Ding, Sijin Chen, Kaibo Wang, Peng Xu, Zijin Feng, Haoli Bai, Kai Han, Youliang Yan, Binhang Yuan, Jiacheng Sun

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fangyu Ding, Ding Ding, Sijin Chen, Kaibo Wang, Peng Xu, Zijin Feng, Haoli Bai, Kai Han, Youliang Yan, Binhang Yuan, Jiacheng Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 DID (Deletion-Insertion Diffusion，删除 - 插入扩散) 的新型语言模型。为了让你轻松理解，我们可以把现有的语言模型生成文字的过程，想象成两种不同的“修补衣服”或“拼图”游戏。

1. 旧方法：戴着“面具”的修补工 (MDLMs)

以前的扩散语言模型（MDLMs）就像是一个戴着面具的修补工。

怎么工作？ 想象你有一件完整的衣服（一句话）。修补工先把衣服上的所有扣子都扣上，或者把整块布都盖上一块写着“未知”的****（面具）布。
怎么生成？ 然后，修补工开始一块一块地揭开这些面具，猜出下面应该是什么扣子或布料，直到衣服恢复原样。
有什么缺点？
1. 浪费体力： 即使衣服已经修好了，修补工还得盯着那些还没揭开的“面具”看，或者为了凑齐衣服的长度，不得不硬塞进很多没用的****（填充）布料。这就像为了做一件小衣服，却必须用一块巨大的桌布来垫着，非常浪费时间和算力。
2. 死板： 一旦修补工揭开了一块面具，那块布料的位置就固定了。如果后来发现这块布料放错了位置（比如把“苹果”放到了“香蕉”后面），他就很难调整，只能硬着头皮继续，导致错误越积越多。

2. 新方法：灵活的“剪贴”大师 (DID)

这篇论文提出的 DID 模型，则像是一个灵活的“剪贴”大师。他不再使用面具，而是直接对布料进行**“剪掉”和“插入”**的操作。

核心玩法：

正向过程（剪掉）： 想象你有一篇完整的文章。DID 的第一步不是盖面具，而是把文章里的字一个个剪掉，直到文章变成空白的（只剩一个开始标记）。这就像把衣服拆成零散的线头。
反向过程（插入）： 生成时，DID 从一张白纸开始，把字一个个“插”进去。
- 它不是按顺序从左到右写，而是像玩积木一样，可以在句子的开头、中间、结尾任何地方插入新词。
- 比喻： 就像你在写故事时，先写了一个开头，发现中间缺了个形容词，就插进去；后来发现结尾太短，又在后面加了一句。

DID 的三大绝招：

拒绝浪费（高效）：
- 旧方法要处理那些没用的“面具”和“填充布”，DID 直接把它们扔掉了。
- 比喻： 旧方法像是在大桌子上拼小拼图，周围全是空地；DID 则是直接把拼图放在手里拼，没有空地浪费。这使得训练和生成速度快了很多（论文数据显示快了近 2 倍到 4 倍）。
天生灵活（可变长度）：
- 旧方法必须把句子强行凑成一样长（比如都凑成 100 个字，不够的补空格）。
- DID 不需要。它想写多长就写多长，想写短就写短。
- 比喻： 旧方法像是要把不同长度的面条都切成一样长再煮；DID 则是想煮多长就煮多长，想加多少根面条就加多少根。
自我纠错（动态调整）：
- 这是最酷的一点。因为 DID 是“插入”式的，如果它发现刚才插进去的词位置不对，它可以在下一步把新词插到旧词的前面或后面，从而调整整个句子的结构。
- 比喻： 旧方法像是一列火车，一旦车头开错了方向，后面的车厢很难掉头；DID 则像是一群灵活的蜜蜂，发现花蜜位置不对，可以随时调整飞行路线，重新排列队形。

3. 论文是怎么做到的？（简单的技术解释）

为了让这个“剪贴大师”学会怎么插字，作者设计了一套特殊的**“计分系统”**：

模型会计算：如果在句子的第 3 个词后面插入“苹果”，这个动作的“得分”是多少？
为了算出这个得分，作者发明了一种**“动态规划”**算法（一种聪明的数学计算方法），能飞快地算出各种插入可能性的概率，而不需要笨拙地一个个试。

总结

这篇论文的核心思想就是：别再用“遮遮掩掩”（Mask）的方式做语言模型了，直接“剪剪贴贴”（Delete-Insert）更聪明、更快速、更灵活。

对普通用户意味着什么？ 未来的 AI 写文章会更快，而且能更自然地处理长短不一的内容，甚至能像人一样在写作过程中灵活调整语序，而不是死板地按顺序堆砌文字。
对开发者意味着什么？ 省下了大量的计算资源（省钱、省电），同时生成的文本质量更高。

简单来说，DID 让 AI 从“填字游戏”玩家，进化成了真正的“创意作家”。

这是一篇关于**去掩码扩散语言模型（Deletion-Insertion Diffusion Language Models, DID）**的论文技术总结。该论文提出了一种新的离散扩散范式，旨在解决当前基于掩码（Masked Diffusion Language Models, MDLMs）的语言模型在计算效率和生成灵活性方面的局限性。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现有的扩散语言模型（DLMs），特别是掩码扩散语言模型（MDLMs），虽然展示了双向上下文建模和并行解码的潜力，但存在两个主要瓶颈：

计算效率低下：
- 令牌开销：MDLMs 在训练和推理过程中，必须处理大量无信息的 <MASK> 令牌。在典型的对数线性噪声调度下，约有一半的浮点运算量（FLOPs）浪费在这些非信息性令牌上。
- 令牌开销：为了处理变长序列，MDLMs 通常需要将序列填充（Padding）到固定长度。这引入了大量的 <PAD> 令牌，进一步增加了无效计算，导致生成短序列并不比生成短序列快。
生成灵活性受限：
- 固定长度限制：MDLMs 通常要求固定序列长度，难以原生支持变长数据。
- 缺乏自修正机制：在 MDLMs 的去掩码过程中，一旦令牌被“揭示”（unmasked），其内容和位置即被固定。如果早期步骤出现错误，模型无法像自回归模型那样通过后续步骤动态调整位置来修正，导致误差累积。

2. 方法论 (Methodology)

作者提出了DID（Deletion-Insertion Diffusion），用**删除（Deletion）和插入（Insertion）**过程取代了传统的掩码和去掩码过程。

2.1 核心流程

前向过程（Forward Process）：从完整序列开始，通过独立的令牌级删除过程，逐步将序列中的令牌删除，直到序列变为空（仅保留不可删除的 <BOS> 标记）。这是一个连续时间马尔可夫链（CTMC）。
反向过程（Backward Process）：从空序列（<BOS>）开始，通过插入操作，逐步将令牌插入到序列的不同位置，直到重建完整序列。

2.2 训练目标：去噪插入分数熵 (DISE)

为了训练 DID，作者推导了基于分数的训练目标：

插入分数（Insertion Score）：定义了在给定时间 $t$ 和当前序列 $x_t$ 下，在位置 $i$ 插入令牌 $v$ 的概率分数 $\bar{s}(x_t, t)[i, v]$ 。
DISE 目标：基于去噪分数熵（DSE）推导出的变分上界。目标函数涉及计算子序列计数（Subsequence Counting）的比率，即 $N(\text{Ins}(x_t, i, v), x_0) / N(x_t, x_0)$ 。
固定长度优化 (DICE)：在固定长度设置下，利用序列长度的不变性，推导出更简化的**去噪插入交叉熵（DICE）**目标。该目标类似于加权交叉熵，且网络输出可以显式归一化，无需时间 $t$ 作为输入，进一步减少了参数并提升了效率。

2.3 高效实现：并行动态规划

计算子序列计数比率是训练的主要瓶颈。作者提出了一种**并行动态规划（Parallel Dynamic Programming）**算法：

利用前缀 DP 和后缀 DP 的结果，通过一次前向和一次后向扫描，即可高效计算出所有可能插入操作对应的子序列计数比率。
将时间复杂度从 $O(mn^2V)$ 降低到 $O(mn)$，使得 DID 的训练在实际中可行。
为了解决数值溢出问题，算法在 Log 域（Log-domain）中实现。

3. 主要贡献 (Key Contributions)

提出 DID 范式：首次将扩散语言模型建立在删除 - 插入过程之上，彻底消除了 <MASK> 和 <PAD> 令牌的使用，显著提升了计算效率。
理论推导与训练目标：在连续时间离散扩散框架下严格形式化了删除和插入过程，推导了 DISE 目标，并针对固定长度场景提出了简化的 DICE 目标。
高效算法：设计了并行动态规划算法，解决了子序列计数问题的计算瓶颈，实现了高效的训练目标计算。
原生变长支持：DID 原生支持变长序列，无需填充，且具备内在的自修正机制（通过插入操作动态调整令牌位置），解决了 MDLMs 的误差累积问题。

4. 实验结果 (Results)

作者在固定长度和变长设置下进行了广泛实验，对比基线包括 RADD（MDLM 基线）和 ILM（插入式语言模型）。

固定长度建模：
- 性能：在相同的计算预算（FLOPs）下，DID（DICE 训练）在多个数据集（WikiText, Lambada 等）上的零样本困惑度（Perplexity）优于 RADD。
- 速度：训练速度提升 1.89x - 1.99x，推理速度提升 1.50x - 1.58x。
变长建模：
- 性能：在 Stories 数据集上，DID 的生成质量（PPL）显著优于 RADD 和 ILM，且生成长度分布与真实数据分布高度一致（CDF 曲线对齐）。
- 速度：由于避免了 <PAD> 和 <MASK> 的计算，变长场景下的推理速度提升高达 3.79x，训练速度提升高达 3.42x。
生成质量：DID 在少步数（Few-step）采样下表现出更强的自修正能力，生成的文本连贯性更好，且具备更好的核采样（Nucleus Sampling）效果。

5. 意义与影响 (Significance)

效率革命：DID 通过消除无意义的 <MASK> 和 <PAD> 计算，将扩散语言模型的训练和推理效率提升到了接近自回归模型的水平，甚至更快，使其更具实用性。
灵活性突破：原生支持变长序列和动态位置调整，解决了扩散模型在生成长度控制和错误修正方面的长期痛点。
理论严谨性：与之前的启发式插入模型不同，DID 基于严格的连续时间扩散理论，保证了似然边界（Likelihood-bounded）的训练目标，为离散扩散模型提供了新的理论方向。
未来方向：该工作为构建高效、灵活且高质量的下一代语言模型奠定了基础，特别是在需要处理变长文本和实时生成的场景中具有巨大潜力。

总结：DID 通过用“删除 - 插入”取代“掩码 - 去掩码”，成功解决了扩散语言模型的计算冗余和灵活性不足问题，在保持甚至提升生成质量的同时，大幅降低了计算成本，是扩散语言模型领域的一项重要进展。