💬 NLP

A Continuous-Time Markov Chain Framework for Insertion Language Models

本文建立了一个连续时间马尔可夫链框架，以推导出一种针对插入式语言模型（Insertion Language Models）的有原则的扩散式去噪目标，证明了先前的方法是该方法的特例，同时实现了具有竞争力的性能和增强的采样灵活性。

原作者： Dhruvesh Patel, Benjamin Rozonoyer, Soumitra Das, Tahira Naseem, Tim G. J. Rudner, Andrew McCallum

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Dhruvesh Patel, Benjamin Rozonoyer, Soumitra Das, Tahira Naseem, Tim G. J. Rudner, Andrew McCallum

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图写一个故事，但你必须遵守一个非常严格的规则：你必须按顺序写下每一个词，从第一个字母到最后一个字母。这就是大多数当前的 AI 语言模型（被称为“自回归”模型）的工作方式。它们就像一列只能在单轨上向前行驶的火车。如果火车在旅程早期卡住了或走错了路，很难修复整个行程。

其他模型则试图变得更加灵活，通过猜测句子中间的词并填补空白（例如“掩码扩散模型”）。然而，这些模型有时可能难以确定句子的确切长度，或者可能会对事件的顺序感到困惑。

这篇论文介绍了一种教 AI 写字的新方法，称为基于扩散的插入式语言模型（Diffusion-based Insertion Language Models, DILMs）。以下是它如何运作的，使用了简单的类比：

核心思想：“剪刀与胶水”游戏

作者设想了一个反向进行的“游戏”，以此来教 AI 如何写作。

加噪过程（剪刀）：
想象你有一个完美、完整的句子：“The quick brown fox jumps over the lazy dog.”（敏捷的棕色狐狸跳过了那只懒狗。）
AI 的老师拿起一把剪刀，开始随机地一个接一个地剪掉单词。
- 首先，它剪掉了 “lazy”。
- 然后它剪掉了 “brown”。
- 接着是 “jumps”。
- 最终，你只剩下了几个单词，甚至是一个空白空间。
  该论文使用了一个叫做**连续时间马尔可夫链（Continuous-Time Markov Chain）**的数学框架来描述这个剪切过程。你可以把这理解为一种精确、科学的方式，用来表达：“我们将以稳定、可预测的速率移除单词，直到句子消失为止。”
学习过程（胶水）：
现在，AI 必须进行反向游戏。它从空白空间（或剩余的少量单词）开始，必须弄清楚如何把单词放回去。
- 它不仅仅是猜测下一个词，它可以在任何地方插入单词。
- 它可以把 “brown” 放在 “The” 和 “quick” 之间。
- 它可以把 “lazy” 放在 “over” 和 “dog” 之间。
- 它甚至可以在不同的间隙中同时插入多个单词。

为什么这很特别？

该论文声称这种方法结合了两者的优点：

灵活性： 与“轨道上的火车”模型不同，这种 AI 可以在句子的中间修正错误或添加细节，而无需从头开始重写整个句子。
知道何时停止： 这些“填空式”模型的一个常见问题是它们不知道句子何时结束。它们可能会不停地添加单词，或者过早停止。
- 作者通过教 AI 预测**“剩余长度”（length-to-go）**解决了这个问题。想象 AI 有一个小小的燃料表。随着它插入单词，燃料表会下降。当仪表归零时，AI 就知道：“好了，句子完成了，”然后它会自然地停止。

该新模型的两个版本

论文提出了两种实现这种“粘贴”（插入）的具体方式：

DILM-S（单次插入）： AI 一次只选择一个位置和单词进行插入。这就像一次小心翼翼地放置一块乐高积木。这非常精确。
DILM-M（多次插入）： AI 同时观察所有的空白处，并可以同时填补多个间隙。这就像抓起一把乐高积木，并将它们一次性卡入到位。这更快。

他们发现了什么？

研究人员在两类任务上测试了他们的新模型：

规划任务（“星形图”游戏）：
想象一张地图，有一个中心枢纽和几条通往四周的路径。AI 必须找到从起点到终点的正确路径。
- 结果： 新模型（DILM-S 和 DILM-M）几乎是完美的。它们比标准的“轨道上的火车”模型以及其他的“填空式”模型都要出色。它们能够看到全局并正确规划路线。
写故事（语言建模）：
他们测试了模型编写新闻文章和通用文本的能力。
- 结果： 新模型的写作连贯性与现有的最佳模型一样好。
- 巨大的加分项： 作者发现，通过他们的新方法，你可以权衡速度与质量。如果你让 AI 进行更多“步骤”（花费更多时间），写作质量就会提高。如果你追求速度，它会更快，但质量会稍逊一筹。这给了用户一个可以调节的旋钮，以获得他们精确需要的东西。

总结

简而言之，这篇论文将“填空”这一混乱、试错的过程赋予了一个坚实的数学基础。通过将这个过程视为一个连续的“剪切与粘贴”单词的游戏，他们创造出了一种可以按任何顺序写作、知道何时停止、并且可以根据用户需求在速度与高质量之间进行调节的 AI。

技术摘要：一种用于插入式语言模型的连续时间马尔可夫链框架

问题陈述

自回归语言模型（ARMs）严格地从左到右生成序列，这限制了它们在需要非顺序生成的任务（如规划和基于子目标的填充）中的灵活性。虽然掩码扩散模型（MDMs）允许任意生成顺序和多 Token 步骤，但它们在处理变长序列时往往表现不佳，因为它们将填充（padding）Token 视为普通的词表项，这影响了生成质量并限制了采样仅能采用基于块的从左到右过程。

现有的插入式语言模型（ILMs）通过在任意位置迭代插入 Token 来解决这些局限性，从而自然地处理变长序列和相对顺序约束。然而，目前的 ILM 公式依赖于缺乏严谨概率基础的启发式训练目标和采样程序。此外，现有的 ILMs 在确定何时停止生成方面也面临挑战。

方法论

作者提出了基于扩散的插入式语言模型（DILMs），这是一个从第一性原理出发，基于**连续时间马尔可夫链（CTMC）**在变长序列空间上构建的原则性框架。

1. 加噪过程

前向加噪过程被公式化为一个 CTMC，它在时间间隔 $[0, T]$ 内以均匀随机的方式从地面真值序列 $x_0$ 中删除 Token。

状态空间： 状态空间包括序列内容及其长度。
删除机制： Token 被逐个删除（或通过独立速率删除），其速率为随时间变化的 $\sigma_t$ 。
两种变体：
- 联合加噪（Joint Noising）： 删除作为一个单一事件发生，其中被删除的 Token 数量遵循泊松分布，且位置是均匀选择的。
- 独立加噪（Independent Noising）： 每个位置都有一个独立的删除速率，通过二项分布进行建模。

2. 生成过程（逆向 CTMC）

生成过程是加噪过程的时间反转，通过插入 Token 来构建序列。作者推导了该逆向过程下数据对数似然的证据下界（ELBO）。他们提出了两种用于参数化逆向速率矩阵 $\hat{R}^\theta_t$ 的方案：

DILM-S（单次插入）： 建模插入位置与词表项的联合概率，以及“剩余待插入长度”（即仍需插入的 Token 数量）。这种参数化方式每次预测一次插入。
DILM-M（多次插入）： 建模独立的、基于位置的插入速率。这允许模型在单个步骤中同时在不同间隙处采样多次插入。

两种变体都使用带有自适应层归一化（AdaLN）的 Transformer 主干网络，并根据时间 $t$ 进行调节。为了处理停止条件，模型通过预测“剩余待插入长度”（或间隙大小）来处理，从而允许生成在预测的插入速率降至零时终止，而不是依赖于单独的停止分类器或超参数。

3. 采样

采样通过欧拉离散化（针对 DILM-S）或受限的 $\tau$ -leaping 程序（针对 DILM-M）进行完成。这些方法允许在样本质量和前向传递次数（采样步数）之间进行权衡，这种灵活性在标准 ILMs 中是不具备的。

核心贡献

原则性框架： 本文利用 CTMC 框架，从第一性原理出发，推导出了用于基于插入生成的扩散式去噪目标，超越了以往的启发式公式。
统一性： 提出的采样程序统一了现有的公式，表明它们是这一更广泛框架下的特例。
两种参数化方案： 作者引入了两种变体（DILM-S 和 DILM-M），它们在建模插入速率的方式上有所不同（联合 vs. 独立），为采样效率和多 Token 生成提供了灵活性。
理论基础： 工作提供了 ELBO 的严谨推导，并讨论了训练和采样过程中的计算考虑因素。

实验结果

作者在合成规划任务和语言建模基准测试上对 DILMs 进行了评估。

合成规划（星形图任务）： 在自回归模型（ARMs）和掩码扩散模型（MDMs）难以处理的变长规划任务中，DILM-S 和 DILM-M 达到了近乎完美的准确率（与现有 ILMs 相当），证明了基于扩散的方法保留了基于插入生成的优势，适用于复杂的结构化任务。
语言建模（LM1B 和 OpenWebText）：
- 在 LM1B 基准测试中，DILM-S 和 DILM-M 在每 Token 负对数似然（NLL）方面与现有的 ILMs 和 MDMs 具有竞争力。
- 在 OpenWebText 上，DILM 变体优于 ILM 和 MDM 基准模型。
- 采样灵活性： 一个关键发现是能够权衡生成质量与采样步数。与现有 ILMs 显示出平坦或不稳定的困惑度曲线不同，DILMs 随着采样步数的增加，展现出生成困惑度的平滑提升。

重要性与主张

本文声称 DILMs 提供了一种具有概率原则性的替代方案，用于现有的插入模型，提供了一个严谨的训练目标和采样程序。该框架保留了 ILMs 的核心优势——灵活的生成顺序和自然的变长处理——同时解决了停止准则不明确和缺乏理论基础的局限性。

作者指出，虽然 DILM-M 允许多次插入，但目前受限于每个间隙只能插入一个 Token，这限制了对连续 Token 相关性的建模。他们将多 Token 跨度插入以及扩展到更大规模模型列为未来的研究方向。这项工作为将基于插入的生成视为连续时间扩散过程奠定了基础，将之前的启发式方法统一在一个单一的理论框架之下。