💬 NLP

Masked Language Flow Models

本文介绍了掩码语言流模型（Masked Language Flow Models, MLFMs），这是一种将连续流式生成与离散标记掩码相结合的新型架构，旨在克服现有掩码扩散与流语言模型的局限性，从而为下游语言任务实现可扩展、高效且具备多步推理能力。

原作者： Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图写一个故事，但你有一支神奇的笔，可以填补缺失的词汇。这篇论文介绍了一种使用这支笔的新方法，称为掩码语言流模型（Masked Language Flow Models, MLFMs），它试图解决目前计算机编写文本时面临的一个特定问题。

以下是使用简单类比进行的拆解：

问题： “单步”与“分步”的抉择

要理解这项新发明，我们首先需要看看两种旧的方法：

旧方法（自回归模型/Autoregressive Models）： 想象你在严格按照从左到右的顺序，一次写一个词来写故事。你写下“猫”，然后停下来思考下一个词，写下“坐”，再次停下，以此类推。
- 问题所在： 这太慢了。如果你想写一本长篇小说，你必须等待每一个词都被写出来后，才能开始写下一个词。
“并行”方法（掩码扩散模型/Masked Diffusion Models）： 想象你有一张白纸，你用便利贴（“掩码”）盖住了所有的词。计算机尝试一次性猜出所有的词，揭开便利贴，看看它猜得怎么样。如果有些词看起来不对，它会把便利贴重新贴回去，然后再次尝试。
- 问题所在： 这种方法很快，因为它可以同时猜测许多词。然而，这就像是在完全没看到上下文的情况下，试图一次性猜出一个完整的句子。如果句子需要复杂的逻辑（比如一道数学题），同时进行猜测往往会导致错误，因为计算机会忽略词与词之间的依赖关系。
“平滑流”方法（流语言模型/Flow Language Models）： 想象文本不是由独立的单词组成的，而是一股平滑、连续的油漆流。计算机从一桶灰色的噪声开始，慢慢地将油漆“流”成一个清晰、锐利的句子图像。
- 问题所在： 这种方法非常高效，只需一两步即可完成。但它太僵化了。它强迫计算机在完全相同的时间决定每一个词。它难以处理需要“分步思考”的任务，比如解决数学问题——你需要写下第1步，检查它，然后利用它找到第2步。

解决方案：掩码语言流模型 (MLFMs)

作者创建了一个结合了两者优点的混合系统。把它想象成一个智能建筑工地。

设置： 你有一个正在施工中的建筑。有些部分已经完工（清晰的词），而有些部分则被脚手架覆盖着（掩码词）。
魔力所在： MLFM 不尝试一次性建成整栋大楼（这太冒险了），也不像那样一次只铺一块砖（这太慢了），而是使用一种连续的流来填充脚手架。
转折点： 当计算机填充脚手架时，它会不断检查自己的工作。如果它对某块特定的砖（一个词）非常有信心，它会立即移除脚手架并将那块砖固定在原位。
为什么这有帮助： 一旦砖块被锁定，它就成为了下一部分的坚实基础。这使得计算机能够进行复杂的、多步骤的推理（如数学或遵循指令），因为它能够“确定”一个正确的步骤，并利用它来引导下一步，而不是等到最后才看是否合理。

他们是如何构建它的（“适配器”）

从头开始构建一个新模型既昂贵又缓慢。作者找到了一个聪明的捷径：

他们采用了一个现有的、功能强大的模型（一个已经擅长猜测单词的“掩码扩散模型”）。
他们给它配备了一个“翻译官”（一个轻量级的适配器），教会它如何使用“连续流”的语言，而不是仅仅使用“离散的词汇”。
这使得他们能够将一个旧的、强大的引擎升级成一个更聪明的新引擎，而无需从头重建整个引擎。

新的“采样器”（施工队）

论文还引入了一种新的计算机在写作时“思考”的方式，称为在线标记提升（Online Token Promotion）。

旧方法： 计算机将其所有的猜测都放在一个“也许”堆里，直到最后一刻才挑选最终的词。
新方法： 一旦计算机对某个词有 99% 的把握，它就会立即将该词从“也许”堆移动到“已完成”堆。
益处： 这让计算机在编写过程中能获得更清晰的句子图景，从而有助于它为剩余的词做出更好的决策。这就像一位厨师，尝了一下酱汁，意识到味道完美，于是立即将其加入锅中以影响后续食材的风味，而不是等到菜肴做完后再去品尝。

结果：奏效了吗？

团队在两个困难任务上测试了这个新系统：

数学问题 (GSM8K)： 解决小学水平的数学应用题。
指令遵循 (MT-Bench)： 回答复杂问题并遵循用户指令。

研究发现：

在遵循指令和进行对话方面，新模型比之前的“并行”模型表现得显著更好，甚至击败了规模相似的“逐词编写”模型。
对于数学，它虽然还没有击败最顶尖的专业数学模型，但它首次证明了一件极其重要的事情：基于流的模型确实可以扩展到执行复杂的推理任务。 在此之前，人们认为流模型仅适用于简单的、单步生成的任务。

总结

这篇论文提出了一种新工具，它通过将“平滑、连续的思考”与“分步逻辑”相结合，让计算机能够编写文本。它允许计算机在过程中锁定正确答案，使其在处理遵循指令或解决问题等复杂任务时表现得更好，同时比传统方法更快。

技术摘要：掩码语言流模型 (Masked Language Flow Models)

问题陈述

自回归模型 (ARMs) 在语言生成领域占据主导地位，但受限于序列推理瓶颈，因为每个 token 都依赖于其之前所有的 token。掩码扩散模型 (MDMs) 提供了一种通过迭代去掩码（unmasking）进行并行解码的替代方案；然而，它们依赖于因子化的逆向转换，该转换假设被掩码位置之间是条件独立的。这种近似在无穷小步长极限下成立，但在步数较少的采样机制中会显著退化，而在这种机制下并行生成效率最高，从而导致因忽略 token 依赖关系而损害生成质量。

相反，流语言模型 (FLMs) 在连续嵌入空间中运行，学习将噪声传输到干净序列的流。虽然 FLMs 通过流映射蒸馏支持高效的单步生成，但它们通常将生成坍缩为单一轨迹。这种结构在需要多步推理的任务中表现不佳，因为 FLMs 被迫同时解码所有 token，而无法利用部分完成的中间状态作为后续细化的上下文。

方法论：掩码语言流模型 (MLFMs)

作者提出了 掩码语言流模型 (MLFMs)，这是一个将 MDMs 的掩码机制集成到 FLMs 连续流动力学中的框架。

1. 框架与随机插值

MLFMs 使用 布朗桥 (Brownian bridge) 作为随机插值，在欧几里得空间中定义前向过程。该桥连接了：

部分掩码序列： 由未掩码 token 的干净嵌入和特定 [MASK] 嵌入表示。
干净序列： 由其干净 token 嵌入表示。

对于序列 $X$ ，在掩码概率为 $s$ 且加噪时间为 $t$ 时，状态 $z_{s,t}$ 的构建方式如下：

未掩码位置 ( $U_s$ ) 保持其干净嵌入 $E X_\ell$ 不变。
被掩码位置 ( $M_s$ ) 通过布朗桥在 [MASK] 嵌入 ( $m$ ) 与干净嵌入 ( $E X_\ell$ ) 之间演化。

这种设计允许模型学习一种耦合的连续流，用于生成掩码位置的干净 token，同时保留 MDMs 的精确任意位置条件化结构。

2. 训练与适配

一个关键贡献是利用预训练的 MDMs 进行 热启动 (warm-start) MLFM 训练的能力。

理论等价性： 在端点 $t=0$ 时，MLFM 的随机插值精确地还原为 MDMs 中使用的嵌入部分掩码序列。因此，MLFM 在 $t=0$ 时的损失与 MDM 损失一致。
适配策略： 作者通过以下方式适配预训练的双向 Transformer（来自 MDM）：
1. 保持 token 嵌入层固定。
2. 冻结 Transformer 块，并为其增加 AdaLN（用于对连续时间 $t$ 进行条件化）和 LoRA 适配器（以适配连续受损的嵌入）。
3. 使用 LoRA 适配器适配输出头。
  这种方法与从头开始训练相比，显著降低了计算成本。

3. 采样策略：结合在线 Token 提升的 CCFG

为了解决多步推理的局限性，作者引入了一种结合了两种机制的新型采样方案：

上下文相关型分类器自由引导 (Context-Corrupted Classifier-Free Guidance, CCFG)： 这是一种分类器自由引导的变体，其中参考速度场是通过对上下文 token 进行破坏（应用其前向破坏边缘分布）来计算的，而引导场则使用干净的上下文。两者的差异隔离了干净上下文对预测方向的贡献。
在线 Token 提升 (Online Token Promotion, OTP)： 在采样过程中，如果掩码 token 的后验众数达到了置信度阈值 ( $1-\epsilon$ )，该 token 会立即被“提升”。它被固定为其干净嵌入，并作为后续所有去噪步骤的观测上下文。这使得模型能够利用高置信度的预测作为即时上下文，模拟迭代推理。

核心贡献

掩码与流的集成： MLFMs 利用布朗桥弥合了离散掩码 (MDMs) 与连续流 (FLMs) 之间的鸿沟，实现了既支持并行效率又支持迭代细化的条件生成。
高效适配： 证明了可以通过轻量化适配 (LoRA/AdaLN) 将预训练的 MDMs 转换为 MLFMs，利用了 $t=0$ 时的端点等价性。
新型采样器： 提出了结合 CCFG 和在线 Token 提升的采样器，能够动态地将潜状态转换为干净上下文，从而促进多步推理。
扩展至下游任务： 首次成功将基于流的语言模型扩展到下游推理（数学）和指令遵循任务，超越了无条件生成。

实验结果

作者在 GSM8K（数学推理）和 MT-Bench（指令遵循）上评估了一个 1.028B 参数的 MLFM（改编自预训练的 SMDM）。

MT-Bench： MLFM 取得了 2.27 的首轮得分，显著优于 SMDM 基线 (1.60) 和规模相似的 AR 基线 (1.57)。值得注意的是，这是仅用 128 个采样步数（SMDM 的一半，为 256 步）实现的。
GSM8K： MLFM 达到了 31.24% 的准确率。虽然这落后于针对特定任务微调的 SMDM (58.5%) 和 LLaMA-2 (58.6%)，但作者将其归因于 MLFM 使用了更广泛的指令混合微调协议，而非基线所用的特定任务协议。
消融实验： 结果证实了 CCFG 和在线 Token 提升均显著提升了性能。更大的引导尺度和更多的采样步数通常会改善结果，即使在 16 个采样步数下，MLFM 在 MT-Bench 上的表现也优于基线。

重要性与主张

本文声称提供了首个证据，证明基于流的语言模型可以扩展到解决下游推理和指令遵循任务。通过将流模型的并行生成潜力与掩码模型的迭代推理能力相结合，MLFMs 提供了一种灵活的架构，支持复杂的、多步的生成。这项工作表明，基于流的模型并不局限于无条件生成或简单的蒸馏，而是可以通过 MDM 适配进行高效训练，从而适配于实际的、有条件的下游应用。