🤖 AI

PreDiff-LM: Pretrained Discrete Masked Diffusion Language Modeling with Hybrid Attention

PreDiff-LM 引入了一种混合注意力机制，该机制在保留已观测提示词的因果注意力（causal attention）的同时，为掩码目标（masked targets）启用双向注意力，从而有效地将预训练的自回归 Transformer 适配于离散掩码扩散语言建模，并在困惑度（perplexity）和生成质量方面较先前的扩散基准实现了显著提升，尽管在相同规模下优化的自回归模型仍然更具优势。

原作者： Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Jesson Wang, Siheng Wang, Guang Yang, Haoyan Xu, Chenhao Wei, Zhengqing Yuan, Youran Shen, Yanfang Ye, Junhao Dong

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Jesson Wang, Siheng Wang, Guang Yang, Haoyan Xu, Chenhao Wei, Zhengqing Yuan, Youran Shen, Yanfang Ye, Junhao Dong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

伟大的文本生成器大对决：两位作家的故事

想象一下，你正试图教一个机器人写故事。多年来，教机器人的最佳方式是让它像人类在键盘上打字一样：一次一个词，从左到右。这被称为“自回归”（autoregressive）式写作。这种方式非常擅长衔接句子，但如果你要求它填补段落中间的空白，或者修正后面的错误，它就会感到困惑，因为它看不见空白之后的词。

最近，科学家们尝试了一种不同的方法，叫做“扩散”（diffusion）。这种方法不再是一个词一个词地写，而是从满篇乱码（或“掩码”词）开始，通过观察整个页面来慢慢清理，从而确定哪些内容最合适。这就像雕塑家从一块石料开始，通过不断凿去杂质，直到雕像显现出来。这种方法非常强大，因为它可以从任何方向填补空白。然而，这些“扩散型”机器人通常写得非常糟糕，甚至不如“键盘型”机器人，听起来往往重复且毫无意义。

研究人员一直在问一个大问题：我们能否拿起那个超级聪明的“键盘型”机器人（它已经接受了海量文本的训练），并教会它使用“雕塑家”的方法，同时又不损失它的智力？答案并不简单，因为这两种方法对单词的“思考”方式完全不同。这篇名为 PreDiff-LM 的论文深入探讨了这个问题，旨在探索我们是否可以结合两者的优点。

论文的核心思想：混合掩码

PreDiff-LM 的研究人员发现，这些“雕塑型”机器人之所以失败，主要原因不仅在于它们清理文本时使用的数学方法，还在于它们观察单词的方式。

把“键盘型”机器人想象成一位严谨的图书管理员，她只从书的开头读到结尾。如果你要求她在中间猜一个缺失的词，她只能看它之前的词。然而，“雕塑型”机器人理应同时观察整个页面。问题在于，当你试图强迫这位图书管理员突然变成雕塑家时，就会出现麻烦。如果你只是告诉图书管理员：“现在，看向所有地方！”她会对已经知道的词（提示词/prompt）感到困惑，从而破坏她对故事至今为止记忆的连贯性。

作者们的解决方案是一个被称为**混合注意力（Hybrid Attention）**的巧妙技巧。想象一个教室，老师（机器人）正在给学生们朗读一个故事。

提示词（已有的故事）： 老师朗读已经写好的故事部分。在这里，他们表现得像一位严谨的图书管理员，只向前看。他们不会让学生窥探未来，因为那部分故事已经是既定的事实。
目标（缺失的词）： 当需要填补空白时，老师突然变成了雕塑家。他们会观察空白前后的词，甚至观察其他正在尝试填补的空白，以找到最完美的契合点。

这种“混合掩码”让机器人既能保持对已写故事的强大记忆，又能获得创造性填补缺失部分的自由。

他们的发现

团队使用了一个基于著名 AI 模型 GPT-2 的模型测试了这个想法。他们将这个新的“混合型”机器人与一个试图同时观察所有地方的机器人（均匀双向注意力）以及原始的“键盘型”机器人进行了对比。

结果： 混合型机器人取得了巨大的成功。它将“困惑度”（称为 Perplexity）从 34.1 降低到了 28.7。这是一个巨大的飞跃！它写出的文本也比之前的尝试听起来更自然，重复性更低。
速度提升： 最酷的发现之一是混合型机器人的学习速度。一个从零开始训练的机器人需要大约 350,000 步才能达到不错的水平。而使用他们聪明起点（starting point）的 PreDiff-LM 机器人，仅用 8,000 步就达到了同样的技能水平。这就像是从徒步横跨国家变成了乘坐高铁。
代价： 尽管有了所有这些改进，混合型机器人仍然无法完全媲美那些专门针对该任务进行微调的原始“键盘型”机器人。键盘型机器人的困惑度为 18.9，而混合型机器人为 28.7。因此，虽然混合型机器人比旧的扩散模型好得多，但它还没有完全击败最好的“键盘型”作家。

为什么这很重要（以及它不是什么）

作者们谨慎地指出，他们并没有“解决”AI 写作问题。他们并没有制造出一个在各方面都比最好的键盘型机器人更快、更好的机器人。事实上，键盘型机器人在生成文本的速度和质量上仍然略胜一筹。

然而，这篇论文证明了你可以拿起一个聪明的预训练机器人，并教会它以一种新的、灵活的方式（填补空白、修复错误）进行写作，而不会破坏它的大脑。这种“混合注意力”技巧是解锁这一能力的钥匙。它表明，AI 写作的未来可能不在于在其中一种方法和另一种方法之间做选择，而在于知道何时该做一个严谨的图书管理员，何时该做一个富有创造力的雕塑家。

研究人员还展示了这种新机器人能更好地避免重复循环（比如不停说“the the the”），并且在处理诸如预测故事下一句的任务时，比旧的扩散模型表现更好。虽然它还不是 AI 写作的“最终 Boss”，但它是让这些灵活的、“雕塑家风格”的机器人真正变得实用的重要一步。

技术摘要：PreDiff-LM

问题陈述

离散掩码扩散语言模型提供了双向生成和填空能力，解决了自回归（AR）模型严格从左到右生成的局限性。然而，从头开始训练的扩散模型与规模相当的 AR 模型之间存在显著的性能差距。虽然最近的研究已经证实，使用预训练 AR 权重进行初始化（如 DiffuGPT、Dream）是一种可行的策略，但仍有一个特定的未解决挑战：在复用因果 AR 权重进行双向去噪时，如何适配注意力机制。

AR 权重是在严格的因果注意力掩码下学习的。简单地将其替换为整个序列的均匀双向掩码会破坏已训练好的提示词（prompt）内部表示，而保留完全的因速性则会阻碍目标标记（target tokens）利用必要的双向上下文。本文研究了非对称注意力模式是否能够调和这些相互冲突的需求。

方法论：PreDiff-LM

提出的 PreDiff-LM（预训练离散掩码扩散语言建模）框架引入了一种混合注意力机制和特定的训练方案，用于将预训练的因果 Transformer 适配为离散扩散模型。

1. 混合因果-双向注意力

其核心创新是一个非对称的 4D 注意力掩码 ( $M$ )，它将输入划分为提示前缀 ( $p$ ) 和目标区域 ( $x_t$ )：

提示标记（Prompt Tokens）： 保留原始的因果注意力模式 ( $j \le i$ )。这保留了 AR 权重预训练时的内部表示机制，确保提示词按照模型最初学习的方式进行处理。
目标标记（Target Tokens）： 被允许进行全双向注意力。它们可以关注整个提示词以及所有其他目标标记（包括左侧和右侧上下文）。
约束： 被损坏的目标标记中的信息不能回流以更新提示词的表示（即若 $i \in prompt, j \in target \implies M_{ij}=0$ ）。

2. 训练与推理组件

为了支持混合注意力，该模型结合了几个标准但关键的扩散适配组件：

自我调节（Self-Conditioning）： 为了减轻同时被掩码的标记之间的不一致性，模型将前一次迭代中的软预测作为嵌入残差重新馈入网络。这对于高掩码率至关重要。
掩码率时间嵌入（Mask-Rate Time Embedding）： 噪声水平（掩码率 $t$ ）通过正弦编码和 MLP 进行注入，使网络能够根据去噪阶段进行条件化。
置信度感知去掩码（Confidence-Aware Unmasking, CAU）： 在推理过程中，标记根据置信度分数进行迭代式去掩码。去掩码的标记数量遵循余弦调度，从少量标记（高不确定性）开始，随着上下文积累而加速。

3. 目标函数

模型最小化掩码位置上的期望交叉熵，这与离散掩码扩散目标（如 MDLM）一致，但在从预训练 AR 模型（GPT-2 或 Llama-3.2）初始化的权重上进行训练。

核心贡献

注意力适配公式化： 本文将注意力适配作为 AR 到扩散迁移的一个独立组成部分进行了隔离研究。它引入了混合因果-双向掩码，证明了保持提示侧的因果性并开启目标侧的双向性，优于均匀的双向注意力。
适配的可组合性： 研究表明，注意力层面的适配和目标层面的适配（DiffuGPT 风格）是互补的。结合两者比单一适配能获得更好的结果（26.9 PPL）。
严谨的评估： 作者提供了计算量匹配的微调 AR 控制组、对重复敏感的指标（Rep-4、Self-BLEU）、下游零样本任务以及盲测人类偏好审计。这为扩散模型在不夸大其与 AR 模型等同性的情况下，建立了一个清晰的基准。
效率分析： 该工作区分了训练效率（其中扩散模型受益于 AR 初始化）和推理延迟（其中优化的 AR 解码在标准操作点下仍然更快）。

实验结果

实验在 WikiText-103 上使用 GPT-2 后端（133M 到 1.56B 参数）和 Llama-3.2 后端进行。

困惑度（PPL）： 在匹配设置下（GPT-2 Medium，90K 步），采用混合注意力的 PreDiff-LM 实现了 28.7 PPL，相比于均匀双向注意力控制组（34.1 PPL）以及其他扩散基线（如 DiffuGPT 为 42.8 PPL，MDLM 为 51.2 PPL）有显著提升。
- 注：匹配的微调 AR 模型表现依然更强，为 18.9 PPL。
训练效率： 预训练初始化极大地减少了达到 PPL < 50 所需的步数。PreDiff-LM 在 8K 步内达到了这一阈值，而从头开始训练的 MDLM 则需要约 350K 步。
生成质量： 与其他扩散基线相比，PreDiff-LM 在分布质量（MAUVE: 0.78 vs. 0.71 控制组）、减少重复（Rep-4: 0.012）以及下游零样本任务（LAMBADA, HellaSwag 等）的表现上均有所提升，尽管仍落后于 AR 控制组。
推理速度： 在 32 步去噪（主要质量结果的设置）下，PreDiff-LM 较慢（450 tokens/s），而优化的 AR 解码为 1,120 tokens/s。然而，在 8 步设置下，它实现了具有竞争力的吞吐量（1,800 tokens/s），但质量较低（35.4 PPL），提供了一种可调节的速度-质量权衡。
人类偏好： 在盲测评估中，PreDiff-LM 被认为优于 MDLM (64.2%) 和 SEDD (72.5%)，但仅在面对 AR GPT-2 Medium 控制组时胜出 34.2%。

重要性与主张

本文将混合注意力定位为将预训练因果骨干网络适配到扩散模型的补充机制。其明确主张：

有效性： 与均匀双向注意力相比，混合注意力显著提高了从 AR 权重初始化的扩散模型的质量。
效率： 预训练初始化使适配过程极其高效，所需的训练步数比从头开始训练少几个数量级。
对等性的谦逊态度： 作者并未声称扩散模型在质量或推理速度上已经超越了 AR 模型。他们承认匹配的微调 AR 模型在 PPL 上仍然更优，且优化的 AR 解码速度更快。
差距识别： 该工作强调了仍需解决的差距，包括匹配质量、解码效率以及长上下文鲁棒性，这些是扩散模型直接与优化后的 AR 系统竞争时需要解决的问题。

总之，PreDiff-LM 表明，精细的注意力适配对于将因果 AR 知识转移到离散扩散模型至关重要，这使得在保持预训练表示优势的同时，实现高质量的双向生成成为可能，尽管目前尚未完全弥合与最先进自回归模型之间的差距。