🤖 machine learning

UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective

该论文提出了 UNIFUSION，这是一个将各种离散扩散目标建立联系的统一框架，旨在实现预训练自回归模型向均匀噪声扩散的直接适配，从而在生成质量和下游任务准确率方面均达到了最先进的性能。

原作者： Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人写故事。长期以来，教机器人写故事最好的方法是让它一次写一个词，从左到右，就像人类打字输入句子一样。这种被称为“自回归”（autoregressive）的学习方法非常出色，因为它很快，而且机器人能从中学习大量的语言规则。但它有一个大缺陷：一旦机器人写下一个词，它就永远无法回头去修改它。如果机器人在第一句话时犯了错，整个故事都可能毁掉，因为它无法编辑过去。

最近，科学家们尝试了一种不同的方法，叫做“离散扩散”（discrete diffusion）。这种方法不再是一个词一个词地书写，而是从一个被乱序或被“噪声”破坏（corrupted）的完整句子开始，然后机器人学习如何对其进行清理，通过一次修复一个词，直到句子变得完美。这就像是在整理一个凌乱的房间。问题在于，大多数这类新的“清理型”机器人都是从零开始训练的，这浪费了旧有的“逐词书写型”机器人已经掌握的语言知识。此外，许多这类新机器人使用一种特定的噪声类型，即用一个“掩码”（像一个黑盒子一样）将单词隐藏起来。这意味着机器人只能修复被隐藏的部分，而不能修复那些已经可见的单词。大的疑问是：我们能否将一个聪明的、经过预训练的“逐词书写型”机器人，瞬间转化为一个强大的“清理型”机器人，使其能够修复句子中的任何单词，甚至是那些并未被隐藏的单词？

这篇题为《Unifusion》的论文说：可以，并且展示了如何实现。研究人员发现，尽管各种“清理型”机器人使用的数学公式不同，但它们实际上都在试图解决同一个潜在问题：预测一个单词从一种状态跳转到另一种状态的速度有多快。他们称之为“反向速率”（reverse rate）。通过意识到所有这些不同的方法其实只是同一种语言的不同方言，他们创造了一个通用翻译器。这个翻译器允许他们提取标准“逐词书写型”模型（如 GPT-2）的知识，并将其直接适配到一种“均匀噪声”（uniform-noise）扩散模型中。

其核心创新在于，这个新模型 Unifusion 不需要用掩码来隐藏单词。相反，它将句子中的每一个单词都视为可编辑的，就像你可以编辑 Google 文档中的任何单词一样。研究人员通过测试两个版本的预训练模型（一个拥有 1.24 亿参数，另一个拥有 3.55 亿参数）并训练它们成为“清理艺术家”来进行验证。他们发现，随着给予模型更多思考的时间（将步骤数从 16 步增加到 256 步），文本质量稳步提升。

在 256 步的最大值处，较小的模型（Unifusion-S）实现了 97.783 的“生成困惑度”（衡量模型对所创建文本感到困惑程度的指标），而较大的模型（Unifusion-M）达到了 71.516。更重要的是，这些模型不仅能写出流畅的文本，还能保持极高的“一元熵”（unigram entropy），这是一种高级说法，意指文本具有多样性，不会陷入重复相同的短语或模式。事实上，在 256 步时，没有其他同等规模的模型能在流畅度和多样性上同时超越 Unifusion。

论文还表明，这种直接转换比旧的方法（即先从“逐词书写型”转为“掩码扩散型”，再转为“均匀扩散型”）效果更好。通过跳过中间环节，Unifusion 更高效地达到了同样的高质量。当在现实世界的逻辑谜题和常识问题（如 WinoGrande 和 SIQA）上进行测试时，这些新的扩散模型表现优于所有同等规模的扩散模型，证明了它们不仅学会了清理噪声，还实际保留了原始“逐词书写型”训练中的智能推理能力。

简而言之，Unifusion 就像是把一位习惯于一次添加一种食材来烹饪的顶级大厨，教会了一种新技巧：他可以同时品尝并调整整锅汤的味道，而无需丢弃他多年的烹饪经验。其结果是，该模型可以通过学习同时编辑整个句子，生成既流畅又具有创造性多样性的文本。

技术摘要：Unifusion

问题陈述

现有的将预训练自回归（AR）语言模型适配到离散扩散模型的方法通常依赖于吸收掩码破坏（absorbing mask corruption）。虽然这种选择与 AR 训练自然衔接（因为 AR 解码是一种特定的 token 揭示顺序），但它也带来了一个显著的局限性：一旦一个 token 被揭示，它在采样过程中就无法被编辑。这往往会导致生成问题，例如重复、模板崩溃（template collapse）或在增加采样预算时生成无意义的片段。

相反，**均匀噪声扩散（uniform-noise diffusion）**使用词表中的项而非特殊的掩码来替换 token，从而允许所有位置在整个采样过程中保持可编辑状态。这提供了更高的词汇多样性和更好的控制潜力。然而，直接将 AR 检查点（checkpoints）适配到均匀扩散一直是一个挑战，因为现有的离散扩散模型（如 SEDD、MDLM/GIDD、M2S、Neural CTMC）采用了不同的预测参数化方式（例如：具体分数、干净 token、后验均值、退出率）以及不同的损失函数。这些差异模糊了这些方法究竟是在学习本质上不同的逆过程，还是仅仅用不同的输出描述同一个过程，同时也阻碍了直接复用 AR 输出用于均匀核（uniform kernels）。

方法论

1. 在逆速率空间统一离散扩散

作者建立了四种主要离散扩散框架之间的理论联系：SEDD、MDLM/GIDD、M2S 和 Neural CTMC。

统一目标： 他们证明了这四种方法的条件损失都可以表示为关于**模型逆速率（model reverse rates）**的单一广义 Kullback–Leibler (KL) 目标。通过将每种方法的特定输出（分数、token、均值或速率）映射到诱导的非对角线逆速率，作者表明其底层的优化目标是相同的。
转换定理： 论文推导出了显式的数学转换公式，可以将干净 token 预测 ( $x_0$ ) 转换为 SEDD、M2S 和 Neural CTMC 所需的具体参数化形式。这创建了一个共享接口，使得单个 $x_0$ 预测可以驱动任何这些参数化形式。
核无关性（Kernel Agnosticism）： 关键在于，无论破坏核是什么，干净 token 分布 $x_\theta(x_0 | x_t, t)$ 回答的问题都是一致的：“在破坏之前，这个位置占据了哪个词表 token？”一旦预测完成，已知的正向核（无论是吸收式还是均匀式）就会将此预测转换为必要的逆速率。这弥合了 AR 初始化与均匀扩散之间的鸿沟。

2. Unifusion 方法

基于这些理论联系，作者提出了 Unifusion，一种简单的持续预训练策略，旨在直接将预训练的 GPT-2 检查点适配到均匀噪声扩散，而无需经过中间的掩码扩散阶段。

初始化： 该方法利用了 AR 模型固有的结构。对于位置 $i$ 处的下一个 token 分布（给定 $x_{<i}$ ），通过将其向后移动一个位置来作为位置 $i$ 处干净 token $x_0$ 的初始预测。
训练动态：
- 注意力退火（Attention Annealing）： 模型从因果注意力（用于 AR 预训练）过渡到针对可见破坏 token 的全双向注意力。这使得模型能够在优化过程中逐渐开放完整的上下文。
- 时间调节（Time Conditioning）： 由于 AR 检查点缺乏时间调节，模型在微调期间学习时间依赖参数，同时保留其他权重的 AR 初始化。
- 破坏方案（Corruption Schedule）： 模型使用线性均匀破坏方案（ $\alpha_t = 1-t, \beta_t = t$ ）和均匀先验进行训练。

核心贡献

理论统一： 本文在逆速率空间统一了 SEDD、MDLM/GIDD、M2S 和 Neural CTMC 的条件损失，证明了在相同的正向 CTMC 和噪声方案下它们是等价的。它提供了干净-token 预测与所有四种参数化形式之间的显式转换公式。
直接的 AR-to-Uniform 适配： 通过使用干净-token $x_0$ 预测作为桥梁，作者实现了将预训练 AR 模型直接适配到均匀扩散核，绕过了需要中间掩码扩散检查点的过程。
实证验证： 研究将速率空间的等价性与有限预算下的优化进行了区分，表明虽然理论上是等价的，但天然的训练轨迹是不同的。Unifusion 展示了直接进行 AR-to-uniform 训练可以达到与两阶段掩码路径相当的性能，且具有更优的权衡。

结果

作者在基于 GPT-2 的 124M（Unifusion-S）和 355M（Unifusion-M）参数模型上评估了 Unifusion。

生成困惑度 (GenPPL) vs. 熵： 随着采样预算从 16 步增加到 256 步，Unifusion 稳步改善了 GenPPL 与一元熵（unigram entropy）之间的权衡。
- 在 256 步时，Unifusion-S 实现了 97.783 的 GenPPL 和 5.2626 的熵。
- 在 256 步时，Unifusion-M 实现了 71.516 的 GenPPL 和 5.6669 的熵。
- 在相同规模下，没有任何评估的模型能在这两个指标上同时超越 Unifusion。例如，虽然某些基线模型实现了更低的 GenPPL，但它们的熵显著降低（表明存在重复或崩溃），而 Unifusion 则保持了高词汇多样性。
下游准确率： Unifusion 模型在 WinoGrande、SIQA 和 BBH 上实现了比较的扩散模型中最高的零样本（zero-shot）准确率，超过了其 GPT-2 初始化模型和其他扩散基线（如 DiffuGPT 和 SEDD）。
采样效率： Unifusion-M 在 64 步时的表现就已经在帕累托前沿（Pareto-dominated）上超过了 256 步的 DiffGPT-M，这表明其具有极高的采样预算效率。

重要性与主张

论文声称 Unifusion 成功解决了“如何直接从 AR 检查点到达均匀噪声扩散模型”这一开放性问题。通过统一离散扩散的理论景观并利用干净-token 接口，作者证明了：

均匀扩散可以有效地继承 AR 初始化，而无需中间的掩码阶段。
直接适配相比现有方法，在流畅度（低 GenPPL）和多样性（高熵）之间取得了更优的平衡。
不同离散扩散损失的理论等价性允许灵活的实现选择，同时在逆速率空间内保持一致的优化目标。

这项工作表明，破坏核的选择（掩码 vs. 均匀）是一个关键的设计决策，会影响生成质量；而当均匀核被正确地从 AR 模型适配时，它们能提供更鲁棒的生成过程，避免了掩码扩散中常见的重复问题。