🤖 machine learning

The Diffusion Duality, Chapter II: $Ψ$ -Samplers

本文介绍了一类用于离散扩散的预测 - 校正采样器，它们克服了自回归采样的性能瓶颈，通过增加步数来提升生成质量，同时提出了一种内存高效的训练课程，挑战了掩码扩散是语言建模更优未来的观点。

原作者： Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试写一个故事，但你不是像传统作家那样从空白页开始逐字写作，而是从一张布满静态噪点的页面开始，逐渐将其清理，直到一个连贯的故事浮现出来。这就是扩散模型的工作原理。它们是用于生成图像和文本的强大人工智能工具。

然而，这里有一个陷阱。当这些模型尝试生成文本时，它们往往会陷入“足够好”的循环。如果你让它们写一个长句子，它们可能会开头不错，但随着进行质量下降，或者陷入重复相同模式的困境。

这篇题为《扩散对偶性，第二章：Ψ-采样器》的论文，介绍了一套新工具（称为Duo++和Ψ-采样器），旨在解决这些问题。以下是用通俗语言进行的分解：

1. 问题：“一次性完成”的错误

将传统的文本生成（如标准 AI 聊天机器人）想象成一列在轨道上向前行驶的火车。一旦火车经过一个车站，它就无法回头。如果 AI 早期犯了错误，它就必须基于这个错误继续写作，这往往会毁掉整个句子。

一些较新的模型（称为掩码扩散模型）表现更好，因为它们可以“重新掩码”（隐藏）一个单词并再次尝试。但作者发现，他们重点关注的模型（均匀状态扩散模型）在早期修正错误方面甚至更出色，但它们却撞上了“玻璃天花板”。无论你给它们多少思考时间（更多步骤），其质量都会停止提升。它们就像一个努力学习但超过某个点后就不再进步的学生。

2. 解决方案：“编辑与安全网”（Ψ-采样器）

作者发明了一种名为Ψ-采样器的新文本生成方式。想象一位作家正在起草稿件：

预测器（草稿）： AI 猜测下一个单词应该是什么。
校正器（编辑）： 这是神奇的部分。在旧方法中，一旦单词被写出，就被锁定。而在这种新方法中，“编辑”被允许说：“等等，那个单词不合适。让我们把它隐藏起来，尝试另一个”，即使它已经被写出来了。

论文将这种机制称为预测 - 校正系统。这就像有一个安全网，能在 AI 开始失足时将其接住。作者证明，通过添加这个“安全网”（他们称之为Ψ-后验），AI 可以在你给予更多思考时间时持续改进其写作。与那些撞上玻璃天花板的旧方法不同，这些新采样器给予的步数越多，表现就越好。

结果：

对于文本： 与之前的最佳方法相比，新方法生成的句子更好，困惑度（perplexity）更低，尤其是在给予更多思考时间时。
对于图像： 它还能生成更清晰、更锐利的图片（CIFAR-10 上的 FID 分数更好）。

3. 效率黑客：“智能菜单”（快速课程）

训练这些 AI 模型通常就像试图阅读一本字典，其中每个单词都是不同口味的冰淇淋。你必须品尝每一个，才能找到正确的混合比例。这需要巨大的计算机内存和时间。

作者意识到，当 AI 在训练期间“思考”时，它通常只关心前几个“口味”（单词），而忽略其余部分。其他口味发生的可能性极低，几乎可以视为零。

因此，他们构建了一个**“快速课程”（一种训练计划）。AI 不再需要品尝整本字典，而是使用一个智能菜单**，只查看最可能的 2 到 3 个选项。

类比： 想象你在点餐。与其阅读一份包含 10,000 项的菜单，你只查看厨师推荐的前 3 项。你得到了同样美味的饭菜，但节省了 33% 的时间和内存。
结果： 他们在不降低最终产品质量的情况下，将模型训练速度提高了25%，并减少了**33%**的内存使用。

主张总结

该论文提出了三个主要主张：

新采样方法： 他们创造了一种通用方法（Ψ-采样器），允许 AI 在文本和图像生成过程中“重新掩码”并修正自己的错误，从而产生随着时间推移持续改进的更高质量结果。
更好的性能： 他们的新模型（Duo++）在文本生成（OpenWebText）和图像生成（CIFAR-10）方面击败了之前的最先进模型。
效率： 通过忽略数据中的“噪声”，他们使训练过程更便宜、更快，将内存使用减少了三分之一，并将训练速度提高了四分之一。

简而言之，他们为 AI 配备了一位更好的编辑和一种更聪明的学习方式，使其能够写出更好的故事、画出更好的图片，而无需依赖超级计算机来完成。

技术摘要：扩散对偶性，第二章：Ψ 采样器

问题陈述

离散扩散模型已成为自回归模型在语言和图像生成任务中的一种强大替代方案，能够提供并行解码和双向上下文。其中，均匀状态扩散模型（USDMs） 凭借其通过多次修订令牌来自我纠正的能力，在少步生成和引导任务中表现出色。然而，USDMs 面临两个关键局限性：

采样质量瓶颈：USDMs 的标准祖先采样器无法随着采样步数（NFEs）的增加而提升生成质量，这与它们在少步 regime 中的表现截然不同。
训练低效：此前尝试通过课程学习（例如 Duo）来缩小 USDMs 与掩码扩散模型（MDMs）之间似然差距的努力，计算成本高昂，由于需要在训练阶段实例化高维潜在向量，导致内存占用高且训练时间长。

尽管 掩码扩散模型（MDMs） 通常能获得更高的似然值，但由于令牌一旦被解掩码便无法重新掩码，它们在推理过程中容易遭受误差累积。近期关于 预测 - 校正（PC） 方法的研究（例如 ReMDM）通过允许重新掩码改进了 MDMs，但针对 USDMs 的类似进展尚未得到充分探索，现有的 USDMs PC 方法往往表现不如祖先采样器。

方法论

本文介绍了 Duo++，这是一个通过两项主要创新解决上述挑战的框架：用于推理的 $\Psi$ -采样器 和用于训练的 可扩展课程。

1. $\Psi$ -后验与 $\Psi$ -采样器

作者提出了一族非马尔可夫后验，称为 $\Psi$ -后验，将先前的 PC 方法推广到任意噪声先验（包括掩码和均匀分布）。

定义： $\Psi$ -后验被定义为标准反向后验（ $q_{s|t}$ ）与前向过程边缘分布（ $q_s$ ）的线性叠加：
$\Psi_{s|t}(\cdot|x^\ell, z^\ell_t) = \kappa_t q_{s|t}(\cdot|z^\ell_t, x^\ell) + (1-\kappa_t) q_s(\cdot|x^\ell)$
其中 $\kappa_t \in [0, 1]$ 是随时间变化的系数。
机制：该公式允许采样器在生成过程中注入噪声（通过 $q_s$ $q_{s}$ 项）。
- 对于 MDMs，这实现了 重新掩码：如果去噪器出现错误，之前解码的令牌可以返回到掩码状态，从而纠正累积的错误。
- 对于 USDMs，这确保了即使去噪器给某个令牌分配了接近零的概率，该令牌仍保留非零的被采样概率，防止采样器陷入局部最优。
理论保证： $\Psi$ -后验的构建使其边缘分布与标准马尔可夫离散扩散过程完全一致。这确保了在给定足够样本的情况下，该过程收敛到正确的数据分布。
泛化性：该框架涵盖了现有的 PC 方法（例如 ReMDM、Campbell 等人、Gat 等人），将其视为选择特定 $\kappa_t$ 调度时的特例。

2. 用于快速训练的可扩展课程

为了解决 Duo (Sahoo 等人，2025a) 中提出的课程学习策略的计算瓶颈，作者引入了一种内存高效的实现方案。

稀疏性利用：原始课程将离散令牌输入替换为高斯潜在变量的低温 softmax 松弛。对于大词汇量（ $K > 100,000$ ），实例化完整的 $K$ 维权重向量是不可行的。
Top- $k$ 近似：作者观察到，在低温下，softmax 分布是稀疏的，质量仅集中在少数条目上。他们提出仅使用 Top- $k$ 个条目（ $k \ll K$ ）来近似完整的线性组合。
高效采样：该方法不使用生成完整向量并排序的方式，而是利用 顺序统计量，直接从底层高斯分布中采样 Top- $k$ 值及其对应的索引，而无需实例化完整向量。
归一化：推导出了一个闭式表达式，通过考虑采样的 Top- $k$ 项以及未采样项的预期贡献，来近似 softmax 归一化因子（ $\tilde{Z}$ ）。
效率：该方法在保持相同似然性能的同时，将峰值内存使用量降低了 33%，并将训练速度提高了 25%。

主要贡献

$\Psi$ -后验：一个统一的离散扩散框架，引入了非马尔可夫叠加后验，使得针对任意噪声先验（掩码和均匀分布）进行预测 - 校正采样成为可能，同时保持边缘分布的一致性。
$\Psi$ -采样器：一族泛化了先前 PC 方法（包括 ReMDM）的采样器。经验表明，它们使 USDMs 能够随着 NFEs 的增加更好地扩展，在文本生成中缩小了与 MDMs 的性能差距，并在图像生成中超越了 MDMs。
高效课程：一种可扩展的训练策略，利用低温 softmax 松弛的稀疏性，显著降低了内存和计算成本，同时不牺牲模型质量。

实验结果

语言建模（OpenWebText）

性能：与祖先采样相比， $\Psi$ -采样器显著改善了 USDMs 的 生成困惑度（Gen. PPL）。
扩展性：与随着 NFEs 增加而达到瓶颈的祖先采样不同， $\Psi$ -采样器随着步数增加持续改进。在匹配单字熵（多样性）的情况下，使用 $\Psi$ -采样器的 Duo++ 实现了比使用 ReMDM 的 MDLM 更低的 Gen. PPL。
下游任务：Duo++ 在多项选择题任务（例如 ARC、HellaSwag）上的表现与原始 Duo 模型相当，同时使用了 25% 更少的 FLOPs。

图像建模（CIFAR-10）

质量：在 CIFAR-10 上，使用 $\Psi$ -采样器的 Duo++ 在 FID 和 Inception Score (IS) 方面均优于祖先采样和 ReMDM。
扩展性：图像质量的提升在不同采样步数下保持一致，Duo++ 的表现优于 MDLM 变体。

训练效率

内存与速度：与原始 Duo 课程相比，所提出的高效课程将峰值内存使用量降低了 33%，并将总训练时间减少了 25%。
似然值：使用高效课程训练的模型在 LM1B 和 OpenWebText 上达到了与原始 Duo 模型相当的困惑度。

意义与主张

本文认为，掩码扩散是扩散式语言建模不可避免的未来这一假设值得商榷。通过引入 $\Psi$ -采样器，作者证明了 均匀状态扩散模型 可以实现：

卓越的扩展性：性能随着采样步数的增加而持续改进，这与祖先采样器不同。
具有竞争力或更优的质量：在文本生成中（配合 PC 采样）与 MDMs 相当或超越它们，并在图像生成中超越它们。
实际效率：其训练流程在内存和时间效率上显著优于先前的课程学习方法。

这项工作表明，高斯扩散与离散扩散之间的“对偶性”，结合非马尔可夫采样策略，为离散生成建模提供了一条稳健且可扩展的道路，挑战了掩码方法的统治地位。