📊 statistics

What Does a Discrete Diffusion Model Learn?

本文通过证明负 ELBO 恰好等于数据熵加上路径 KL 散度，为离散扩散模型建立了一个严密的理论框架，从而将各种损失函数（例如去噪、分数和桥接插件）统一为单个最优先验跳跃率的坐标变换，并为这些方法提供了精确的解析转换和初始化校准。

原作者： Rodrigo Casado Noguerales, Bernhard Schölkopf, Thomas Hofmann, Aran Raoufi

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Rodrigo Casado Noguerales, Bernhard Schölkopf, Thomas Hofmann, Aran Raoufi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何修复一份被粉碎的文件。这份文件最初是一页清晰的文本（ $Z_0$ ）。然后，你让它通过一台碎纸机，将单词慢慢变成随机的乱码，直到它变成一堆碎屑（ $Z_T$ ）。

机器人的任务是学习如何逆转这个过程：将碎屑拼凑起来，重新还原出原始文档。这正是**离散扩散模型（Discrete Diffusion Models）**所做的事情。

这篇论文提出了一个非常具体的问题：当我们训练机器人时，它到底在学习什么？

作者认为，长期以来，研究人员一直在使用三种不同的“语言”或“坐标系”来描述同一件事，并且经常将它们混淆。他们声称这三种语言分别是：

去噪器（The Denoiser）： “这里的原始单词是什么？”
空腔/桥接插件（The Cavity / Bridge Plug-in）： “忽略我当前看到的这个混乱的单词，这里的原始单词是什么？”
得分（The Score）： “这个单词比那个单词更有可能吗？”

论文证明了它们并不是三个不同的模型。它们只是书写同一个数学对象的三种不同方式。然而，如果你使用了错误的语言（例如，你训练机器人成为一个“去噪器”，但随后又要求它表现得像个“空腔”而没有进行转换），机器人就会感到困惑，数学逻辑会崩溃，训练也会失败。

以下是利用简单的类比对他们核心发现的拆解：

1. “先知距离”（The "Oracle Distance" —— 真正的目标）

通常，我们认为训练目标（ELBO）仅仅是对模型预测正确的可能性的一个“最佳猜测”。作者证明这是错误的。

他们表明，训练目标实际上是一个距离计。它衡量的是机器人的“逆向路径”与“完美路径”（先知/Oracle）之间的精确距离。

类比： 想象完美的路径是由一位全知全能的神绘制的 GPS 路线，他确切知道每一片碎屑来自哪里。机器人正试图沿着这条路线开车返回。
论文证明，训练的“代价”不仅仅在于到达最终目的地，更在于匹配机器人所经历的整个旅程。如果机器人在任何一点走错了路，其“距离”就会增加。
底线（The Floor）： 无论机器人变得多么优秀，都存在一个它永远无法低于的最小代价。这个底线仅仅是原始文档中的熵（信息量）。如果不支付丢失信息的“代价”，你就无法还原一份被粉碎的文档。

2. “投影”（The "Projection" —— 机器人是如何学习的）

机器人在训练期间从未见过干净的文档，它只看到混乱、多噪的版本。

类比： 想象机器人是一名侦探，正在观察一个被浓雾笼罩的犯罪现场。“先知”（完美的逆向过程）因为拥有时光机，所以确切知道发生了什么。而机器人必须仅根据当前的雾气场景来推测发生了什么。
论文证明，机器人本质上是在对所有可能导致当前雾气场景的“完美”历史进行平均。它正在将完美的知识“投影”到它所拥有的有限信息之上。

3. “三种坐标”（The "Three Coordinates" —— 字典）

这是论文中最具实践意义的部分。作者提供了一本“字典”，用于在三种语言（去噪器、空腔、得分）之间进行翻译。

问题： 在某些类型的粉碎方式中（如掩码扩散 Masked Diffusion，即单词被替换为 [MASK] 标记），“去噪器”和“空腔”其实是同一回事。这就像是在问“这个单词是什么？”以及“如果忽略当前的混乱，这个单词是什么？”，由于混乱本身没有提供任何线索，这两个问题的答案是一样的。
陷阱： 在其他类型的粉碎方式中（如均匀扩散 Uniform Diffusion，即单词被随机交换），“去噪器”和“空腔”是不同的。
- 如果你训练一个机器人成为“去噪器”（基于混乱的单词预测干净的单词），但却试图将其作为“空腔”来使用（忽略混乱的单词），数学逻辑就会爆炸。数值会趋向无穷大，导致训练失败。
- 论文解释了为什么某些方法在处理掩码文本时表现出色，但在处理均匀扩散文本时会失败：因为它们在使用错误的坐标系而没有进行翻译。

4. “校准”（The "Calibration" —— 检查工作）

作者提供了一种简单的方法，可以在训练开始阶段（在机器人还没学到任何东西之前）检查你的机器人是否工作正常。

类比： 如果你给机器人一张白纸并让它进行猜测，它的猜测应该是随机的。
论文证明，如果你使用“空腔”语言，一个随机猜测会有一个特定的、可预测的分数（与词表大小 $V$ 相关，即 $\log V$ ）。如果你的机器人分数不同，说明你的代码出错了。
相反，如果你在均匀扩散中使用“去噪器”语言进行随机猜测，分数会趋向无穷大。这解释了为什么有些模型在启动训练时会立即崩溃。

总结性的“启示”

这篇论文告诉我们：

只存在一个真实的逆向过程（先知/Oracle）。
去噪器、空腔和得分只是描述它的三种不同方式。
你必须使用正确的语言来完成工作。 如果你正在进行“均匀扩散”，你必须使用“空腔”语言（或者将你的去噪器输出转换为空腔语言），否则数学逻辑会崩溃。
训练目标是一个精确的距离，指向完美的路径，而不只是一个模糊的概率界限。

简而言之，这篇论文通过展示这些模型的“魔力”实际上只是关于如何在看待同一问题的不同方式之间使用正确的数学转换，从而理清了该领域许多困惑。

技术摘要：离散扩散模型究竟在学习什么？

问题陈述

离散扩散模型已成为类别数据（如文本）生成建模的一种强大框架。这些模型通过破坏数据（一个连续时间马尔可夫链，或称 CTMC）的前向加噪过程来运行，并学习如何逆转这一过程。然而，文献中呈现的逆向过程参数化形式看似截然不同：去噪器（denoisers）（预测干净的 token）、分数比率（score ratios）（噪声条件概率的比率）以及桥接插件（bridge plug-ins）或空腔律（cavity laws）（在忽略局部噪声 token 的情况下预测干净的 token）。

该领域存在一个关键的歧义：这些是不同的对象，还是同一底层过程的不同坐标系？本文认为，在“错误的”坐标系中读取神经网络的输出，会改变正在优化的连续时间马尔可夫链及其采样过程。具体而言，在均匀扩散（uniform diffusion）中，标准的桥接插件目标函数训练的是一个空腔律，而非普通的去噪器；这种区别在掩码扩散（masked diffusion）中被掩盖了，因为在掩码扩散中两者是重合的。此外，将训练目标（证据下界，ELBO）仅仅视为似然性的松散代理的做法，掩盖了其作为路径空间散度的本质。

方法论

作者基于 CTMC 开发了一套严谨且自洽的连续时间离散扩散理论。其方法包括：

推导通用 CTMC ELBO： 从变分自编码器（VAE）框架出发，他们推导了有限状态跳跃过程的连续时间 ELBO。至关重要的是，他们保留了文献中经常丢弃的边界项（ $t_1$ 处的重建和 $t_2$ 处的终端先验），从而确保该目标函数是一个有效的似然界，并且在不同的加噪过程中具有可比性。
预言机距离恒等式（The Oracle Distance Identity）： 他们证明了负 ELBO（NELBO）不仅是一个界，而且是一个精确的分解：
$\text{NELBO} = H(q_0) + \text{KL}(P^\star_{[t_1, t_2]} \parallel P^\theta_{[t_1, t_2]}) + \text{Boundary Terms}$
这里， $H(q_0)$ 是数据熵，而 KL 项是预言机逆向过程（真实的边际逆向动力学）与学习到的过程之间的路径空间散度。
逆向速率投影（Reverse-Rate Projection）： 他们证明了 ELBO 的总体优化器是边际逆向跳跃速率，即给定当前噪声状态下，以干净状态为条件的逆向速率的后验期望。这确立了 ELBO 是一个投影问题。
坐标字典： 对于 token 可分解的加噪过程，他们推导出了三种最优逆向速率坐标之间的精确、闭式转换关系：
- 去噪器（Denoiser）： $\pi^\star_i(z^i_0 | z_t)$
- 空腔（Cavity）： $\mu^\star_i(z^i_0 | z^{\setminus i}_t)$
- 分数（Score）： $s^\star_i(z^i_t, y | z^{\setminus i}_t)$
信息论分析： 他们确定了 ELBO 的不可约成本是信息损失率 $-\frac{d}{dt}I(Z_0; Z_t)$ ，并证明了无论加噪过程如何，NELBO 的通用下界始终是数据熵 $H(q_0)$ 。

核心贡献

1. 预言机距离定理

论文证明，最小化 NELBO 等价于最小化学习到的逆向动力学与真实的预言机逆向动力学之间的路径律 KL 散度。这把 ELBO 从一个松散的变分界转化为一个精确的轨迹失配度量。其唯一优化器是边际逆向速率，其不可约成本是数据熵。

2. 参数化统一

作者提供了一个“字典”，表明去噪器、空腔律和分数是同一个最优逆向速率的三个精确坐标。

转换： 他们提供了在这些坐标之间进行转换的闭式公式（例如，去噪器是通过局部前向核对空腔律进行重加权得到的）。
启示： 如果在没有进行转换的情况下，使用为空腔律设计的损失函数来训练去噪器头部（或反之），会导致次优的学习结果。

3. 解决掩码与均匀扩散的区别

论文解释了为什么掩码扩散（MDM）和均匀扩散（UDM）表现不同：

掩码扩散： 在被掩码的位置上，局部观测是无信息的。因此，去噪器和空腔律是重合的（ $\pi^\star = \mu^\star$ ）。这使得标准的去噪交叉熵可以完美工作。
均匀扩散： 局部观测携带信息。去噪器和空腔律是不同的。论文证明，在均匀扩散中使用去噪器参数化会导致 ELBO 在初始化时（当 $t \to 0$ 时）发生发散，因为无信息的先验在速率计算中产生了奇异商。相比之下，空腔（桥接插件）参数化保持有限且校准良好。

4. 实践校准与诊断

初始化检查： 作者推导了一个校准恒等式：一个无信息的空腔头部（均匀分布）产生的每个 token 的 NELBO 正好为 $\log V$ （其中 $V$ 是词表大小）。这可以作为实现正确性的调试工具。
边界项： 他们证明，丢弃边界项会导致 ELBO 值在不同的加噪过程（如掩码 vs 均匀）之间不具备可比性。

5. 误差来源分离

该框架清晰地分离了两个误差来源：

逆向速率误差： 模型速率与预言机速率之间的差距，由 ELBO 衡量。
分解误差： 将联合逆向步骤近似为 token 级步骤（并行采样）所引入的误差。这种误差在 ELBO 中是不可见的，但会体现在生成困惑度上，即使对于预言机模型也是如此。

实验验证

论文通过一个精确可解的玩具模型（一个 8 个 token 的齐次二元链）对理论主张进行了数值验证。

预言机距离： 实验确认，超过数据熵底线的超额 NELBO 会随着模型的学习趋于零，这符合路径 KL 预测。
坐标惩罚： 数值测试显示，在错误的坐标系中读取速率（例如，将空腔输出视为去噪器）会在 NELBO 和生成困惑度上产生显著惩罚，除非应用了正确的转换。
发散现象： 实验证实，均匀去噪器头部在初始化时会发散，而均匀空腔头部则保持稳定。
校准： 无信息空腔头部的 $\log V$ 恒等式精确成立。

意义与主张

该论文声称提供了第一个关于连续时间离散扩散的严谨且通用的理论，将不同的参数化形式统一在一个单一的几何和信息论框架之下。

理论清晰度： 它解决了长期以来关于离散扩散模型究竟在学习什么的困惑，明确了边际逆向速率才是真正的目标，并将 ELBO 定义为路径散度。
实践指导： 它为从业者提供了具体的规则：
- 对于均匀扩散和混合扩散，请使用**空腔（桥接插件）**参数化。
- 对于掩码扩散，请使用去噪器参数化。
- 如果在训练或采样过程中切换参数化方式，务必应用闭式转换。
- 在计算 ELBO 时始终包含边界项，以确保不同方法之间的公平比较。
局限性： 作者指出，其验证是在一个小规模的精确可解模型上进行的。虽然并发的研究（[GJS+26]）提供了在大规模均匀扩散上的证据，但作者表示，在大型语言模型规模上确认这些收益是下一步必要的任务。此外，他们澄清，其分析假设了“教师强制”（training on the true forward process）状态；采样漂移（向自生成状态的泛化）仍然是一个 ELBO 目标本身未解决的独立挑战。

总之，本文认为离散扩散并非一系列临时凑合的方法，而是一个统一的过程：其中参数化的选择是坐标的选择，而损失函数的选择必须与这些坐标对齐，以确保收敛到最优的逆向动力学。