💬 NLP

Discrete Diffusion Models: A Unified Framework from Tokenization to Generation

本文提出了一个以离散状态空间构建为核心的离散扩散模型统一概念框架，从而统一了现有公式、明确了设计权衡，并为未来的研究方向提供了指导。

原作者： Ye Yuan, Weien Li, Rui Song, Zeyu Li, Haochen Liu, Xiangyu Kong, Zixuan Dong, Linfeng Du, Zipeng Sun, Weixu Zhang, Jiaxin Huang, Changjiang Han, Yonghan Yang, Zichen Zhao, Xiuyuan Hu, Haolun Wu, Yanka

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ye Yuan, Weien Li, Rui Song, Zeyu Li, Haochen Liu, Xiangyu Kong, Zixuan Dong, Linfeng Du, Zipeng Sun, Weixu Zhang, Jiaxin Huang, Changjiang Han, Yonghan Yang, Zichen Zhao, Xiuyuan Hu, Haolun Wu, Yankai Chen, Fengran Mo, Jikun Kang, Bowei He, Dawn Song, Philip S. Yu, Xue Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图通过一个接一个地放置单词来写故事，且永远不允许回头查看或修改已经写下的内容。这正是目前大多数现代文本生成计算机程序的工作方式。它们从左到右构建句子，在每个单词出现的那一刻就对其做出承诺。虽然这种方法快速且可靠，但它有一个根本性的缺陷：如果作者在早期犯了错误，或者故事需要一个需要改变开头的转折，系统无法在不重新开始的情况下进行修正。这是一条单行道，没有转向车道。

长期以来，科学家们一直在寻找一种不同的数据生成方式，一种允许全局规划并能在整体图景清晰时修正决策的方式。在图像和声音领域，一种被称为“扩散”（diffusion）的技术已经解决了这个问题。它的工作原理是从一个完全混乱的状态开始，通过逐步清理，直到出现清晰的图像或声音。因为这个过程在每一个阶段都会观察整个画面，所以它可以修复错误并随着进程调整构图。然而，将这种相同的“清理”方法应用于文本、代码和其他离散数据——其中构建块是像字母或单词这样截然不同的符号，而不是平滑的色彩色调——已被证明是极其困难的。适用于图像的规则并不能直接转化为适用于单词的规则，以往强行使其奏效的尝试往往会导致乱码或质量低劣。

由包括麦吉尔大学、穆罕默德·本·扎耶德人工智能大学在内的机构组成的大型研究团队的一项最新综合研究，为理解和改进这些离散扩散模型提供了一种统一的方法。研究人员认为，使这些模型发挥良好作用的关键不仅在于清理算法本身，还在于如何首先将原始数据分解为那些基础构建块，即“标记”（tokens）。他们提出，我们选择如何切割句子、蛋白质链或分子结构，是最关键的设计选择，它塑造了随后发生的一切。通过将这种初始分解视为设计的核心部分，而非仅仅是一个简单的设置步骤，该团队创建了一个单一的框架，解释了这些模型如何在从编写代码到设计新药等许多不同领域中运作。

这一新框架的核心是一个简单而强大的想法：数据的标记化（tokenization）方式决定了破坏它的“噪声”的性质，以及计算机解决该任务以进行修复的难度。在熟悉的文本世界中，单词通常根据其出现的频率被分解成更小的部分。但对于离散扩散，研究人员发现这些部分的规模和结构至关重要。如果部分太小，计算机必须解决一个拥有过多微小零件的巨大谜题；如果部分太大，模型则难以预测正确的组合。该研究描绘了不同类型的数据如何需要不同的处理方法。例如，在语言中，最好的方法通常涉及掩盖（masking）部分单词并要求模型填补空白，这种方法发挥了现代计算机架构的长处。相比之下，对于蛋白质或 DNA 等科学数据，分子本身的自然结构提供了引导。研究人员表明，利用氨基酸或化学键之间的已知关系来引导“清理”过程，比将所有错误视为同等对待的效果要好得多。

该论文将此前看似互不关联的大量现有方法整合在了一起。它表明，无论模型是使用转换矩阵来描述标记的变化，还是使用掩码策略来隐藏数据的一部分，亦或是使用基于评分的方法来衡量概率，它们都是同一种底层结构的变体。研究人员将每个离型扩散模型分解为四个基本部分：用于破坏数据的方法、用于学习修复数据的神经网络、用于训练该网络的数学目标，以及用于生成最终输出的算法。通过这些共同的视角，团队揭示了许多成功与失败模型之间的差异，归根结底在于如何将这四个部分与特定类型的数据进行匹配。

最重要的发现之一是，这些模型擅长处理需要观察全局的任务。与那些无法改变主意的从左向右的编写者不同，这些模型可以迭代地完善其输出。它们可以从一个草稿开始，识别薄弱环节，并在随后的轮次中进行改进。这使得它们在处理诸如填充文档缺失部分、在保留周围上下文的同时编辑文本，或生成像化学分子这样每个部分都必须完美契合的复杂结构等任务时，具有特别强大的能力。研究强调，对于这些特定任务，这种进行全局规划和修正的能力是一种明显的优势，是目前的标准模型难以轻易复制的。

然而，研究人员也谨慎地指出，这并不意味着旧的从左向右的方法已经过时。由于新模型必须多次处理整个序列，因此通常比旧方法慢，而旧方法可以非常快速地逐个单词生成文本。研究表明，未来的方向很可能是混合系统，即将旧方法的速度与新方法的规划和修正能力相结合。例如，一个系统可以使用快速模型起草一个计划，然后使用扩散模型来完善细节并确保一致性。

论文还讨论了使这些模型在大规模应用中的实际挑战。它讨论了如何高效地训练它们，如何在不损失质量的情况下提高生成速度，以及如何评估结果是否真正优秀。研究人员指出，旨在为旧模型设计的标准衡量成功的方法，往往无法捕捉到这些新系统的独特优势和弱点。他们提出了新的性能衡量方法，这些方法考虑到了过程的迭代性质，例如追踪模型在每次精炼步骤中的改进程度。

最终，这项工作为下一代人工智能提供了路线图。通过阐明数据的表示方式与用于生成数据的算法同样重要，研究人员为改进开辟了新的途径。他们表明，通过精心设计与特定领域需求相匹配的标记化过程——无论是语言的语法、代码的句法，还是分子的化学结构——这些模型可以变得更加有效。该研究并不声称已经解决了所有问题；它承认在这些模型如何扩展规模以及如何像旧方法那样学习上下文方面，仍存在开放性问题。但通过提供一个统一的框架，它为科学界提供了一种清晰的语言和共同的结构来加以构建，推动该领域从孤立实验的集合转向一种连贯且强大的生成式人工智能新方法。

技术摘要：离散扩散模型：从分词到生成的统一框架

问题陈述

自回归（AR）模型因其训练稳定和成熟的基础设施，已成为生成离散序列（文本、代码等）的标准范式。然而，自回归范式存在根本性的局限性：生成过程本质上是顺序的（复杂度为 $O(L)$ ），这阻碍了并行解码；且其过程具有不可逆的从左至右的特性，使得进行全局规划、满足非局部约束或在已发射内容后进行修正变得十分困难。

虽然连续扩散模型通过并行、迭代的全局细化提供了一种极具吸引力的替代方案，但将这一范式应用于离散数据却并非易事。直接扩展连续扩散（嵌入 Token、添加高斯噪声并进行舍入）会引入连续嵌入流形与离散词表之间的几何失配，导致舍入误差和样本质量下降。相反，在离散空间中原生定义扩散则需要设计特定的破坏过程和针对分类数据的逆向去噪器。目前该领域缺乏一个统一的理解，即如何构建离散状态空间（分词/Tokenization）与破坏动力学、训练目标以及跨领域推理算法之间的相互作用。

方法论：一个统一框架

本文提出了一个统一的概念框架，将分词（离散状态空间的构建）视为一个核心设计维度，而非仅仅是一个预处理细节，它塑造了整个生成流水线。该框架将每个离散扩散模型分解为四个核心组件：

破坏算子（Corruption Operator）： 定义了将干净数据 $x_0$ $x_{0}$ 映射到噪声数据 $x_t$ $x_{t}$ 的前向过程。它由转移矩阵 $Q_t$ $Q_{t}$ （离散时间）或速率矩阵 $R_t$ $R_{t}$ （连续时间）指定。关键实例包括：
- 吸收态（掩码/Masking）： Token 被逐步替换为一个特殊的掩码 Token $m$ 。这在大型语言建模中占据主导地位，因为它将去噪简化为“填空”任务。
- 均匀替换（Uniform Substitution）： Token 被随机的词表内 Token 替换。
- 结构化转移（Structured Transitions）： 替换概率反映了 Token 之间的相似性（例如，代码本几何结构或生物替换矩阵）。
去噪器参数化（Denoiser Parameterization）： 一个根据噪声状态预测干净数据信息的神经网络。常见的参数化方式包括预测干净 Token 的分布（ $x_0$ -参数化）、预测对数概率比（基于分数/比例）或预测速度（流匹配/Flow Matching）。
训练目标（Training Objective）： 衍生自变分界限（ELBO）、分数匹配恒等式或简化的代理目标。论文强调，对于掩码扩散，连续时间 ELBO 会坍缩为加权交叉熵损失，从而将其与掩码语言模型（MLM）紧密联系起来。
采样器（Sampler）： 迭代应用学习到的逆向转移的推理算法。策略包括祖先采样、基于置信度的重掩码、半自回归块更新以及引导机制。

该框架被应用于三个广泛的应用家族：

文本与代码： 使用语义子词 Token（BPE、WordPiece）结合吸收态掩码。
分词化多模态生成： 使用量化 Token（VQ-VAE、VQ-GAN）生成图像、音频和视频，其中代码本的拓扑结构可以为结构化破坏提供信息。
科学领域： 利用天然的离散字母表（氨基酸、核苷酸、分子图），其中外部先验（如 BLOSUM 矩阵、价键规则）引导破坏过程和有效性约束。

核心贡献

本文做出了五个主要贡献：

以分词为中心的视角： 它将离散状态空间的构建提升为第一类组织原则。它分析了词表设计、代码本拓扑和自然字母表如何塑造破坏过程、去噪难度和下游可控性。它还引入了面向扩散的分词质量诊断工具，如“重建-生成差距”和“去噪损失曲线”。
统一的公式化与训练/推理框架： 它将所有离散扩散模型分解为四部分结构（破坏、去噪器、目标、采样器），证明了主要的公式化家族（D3PM、MDLM、SEDD、Flow Matching）都是这一共享结构的实例化。
跨领域实例化： 它将该框架映射到文本、代码、多模态媒体、蛋白质、基因组学、分子、图和规划智能体，揭示了共同的设计模式和领域特定约束。
规模化、系统与评估： 它将规模化行为、训练流水线、推理加速和评估协议视为设计空间的重要组成部分。它提倡使用“质量-延迟前沿图”而非单一效率指标，以便更好地比较扩散模型与自回归模型。
明确开放问题： 它为未来的研究界定了具体的挑战，包括规模定律、上下文学习差距、双向模型的 KV 缓存类似物、流式生成、统一 Token 空间以及理论基础（表达能力、收敛性、可识别性）。

结果与发现

本文通过综合现有文献而非呈现新的实验结果，得出以下结论：

掩码的主导地位： 吸收态（掩码）破坏已成为大规模离散扩散（尤其是语言领域）的主导策略，归功于其简单性、训练稳定性以及与双向 Transformer 的兼容性。
分词的影响： 分词的选择决定了扰动的拓扑结构。对于文本，由于缺乏内在度量，掩码更具优势；对于量化媒体，学习到的代码本几何结构提供了结构化破坏的机会；对于科学领域，天然字母表提供了外部相似性度量，可以引导转移核。
推理灵活性： 离散扩散的推理作用于固定去噪器的策略层。基于置信度的重掩码、块更新和半自回归解码等技术，允许在并行性与依赖管理之间进行权衡，实现了自回归模型难以实现的全局细化和约束满足。
评估的细微差别： 标准指标（如 FID、BLEU）经常将分词器重建质量与生成模型质量混淆。论文强调需要分别报告重建保真度、生成质量以及两者之间的差距。对于智能体和工具使用，端到端的任务成功率和验证成本比原始 Token 生成速度更为重要。
混合潜力： 论文指出，自回归（AR）和扩散范式很可能共存。混合系统（例如，使用自回归进行规划，结合扩散进行细化；或在 AR 主干上进行扩散编辑）可能会提供最实际的收益，利用两者在顺序承诺和全局修正方面的优势。

意义与主张

本文声称提供了第一个端到端的设计空间，超越了单纯的模型家族集合，转向一个以分词与破坏-去噪动力学相互作用为中心的统一视角。

统一性： 它通过单一视角统一了看似迥异的领域（文本、图像、分子），揭示了当分词不被视为固定的上游选择时，那些隐藏的设计模式和失效模式。
实用性： 它作为一个实用的设计参考，为选择分词方案、破坏算子和评估协议提供了跨领域的检查清单。
未来方向： 它将离散扩散定位为自回归模型的补充范式，而非替代品，对于需要全局连贯性、并行解码和精细控制的任务至关重要。论文认为，“状态空间设计、破坏过程、学习目标和采样算法”构成了一个不可分割的系统，而最有效的设计是那些能使这些选择与数据结构及任务需求高度协同的设计。

作者总结道，尽管离散扩散在迭代细化和约束满足方面具有显著优势，但在能够完全媲美自回归模型的效率和普及性之前，在规模化、上下文学习和系统优化方面仍面临重大挑战。