💬 NLP

Discrete Stochastic Localization for Non-autoregressive Generation

本文介绍了离散随机定位（DSL），这是一种具有单位球面令牌嵌入的连续状态框架，它使单个训练好的网络能够支持多样化的采样路径——包括掩码扩散、随机顺序自回归以及混合连续 - 离散生成——从而在无需蒸馏或重新训练的情况下，显著提升了相对于标准掩码离散扩散模型的分布忠实度。

原作者： Yunshu Wu, Jiayi Cheng, Longxuan Yu, Partha Thakuria, Rob Brekelmans, Evangelos E. Papalexakis, Greg Ver Steeg

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yunshu Wu, Jiayi Cheng, Longxuan Yu, Partha Thakuria, Rob Brekelmans, Evangelos E. Papalexakis, Greg Ver Steeg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《离散随机定位用于非自回归生成》的解释。

核心难题：“蒙眼画家”

想象一下，你正在教一个 AI 写故事。

传统 AI（自回归）： 这就像一次写一个词来写故事。你写下“那”，然后是“猫”，接着是“坐”。它非常谨慎，但速度很慢，因为它无法提前预知，一旦写下某个词，也很难轻易改变主意。
旧式扩散 AI（连续）： 这就像从一块布满静态噪点的画布开始，慢慢清理噪点，直到画面显现。对于图像来说，这效果极佳。但当研究人员尝试将其用于文本时，他们将单词视为模糊的、连续的颜色。AI 感到困惑，因为它不知道在“清理”的不同阶段，它究竟应该猜测哪个具体的单词。这就像看着一团模糊的颜料污渍，试图猜出确切的单词一样。

结果： “模糊颜料”方法（连续扩散）在文本写作方面始终不如“一次一个词”的方法。

解决方案：DSL（离散随机定位）

作者 Yunshu Wu 及其同事提出了一种教 AI“清理”文本的新方法。他们称之为离散随机定位（DSL）。

以下是将核心理念拆解为三个简单概念：

1. “指南针”类比

在旧方法中，AI 需要一个“计时器”来知道画面中有多少噪点。这就像画家问：“过了几分钟？是时候多加点蓝色还是少加点红色？”

在 DSL 中，作者改变了游戏规则。他们将每一个可能的单词放在一个“单位球体”上（想象一个完美的地球仪，每个单词都是球体表面上的一个特定点）。

神奇之处： 他们设计系统，使得这个球体上噪点信号的位置能告诉 AI 它需要知道的一切。
结果： AI 不再需要计时器。它只需查看信号并说：“啊，这个信号稍微指向‘猫’，也稍微指向‘狗’。我知道该做什么了。”AI 变得时间无关。它不在乎何时观察噪点，只在乎噪点看起来像什么。

2. “一个大脑，多种工作”类比

因为 AI 不需要计时器，所以它可以极其灵活。想象一个单一的大脑可以执行三种不同的工作，而无需重新训练：

工作 A（掩码细化）： 就像一位校对员，看着带有空白的句子，将其填满，然后回头修正错误。
工作 B（随机顺序）： 就像一个拼图解谜者，先填出句子的最后一个词，然后是第一个词，接着是中间部分，顺序完全随机。
工作 C（混合模式）： 就像一位素描艺术家，先勾勒出整个故事的粗略、模糊轮廓，然后迅速将最终的单词定格到位。

过去，你需要三个不同的 AI 模型来完成这三项工作。有了 DSL，一个单一的训练模型就能完成所有这些工作。

3. “训练食谱”

为了让这一切生效，作者使用了一种“混合食谱”来训练 AI：

有些样本是完全掩码的（就像填字游戏中空白的格子）。
有些样本是部分噪点的（就像一些单词被弄乱了的句子）。
有些样本是完全干净的。

通过向 AI 提供这种混合数据，模型学会了理解单词的“几何结构”。它明白噪点信号不仅仅是“噪音”；它是一个指向正确单词的特定方向。

他们取得了什么成就？

该论文在大规模互联网文本数据集（OpenWebText）和较小数据集（Text8）上测试了这种方法。

质量更高： 当他们使用 DSL 生成文本时，结果比以前的方法更忠实于人类写作风格（通过名为 MAUVE 的指标衡量）。
速度更快： 他们可以在极少的步骤内生成高质量文本（少至 48 步），而其他方法通常需要数百步。
多功能性： 他们证明了同一个“检查点”（即保存下来的 AI 大脑）可以在逐词写作、填空或混合方法之间切换，而无需重新训练。

总结

该论文认为，以往文本生成 AI 的问题不在于它们是“连续的”（使用平滑数字而非离散单词），而在于它们使用了错误的“地图”来导航这些数字。

通过切换到一种信号本身就能告诉 AI 它在哪里（而不是依靠计时器）的地图，他们创造了一个系统，该系统：

更聪明： 它更好地理解噪音与单词之间的关系。
更快： 它可以用更少的步骤生成文本。
更灵活： 一个模型可以处理多种不同的文本生成方式。

这就像将 GPS 从“需要告诉你时间才能确定位置”升级为“只需观察星星就能准确告诉你位置，无论时间如何”。

技术摘要：用于非自回归生成的离散随机定位

问题陈述

连续扩散已成为图像、视频和音频等高维生成领域的标准框架，但在语言生成方面，其表现一直落后于掩码离散扩散模型（MDMs）。现有的连续扩散语言模型通常使用方差保持（VP）或方差爆炸（VE）高斯加噪，在含噪令牌嵌入上运行。作者认为，瓶颈不在于连续性本身，而在于表示选择。

在标准连续扩散中，去噪过程依赖于时间步索引的噪声机制。模型必须接收时间步或噪声水平标签，以校准含噪嵌入中包含多少证据。因此，该表示下的去噪器对时间条件高度敏感，难以区分掩码（零信息）状态和不确定（有限信噪比）状态。这种对显式时间条件的依赖，使得单个网络无法自然地支持多样化的推理路径（如随机顺序自回归采样或混合连续 - 离散解码），除非使用独立的采样器特定模型或进行重新训练。

方法论：离散随机定位（DSL）

本文提出了离散随机定位（DSL），这是一种连续状态框架，旨在使贝叶斯最优去噪器对标称信噪比（SNR）保持不变。

1. 单位球令牌几何

核心创新在于将所有干净令牌嵌入约束在单位球面上（ $\|x_i\|_2 = 1$ ）。在随机定位通道中，含噪观测值为 $z_t = t x + \sqrt{t}\epsilon$ ，贝叶斯后验分解包含一个与 $t \|x\|_2^2$ 成正比的项。由于嵌入具有单位范数，对于给定长度的任何句子， $\|x\|_2^2$ 均为常数。该项在归一化过程中被抵消，从而使后验分布——进而使最优去噪器——独立于标称信噪比 $t$ 。

最优去噪器变为仅含噪状态 $z$ 的函数：
$\hat{x}(z) = \mathbb{E}[x | z] = \frac{\mathbb{E}_P[x e^{x \cdot z}]}{\mathbb{E}_P[e^{x \cdot z}]}$
这使得单个时间无关的网络能够服务于整个每令牌信噪比路径族。

2. 每令牌信噪比路径

由于去噪器不需要全局时间步，DSL 允许每个令牌位置在其各自的任意信噪比路径 $\gamma_i(t)$ 下演化。这将多种推理策略统一在一个模型之下：

随机顺序自回归（ROAR）： 逐个揭示令牌对应于将特定的 $\gamma_i$ 从 0 驱动至 $\infty$ ，同时保持其他令牌为 0。
掩码细化： 重新掩码令牌对应于将其 $\gamma_i$ 重置为 0。
连续扩散： 同时增加所有 $\gamma_i$ 对应于标准的连续去噪。

3. 训练目标与架构

为了训练单个模型以支持这些多样化的路径，DSL 采用混合支持信噪比采样策略：

连续分支： 从对数正态分布中采样信噪比，以覆盖有限信噪比状态。
端点分支： 从 ROAR 风格的分布中采样，该分布集中在掩码（ $\gamma=0$ ）和干净（ $\gamma=\infty$ ）极端附近。

两个分支均使用单个**令牌级交叉熵（CE）**损失进行训练。作者论证，最小化分类令牌后验上的交叉熵是精确路径积分均方误差（MSE）负对数似然（NLL）的代理，同时避免了与直接嵌入空间回归相关的病理现象（如嵌入坍塌或记忆化）。

该架构包含一个后验视图转换器，将含噪嵌入 $z_i$ 映射到有界的令牌混合表示 $m_i$ 。这确保了 Transformer 主干网络的输入保持稳定，并可解释为词汇表上的概率分布，无论信噪比水平如何。

主要贡献

用于离散生成的连续状态框架： DSL 引入了基于单位球嵌入的随机定位通道，其中贝叶斯最优去噪器仅是含噪状态的函数，消除了对显式时间条件的需求。
实用方案： 本文提出了一种混合支持信噪比采样策略，在端点（掩码/揭示）和有限信噪比状态上训练单个去噪器，并配合一个转换器，将连续后验几何结构桥接至标准 Transformer 主干网络。
跨路径的证据： 作者证明，单个 DSL 检查点可以在不重新训练的情况下支持掩码细化、随机顺序自回归采样以及混合连续 - 离散采样。

实验结果

作者在 OpenWebText (OWT) 和 Text8 上微调预训练的 MDLM 检查点，对 DSL 进行了评估。

OpenWebText 生成： 与基线 MDLM 相比，DSL 在所有步数预算（ $T=128$ $T = 128$ 到 $T=1024$ $T = 1024$ ）下显著提高了分布忠实度（通过 MAUVE 衡量）。
- 使用掩码细化解码器（ReMDM），DSL 在 $T=1024$ 时达到 0.722 的 MAUVE 分数，优于之前的最先进方法，如 PRISM-loop (0.527) 和 ADLM (0.699)。
- 即使不进行迭代细化（使用简单的 ROAR 或普通 MDLM 解码器），DSL 微调后的检查点仍显著优于基线，表明改进源于学习到的后验分布，而不仅仅是采样调度。
混合采样： 一种执行短连续去噪阶段 followed 由离散掩码细化的混合采样器，仅需 48 个总步数 即可生成连贯内容（MAUVE 0.662），超越了步数高得多的非细化基线。
Text8 似然度： 在 Text8 基准测试中，DSL 实现了 $\le 1.45$ 的每字符比特数（BPC）。虽然这是上界（ELBO），不能直接与自回归模型的精确 NLL 比较，但它接近掩码离散扩散模型（MDLM $\le 1.40$ ）的范围，并优于其他连续扩散基线（Plaid $\le 1.48$ ）。

意义与主张

本文主张，语言中连续扩散与离散扩散之间的差距并非源于连续性的本质，而是源于噪声机制的表示。通过对污染过程进行参数化，使得含噪状态单独决定干净令牌的后验分布，DSL 统一了掩码扩散的“端点揭示”行为与扩散模型的“连续细化”能力。

核心主张是，端点揭示、掩码细化和连续/混合去噪可以由一个后验估计器提供服务，而无需独立的、采样器特定的模型。这暗示了一种非自回归生成的新范式，其中模型学习一个时间无关的后验映射，而推理路径（自回归、掩码或混合）在采样时动态确定。

作者对局限性保持谦逊，指出其评估仅限于 OWT 和 Text8，且报告的采样器（ReMDM 系列和混合采样器）并非经过 exhaustive 优化的解码策略，而是证明了 DSL 后验灵活性的概念验证。未来的工作方向包括优化的重新掩码调度、更大规模的模型以及条件生成。