🤖 machine learning

Discrete Stochastic Localization for Non-autoregressive Generation

本文介绍了离散随机定位（DSL），这是一种具有单位球面令牌嵌入的连续状态框架，它使单个训练好的网络能够支持多样化的采样路径——包括掩码扩散、随机顺序自回归以及混合连续 - 离散策略——从而在不进行蒸馏或重新训练的情况下，显著提高了非自回归生成中的分布忠实度。

原作者： Yunshu Wu, Jiayi Cheng, Longxuan Yu, Partha Thakuria, Rob Brekelmans, Evangelos E. Papalexakis, Greg Ver Steeg

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yunshu Wu, Jiayi Cheng, Longxuan Yu, Partha Thakuria, Rob Brekelmans, Evangelos E. Papalexakis, Greg Ver Steeg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《用于非自回归生成的离散随机定位》的解释。

核心难题：“模糊照片”困境

想象你正在尝试拼凑一幅破碎的马赛克画。你主要有两种方法：

“逐个放置”法（自回归）： 你放下一块瓷砖，然后是下一块，再下一块。这很慢，但你很少犯错，因为你是基于刚刚放置的内容进行构建的。
“模糊照片”法（连续扩散）： 你从一张完全模糊、充满噪点的照片开始，然后慢慢将其 sharpen（锐化），直到图像显现。这很快，因为你可以一次性修正整张图片。然而，对于文本（语言）而言，这种方法在历史上一直表现糟糕。它会产生胡言乱语，因为这种“模糊”并不完全符合单词的运作方式。

论文的主张： 作者认为，“模糊照片”方法在文本上失败的原因并非方法本身不好，而是描述“模糊”的方式错了。他们引入了一种处理模糊的新方法，称为DSL（离散随机定位）。

核心理念：“磁罗盘”类比

要理解 DSL，请想象句子中的每个单词都是巨大圆球（球体）表面上的一个小磁铁。

旧方法（标准扩散）： 当你添加噪声时，磁铁会在云团中被随机推来推去。为了知道磁铁应该去哪里，计算机需要一个秒表。它必须问：“过去了多少时间？完成了 10% 吗？50% 吗？”答案完全取决于时间。
新方法（DSL）： 作者改变了游戏规则。他们迫使磁铁保持在球体表面。现在，噪声不再只是随机推动它们，而是像磁场一样起作用。
- 如果磁铁噪声很大（远离真相），磁场就很弱。
- 如果磁铁接近真相，磁场就很强。
- 神奇之处： 由于这种特定的设置，计算机不再需要秒表。它可以观察磁铁的当前位置，立即确切地知道它属于哪里。“噪声水平”本身就蕴含在位置之中。

为什么这很重要： 在旧方法中，计算机必须为过程中的每一秒学习不同的“修正策略”。在新方法（DSL）中，计算机学习单一策略，该策略适用于任何噪声水平，从完全混乱到几乎完美。

超能力：一个大脑，多种任务

因为 DSL 模型不需要计时器，所以它变得极其灵活。想象一位大厨，他不需要食谱书，因为他能尝出食物的味道并确切知道该加什么。

论文表明，这个单一的训练模型可以在不需要重新训练的情况下完成三种不同的任务：

“掩码”游戏（细化）： 想象一个句子，其中一些单词被隐藏（涂黑）。模型将它们填补进去。如果它犯了错，它可以“取消涂黑”一个单词并再次尝试。DSL 非常擅长这一点，因为它理解句子在任何完成阶段的“味道”。
“随机顺序”游戏（ROAR）： 想象以完全随机的顺序揭示句子的单词（例如，第 5 个词，然后是第 2 个词，然后是第 10 个词）。模型仍然可以推断出其余部分，因为它不关心时间顺序，只关心单词的状态。
“混合”游戏： 你可以先模糊整个句子（连续），然后切换到填充特定单词（离散）。模型可以无缝处理这种切换，因为它一直在观察“磁铁位置”。

结果：更快且更好

作者在海量互联网文本数据集（OpenWebText）上测试了这种方法。

质量更高： 他们的模型生成的文本比以前的“模糊照片”方法更像人类写作。
步骤更少： 他们可以在仅需48 步的情况下生成高质量文本。以前的方法通常需要 1000 多步才能获得不错的结果。
多功能性： 他们证明，单个模型检查点（大脑的保存版本）可以处理所有这些不同的生成风格（随机顺序、掩码细化、混合），而无需为每种风格进行单独训练。

总结

这篇论文解决了一个长期存在的问题，即“连续”生成方法（如用于图像的那些）在文本上失败了。他们通过改变数据的几何结构来实现这一点，使模型无需跟踪时间。

核心启示： 通过将文本生成视为球体上的磁场，而不是基于时间的过程，他们创造了一个比以前的非自回归（并行）生成尝试更快、更灵活且能产生更高质量文本的系统。

技术摘要：用于非自回归生成的离散随机定位

1. 问题陈述

连续扩散模型已成为图像、视频和音频等高维生成任务的标准。然而，通过 token 嵌入上的连续扩散将其应用于语言生成时，其表现始终不如掩码离散扩散模型（MDMs）。现有的连续扩散语言模型通常在分布保真度（通过 MAUVE 等指标衡量）方面落后于 MDMs。

作者认为，瓶颈不在于连续性本身，而在于所使用的表示。标准方法（方差保持或方差爆炸）将零信息极限表示为各向同性的高斯噪声，而非类掩码的 token 状态。此外，在这些框架中，去噪器必须接收时间步或噪声水平标签，以校准噪声嵌入中的证据量。这使得去噪器对时间条件高度敏感，需要分别处理掩码状态和不确定状态。因此，连续扩散模型未能利用有限信噪比（SNR）状态连续体所提供的更丰富的监督信号。

2. 方法论：离散随机定位（DSL）

本文提出了离散随机定位（DSL），这是一种连续状态框架，旨在使去噪过程对名义信噪比（SNR）保持不变。

核心设计选择

单位球 Token 嵌入：DSL 将所有干净的 token 嵌入约束在单位球上（ $\|x_i\|_2 = 1$ ）。这是对几何结构的约束，而非损失正则化项。
随机定位通道：污染过程定义为 $z_t = t x + \sqrt{t} \epsilon$ ，其中 $t$ 代表信噪比。在单位球约束下，贝叶斯后验中涉及 $x$ 范数的项变为常数，并在归一化过程中抵消。
SNR 不变去噪器：一个关键的理论结果是，在此几何结构下，贝叶斯最优去噪器（后验均值）仅依赖于噪声 token 状态 $z$ ，而不依赖于名义信噪比 $t$ 。
$\hat{x}(z, t) = \hat{x}(z) = \frac{\mathbb{E}_P[x e^{x \cdot z}]}{\mathbb{E}_P[e^{x \cdot z}]}$
这使得单个与时间无关的网络可以作为所有信噪比区间（从完全掩码到接近干净）的去噪器。

训练与架构

混合支持训练：为了同时利用连续路径积分似然和掩码扩散的端点似然，DSL 采用混合支持训练目标。它从两个分支采样信噪比：
- 连续路径：从对数正态分布中抽取信噪比（有限信噪比状态）。
- ROAR（随机顺序自回归）端点：从极端值中抽取信噪比（接近 0 表示掩码，接近 $\infty$ 表示揭示）。
  两个分支均使用 token 后验上的单一交叉熵损失进行训练，该损失作为路径积分均方误差（MSE）的代理，同时避免了嵌入空间优化病理（例如嵌入坍塌）。
后验视图转换器：由于噪声状态 $z$ 存在于连续嵌入空间中，而骨干网络（Transformer/DiT）期望类 token 输入，因此转换器将 $z$ 映射为"token 混合”表示。这将噪声状态映射为单位范数嵌入的有界组合，在保持后验几何结构（方向控制 token 偏好，范数控制置信度）的同时，确保自注意力的稳定性。

推理灵活性

由于去噪器与时间无关，DSL 支持在单次生成运行中任意每个 token 的信噪比路径：

掩码细化：标准的迭代重掩码（ReMDM）。
随机顺序自回归（ROAR）：按随机顺序逐个揭示 token，无需重掩码。
混合采样：连续去噪阶段 followed by 离散掩码细化阶段。

3. 主要贡献

用于离散生成的连续状态框架：DSL 引入了基于单位球嵌入的随机定位通道，其中贝叶斯最优去噪器仅是噪声状态的函数。这使得单个与时间无关的网络能够支持整个系列的每个 token 信噪比路径。
实用的训练配方：作者提出了一种混合支持信噪比采样策略，在同一去噪器上同时训练端点（掩码/揭示）和有限信噪比状态。他们利用 token 混合转换器，将连续后验视图与标准 Transformer 架构对齐。
跨路径的证据：单个 DSL 检查点在 OpenWebText 的掩码细化下展示了改进的少步生成能力，支持无需重新训练的随机顺序自回归采样，并在 Text8 上实现了具有竞争力的似然度。

4. 实验结果

作者通过在 OpenWebText (OWT) 和 Text8 上微调预训练的 MDLM 检查点来评估 DSL。

OpenWebText 生成（MAUVE）：
- 无细化：即使没有迭代重掩码，DSL 微调的检查点也显著优于基线 MDLM。在 $T=1024$ 时，MAUVE 从 0.042（MDLM）提升至 0.495（DSL-FT + MDLM）和 0.551（DSL-FT + ROAR）。
- 迭代细化（ReMDM）：当与 ReMDM 系列解码器结合时，DSL 在非参考基线中取得了最先进的结果。最佳配置（带有原则性 $\eta_{cap}$ 的 ReMDM 循环）在 $T=1024$ 时达到了 0.722 的 MAUVE，超过了 PRISM-loop (0.527) 和 ADLM (0.699) 等先前方法。
- 少步效率：DSL 在低步数预算下表现出强劲性能。在 $T=128$ 时，DSL-FT + ReMDM 循环实现了 0.639 的 MAUVE，而基线 MDLM 仅为 0.015。
混合采样：混合采样器（连续去噪 followed by 离散细化）在仅 48 个总步数内实现了 0.662 的 MAUVE，超过了 $T=1024$ 时的无细化 MDLM 结果。
Text8 似然度：DSL 实现了 $\le$ 1.45 的每字符比特数（BPC），接近掩码离散扩散模型的范围（MDLM $\le$ 1.40, MD4 $\le$ 1.37），并优于先前的连续扩散基线（Plaid $\le$ 1.48）。

5. 意义与主张

本文主张 DSL 的主要优势在于推理路径的统一。通过将连续扩散参数化为对噪声 token 的后验状态去噪（而非时间步索引的去噪），DSL 允许：

端点揭示、掩码细化以及连续/混合去噪由单个后验估计器服务。
检查点兼容性：单个模型可以在多个信噪比路径（例如随机顺序自回归、掩码细化、混合）上进行查询，而无需重新训练或蒸馏。
改进的分布保真度：连续有限信噪比状态提供了更丰富的监督，导致在所有步数预算下，其 MAUVE 分数均显著优于标准连续扩散或掩码扩散基线。

作者总结道，连续扩散在语言生成中缺失的要素并非连续性，而是表示选择。通过采用单位球嵌入和随机定位，他们弥合了连续扩散与离散扩散之间的差距，使单个模型能够以高效率和高质量支持多样化的生成策略。

局限性：目前的评估仅限于 OpenWebText 和 Text8。报告的采样器（ReMDM 系列、混合）并非经过彻底优化的解码策略，而是用于展示底层 DSL 后验的灵活性。未来的工作方向包括优化重掩码调度、混合交接规则以及探索条件生成。