💬 NLP

Diffusion Language Model Parallel Decoding via Product-of-Experts Bridge

本文介绍了 PoE-Bridge，这是一种新颖的解码框架，它通过利用中间的专家乘积（Product-of-Experts）分布来高效结合并行草拟、拒绝采样和重要性采样，在显著加速扩散语言模型的同时，恢复了自回归级别的质量。

原作者： Juntong Shi, Brian L. Trippe, Jure Leskovec, Stefano Ermon, Minkai Xu

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Juntong Shi, Brian L. Trippe, Jure Leskovec, Stefano Ermon, Minkai Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图写出一个完美的故事，但你有两位截然不同的助手在协助你。

自传作家（AR 模型）
首先，你有一个“自传作家”。这位助手非常聪明，能写出完美的、逻辑严密的句子。然而，他们写得非常慢，因为他们一次只能写一个词，严格地从左到右进行。他们无法预判，必须完成第一个词才能开始第二个词。这就像传统的 AI 模型（自回归模型或 Autoregressive Model）。质量很高，但速度是瓶颈。

梦想家（扩散模型）
然后，你有一个“梦想家”。这是一个思维敏捷的助手，能够一眼看穿整个段落并猜出接下来的几个词。他们可以在一眨眼之间写完整个句子。这就是“扩散语言模型”（Diffusion Language Model, DLM）。问题在于，因为他们太快且同时观察所有内容，所以经常会出现逻辑错误。他们可能会说：“猫坐在了月球上”，因为他们没有检查“坐”和“月球”在特定顺序下是否匹配。他们很快，但质量较低。

旧方法：“猜测与检查”的问题
此前，研究人员尝试将这两者结合起来：让“梦想家”快速写完整个段落，然后要求“自传作家”进行检查。

问题所在： “梦想家”的写作风格与“自传作家”的风格迥异，以至于“自传作家”几乎拒绝了他们写下的所有内容。这就像要求一位莎士比亚时期的诗人去检查一条充满俚语的短信；他们会拒绝几乎每一个词。这个过程再次变得缓慢，因为他们不得不一遍又一遍地修改微小的片段。

新解决方案：PoE-Bridge
这篇论文介绍了一种名为 PoE-Bridge（乘积专家桥接，Product-of-Experts Bridge）的新方法。你可以把它想象成在快速的“梦想家”和缓慢的“自传作家”之间搭建一座中间地带的桥梁。

它是这样运作的，分步骤如下：

梦想家起草： 快速的“梦想家”并行地（同时）写出整块文本。
桥梁（中间地带）： 系统并不是直接让“自传作家”去检查“梦想家”那狂野的草稿，而是创建了一个“桥梁”版本。这个“桥梁”是一个混合体：它保留了“梦想家”的速度，但又加入了足够的“自传作家”的逻辑，使文本变得合理。
- 类比： 想象“梦想家”画了一幅粗略的素描。“桥梁”就像是一个“草稿”，它比素描稍显精致，但还不是一幅完成的油画。
第一次检查（拒绝采样）： 系统根据这个“桥梁”来检查“梦想家”的草稿。因为“桥梁”与“梦想家”很相似，所以“梦想家”的词汇更容易通过检查。系统会立即接受一大块文本。
第二次检查（重要性采样）： 现在，系统会对接受的那块文本进行最后的、轻微的“润色”，以确保它符合“自传作家”的高标准。因为由于有了“桥梁”的存在，文本已经接近了标准，所以这次最终的润色既简单又快速。

为什么这很重要？

速度： 它保留了“梦想家”的超高速。论文声称它比使用扩散模型的标准缓慢方式快了 5 倍。
质量： 它很好地修复了“梦想家”的错误，使得最终结果达到了缓慢、完美的“自传作家”水平的 95%。
“弹性窗口”： 论文还提到了一种聪明的技巧，叫做“弹性拒绝窗口”（Elastic Rejection Window）。想象你在检查一份长清单。如果你知道前几个是错的，你就不会浪费时间检查剩下的清单。这种方法会在发现错误时立即停止检查，从而节省时间和精力。

结果
作者在困难的数学和编程问题上进行了测试。他们发现，PoE-Bridge 兼具了两者的优点：它写得像“梦想家”一样快，同时拥有“自传作家”般的准确度。它解决了“快速的 AI 通常很笨，而聪明的 AI 通常很慢”这一问题。

简而言之： 他们构建了一个“翻译官”（即“桥梁”），让一个快速但混乱的作者和一个缓慢但完美的作者能够协同工作而不会发生冲突，从而产生既生成快速又高质量的文本。

技术摘要：通过乘积专家桥接（Product-of-Experts Bridge）实现扩散语言模型的并行解码

问题陈述
扩散语言模型（DLMs）通过实现并行解码，为自回归（AR）模型提供了一种极具前景的替代方案，这在理论上允许在生成整个序列时仅需自回归模型一小部分的时间。然而，目前的 DLM 仍面临着与强大的 AR 模型相比存在的显著质量差距。这种退化源于并行解码所需的条件独立性假设，即在同一步骤内生成的 token 被视为相互独立而非联合建模。

近期尝试使用蒙特卡洛方法（具体为拒绝采样 RS 和重要性采样 IS）来弥补这一差距的尝试面临着根本性的局ations。在这些设置中，DLM 作为提议分布（ $p_D$ ），而更强的 AR 模型作为目标分布（ $p_{AR}$ ）。由于并行 DLM 提议分布与序列化 AR 目标分布之间存在巨大的分布差异：

拒绝采样（Rejection Sampling） 遭受频繁的拒绝，导致解码过程坍缩为近乎序列化的生成，从而降低了吞吐量。
重要性采样（Importance Sampling） 需要极大量的候选粒子才能找到高质量样本；在计算预算有限的情况下，它往往只能选出 DLM 延续中最“不不合理”的一个，而非真正忠实于 AR 的样本。

方法论：PoE-Bridge
本文引入了 PoE-Bridge，一种通过引入由 DLM 提议和 AR 目标构成的“乘积专家”（Product-of-Experts, PoE）中间分布来缓解提议-目标失配的解码框架。

1. PoE 桥接分布
PoE-Bridge 不直接将 DLM 草案修正为 AR 目标，而是通过一个中间分布 $p_{PoE}$ 将修正过程分解为两个阶段。该桥接分布被定义为一个 token 级的插值：
$p_{PoE}(x_i | x_{<i}) \propto \tilde{p}_D(x_i | x_{<i})^w \cdot p_{AR}(x_i | x_{<i})^{1-w}$
其中 $w \in [0, 1]$ 控制桥接的位置。当 $w$ 接近 1 时，桥接趋向于 DLM 提议；当 $w$ 接近 0 时，则趋向于 AR 目标。这种 token 级的定义确保了采样和似然评估的可处理性。

2. 两阶段解码过程
该框架运行在两个可并行的阶段：

阶段 1：投机拒绝采样（DLM $\to$ PoE）。 DLM 并行生成多个 token 延续。这些草案针对 PoE 分布而非 AR 目标进行验证。由于 PoE 比 AR 目标更接近 DLM 提议，其接受率显著提高。接受的 token 从桥接分布 $p_{PoE}$ 中采样。
阶段 2：重要性采样（PoE $\to$ AR）。 阶段 1 中接受的候选者随后通过重要性采样进行重新加权，以使其向最终的 AR 目标 $p_{AR}$ 修正。由于候选者已经通过 PoE 桥接变得更接近 AR 分布，其重要性权重更加稳定，且与直接从 DLM 进行重要性采样相比，实现高保真样本所需的候选数量更少。

3. 实践增强
为了在现实推理场景中实现高效性，作者提出了两种关键技术：

混合温度采样（Mixed-Temperature Sampling）： 为了防止在使用有限数量候选者（ $K$ ）时发生模式坍缩，该框架从一系列具有不同温度的温控 PoE 分布族中采样。这实现了提议熵的分层，确保了对目标分布的多样化覆盖，并提高了有效样本量。
弹性拒绝窗口（Elastic Rejection Window）： 该框架不再验证固定的、可能较长的后缀，而是根据观察到的接受长度自适应地调整验证范围。这减少了在可能被拒绝的 token 上浪费的计算量，对于并行处理多个候选者的情况尤为有利。

核心贡献

新颖的解码框架： PoE-Bridge 是第一个通过引入中间 PoE 桥接，成功将并行 DLM 解码与 AR 级忠实度相结合的方法，有效地将困难的修正任务分解为两个易于处理的步骤。
可处理的 Token 级 PoE： 作者定义了一个 token 级的 PoE 插值，支持高效的投机验证和重要性加权，避免了序列级 PoE 采样的不可处理性。
效率机制： 混合温度采样和弹性拒绝窗口的引入解决了多样性和验证开销方面的实际瓶颈。

实验结果
在具有挑战性的数学推理（GSM8K, MATH）和编程（HumanEval, MBPP）基准测试上的评估显示：

准确度： 它恢复了目标 AR 模型至少 95% 的性能，显著优于标准的 DLM 解码和朴素的投机采样。
速度： 与标准 DLM 解码方法相比，它实现了高达 5 倍 的加速；与 AR 解码相比，实现了 2 倍 的吞吐量。
扩展性： 使用混合温度采样可以使准确度随并行候选者数量（ $K$ ）一致地扩展，而统一温度采样则收益递减。
超参数敏感性： 研究发现，中间 PoE 权重（ $w \approx 0.3$ ）能在接受率（吞吐量）和对 AR 目标的忠实度之间提供最佳平衡。

意义与主张
论文声称 PoE-Bridge 实现了“两全其美”的表现，打破了扩散语言模型中传统的质量-效率权衡。通过利用中间桥接分布，该方法使 DLM 能够产生与 AR 解码同样忠实的生成内容，同时保留了降低延迟的并行解码优势。作者断言，这种方法使得蒙特卡洛修正能够在现实的、有限的计算预算下发挥作用，为高质量的并行文本生成提供了一个切实可行的解决方案。这项工作被呈现为一种推理时方法，不需要重新训练模型或修改参数，而是依赖于快速 DLM 提议与强大 AR 验证器之间的协同作用。

技术摘要：通过乘积专家桥接（Product-of-Experts Bridge）实现扩散语言模型的并行解码

类似论文