💬 NLP

SimSD: Simple Speculative Decoding in Diffusion Language Models

该论文介绍了 SimSD，一种无需训练的投机解码算法，它通过采用一种新颖的掩码策略来恢复通常与双向注意力机制不兼容的词元级验证能力，从而使扩散语言模型的推理吞吐量提升高达 7.46 倍。

原作者： Junxia Cui, Haotian Ye, Runchu Tian, Hongcan Guo, Jinya Jiang, Haoru Li, Chaojie Ren, Yiming Huang, Kaijie Zhu, Zhongkai Yu, Kun Zhou, Jingbo Shang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junxia Cui, Haotian Ye, Runchu Tian, Hongcan Guo, Jinya Jiang, Haoru Li, Chaojie Ren, Yiming Huang, Kaijie Zhu, Zhongkai Yu, Kun Zhou, Jingbo Shang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图写一个故事，但你有两种不同的创作方式。

旧方法（自回归模型）：
把传统的 AI 作家想象成一位非常谨慎、按部就班的抄写员。他们写下一个词，停下来思考，再写下一个词，停下来，如此循环。这就像是在一块块砌砖盖墙。在第九块砖完美到位之前，你无法放置第十块砖。这很慢，但逻辑非常严密。

新方法（扩散模型）：
现在，想象另一种类型的作家，他们从一张布满涂鸦（噪声）的白纸开始，逐渐清理这些涂鸦，从而显现出文字。这位作家可以同时观察整张页面，并同时修正许多个词。这就像是一位雕塑家，从一块石料中凿刻出雕像；他们可以同时雕琢左臂和右腿。这很快，但有一个问题：因为他们是同时观察全局的，所以有时会对事件的“顺序”感到困惑。他们可能会试图去验证一个依赖于尚未决定的“未来词汇”的词。

问题所在：
最近，研究人员发现了一种让“慢速抄写员”（旧方法）变得更快的办法。他们使用一个“绘图员”（一个小型的、快速的 AI）来猜测接下来的几个词，然后由一个“老板”（一个大型的、聪明的 AI）一次性检查所有这些猜测是否正确。这被称为投机采样解码（Speculative Decoding）。这就像是一个学生在考试中猜测答案，而老师一次性批改整页试卷。

然而，这种“猜想与检查”的技巧在“雕塑家”（扩散模型）身上并不奏效。为什么呢？因为雕塑家是同时观察整张页面的。如果老师试图检查学生的猜测，雕塑家会感到困惑，因为随着页面的清理过程，上下文（周围的词汇）一直在变化。这种“时间顺序”（什么先发生，什么后发生）就丢失了。

解决方案：SimSD
这篇论文介绍了一个聪明的技巧，叫做 SimSD（简单投机解码）。它是这样运作的，让我们用一个简单的类比：

想象你就是那位“雕塑家”（扩散 AI），你正在检查一个学生（小型 AI）的猜测。

准备阶段： 你不仅仅是看着一张白纸，而是创建了一张特殊的“训练单”。在页面的左侧，你写下学生的猜测（“参考标记/Reference Tokens”）；在页面的右侧，你留下空白处（掩码/Masks），用于检查这些猜测是否正确。
神奇规则（掩码）： 你给了雕塑家一本特殊的规则手册（注意力掩码/Attention Mask）。这本手册规定：“你可以通过观察左侧的学生猜测来辅助决策，但你被严格禁止窥视右侧那些尚未填写的空白处。”
结果： 尽管雕塑家通常会同时观察一切，但这本规则手册强迫他们尊重时间线。现在，他们可以看一眼学生对第 1 个词的猜测，根据之前的词判断其是否合理，然后再处理第 2 个词——而这一切都可以在一次“瞥视”（单次前向传播）中完成。

为什么这很重要？

速度： 在这之前，雕塑家必须检查一个词，清理一次页面，然后再检查下一个词。现在，他们可以在一次“瞥视”（前向传播）中检查一整批词。
无需训练： 作者并没有教 AI 任何新知识。他们只是改变了“规则手册”（注意力掩码）以及排列单词的方式。这是一个“即插即用”的修复方案。
质量： 论文在数学题、编程和常识问答上进行了测试。结果显示，该 AI 的速度提升了高达 7.46 倍，且没有增加错误。事实上，在某些情况下，答案的质量甚至略有提高。

总结：
这篇论文将一个快速但容易“困惑”的 AI（扩散模型）进行了改造，并给了它一套简单的规则，强迫它尊重时间的顺序。这使得它能够使用一种此前仅在缓慢的、顺序执行的 AI 上才有的“猜想与检查”策略。其结果是，这个 AI 写起东西来既有短跑运动员般的速度，又具备学者般的缜密思考。

技术摘要：SimSD —— 扩散语言模型中的简单投机采样解码

问题陈述

扩散大语言模型（dLLMs）已成为自回归（AR）模型的一种极具前景的替代方案，通过并行或分块解码提供更快的推理速度。然而，dLLMs 在采用**投机解码（Speculative Decoding, SD）**这一领先的加速技术时面临着显著瓶颈。

在 AR 解码中，因果掩码（Causal Mask）确保生成的 token 在后续位置保持在上下文之中，从而允许目标模型在单次前向传播中验证多个草拟的 token。相比之下，dLLMs 依赖双向注意力机制和掩码 token 来表示未确定的位置。这种设计导致有效输入上下文在去噪步骤中发生变化，破坏了标准投机验证所需的具有时间有效性的 token 级上下文。因此，dLLMs 无法直接应用 token 级的投机解码，这限制了其尽管具备并行生成能力却难以发挥出的推理潜力。

方法论：SimSD

作者提出了 SimSD（Simple Speculative Decoding），这是一种无需训练、即插即用的策略，旨在恢复 dLLMs 的 token 级时间因果性以实现投机解码。其核心创新在于一种 **Token 级时间因果注意力（Token-level Temporal Causal Attention）**机制。

1. 输入布局与参考上下文

SimSD 构建了一个特定的输入布局，在提示词（Prompt）后附加两个长度为 $B$ 的部分：

数据段 ( $D$ )： 包含参考 token（来自较小的草拟模型或先前解码的轨迹）。
掩码段 ( $\tilde{D}$ )： 包含 $[MASK]$ token 所在的预测槽位。
每一对 $(D_k, \tilde{D}_k)$ 对应同一个响应位置，但承担不同的角色： $D_k$ 提供上下文，而 $\tilde{D}_k$ 是进行逻辑值（Logit）计算的目标。

2. 时间注意力掩码

该方法使用自定义的注意力掩码取代了标准的双向注意力，以强制执行 token 级的时间因果结构。

步骤映射 ( $\mu$ )： 一个置换将时间步标签 $\tau \in \{1, \dots, B\}$ 分配给每个 token 位置，定义了解码顺序。
掩码逻辑： 掩码 $A_{ij}$ $A_{ij}$ 仅当时间关系有效时才允许位置 $i$ $i$ 注意到位置 $j$ $j$ ：
- 掩码槽位 $\tilde{D}_i$ 可以注意到数据 token $D_j$ ，其中 $\tau(j) < \tau(i)$ （较早的步骤）。
- 它也可以注意到其他掩码槽位 $\tilde{D}_j$ ，其中 $\tau(j) \ge \tau(i)$ （当前或未来的未确定位置）。
- 至关重要的是，它防止注意到在时间顺序中尚未被“揭示”的未来数据 token。
  这种设计确保了在掩码位置计算出的逻辑值是基于时间一致的上下文，类似于 AR 投机验证中的前缀条件分布。

3. 位置编码对齐

为了处理重复的位置（数据 vs 掩码），SimSD 采用了 RoPE（旋转位置嵌入）复制策略。每个掩码位置 $\tilde{D}_k$ 复用其配对的数据位置 $D_k$ 的 RoPE 索引。这确保了模型将参考 token 和预测槽位视为占据相同的语义位置，从而防止在注意力计算过程中出现位置错位。

4. 投机解码流水线

草拟（Drafting）： 一个较小的 dLLM 提出 $\gamma$ 个候选 token 并确定它们的顺序。
验证（Verification）： 目标 dLLM 使用这些草拟 token 和提议的时间顺序构建配对的数据-掩码输入。它执行 单次前向传播，在时间因果掩码下同时计算所有 $\gamma$ 个候选者的逻辑值。
接受（Acceptance）： 沿着由草拟引导的时间顺序应用标准的拒绝采样。接受最长的连续前缀，并重复此过程。

核心贡献

恢复 Token 级因果性： SimSD 通过设计一种注意力掩码，为并行验证多个 token 创建了时间有效的上下文，从而弥合了 dLLMs 与投机解码之间的差距。
无需训练的集成： 该方法不需要重新训练草拟模型或目标模型。它仅修改推理时的输入布局、注意力掩码和位置编码索引。
兼容性： SimSD 设计灵活，能够无缝集成现有的加速技术，包括 KV Cache 和 分块解码（Blockwise Decoding），且不会产生过高的开销。

实验结果

作者在 SDAR 系列 dLLMs 上通过四个基准测试评估了 SimSD：GSM8K（数学）、MBPP（代码）、TriviaQA 和 MMLU（通用知识）。

效率： 与带有张量并行（TP=2）的 Vanilla SDAR 基线相比，SimSD 实现了高达 7.46 倍的解码吞吐量提升。对于块大小 $B=4$ ，平均吞吐量达到 71.6 tokens/s；对于 $B=8$ ，达到 81.8 tokens/s。
质量： 生成质量得以维持，在某些情况下甚至有所提高。
- 在 GSM8K 上，准确率与基线相当（例如， $B=4$ 时为 0.896 vs 0.922）。
- 在各基准测试中的平均任务性能比 Vanilla 基线提升了 +1.7%。
消融实验：
- RoPE 对齐： 去除 RoPE 复制策略会导致 GSM8K 上的准确率降至 0.0%，凸显了位置对齐对于有效验证的必要性。
- 草拟长度 ( $\gamma$ )： 增加 $\gamma$ 通常会提高接受率和准确率（在 GSM8K 上 $\gamma=8$ 时达到 82.0%），但由于验证范围与开销之间的权衡，吞吐量在中间值处达到峰值。

重要性与主张

本文声称 SimSD 成功地将自回归投机解码的关键验证能力恢复到了扩散模型中，且没有牺牲其并行解码的优势。通过显式引入参考 token 并通过定制的注意力掩码调节其交互，SimSD 允许 dLLMs 在单次前向传播中计算出有效的草拟 token 逻辑值。

作者强调，这种方法复杂度较低（即插即用，无需训练）且性能高效，为加速 dLLM 推理提供了一条切实可行的路径。结果表明，dLLMs 可以在保持或略微提高生成质量的同时，实现显著的加速（高达 7.46 倍），解决了当前扩散语言模型应用中的一个关键局限。