📊 statistics

Accelerating Speculative Diffusions via Block Verification

本文引入了一种新颖的块验证方案，该方案能够为连续扩散模型实现高效的投机解码，使无需训练的“自由草稿器”（Free Drafter）通过可证明地提高草稿接受率，从而实现高达 6.3% 的推理加速。

原作者： Alexander Soen, Hisham Husain, Valentin De Bortoli, Arnaud Doucet

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Soen, Hisham Husain, Valentin De Bortoli, Arnaud Doucet

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图创作一幅杰作，但你有一个严格的规则：每一笔画都必须完美无瑕。在人工智能生成图像（特别是“扩散模型”）的世界里，计算机就像一位画家，从充满静态噪声的画布开始，通过一步步去除噪声来揭示清晰的图像。

问题在于？这个过程极其缓慢。计算机必须检查它的工作成千上万次，而每一次检查都需要很长时间，因为“画家”（AI 模型）非常复杂且庞大。

这篇论文介绍了一个聪明的技巧，可以在不破坏最终图像质量的前提下，加速这个绘画过程。以下是其工作原理的拆解，通过简单的概念进行说明：

1. “草稿”理念（投机采样/Speculative Decoding）

想象你正在写一个故事，而你有一位非常严厉的编辑。这位编辑才华横溢但动作缓慢。为了写得更快，你雇佣了一位反应敏捷但经验较少的助手（“草稿模型”）。

旧方法： 你写一个词，等待编辑检查，然后写下一个词。
新方法（投机式）： 你使用你的助手快速写下一整段话（一个“块”）。然后，你将整个段落交给那位缓慢的编辑。编辑一次性检查整个块。如果编辑同意其中的大部分内容，你就保留这些词。如果编辑发现了错误，你只丢弃错误之后的词，并修复那个特定的位置。

这被称为投机采样（Speculative Decoding）。它在处理文本（LLM）时效果极佳，但论文解释说，由于图像是连续的（像平滑的梯度）而非离散的（像独立的单词），在图像领域实现这一点非常困难。

2. 问题所在：“残差”之谜

当编辑（大型 AI）拒绝一份草稿时，它不仅仅是说“不”。它需要提供一个能够完美契合图像其余部分的正确替代品。用数学术语来说，这是从“残差分布”中进行采样。

类比： 想象助手画了一条稍微有点歪的线。编辑说：“错了。” 接着，编辑需要神奇地生成一条完美的直线，使其精准地填补在歪线原本的位置，确保最终图像在数学上依然是完美的。
瓶颈： 在过去，进行这种“神奇修复”就像在大海捞针。它所需的计算机计算量如此之大，以至于抵消了你通过编写草稿所获得的提速。以前的方法要么太慢，要么使用了某种“反射”（reflection）这种快捷方式，但这并不允许使用最好的验证策略。

3. 论文的解决方案：一种新的“神奇修复”

作者发明了一种高效的新方法来进行这种“神奇修复”。

突破点： 他们发现了一个数学上的捷径，允许计算机在仅需一步而不是多次步骤的情况下，计算出完美的替代品。
结果： 因为这种修复现在变得很快，他们可以采用一种更好的验证策略，称为块验证（Block Verification）。

4. 块验证：检查整个块

在上述技巧的旧版“文本”版本中，编辑会逐个检查单词。如果第一个单词错了，他们会立即停止。

新策略（块验证）： 作者采用了一种技术，让编辑一次性检查整个段落，以查看可以保留多少个单词。
为什么有效： 这就像老师批改试卷。他们不是在第一个错题处就停止，而是看完整页，看看在第一个错误出现之前，有多少答案实际上是正确的。这使得 AI 能够接受更长的草稿序列，从而进一步加快速度。

5. “免费草稿员”（免费的午餐）

要让这一切运作起来，你需要那个快速的助手（草稿模型）。通常，你需要训练一个单独的、更小的 AI 来担任这个助手，这需要耗费时间和金钱。

创新： 作者创建了一个“免费草稿员（Free Drafter）”。他们并没有训练一个新的助手，而是巧妙地利用了主 AI 本身。他们提取主 AI 当前的“想法”，并利用它来预测接下来的几个步骤，而无需再次运行沉重的计算。
收益： 这就像画家在完成最终笔触之前，先用自己的手勾勒出一个粗略的轮廓。它几乎不需要额外的成本，但却给了你一个领先优势。

总结

该论文声称，通过结合以下三点：

一种新的、快速修复被拒绝草稿的方法。
同时检查图像的整个块（块验证）。
使用不需要训练的“免费”助手（Free Drafter）。

他们可以让图像生成速度提升高达 6.3%。至关重要的是，他们是在没有训练新模型且没有损失任何图像质量的前提下实现这一点的。图像看起来与之前完全一样，但出现得更快了。

简而言之： 他们找到了让 AI “预判”几步的方法，能够即时且准确地检查这些预判，并保留其中好的部分，从而使整个绘画过程显著加快。

技术摘要：通过块验证加速投机扩散

问题陈述

扩散模型已成为生成式建模中的主流范式，然而由于需要对大型神经网络进行多次连续评估，其推理过程在计算上仍然非常昂贵。虽然**投机解码（speculative decoding）**通过使用快速的“草拟器（drafter）”模型为目标模型提议标记序列进行验证，成功加速了大语言模型（LLMs），但将其应用于连续扩散模型时面临着显著挑战。

核心难点在于残差分布（residual distribution）。在离散的 LLM 设置中，如果草拟标记被拒绝，可以以一种平凡的方式从残差分布 $r_\Gamma$ （定义为目标概率与草拟概率之间的正差值）中采样新标记。而在连续扩散空间中，从该残al分布中采样是非平凡的。现有的适配方案要么依赖于计算效率低下的拒绝采样（这会产生高昂的成本和随机的运行时间），要么完全绕过残差，转而使用反射耦合（reflection coupling）——这是一种确定性的修正方法，虽然高效，但阻碍了使用更先进的验证策略。

具体而言，LLM 中的最先进技术——块验证（block verification）（即联合验证整个草拟标记块而非逐个标记进行验证，以最大化接受率）尚未成功应用于扩散模型。这是因为块验证需要从一个取决于整个块联合接受概率的广义残差分布中进行采样，而对于这一任务，目前尚不存在高效且精确的连续空间采样算法。

方法论

本文提出了一个统一框架，以实现高效的投机扩散块验证。该方法由三个主要部分组成：

1. 残差分布的高效采样

作者引入了一种新型的一步算法，用于从残差分布 $r_\Gamma(y) \propto \max\{0, q(y) - p(y)\}$ 中采样，其中 $p$ 和 $q$ 分别代表草拟模型和目标模型的高斯分布。

正交分解： 该方法利用了高斯随机变量的正交分解。它将采样任务分解为：
1. 沿均值差向量 $\Delta = (m_p - m_q)/\sigma$ 方向的 1D 采样任务。
2. 与 $\Delta$ 正交的标准高斯分量。
可处理性： 这将高维采样问题简化为一个可处理的 1D 任务。通过解析推导得到 1D 分布 $\psi_\alpha$ ，并利用标准正态分布的累积分布函数（CDF）进行逐点计算，从而实现高效的反向采样（例如通过二分查找）。
泛化性： 该算法支持权重参数 $\alpha \in (0, 1]$ ，这对于块验证框架至关重要。设置 $\alpha=1$ 时，可恢复为逐标记验证的标准残差。

2. 扩散模型的块验证

利用新的采样程序，作者将块验证策略（最初由 Sun et al. [2025] 为 LLM 提出）适配到了扩散模型中。

机制： 该方法不再逐个验证草拟标记，而是对整个长度为 $\gamma$ 的草拟块进行联合验证。它最大化了块的接受概率，并确定第一个被拒绝的标记索引 $\tau$ （或块的末尾）。
理论保证： 作者证明，使用这种结合了所提分解残差的块验证方案，可以确保最终输出分布与目标模型分布 $q$ 完全一致，从而保持样本质量。
确定性修正的不可能性： 文中正式证明（命题 3.2），对于草拟长度 $\gamma \ge 2$ 的块验证，不存在既是可逆的又具有常数雅可比因子（Jacobian factor）的有效确定性残差修正方法（例如之前工作中使用的反射耦合）。这凸显了采用本文提出的随机残差采样方法的必要性。

3. 自由草拟器（The Free Drafter）

论文引入并分析了自由草拟器，这是一种无需额外训练的自投机机制。

概念： 不同于冻结草拟器（Frozen Drafter）（它重用当前轮次目标模型的评分函数，其成本等同于一次完整的目标模型评估），自由草拟器重用的是在上一轮投机并行验证阶段计算出的评分函数。
效率： 这使得生成草拟序列的边际成本相对于完整的目标模型评估而言几乎可以忽略不计。
理论分析： 作者分析了“块效率”（每轮平均接受的样本数）。他们指出，虽然冻结草拟器由于更好地符合扩散交换性质，在理论上可能实现更高的块效率，但自由草拟器在实际运行时间（wall-clock time）上严格优于后者。

核心贡献

高效的 $\Gamma$ -最大耦合： 实现了一种用于扩散模型采样残差分布 $r_\Gamma$ 的一步算法，显著简化了以往依赖复杂拒绝采样的技术。
连续模型的块验证： 成功将块验证适配到扩散模型，实现了草拟块的联合验证，并证明能提高接受率。
确定性修正的理论局限性： 提供了一个证明，表明对于草拟长度 $\ge 2$ 的情况，确定性反射式修正与块验证是不兼容的，从而论证了随机残差采样的必要性。
自由草拟器： 引入了一种无需训练的启发式自投机草拟器，通过重用已计算的评分来最小化开销。
实验验证： 实验表明，所提块验证方案相比于标准投机采样（逐标记验证），可将实际运行时间减少高达 6.3%，且无需额外训练。

实验结果

作者在多个数据集（CelebA, ImageNet, LSUN, CIFAR10）的像素空间和潜空间上进行了评估，使用了不同的噪声参数 ( $\epsilon$ ) 和草拟大小 ( $\gamma=7$ )。

加速效果： 投机扩散在实际运行时间上通常能将标准 DDPM 加速 1.9 倍至 3.6 倍。
块验证 vs. 标记验证： 从逐标记验证（SampleVerification）切换到块验证（BlockVerification）带来了持续的运行时间提升，在大多数数据集上实现了 1.5% 至 6.3% 的提升。
- 在噪声水平较高（较低的 $k$ ）和去噪步数较多的场景下，收益最为显著。
- 在 CIFAR10 上，由于其块效率已经非常高（约 6），由于块验证方案带来的开销，边际收益微乎其微甚至略微为负。
质量： Fréchet Inception Distance (FID) 分数在所有投机变体和基准 DDPM 之间保持一致，证实了加速过程并未损害样本质量。
自由 vs. 冻结草拟器： 实验确认，尽管冻结草拟器实现了更高的块效率，但自由草拟器在实际运行时间上表现更优。例如，在 1000 步去噪的 ImageNet 上，自由草拟器提供了约 3.91 倍的加速，而冻结草柄虽然块效率更高，但在实际运行时间上却慢了约 30%。

重要性与主张

本文声称，通过解决连续空间中残差采样的瓶颈，它释放了投机解码在扩散模型中的全部潜力。其核心意义在于：

实现块验证： 这是首个成功为扩散模型实现块验证的工作，该技术在最大化 LLM 接受率方面被认为是优选方案。
无需训练的加速： 提出的“自由草拟器”提供了一种实用的、零训练的加速方案，使得投机扩散在无需承担训练独立草拟器成本的情况下，变得更加易用且高效。
理论严谨性： 本研究提供了关于块验证中确定性修正局限性以及自投机策略理论边界的正式证明。

作者总结道，虽然当结合其他大幅减少去噪步数的方法时，投机扩散带来的收益会递减（因为投机最有效的极高噪声阶段被缩短了），但所提出的块验证和自由草拟器代表了减少扩散模型推理延迟的一个重要进步。