💻 computer science

Continuous Speculative Decoding for Autoregressive Image Generation

本文介绍了连续投机解码（CSpD），这是一种针对连续视觉自回归模型的创新加速框架，它通过去噪轨迹对齐和接受-拒绝采样，克服了分布失配和复杂的积分挑战，在保持图像生成质量的同时实现了超过 2 倍的推理加速。

原作者： Zili Wang, Zheng Zhang, Kun Ding, Qi Yang, Fei Li, Shiming Xiang

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Zili Wang, Zheng Zhang, Kun Ding, Qi Yang, Fei Li, Shiming Xiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图创作一幅杰作，但你必须一次只能画一小笔，每画一笔都要等油漆干透后才能进行下一步。这就是自回归（Autoregressive, AR）图像生成的工作方式。计算机预测图像的一部分，然后利用这个预测来猜测下一部分，以此类推。这种方式生成的图像质量极高，但由于它无法同时进行多项任务，因此速度极其缓慢。

这篇论文的作者希望在不破坏画作质量的前提下提高速度。他们借鉴了文本生成领域的一个技巧——投机采样（Speculative Decoding），但由于图像是“连续的”（具有平滑的颜色梯度），而非“离散的”（像单词或乐高积木那样），他们不得不从头开始重新设计。

以下是他们实现这一目标的原理，通过简单的类比进行解释：

1. 问题所在：“快速学徒” vs. “缓慢大师”

为了提高速度，研究人员引入了一个草稿模型（Draft Model）（一个快速的小型学徒）和一个目标模型（Target Model）（一个缓慢但更强大的大师）。

旧方法（离散型）： 在文本生成中，学徒预测接下来的 5 个单词。大师一次性检查它们。如果大师同意，那就太好了！如果不同意，大师会纠正那个单词。
新挑战（连续型）： 在图像生成中，“单词”实际上是连续的数值（比如某种特定的蓝色）。要检查学徒的猜测是否正确，其背后的数学计算要困难得多。
- 问题 A： 学徒和大师认为的“正确”颜色往往处于完全不同的位置。学徒猜了一个蓝色，但在大师看来简直糟糕透顶。这导致了非常低的“接受率”（大师拒绝了几乎所有内容）。
- 问题 B： 当大师拒绝一个猜测时，他们需要立即生成一个新的正确猜测。在连续数学的世界里，计算这个“新正确猜测”的公式极其复杂，就像是在尝试解一个没有简洁答案的积分方程。你无法直接写出答案，而是必须运行一个庞大的模拟过程才能得出结果，这完全违背了提速的初衷。

2. 解决方案：“连续投机采样”

团队构建了一个新系统来解决这两个问题。

解决问题 A：“走同样的路径”（去噪轨迹对齐）

想象学徒和大师都在尝试从一座雾气缭绕的山顶（噪声）走向一个清晰的山谷（最终图像）。

没有对齐时： 学徒根据自己的地图走，大师根据自己的地图走。他们最终会到达不同的山谷。大师会说：“那不是我的山谷！”然后拒绝这个猜测。
有了对%，对齐后： 研究人员强制要求学徒和大师在下山过程中使用相同的随机步骤（相同的“噪声”）。即使他们的地图略有不同，但通过在同一时间采取完全相同的步伐，他们最终会到达非常接近的位置。
结果： 因为他们在走同样的路径，学徒的猜测与大师的预期非常接近。大师会更频繁地接受这些猜测。

解决问题 B：“魔法过滤器”（接受-拒绝采样）

当大师确实拒绝一个猜测时，他们需要一个备选方案，以便在不运行缓慢复杂计算的情况下生成新的图像部分。

技巧： 他们并没有尝试去解那个不可能的数学方程来寻找“完美的”新猜测，而是使用了一种**拒绝采样（Rejection Sampling）**技术。
类比： 想象大师拥有一个“魔法过滤器”（数学上的上界）。他们生成一个随机候选值。如果候选值能通过过滤器，他们就保留它；如果撞到了过滤器，他们就把它扔掉并重试。
创新点： 通常情况下，这个过滤器的计算非常困难。但因为前面使用了“走同样的路径”这一技巧，他们找到了一种方法，可以通过简单的数学（只需观察路径的起点和终点）来计算这个过滤器，而无需运行沉重的、缓慢的模拟过程。这使他们能够快速生成有效的替换图像部分。

解决起始阶段：“预填画布”

研究人员注意到，在绘画过程的最开始，学徒非常困惑，会做出错误的猜测。

解决方法： 他们让大师先完美地画出最初的几笔微小的笔触（大约占图像的 5%），然后再让学徒接手。这为整个过程奠定了坚实的基础，使学徒不再是在黑暗中盲目猜测，从而稳定了整个过程。

结果：速度与质量兼得

通过结合这些技巧，该系统生成图像的速度可以提高 2 倍以上（取决于具体设置，有时可达 2.7 倍）。

类比： 这就像拥有一个可以提前预判 5 步的快速学徒。因为大师和学徒现在“走着同样的路径”，且大师拥有快速修正错误的方法，所以学徒的草图大部分时间都能被接受。大师只需要偶尔介入，纠正一条线条或画出最初的几笔。
质量： 至关重要的是，该论文声称，最终生成的图像效果与使用缓慢的“仅大师模式”时完全相同。不仅没有质量损失，反而获得了巨大的速度提升。

总结： 该论文通过使用一个快速学徒来预测前方，强制学徒和大师遵循相同的“舞步”以达成共识，并使用一种巧妙的数学技巧在不减速的情况下即时修复错误，从而将一个缓慢的、步进式的图像生成器提速了一倍以上。

技术摘要：用于自回归图像生成的连续投机解码

问题陈述

连续视觉自回归（AR）模型已成为连续图像生成的一种极具前景的替代方案，相比于基于离散标记（token）的方法，它提供了更好的重建质量，并避免了与矢量量化相关的稳定性问题。然而，与它们的离散对应物以及大语言模型（LLM）一样，这些连续 AR 模型由于其序列解码的本质，面临着推理速度固有的缓慢问题。

虽然投机解码通过采用“草拟-验证”（draft-and-verify）机制，已成功加速了离散视觉 AR 模型和 LLM，但将其直接应用于连续分布面临着两个根本性的理论与实践障碍：

低接受率： 在连续域中，草拟模型（draft model）与目标模型（target model）学习到的数据分布往往存在分歧。因此，由草拟模型生成的样本经常落在目标模型的高概率区域之外。这导致概率比值极低，进而导致接受率接近于零，使得加速效果失效。
非解析形式的修正分布： 在投机解码中，如果一个草拟标记被拒绝，则必须从一个“修正分布”中重新采样，该分布定义为目标分布与草拟分布之差的归一化形式（ $p(x) - q(x)$ ）。在离散空间中，该归一化常数是一个简单的求和；而在连续空间中，这需要对整个空间进行复杂的积分，缺乏解析表达式，使得直接采样变得难以实现。

方法论

本文提出了**连续投机解码（Continuous Speculative Decoding）**框架，旨在克服连续视觉 AR 模型中的这些特定挑战。该方法整合了三种协同策略：

1. 近似接受准则与轨迹对齐

为了解决由分布不一致导致的低接受率问题，作者引入了一种实用的近似方法和一种新的对齐策略：

近似准则： 为了避免计算整个去噪轨迹上的联合概率比（这在计算上非常昂贵且容易发散），该方法计算的是在草拟和目标轨迹共享相同初始隐变量 $x_0$ 时的联合概率比 $p(Y_p)/q(Y_q)$ 。
去噪轨迹对齐： 为了最小化草拟模型与目标模型输出之间的分歧，作者提出对齐它们的去噪轨迹。基于**重参数化邻近性（Reparameterization Proximity）**定理，在重参数化步骤（ $x_{t-1} = \mu_\theta(x_t, t) + \Sigma_\theta(x_t, t)\epsilon_t$ ）中为两者设置相同的噪声向量 $\epsilon_t$ ，可以显著降低它们输出之间的预期距离。这种对齐确保了草拟模型的轨迹能更贴近目标模型的高概率区域，从而提高接受率。

2. 标记预填充（Token Pre-filling）

作者观察到，由于草拟模型与目标模型之间前缀嵌入（prefix embeddings）的不一致，在初始自回归步骤期间接受率特别低。为了缓解这一问题，他们提出了标记预填充，即初始标记中的一小部分（例如 5%）由目标模型而非草拟模型生成。这确保了前缀的一致性，在不增加显著推理延迟的情况下，稳定了早期阶段的接受率。

3. 用于修正分布的接受-拒绝采样

为了处理非解析形式的修正分布（ $p'(x)$ ），本文采用了**接受-拒绝采样（Acceptance-Rejection Sampling）**方案。

上界推导： 作者推导出了一个合适的上界 $M$ ，使得 $M \cdot p(Y) \geq p'(Y)$ 。通过设置 $M = 1/Z$ （其中 $Z$ 是难以计算的归一化常数），他们消除了显式计算积分的需求。
高效阈值计算： 至关重要的是，拒绝阈值 $\alpha_s$ 是利用相同的去噪轨迹对齐属性推导出来的。这使得阈值的计算仅需使用由模型参数定义的高斯分布，从而避免了为了从修正分布中采样而进行的重复、昂贵的扩散模型推理。

核心贡献

本文声称具有以下贡献：

首个连续投机解码： 这是首个将投机解码技术桥接至连续分布的工作，实现了对连续视觉 AR 模型的大幅加速。
解决低接受率问题： 通过创新的近似准则、基于重参数化邻近性的去噪轨迹对齐以及标记预填充，解决了低接受率问题。
可处理的重采样： 通过带有适当上界的定制化接受-拒绝采样方案，实现了对修正分布的采样，避免了复杂的积分运算。
即插即用集成： 该方法在三个现有的连续视觉 AR 模型（MAR、xAR 和 Harmon）上得到了验证，无需额外的训练或架构更改。

实验结果

研究人员在 ImageNet（256×256 和 512×512 分辨率）以及 MSCOCO/MJHQ 数据集上，针对 MAR、xAR 和 Harmon 模型进行了广泛的实验。

加速比： 该方法在各种模型和分辨率下均实现了超过 2倍的实际时间（wall-time）加速。具体结果包括：
- MAR： 高达 2.33倍 加速。
- xAR： 高达 2.72倍 加速。
- Harmon： 高达 2.54倍 加速。
质量保持： 定量指标（FID、Inception Score、CLIPScore、Geneval）表明，加速后的生成过程能够保持与原始目标模型相当的图像质量。各项指标的标准差保持在较低水平，表明了生成过程的稳定性。
消融实验：
- 轨迹对齐： 将草拟标记与目标标记之间的平均距离从 >2.0 降低到 ~1.0，并将接受率从 ~7% 提升至 >30%。
- 预填充： 研究发现 5% 的预填充比例是最优的，与 0% 预填充相比，它显著改善了早期阶段的接受率并减少了视觉伪影。

重要性与主张

本文将这项工作定位为加速自回归图像生成的一次必要演进。虽然投机解码在离散领域取得了成功，但由于缺乏适用于连续分布的类似理论，限制了连续 AR 模型的效率。通过解决分布不一致性和非解析积分这两个理论挑战，这项工作使得更快速的连续 AR 模型在实际应用中成为可能。作者声称，他们的方法提供了一种鲁棒且无损（就分布而言）的加速策略，可以无缝集成到现有架构中，为视觉领域以及其他利用连续自回归过程的领域提供更高效的推理路径。