💻 computer science

SJD-PAC: Accelerating Speculative Jacobi Decoding via Proactive Drafting and Adaptive Continuation

本文提出了 SJD-PAC 框架，通过主动草稿策略和自适应延续机制解决了自回归文生图任务中因高熵区域导致的草稿接受率低问题，在严格保持图像质量无损的前提下实现了 3.8 倍的推理加速。

原作者： Jialiang Kang, Han Shu, Wenshuo Li, Yingjie Zhai, Xinghao Chen

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Jialiang Kang, Han Shu, Wenshuo Li, Yingjie Zhai, Xinghao Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 SJD-PAC 的新技术，它的目标是让 AI 画图的速度变快，同时保证画出来的图一点都不走样。

为了让你更容易理解，我们可以把 AI 画图的过程想象成一位非常严谨的“老画家”在画一幅复杂的长卷画。

1. 背景：老画家为什么画得慢？

现在的 AI 画图模型（比如 Lumina-mGPT）就像这位老画家。它们画画的逻辑是“一步一个脚印”：

先画第一笔，确认没问题；
再画第二笔，确认没问题；
再画第三笔……
直到画完几千笔，一幅画才完成。

这种“一步一步来”的方法（学术上叫自回归）虽然画得准，但太慢了。就像老画家每画一笔都要停下来思考很久，画一幅大画可能需要几分钟甚至更久。

2. 之前的尝试：为什么“猜谜游戏”行不通？

为了解决慢的问题，以前的科学家想出了一个办法：“猜谜游戏”（Speculative Decoding）。

思路：派一个小助手（草稿模型）先快速猜出接下来要画的几笔是什么，然后让老画家（大模型）快速检查：“嘿，小助手猜得对吗？对的话我就直接采纳，不对我再改。”
问题：在画图领域，这个方法效果很差。因为画画充满了随机性和高难度（比如画一片复杂的云彩，小助手很难猜准老画家下一秒会怎么画）。
结果：老画家经常说：“不对，重来！”小助手猜的几笔全被推翻。这就像小助手刚跑了几步，就被老画家叫停，不仅没省时间，反而浪费了精力。

3. 之前的改进：SJD（投机雅可比解码）

后来出现了一种叫 SJD 的新方法，它不需要小助手，而是让老画家自己猜自己。

原理：老画家利用上一轮画的“草稿”来预测这一轮。
瓶颈：虽然比原来快了一倍，但问题依然存在。一旦老画家在某一步猜错了（比如云彩画歪了），他不仅会推翻这一步，还会把后面所有基于这个错误画的笔触全部推翻，重新来过。
比喻：就像你在写文章，写错了一个字，不仅要把这个字改掉，还要把后面整段话都删掉重写。这导致大部分时候，老画家其实只成功画了一笔，然后就得停下来重来。效率依然不高。

4. 本文的突破：SJD-PAC（双管齐下）

这篇论文提出的 SJD-PAC 就像给老画家装上了两个“超级外挂”，专门解决上述两个痛点：

外挂一：主动起草 (Proactive Drafting, PD) —— “多手准备”

问题：以前一旦猜错，老画家就死盯着一条路走，撞了南墙就全废。
SJD-PAC 的做法：当老画家发现某一步猜错了，它不再只画一条路，而是立刻分叉，画出好几条不同的备选路线（就像在岔路口同时铺好几条路）。
比喻：就像你在迷宫里走，发现前面路堵死了，普通方法会让你原地打转；而 SJD-PAC 会立刻在堵死的地方旁边，同时开辟出 3-4 条新的小路。这样，总有一条路是通的，老画家就能继续画下去，不用全盘重来。

外挂二：自适应延续 (Adaptive Continuation, AC) —— “只改错的，保留对的”

问题：以前只要发现一个错，后面画得再好的部分也被强制删掉重画。
SJD-PAC 的做法：当发现第 5 笔画错了，它只把第 5 笔擦掉重画，而第 6 笔、第 7 笔……只要它们本身画得没问题，就直接保留，不用重画！
比喻：就像你写文章，发现第 3 句有个错别字。普通方法会把第 3 句到第 10 句全删了重写；而 SJD-PAC 只改第 3 句，第 4 到第 10 句写得好的部分原封不动地保留。这大大减少了重复劳动。

5. 最终效果：又快又好

通过这两个“外挂”的配合，SJD-PAC 实现了惊人的效果：

速度：在测试中，它让 AI 画图的速度提升了 3.8 倍（从画一幅画需要几分钟，缩短到几十秒）。
质量：最重要的是，它是完全无损的。画出来的图，和原来慢吞吞画出来的图，肉眼完全看不出区别，细节、色彩、构图一模一样。
对比：以前有些加速方法虽然快，但画出来的图会有“噪点”或“模糊”（就像照片压缩过度）；而 SJD-PAC 既快又清晰。

总结

简单来说，SJD-PAC 就是给 AI 画家装了一套智能纠错系统：

猜错了？ 别慌，我马上给你多准备几条路（主动起草）。
哪笔错了？ 只改那笔，后面画得好的别动（自适应延续）。

这让 AI 在保持顶级画质的同时，把画画时间缩短了近 4 倍，让 AI 画图变得更加高效和实用。

1. 研究背景与问题 (Problem)

背景：
自回归（Autoregressive, AR）文本生成图像（Text-to-Image, T2I）模型（如 Lumina-mGPT, Emu3）在生成质量上已媲美顶级扩散模型，但其推理延迟极高。这是因为生成高分辨率图像需要按顺序预测数千个 Token。

现有方案及其局限性：

投机解码 (Speculative Decoding, SD)： 通常使用一个小模型（Draft Model）生成候选 Token，由大模型并行验证。但在 T2I 任务中，由于视觉生成具有**高熵（High-Entropy）**特性，候选 Token 的接受率极低，导致加速效果微乎其微。
投机雅可比解码 (Speculative Jacobi Decoding, SJD)： 一种无需训练、无损的加速方法。它利用上一轮迭代的输出分布作为当前轮的草稿分布，将生成视为固定点迭代问题。
- 核心瓶颈： 尽管 SJD 是无损的，但实际性能受限。分析发现，SJD 的接受长度分布极度偏斜（长尾分布）：
  1. 低效步骤频发： 近 50% 的推理步骤仅接受 1 个 Token。一旦第一个草稿 Token 被拒绝，后续所有 Token 都会因上下文不匹配而被丢弃，导致该步骤加速为 0。
  2. 级联拒绝： 单个 Token 的拒绝会导致后续所有草稿失效，引发“级联拒绝”现象。
  3. 验证过早终止： 标准 SJD 在遇到第一个拒绝时立即终止验证循环，丢弃了后续可能仍然有效的 Token。

核心问题：
如何减少低效的“单 Token 接受”步骤，并在单次前向传播中最大化被验证并接受的 Token 数量，从而在不损失图像质量的前提下大幅提升推理速度？

2. 方法论 (Methodology)

作者提出了 SJD-PAC，这是一个增强版的 SJD 框架，包含两个核心创新模块：主动草稿 (Proactive Drafting, PD) 和 自适应延续 (Adaptive Continuation, AC)。

2.1 主动草稿 (Proactive Drafting, PD)

目标： 解决因拒绝导致的上下文不匹配和级联拒绝问题，减少“单 Token 接受”的频率。
机制：
- 当标准 SJD 在位置 $i$ 发生拒绝并重新采样得到新 Token $x_i^t$ 后，PD 不再像传统方法那样仅生成一条线性序列。
- PD 会主动构建一个浅层、宽度的 K 叉树（K-ary Tree）：
  1. 浅层宽树： 在拒绝点后的 $D$ 个位置（例如 $D=3$ ），从目标分布中无放回地采样 $K$ 个候选 Token（例如 $K=4$ ），形成 $K$ 条分支。
  2. 链式延伸： 对于树之后的位置，选择其中一条分支（如第一条）继续自回归采样至序列末尾。
- 效果： 在关键的重采样边界提供多样化的路径选择，增加了下一轮迭代中至少有一条路径能通过验证的概率，从而抑制了单 Token 接受的峰值。

2.2 自适应延续 (Adaptive Continuation, AC)

目标： 最大化单次验证循环中的接受长度，避免过早终止。
机制：
- 修改标准 SJD 的验证循环：遇到拒绝时不再立即终止。
- 当位置 $i$ 被拒绝时，AC 仅对 $x_i$ 进行重采样，然后继续验证后续位置 $j > i$ 的草稿 Token。
- 利用图像局部性： 虽然后续位置的草稿分布是基于“过时”的前缀计算的，但实验表明图像 Token 对远距离上下文变化的敏感度远低于文本（Total Variation 距离随偏移量迅速趋近于 0）。因此，利用过时的分布继续验证后续 Token 依然有效，且能保留大量原本有效的 Token。
- 效果： 仅丢弃被拒绝的 Token，保留了序列尾部的大部分有效信息，为下一轮雅可比迭代提供了更稳定的初始状态。

2.3 算法流程

并行前向传播获取目标分布。
执行 AC 循环：遍历所有 Token，执行接受/拒绝采样。记录第一个拒绝的位置，但不中断循环。
若发生拒绝，触发 PD 机制：在第一个拒绝点构建 K 叉树，生成多样化的新草稿序列。
返回更新后的序列，进入下一轮迭代。

3. 主要贡献 (Key Contributions)

问题洞察： 深入分析了 T2I 模型中 SJD 的接受长度分布，指出“单 Token 接受”和“过早终止验证”是限制性能的主要瓶颈。
提出 SJD-PAC： 设计了一种完全无需训练 (Training-free) 且 严格无损 (Lossless) 的加速框架。
- 引入 PD 缓解级联拒绝。
- 引入 AC 在拒绝后保留有效 Token，最大化接受长度。
SOTA 性能： 在多个基准测试中实现了最先进的无损加速效果，速度提升显著且图像质量无损。

4. 实验结果 (Results)

实验在 Lumina-mGPT (7B) 和 Emu3 (8B) 模型上，基于 MS-COCO 和 PartiPrompts 数据集进行。

加速性能：
- 在 Lumina-mGPT 上，SJD-PAC 实现了 4.51 倍 的步数压缩（Step Compression）和 3.80 倍 的端到端延迟加速（Wall-clock Speedup）。
- 在 Emu3 上，实现了 3.25 倍 的端到端加速。
- 对比： 显著优于原有的 SJD (约 2 倍) 和 EAGLE (约 2.1 倍)。甚至超过了部分有损（Lossy）方法（如 GSD 的 3.62 倍），且没有质量损失。
图像质量：
- 无损保证： FID 和 CLIP-Score 与原始模型几乎完全一致（例如 Lumina-mGPT 的 FID 从 30.79 变为 30.69，CLIP-Score 从 31.31 变为 31.21）。
- 视觉对比： 定性分析显示，SJD-PAC 生成的图像与原始模型在视觉上无法区分，而部分有损方法（如 GSD）在复杂场景下会出现明显的伪影。
消融实验：
- PD 和 AC 两个组件均对性能有显著正向贡献。
- 最佳超参数配置为：树深度 $D=3$ ，分支数 $K=4$ ，窗口长度 $L=64$ 。

5. 意义与总结 (Significance)

突破瓶颈： SJD-PAC 成功解决了高熵视觉生成中投机解码接受率低的核心难题，证明了无需训练辅助模型也能实现高效的无损加速。
实用价值： 在保持图像生成质量（FID/CLIP）完全无损的前提下，将推理速度提升了近 4 倍，使得自回归 T2I 模型在实际应用中的延迟更具竞争力。
通用性： 该方法模型无关（Model-agnostic），且无需额外训练，易于集成到现有的 AR 图像生成架构中。
未来方向： 论文指出可以将 SJD-PAC 的草稿/验证优化与其他优化接受准则的方法（如 GSD）结合，进一步探索 T2I 加速的边界。

总结： SJD-PAC 通过“主动构建多样化草稿”和“拒绝后自适应延续验证”两大策略，将原本低效的 SJD 流程转化为高效的加速引擎，在无损的前提下实现了 T2I 生成的 SOTA 加速效果。