💬 NLP

SpecTr-GBV: Multi-Draft Block Verification Accelerating Speculative Decoding

本文介绍了 SpecTr-GBV，这是一种新颖的推测解码框架，通过将令牌验证构建为最优传输问题，统一了多草稿生成与贪婪块验证，从而在保持输出质量的同时实现了理论上的最优接受长度和卓越的实证加速。

原作者： Yijun Lin, Jinhao Sheng, Qingyue Cai, Feng Zhou

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yijun Lin, Jinhao Sheng, Qingyue Cai, Feng Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试撰写一个长篇故事，但你有一位非常严格的编辑（目标模型），他极其聪明，但行动非常缓慢。每次你想添加一个新词时，都必须等待这位编辑重新阅读整句话，并决定这个词是否合适。这导致故事的写作过程变得无比漫长。

推测解码是一种巧妙的技巧，旨在加速这一过程。你雇佣了一位快速且精力充沛的实习生（草稿模型）来为你猜测接下来的词语。随后，编辑会快速检查这些猜测。如果猜测正确，编辑会说“好！”，然后你们继续前进。如果猜测错误，编辑会进行修正。这种方法节省了时间，因为实习生可以一次性猜测多个词，而编辑只需偶尔承担大部分工作。

现有方法的问题

文章强调，目前用于这种“实习生”系统的现有方法存在两个主要缺陷：

“逐个”问题：某些方法要求实习生做一个猜测，进行验证，然后再做下一个猜测。这非常缓慢。
“单一实习生”问题：其他方法要求实习生撰写整个段落，但他们只有一个实习生。如果这位实习生在段落开头犯了一个错误，整个段落都会被丢弃，你必须重新开始。

一些研究人员试图通过雇佣多个实习生（多草稿）来撰写接下来词语的不同版本，希望至少有一个是正确的，从而解决这个问题。另一些人则尝试一次性验证整个段落（块验证），而不是逐个词验证。但到目前为止，还没有人成功将多个实习生与整段验证结合起来。

解决方案：SpecTr-GBV

作者提出了一种名为SpecTr-GBV的新系统。你可以将其想象为一个拥有全新工作流程的超高效编辑团队：

实习生“小队”：他们不再雇佣单个实习生，而是雇佣一支由 $K$ 名实习生组成的小队。每位实习生都撰写自己版本的接下来词语（即一份“草稿”）。
“块”验证：编辑不再逐个检查第 1 个词、第 2 个词、第 3 个词，而是同时检查所有实习生提供的整个“词块”。
“最佳适配”选择：编辑使用一种数学策略（称为最优传输，类似于一种智能匹配游戏），找出任何一位实习生正确生成的最长词序列。

类比：
想象你正试图通过跳石过河。

旧方法：你让一个人猜测石头的位置。你一次跳一块石头。如果你跳错了，就会掉进水里，必须重新开始。
新方法（SpecTr-GBV）：你让五个人猜测石头的位置。你一起审视这五个猜测。你找出任何人正确猜测的最长石头路径。你沿着这条路径尽可能远地跳跃。如果你仍然无法一次性渡过整条河，你只需跳到下一个安全位置，并请求新的猜测。

为什么这更好

文章声称，这种新方法是“最优”的行事方式。以下是用通俗法语解释的含义：

最大成功：理论上，该方法被证明能获得最长的可接受词“序列”。如果不改变实习生们的工作方式，你无法做得更好。
更多实习生 = 更快：你雇佣的实习生越多（生成的草稿越多），正确词的序列就越长。这就像在问题上有更多的眼睛；有人猜对下一个正确词的几率就会增加。
无质量损失：即使速度更快，最终的故事也是以与那位缓慢编辑独自完成时完全相同的方式写成的。质量不会下降。

结果

作者在五种不同类型的任务上（如编写代码、解决数学问题和撰写故事）使用不同的 AI 模型测试了这种方法。

更快：他们的方法比标准做法显著更快。在某些情况下，它比之前的最佳方法快了近30%。
更高效：它成功地在每秒内接受了更多正确的词，这意味着缓慢编辑的工作量减少了。
稳健：即使他们修改了参数（例如允许实习生使用的“创造力”水平），该方法依然表现良好。

总之，SpecTr-GBV是一种更智能的方式，利用快速助手来协助缓慢的专家，确保你充分利用助手所做的每一次猜测，从而在不损失任何质量的情况下实现更快的写作过程。

以下是论文《SpecTr-GBV：多草稿块验证加速推测解码》的详细技术总结。

1. 问题陈述

自回归大型语言模型（LLM）由于其逐 token 生成的序列特性，每个 token 都需要一次完整的前向传播，导致推理延迟较高。**推测解码（Speculative Decoding, SD）**通过使用较小的“草稿”模型提出候选 token，并由较大的“目标”模型进行验证，从而缓解这一问题。

然而，现有的 SD 方法在独立处理时面临两个明显的局限性：

单草稿局限性：标准 SD 仅使用一个草稿序列，导致接受率较低。
多草稿与块验证的权衡：
- 多草稿方法（如 SpecTr）：生成多个独立的草稿序列以增加候选池。然而，它们通常按位置逐个（列向）验证 token。这种顺序验证一旦在特定位置拒绝某个 token 就会停止，无法在单次迭代中最大化被接受的 token 总数。
- 块验证方法（如 GBV）：联合验证整个 token 块，而非逐个 token 验证，从而实现针对单个草稿的最优接受率。然而，它们未能利用多个草稿序列的优势。

核心问题：能否将多草稿生成（增加候选多样性）与贪婪块验证（优化块内接受率）的优势统一起来，以实现理论上的最大接受长度？

2. 方法论：SpecTr-GBV

作者提出了SpecTr-GBV，这是一个将多草稿生成与贪婪块验证（GBV）统一的框架。

核心概念

SpecTr-GBV 不再像 SpecTr 那样按位置逐个验证 token，也不像 GBV 那样仅验证单个块，而是：

生成 $K$ 个独立同分布（i.i.d.）的长度为 $L$ 的草稿序列。
将验证步骤表述为 $K$ 个草稿 token块集合与目标 token 块之间的**最优传输（Optimal Transport, OT）**问题。
遍历 $K$ 个草稿序列，以在所有草稿中找到最长的被接受子块。

算法流程

验证过程（算法 1）按以下步骤运行：

初始化：设定接受长度 $\tau = 0$ 。维护一个被拒绝子块的集合 $H$ ，以避免冗余采样。
顺序迭代：遍历 $K$ 个草稿序列中的每一个（ $x^L_1, \dots, x^L_K$ ）。
子块验证：对于当前序列，从位置 $\tau + 1$ $τ + 1$ 开始验证子块。
- 使用推导出的公式（公式 2）计算子块 $x^i_k$ 的接受概率 $h_{ik}$ ，该公式考虑了所有 $K$ 个草稿中子块的联合概率。
- 如果被接受，更新 $\tau$ 为新长度并记录序列索引。
- 如果被拒绝，将该子块加入集合 $H$ ，并在后续迭代中跳过它。
终止：
- 如果草稿的整个块被接受，则从目标模型采样一个修正 token。
- 如果过程在长度 $\tau < L$ 处停止，则从残差分布（公式 4）采样一个修正 token，以确保分布保真度。
分布修正：在下一个 SD 迭代之前，修改未接受位置的目标分布（算法 2），以维持与原始目标模型分布的一致性。

理论基础

最优传输表述：该方法被表述为在条件独立耦合（CIC）上最小化成本函数。
最优性：作者证明，SpecTr-GBV 在 i.i.d. 草稿生成的框架内实现了理论上可达到的最优期望接受长度。
单调性：随着草稿数量（ $K$ ）的增加，期望接受长度的理论上限严格增加。

3. 主要贡献

统一框架：SpecTr-GBV 是首个将多草稿策略与块验证统一到单一框架中的方法，将 GBV 从单草稿扩展到了多草稿设置。
理论保证：
- 证明了该方法保留了目标模型的输出分布。
- 证明了对于固定数量的草稿，它实现了最大可能的期望接受长度。
- 证明了随着草稿数量的增加，这一最优上限会提高。
效率：
- 将每个选择步骤的计算复杂度降低至 $O(|\Omega|)$ （其中 $|\Omega|$ 为词表大小），这比 SpecTr 用于缩放因子的 $O(|\Omega| \log K)$ 二分搜索更高效。
- 消除了对 OT 问题昂贵的线性规划解法的需求。

4. 实验结果

作者在五个数据集（HumanEval, GSM8K, MGSM, LM1B, Alpaca）上评估了 SpecTr-GBV，使用了四个基线（自回归、标准 SD、SpecTr、GBV），并采用了 DeepSeek、CodeLlama 和 Vicuna 模型。

主要发现：

性能：SpecTr-GBV 始终优于所有基线。
- 与标准 SD 相比：块效率（BE）提高了约12.4%，加速比（SR）提高了约29.3%（DeepSeek-33B 设置）。
- 与 SpecTr 相比：BE 提高了约2.3%，SR 提高了约8.2%。
- 与 GBV 相比：BE 提高了约9.7%，SR 提高了约27.0%。
时间效率：
- 解码迭代次数平均减少了2.6%。
- 由于移除了对 $\rho$ 的二分搜索，验证开销比 SpecTr 降低了50% 以上。
- 根据数据集和模型规模的不同，整体挂钟时间减少了6.3% 至 11.8%。
消融研究：
- 草稿数量（ $K$ ）：接受率随 $K$ 单调增加，证实了理论预测。在所有 $K$ 值下，SpecTr-GBV 均保持比 SpecTr 更高的接受率。
- 草稿长度（ $L$ ）：BE 随 $L$ 增长而提高，但由于生成长草稿的计算成本，SR 最终会下降。
- 温度（ $T$ ）：该方法在不同的采样温度（0.1, 0.4, 0.7）下均表现稳健。

5. 意义

SpecTr-GBV 代表了 LLM 推理加速的重要进展。通过从理论上证明将多草稿生成与块级验证相结合能产生最优接受长度，该论文为推测解码确立了新标准。

实际影响：它为现有的 SD 流水线提供了“即插即用”的改进，在不妨碍输出质量（分布保真度）的情况下显著降低了延迟。
可扩展性：该方法能随草稿模型数量有效扩展，表明未来能够并行化多个小模型的硬件可能会带来更大的加速效果。
理论洞察：它解决了多草稿与块验证能否最优结合这一未决问题，为未来高效解码的研究提供了严谨的数学基础。