🤖 machine learning

Approximate Speculative Decoding

本文介绍了近似投机解码（Approximate Speculative Decoding, ASD），这是一种无需训练的方法，它通过基于遗憾预算（regret budget）选择性地接受草拟标记（draft token）的不匹配，从而重用有效的后缀，以此在不需要新草拟模型或微调的情况下加速自回归生成，进而提高吞吐量。

原作者： Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试为一个非常聪明但极其缓慢的朋友写故事。每当你想要在故事中添加一个新词时，你都必须等待你的朋友苦苦思索，检索他们整个知识库，然后告诉你下一个确切的词是什么。这就是现代 AI 语言模型的工作方式：它们一次生成一个词，而“思考”部分占据了大部分时间，使得整个过程感觉就像在看油漆变干一样无聊。为了提高速度，科学家们发明了一个名为“投机采样”（speculative decoding）的小技巧。把它想象成有一个快速的初级助手在为你猜测接下来的几个词。然后，你要求你那位缓慢的专家朋友快速检查这些猜测是否正确。如果专家同意，你就可以一次性写出好几个词，而不是只写一个，从而节省大量时间。

然而，这里有一个陷阱。你的专家朋友是一个墨守成规的人。如果你的助手猜出的词哪怕只有一个不是专家认为的最完美的选项，专家就会立即停止整个过程。他们会扔掉你在这一轮中助手猜出的所有其他词，即使其中大部分其实都是完美的。这就像一位批改试卷的老师，一旦看到一个错误答案就停止阅读，并将剩下的整张试卷扔进垃圾桶。这种“全有或全无”的规则虽然保证了故事的完美，但也浪费了助手的大量工作。

这篇论文介绍了一种名为 近似投机采样（Approximate Speculative Decoding, ASD） 的新方法，它扮演了一个更聪明、更灵活的老师的角色。它不再因为一个小错误就扔掉整张试卷，而是会询问：“这个错误微小吗？而且助手的接下来的几个词写对了吗？”如果答案是肯定的，ASD 就会接受这个小错误，保留后面正确的词，并继续进行。这就像一位老师说：“虽然你把 'because' 这个词拼错了，但你接下来的十个词拼得非常完美，所以我们把这一个词改过来，然后继续往下写吧。”研究人员发现，通过对微小错误表现得稍微宽容一些，他们可以让 AI 写得显著更快，而不会破坏故事的质量。

“预算制”助手的的故事

ASD 的核心思想是停止将每一个错误都视为灾难。在旧的方法中，如果你的助手猜了一个不是首选的词，系统就会立即停止。但作者意识到，有时助手的“错误”猜测实际上与正确答案非常接近，且其后的词仍然是完美的。

为了解决这个问题，团队创建了一个带有**预算（budget）**的系统。想象一下你有一个装有“错误令牌”的罐子。你可以犯一些小错误，但你必须从你的罐子里支付这些错误。

局部门控（The Local Gate）： 在接受一个错误之前，系统会检查这个错误有多“严重”。如果助手的猜测仅比完美单词的概率稍低，那么这是一个廉价的错误。如果是一个巨大的错误，它会消耗过多的令牌，系统就会说“不”。
块限制（The Block Cap）： 你不能在单次猜测批次中犯太多错误。这可以防止助手一次性变得过于不准确。
请求预算（The Request Budget）： 这是整个对话的总令牌数。一旦你用完了令牌，你就必须在剩下的故事中回归完美（严格遵循旧规则）。

奇迹发生在系统接受一个小错误的时候。因为助手的下一个几个猜测实际上是完美的（它们与专家会选择的词相匹配），系统可以“复用”它们。它不需要再要求缓慢的专家去检查它们。它只需接受这些词并继续前进。这把一个“停止并丢弃”的时刻变成了一个“修复并继续”的时刻。

他们的发现

研究人员使用了一些非常流行的 AI 模型（如 Qwen3 和 DeepSeek）在各种任务上测试了这个想法，从解决数学问题到编写代码。他们不需要重新训练模型或教助手任何新知识；他们只是改变了“老师”（验证器）评分的方式。

结果非常令人鼓舞。通过使用这种预算方法，系统变得更快了，且无需任何额外训练。

在七个不同的任务集上，与严格的传统方法相比，系统平均提速了 7.78%。
在最佳情况下，例如在 MATH-500 数据集上，提速达到了 11.73%。
当他们在名为 DeepSeek-V4-Flash 的大规模模型上进行测试时，他们看到接受率（即系统保留的猜测数量）增加了大约 10% 到 16%。

论文谨慎地指出，这并不是一个让一切都变得完美的魔杖。作者明确表示，这种方法改变了 AI 寻找答案的路径。有时，故事可能会略有不同，或者“哈希值”（文本的数字指纹）可能会改变，即使最终答案仍然是正确的。例如，在某些编程测试中，准确率略有下降（下降不到 1.5 个百分点），但在许多其他任务中，准确率保持不变甚至略有提高。

为什么这很重要

这篇论文的美妙之处在于它不需要构建一个新的、更快的 AI，也不需要训练一个新的助手。它只是改变了你现有的游戏的规则。这就像意识到一个严格的交警因为因为对每一个微小的违规行为都拦截车辆，从而减慢了整个城市的交通，而采用一种更灵活的方法则能保持交通顺畅，且风险极小且可控。

作者建议，这种方法是榨取当前 AI 系统更多速度性能的一种极佳方式。他们强调，虽然速度提升是真实且可衡量的（在某些情况下高达 15.26%），但用户需要意识到，你是在用一点点严谨的完美来换取大量的速度。这是一种权衡：你让故事写得快得多，而且对大多数人来说，措辞上的微小差异根本无关紧要。论文总结道，这种“预算制”方法是一种实用的、无需训练的方式，可以让 AI 生成更快，前提是你要检查结果以确保其质量符合你的需求。

技术摘要：近似投机解码 (Approximate Speculative Decoding, ASD)

问题陈述

自回归大语言模型 (LLM) 按顺序生成 token，由于需要重复执行大型目标模型，产生了显著的推理瓶颈。投机解码通过使用轻量级“草拟”模型（drafter model）来提议一个未来的 token 块，随后由目标模型进行并行验证，从而解决了这一问题。

在标准贪婪验证 (standard greedy verification) 下，该过程是严格二元的：验证器仅提交与目标模型贪婪（argmax）token 完全匹配的最长前缀。一旦出现不匹配，过程就会立即停止，丢弃剩余的草拟 token，并附加一个目标恢复 token。这种方法有两个主要局限性：

固有的二元截断： 它将一个具有接近持平的 target logit（低遗憾值/low regret）的草拟 token 与一个被强烈排斥的 token 视为同等对待，一旦出现任何不匹配便立即停止。
计算浪费： 在教师强制（teacher-forced）验证过程中，目标模型已经对包含不匹配项在内的后续草拟 token 进行了基于前缀的评分。如果一个早期不匹配被接受，那么其后的连续后缀在新的实现前缀下可能已经是“目标贪婪”的。标准验证会丢弃这些可重用的 token，导致需要额外的目标模型前向传播来恢复。

核心挑战在于，接受一个非贪婪 token 会改变解码轨迹。虽然这可以解锁可重用的后缀，但它并非无损优化；不受控制的误差累积可能会降低任务质量。本文认为，目标不是忽略不匹配，而是允许在控制其累积量的前提下，允许有限数量的显式例外。

方法论：近似投机解码 (ASD)

ASD 是一种无需训练的验证器侧方法，它用预算化最长前缀选择 (budgeted longest-prefix selection) 策略取代了“首次不匹配截断”规则。它无需修改草拟模型，无需微调，且不会增加额外的目标模型前向传播。

核心机制

局部目标 Logit 遗憾值 (Local Target-Logit Regret)：
对于草拟 token $x_i$ 和目标 argmax $y^*_i$ ，ASD 计算局部遗憾值 $r_i = z_i(y^*_i) - z_i(x_i)$ ，代表目标模型对正确 token 相对于草拟 token 的偏好程度。
三层控制系统：
ASD 仅在满足三个约束条件时才会接受不匹配，从而允许其选择最长的可行连续前缀：
- 局部遗憾门控 ( $g$ )： 一个归一化门控 $r_i / q_i \leq g$ （其中 $q_i$ 是剩余提议长度）用于过滤掉代价过高的单个不匹配，倾向于接受那些与潜在后缀重用潜力成比例的例外。
- 单块例外上限 ( $M$ )： 限制单个草拟块内的例外数量，以防止误差集中。
- 持久化请求级遗憾预算 ( $B$ )： 在整个请求过程中维护一个累积遗憾值 ( $s$ ) 的账本。只有当累积遗憾 $C_t \leq B - s$ 时，前缀才是可行的。这限制了整个生成过程中的总偏差。
实现前缀后缀重用 (Realized-Prefix Suffix Reuse)：
一旦 ASD 提交了一个以接受的不匹配结尾的前缀，它会重用后续仍保持目标贪婪状态的草拟 token。这些 token 在无需进一步近似决策或额外目标前向传播的情况下被提交。
向量化实现：
算法根据上述约束为草拟块中的每个位置构建可行性掩码（feasibility mask）。接受的长度是该掩码中最长的全为 true 的前缀，可通过 $O(K)$ 时间内的累加和乘积计算得出。当 $B=0$ 时，ASD 精确退化为标准的严格贪婪验证。

主要贡献

本文做出了三个主要贡献：

公式化： 它将近似贪食验证公式化为一个预算化最长连续前缀选择问题，利用持久化的请求级账本来统计已接受的草拟-目标不匹配。
机制识别： 它识别并形式化了实现前缀后缀重用，证明了在接受例外后，只要缓存更新一致，就可以提交一个连续的目标贪婪后缀，而无需额外的近似决策。
实证验证： 它提供了实验证据，证明这种无需训练的验证器在各种模型和任务上都能显著提高吞吐量，且无需更改提议生成机制。

实验结果

实验在 Qwen3-8B/14B、Llama-3.1-8B 作为目标，配合 DSpark、EAGLE3 和 Medusa 作为草拟器的情况下进行，涵盖了 GSM8K、MATH-500、HumanEval、MBPP、MMLU、MT-Bench 和 Alpaca 等基准测试。

吞吐量增益： 与匹配的严格投机解码相比，ASD 将固定工作负载的吞吐量提高了 3.05%–15.26%。
- 在 Qwen3-14B + DSpark-14B 上，七个任务的平均增益为 7.78%。
- 观察到的最高增益为 Llama-3.1-8B + EAGLE3 在 GSM8K 上的 15.26%。
准确率权衡： 该方法是一种受控的近似，而非输出保真的优化。
- 在主要的 DSpark-14B 矩阵中，七个任务中有五个显示出非负的准确率变化。
- 观察到的准确率下降很小（例如 HumanEval 为 -0.61 分，MT-Bench 为 -0.64），且具有任务依赖性。
- 在 GSM8K 和 MATH-500 上，哈希差异（hash divergence）超过 95%，表明轨迹发生了改变，但测得的准确率保持稳定或有所提升。
可扩展性： 增益在不同的草拟器家族（DSpark, EAGLE3, Medusa）和目标模型中均持续存在，表明其收益是由验证器侧机制驱动的，而非特定的提议架构。
大模型兼容性： 在 DeepSeek-V4-Flash (284B) 使用 DSpark 进行 FP4 到 FP8 兼容设置时，ASD 在 GSM8K 和 MATH-500 上的验证器侧接受率提高了约 10%–16%。

意义与主张

本文声称 ASD 提供了一条广泛兼容、无需训练的路径，用于实现更快速的贪婪块状投机解码。其意义在于：

解耦验证与提议： 不同于以往专注于改进草拟器的研究，ASD 优化了评分完成后的验证器提交决策。
显式的权衡控制： 通过引入持久化遗憾预算和局部门控，ASD 允许用户显式地调节速度-准确率边界，超越了严格验证中“全或无”的二元性质。
系统效率： 该方法通过重用目标评分的后缀，减少了昂贵的目标验证轮数，在不增加额外前向传播或模型重训练的情况下实现了吞效量的提升。

作者强调，ASD 限制了累积的局部遗憾，但不保证输出完全一致、语义保真或任务正确性。因此，他们建议采用一种部署模式：即在不相交的数据集上冻结验证器控制参数，随后针对特定的目标、草拟器和工作负载组合进行自然的 EOS 任务质量审计。