🤖 machine learning

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

本文引入了变分投机解码（Variational Speculative Decoding, VSD），这是一种将草稿训练重新表述为变分推理的新颖框架，旨在通过最大化目标模型的序列接受率，并利用带有自适应权重和正则化的期望最大化程序来解决训练与解码之间的差异，从而在现有方法的基础上实现显著的推理加速。

原作者： Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人如何写故事。这个机器人被称为大语言模型（LLM），它才华横溢，但速度极慢。它的工作方式就像一个人一次写一个词，每写完一个词都要停下来思考下一个词是什么。这种“停下来思考”的过程既安全又准确，但却让机器人感觉像是在泥淖中跋涉。

为了提高速度，科学家们发明了一个聪明的技巧，叫做“投机采样解码”（speculative decoding）。你可以把它想象成一个由两人组成的团队：一个动作敏捷、充满活力的初级助手（“草稿模型”）和一个睿智且缓慢的监督者（“目标模型”）。初级助手会非常快速地尝试猜测故事接下来的几个词。随后，监督者会对这些猜测进行检查。如果猜测正确，他们就会一次性接受所有单词，从而跳过缓慢的“思考”时间。如果某个猜测错了，监督者就会进行修正，然后他们再试一次。目标是让初级助手能够一次猜出长串且正确的单词链，以便监督者能以大批量的方式进行审批，让整个过程飞速运转。

然而，这里有一个陷阱：初级助手通常是通过展示“完美”答案并要求它记忆那条单一路径来进行训练的。但在真实的比赛中，监督者并不只是观察一条完美的路径，它在观察一整棵由各种可能性构成的“树”，并从中挑选出最好的路径。事实证明，这种让助手仅遵循一条直线路径的训练方式，使得它在面对监督者实际观察的整个“森林”时表现得很糟糕。这种助手训练方式与实际游戏规则之间的不匹配，一直以来都在阻碍着这些 AI 机器人的速度。

论文的核心思想：一种训练助手的新方法

在这篇论文中，研究人员提出了一种新的训练方法，称为变分投机解码（Variational Speculative Decoding, VSD）。他们意识到，用旧的方法训练草稿模型，就像是在教一名赛车手只能在单条直道上驾驶，而实际的比赛则涉及在复杂的、多弯的赛道上导航。

旧方法的缺陷
作者解释说，现有的方法训练出的草稿模型是“贪婪”的。这意味着模型被教导要始终选择概率最高的下一个词，从而创造出一条单一的文本直线。但在实际的游戏过程中，系统并不只是检查一条线，它会生成一个包含许多不同单词组合可能的“树”，然后从中挑选出最好的。论文指出，这产生了一种不匹配：模型被训练成完美适配一条特定的路径，但游戏却要求它能够胜任许多不同的路径。事实上，他们的实验表明，大约有 30% 的时间，模型在训练时学习的那条“完美”路径在游戏中会被丢弃，因为它实际上并不是众多选项中的最佳选择。

新解决方案：向整个森林学习
VSD 改变了训练规则。它不再仅仅是记忆一条直线，而是将草稿模型的训练视为一个“变分推理”（variational inference）问题。用通俗的话说，这意味着模型被教导去理解整个“森林”的可能性，而不仅仅是其中的一棵树。它学习的是去猜测一组可能被监督者接受的路径，而不是仅仅猜测单个“最佳”词汇。

为了实现这一点，研究人员使用了一个巧妙的两步走过程（称为期望最大化程序，Expectation-Maximization procedure）：

猜测阶段（E步）： 模型生成许多不同的故事路径。一个特殊的“先知”（oracle，即智能过滤器）会检查这些路径，保留那些看起来能通过监督者测试的路径，同时剔除糟糕的路径。
学习阶段（M步）： 模型从这些“保留下来”的路径中学习。但这里有个转折：研究人员加入了两个特殊的工具来使学习过程更加稳定和智能。
- 自适应拒绝加权（Adaptive Rejection Weighting, ARW）： 这就像一位知道学生何时遇到困难的教练。如果模型产生了大量错误的猜测，教练会忽略噪声，专注于少数正确的猜测；如果模型表现良好，教练则会关注错误，以帮助它更快进步。
- 置信度感知正则化（Confidence-Aware Regularization, CAR）： 这可以防止模型变得“过度自信”。如果模型对一个错误的猜测有 99% 的把握，这个工具就会给予严厉的惩罚。它教会模型保持谦逊并探索其他选项，而不是固执地坚持错误的念头。

研究发现
研究人员在多种不同的 AI 模型上测试了这种新方法，包括纯文本模型（如 LLaMA）和具备视觉能力的模型（如 LLaVA）。他们发现 VSD 能在不降低模型智力水平的前提下，持续提升 AI 的速度。

速度： 在文本模型上，VSD 比之前的最优方法（EAGLE-3）快了高达 9.6%。
接受度： “助手”能够一次获得更多单词的批准。平均而言，它一次可以获得 6 到 7 个标记（tokens，即文本块） 的批准，而旧方法仅为 5 到 6 个。
多模态魔力： 它在图像和文本结合的模型上也同样出色，相比于这类模型现有的最优方法（ViSpec），速度提升了 7.9%。

为什么这很重要
这篇论文证明了，通过改变训练“助手”的方式——让它去思考整个游戏而非仅仅是单次移动——我们可以显著提高 AI 的速度。作者通过数学证明，他们的方法能够保证提高“预期接受长度”（即一次能获得多少单词的批准）。他们并非仅仅凭直觉猜测，而是在编写代码、解决数学问题以及回答图片相关问题等许多不同任务中，都通过测量验证了这一点。

简而言之，VSD 通过教导草稿模型成为一个更好的“可能性探索者”，解决了训练中的不匹配问题，确保当它做出猜测时，这个猜测是监督者极有可能接受的。这使得 AI 看起来不再像是正在泥淖中跋涉，而是在全速冲刺。

技术摘要：变分投机解码 (Variational Speculative Decoding, VSD)

1. 问题陈述：训练-解码分布差异

目前的投机解码方法通过使用轻量级草稿模型（draft model）来提出候选 Token，并由目标模型进行并行验证，从而加速大语言模型 (LLM) 和多模态大语言模型 (MLLM) 的推理。然而，一个根本性的训练-解码差异 (training-decoding discrepancy) 依然存在：

确定性训练 vs. 随机性解码： 现有的草稿模型通常通过交叉熵进行训练，以预测单一的“贪婪” Token 轨迹。相比之下，实际的解码涉及随机的多路径采样（例如，基于树结构的探索）、候选排序以及路径验证。
Token 级似然 vs. 路径级效用： 训练优化的是沿单一路径的单个 Token 的似然度。然而，解码是在路径层面做出决策的，其中一个草稿路径的价值取决于其累积置信度以及在序列验证过程中生存下来的能力。
后果： 标准训练会将草稿分布坍缩向单一的确定性路径。论文中的实证分析表明，大约 30% 的训练时贪婪路径在构建草稿树期间被剪枝，且最终被接受的路径仅在约 36% 的情况下与贪婪路径一致。这种不匹配限制了可实现的推理加速比。

2. 方法论：变分投机解码 (VSD)

作者提出了 变分投机解码 (VSD)，该框架将草稿训练重新表述为对潜在草稿路径的变分推理问题。

2.1 变分公式化

VSD 将草稿路径 $z$ 视为一个潜在提议 (latent proposal)。目标是最大化路径有效的边际概率（即被目标模型接受的概率）。

路径级有效性： 对于草稿路径 $z = (z_1, \dots, z_\ell)$ ，有效性概率 $\kappa(x, z)$ 定义为所有 Token 都被接受的联合概率： $\kappa(x, z) = \prod_{i=1}^\ell \alpha_i(x, z_{<i})$ ，其中 $\alpha_i$ 是 Token 级的接受概率。
证据下界 (ELBO)： 作者推导出了接受概率的对数边际概率 $\log Z_\theta(x)$ $lo g Z_{θ} (x)$ 的 ELBO：
$\mathcal{L}_{VSD}(\psi; x) = \mathbb{E}_{z \sim q_\psi}[\log \kappa(x, z)] - D_{KL}(q_\psi(z|x) \parallel p_\theta(z|x))$
- 第一项鼓励草稿模型生成具有高接受概率的路径（路径级效用）。
- 第二项（KL 散度）作为正则项，使草稿分布保持接近目标模型的分布，从而防止退化解。

2.2 通过期望最大化 (EM) 进行优化

由于有效路径的后验分布难以计算，VSD 使用基于蒙特卡洛的 EM 程序来优化 ELBO：

E-步 (Oracle-Filtered Sampling)： 草稿模型生成一批候选路径。一个“先知 (oracle)”（基于目标模型的贪婪路径）对这些候选路径进行过滤，保留高效用路径，并将被拒绝的路径替换为来自目标策略的纠正性样本。这构建了一个有效路径后验的经验近似。
M-步 (加权似然最大化)： 更新草稿模型参数以最大化 E-步中被接受样本的似然度。为了确保稳定性和效率，引入了两种机制：
1. 自适应拒绝加权 (ARW)： 这是一种控制变量系数，根据草稿模型当前的可靠性动态重新加权被拒绝的样本。这降低了梯度方差，防止在草稿模型较弱时出现不稳定的更新。
2. 置信度感知正则化 (CAR)： 该机制惩罚那些为无效路径分配高置信度的草稿模型（硬负采样）。它根据草稿模型的置信度对被拒绝的提议进行重新加权，从而抑制会增加验证成本的过度自信错误。

3. 核心贡献

新颖框架： VSD 是第一个通过将草稿训练表述为潜在路径上的变分推理（而非单 Token 预测）来显式解决训练-解码分布差异的框架。
理论保证：
- 定理 1： 证明了最大化 VSD 目标函数会增加一个可证明的预期接受长度的下界。
- 定理 2： 证明了与传统的仅基于 KL 的训练（仅最小化 $D_{KL}(q_\psi \parallel p_\theta)$ ）相比，VSD 提供了更紧致的预期接受长度下界。
- 定理 3： 表征了每个 EM 步骤中的最优草稿分布为步级有效路径后验。
算法创新： 集成了 ARW 和 CAR，稳定了路径级目标的训练，解决了草稿树蒙特卡洛采样中固有的高方差问题。

4. 实验结果

作者在包括 MT-Bench、HumanEval、GSM8K 以及各种视觉任务（VQAv2、ChartQA 等）在内的基准测试中，针对多种 LLM（LLaMA-3.1/3.3, Vicuna, DeepSeek-R1）和 MLLM（LLaVA-1.5）评估了 VSD。

性能提升：
- LLMs： VSD 比最先进的 EAGLE-3 实现高达 9.6% 的加速，并平均提升了 7.6% 的接受长度。
- MLLMs： VSD 比最佳的 ViSpec 基线实现高达 7.9% 的加速，并提升了 7.9% 的接受长度。
兼容性： VSD 具有模块化特性，可以应用于增强现有方法（如 EAGLE-3, MSD, ViSpec, GRIFFIN, HASS），无论底层草稿架构如何，都能一致地带来性能提升。
消融实验：
- 增加潜在提议的数量 ( $S$ ) 会持续提升性能，证实了 VSD 利用多路径探索的能力。
- ARW 和 CAR 均对性能有显著贡献；移除它们会导致由于高方差和过度自信错误而导致的加速比和接受长度下降。
- VSD 在需要长程一致性的任务（如代码生成、数学推理）以及基线贪婪接受率较低的情况下，表现出更大的相对收益。

5. 意义与主张

本文声称 VSD 代表了投机解码训练的一次原则性转变。通过从 Token 级似然转向序列级接受，VSD 使草稿模型的优化目标与实际解码过程（多路径验证）保持一致。

理论对齐： 该工作在变分界限与实际运行时间加速之间建立了直接的数学联系，从理论上保证了相比于传统 Token 级训练的效率提升。
实际影响： 结果表明，VSD 是一个互补的、即插即用的增强方案，可以在不损害输出质量（无损）的前提下，显著提升文本和多模态模型的推理效率。
局限性： 作者指出，目前在将潜在提议数量 ( $S$ ) 扩展到 40 以上时受到计算能力的限制，但他们预计随着 $S$ 的增大，性能会进一步提升。他们还提到将 VSD 扩展到其他模态（如语音）是未来的工作方向。