💬 NLP

Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding

该论文介绍了混合验证解码（Hybrid Verified Decoding），这是一种通过预测缓存草案（cache drafts）的接受长度，从而在缓存验证与基于模型的草案生成之间进行动态选择的方法，通过优化投机解码效率，实现了显著的加速——尤其是在智能体工作流（agentic workflows）中。

原作者： Xin Su, Dawid Majchrowski, Fangyuan Yu, Vanshil Atul Shah, Sebastian Rogawski, Pawel Morkisz, Anahita Bhiwandiwalla, Phillip Howard

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xin Su, Dawid Majchrowski, Fangyuan Yu, Vanshil Atul Shah, Sebastian Rogawski, Pawel Morkisz, Anahita Bhiwandiwalla, Phillip Howard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图写一个长篇故事，但你有一个严格的规则：在写下一个词之前，你必须向一位非常昂贵且缓慢的“主编”请求批准每一个单词。这就是当前大语言模型（LLM）的工作方式。它们逐个单词地生成文本，并且对于每一个单词，它们都必须进行一次沉重的计算。这使得生成长文本变得既慢又贵。

为了提高速度，研究人员使用了一种被称为**投机采样（Speculative Decoding）**的小技巧。你可以把它想象成有一个快速且廉价的“学徒作家”，为你猜测接下来的几个词。然后，你再询问主编这些猜测是否正确。如果猜测是正确的，主编会一次性批准所有这些单词，从而节省时间。如果猜测是错误的，主编只会批准第一个词（或一个都不批准），然后你必须重新尝试。

问题在于：你如何知道学徒的猜测是否值得去检查？

两种类型的学徒

这篇论文介绍了一个系统，它使用两种不同类型的“学徒”和一个聪明的“经理”来决定使用哪一个。

“记忆型”学徒（基于缓存）： 这个学徒不会学习新知识。相反，它会观察你已经写下的内容或给出的提示词，然后说：“嘿，我以前见过这个模式！让我们直接复制粘贴剩下的故事吧。”
- 优点： 它极其快速且免费，因为它只是在进行复制操作。
- 缺点： 仅仅因为你以前见过某种模式，并不意味着它现在适用。例如，如果你正在写一个关于侦探的故事，而模式显示“侦探掏出了他的枪”，这在某个场景下可能是正确的，但在另一个场景下可能就是错的。如果主编拒绝了这个猜测，你就浪费了检查一个错误猜测的时间。
“学习型”学徒（基于模型）： 这是一个经过训练的 AI（如 EAGLE3），它会真正思考上下文并尝试智能地编写接下来的词。
- 优点： 它通常非常准确。
- 缺点： 它比单纯从记忆中复制要慢，也更昂贵。

问题所在：“虚假希望”陷阱

在过去，系统会先尝试使用“记忆型”学徒，因为它很便宜。但如果记忆中的猜测是错误的，系统就会浪费时间去验证它。这就像是请一位朋友根据多年前看过的类似电影来猜一部电影的结局。如果他们猜错了，你就浪费了听他们说话的时间。

这篇论文将此称为**“收益”（Payoff）问题**。你需要知道一个猜测是属于“高收益”（被接受的单词很多）还是“低收益”（被接受的单词很少），而且要在询问主编进行检查之前就知道这一点。

解决方案：混合验证解码

作者创建了一个智能经理（一个小型、轻量级的 AI 预测器），它位于两个学徒与主编之间。它的工作原理如下：

设置： “记忆型”学徒根据过去的模式提出了一个猜测。
经理的检查： 在询问主编验证猜测之前，智能经理会观察当前的情况。它会问：“基于当前的上下文，你认为主编实际上会接受多少个这些复制过来的单词？”
决策：
- 高收益预测： 如果经理认为：“是的，这看起来是一个完美的匹配！主编可能会接受 5 或 6 个单词，”它就会将“记忆型”猜测发送给主编。
- 低收益预测： 如果经理认为：“不，这看起来很有风险。主编可能只会接受 1 个单词或一个都不接受，”它就会忽略记忆型猜测。相反，它会切换到“学习型”学徒，后者会花一点时间思考并写出一个更好的猜测。

为什么这很重要

研究人员在 16 种不同类型的任务上测试了这个系统，涵盖了从编写代码、编辑文档到回答复杂问题等各种任务。

结果： 在模式经常重复的任务中（如编写代码或编辑文档），该系统的平均速度比之前的最佳方法快了 2.73 倍。
类比： 想象你在为旅行打包行李。
- 旧方法： 你从一堆类似的行李箱中抓起一个（记忆），并祈祷它能装下你的衣服。如果它不合适，你必须拆开它，然后再尝试另一个。
- 新方法： 你快速瞥一眼行李箱（经理）。如果它看起来适合你的特定着装，你就打包它。如果它看起来尺寸不对，你会立即跳过它，转而寻找一个定制尺寸的盒子（学习型学徒）代替。通过避免在错误的行李箱上浪费精力，你节省了时间。

论文的核心要点

关键在于时机： 该系统不仅仅是在猜测；它是在做出昂贵的动作之前，先预测成功率。
它在结构化任务中表现出色： 它在“智能体”（agentic）工作流中表现尤为出色（如编码或工具使用），因为这些流程遵循严格的规则和模式，使得“记忆型”猜测通常非常出色，但前提是上下文完全匹配。
它节省了昂贵的部分： 通过过滤掉那些“糟糕”的记忆型猜测，该系统确保昂贵的主编只把时间花在那些很可能成功的猜测验证上。

简而言之，这篇论文教计算机如何更好地判断自己的捷径，确保它只在几乎确定有效时才走快速路径，并在捷径看起来有风险时切换到谨慎路径。

技术摘要：混合验证解码 (Hybrid Verified Decoding)

问题陈述
大语言模型（LLM）的生成受限于自回归解码的顺序特性，即每个新 Token 都需要对当前的当前前缀和键值（KV）缓存进行完整的正向传播。投机解码通过提出一个“草稿”源并由目标模型在单步内进行验证来解决这一问题。然而，投机解码的效率取决于“接受率”——即目标模型接受的提案 Token 数量。

无参数的草稿源（例如后缀缓存、检索）通过重用提示词或生成历史中的延续部分，提供了低成本的提案，但它们存在一个关键限制：在某一生成步骤中看似有前景的缓存匹配，在下一步可能会因为状态依赖的变化（例如，类似的工具调用具有不同的参数）而导致接受的前缀变得非常短。验证低收益的缓存草稿会产生开销，却无法带来显著的加速。现有的自适应方法通常会调整草稿结构或预算，但并未在提交验证之前明确预测（无参数草稿的）“收益”（即接受长度）。

方法论：混合验证解码
作者提出了混合验证解码框架，该框架将草稿选择视为一个由收益引导的验证分配问题。系统不再盲目地验证每一个缓存草稿，也不仅仅依赖于学习到的基于模型的草稿器，而是会在验证前预测当前缓存草稿的预期接受长度。

双源草稿设计 (Dual-Source Drafting)： 系统维护两个草稿源：
- 基于缓存的草稿器 ( $D_C$ )： 一种无参数机制（实例化为 SuffixDecoding），通过匹配输入提示词和生成历史中的后缀来提出延续内容。
- 基于模型的草稿器 ( $D_m$ )： 作为后备方案的已学习草稿器（具体为 EAGLE3）。
收益预测 (Payoff Prediction)： 在验证之前，一个轻量级的收益预测器 ( $g_\theta$ $g_{θ}$ ) —— 实现为多层感知器 (MLP) —— 会估计当前缓存草稿的接受长度 ( $\hat{y}_t$ $\overset{y}{^}_{t}$ )。
- 特征： 预测器接收一个运行时特征向量 ( $\phi_t$ )，包括后缀匹配情况、草稿长度、当前解码位置、近期历史以及 Token 结构指标。
- 决策规则： 如果预测收益 $\hat{y}_t$ 超过阈值 $\tau$ ，则将缓存草稿送去验证。否则，系统回退到基于模型的草稿器。
通过轨迹重放进行训练 (Training via Trace Replay)： 预测器通过一种基于重放的过程进行训练。对于目标模型生成轨迹中的每个 Token 位置，系统会重建状态，生成一个缓存草稿，并通过将草稿与实际的目标模型延续进行对比，计算出“预言机”（Oracle）接受长度 ( $y_t$ )。模型通过回归进行训练，以最小化预测值与实际接受长度之间的平方误差。

核心贡献

形式化定义： 本文将状态依赖的草稿选择形式化为一个由收益引导的验证分配问题，并将“接受长度”定义为主要的收益变量。
算法： 引入了混合验证解码，它根据预验证的收益估计，动态地在基于缓存的草稿和基于模型的草稿之间进行切换。
训练程序： 提出了一种轻量级的、基于重放的训练方法，该方法直接从生成轨迹中提取监督信号，而无需为预测器进行额外的模型训练。
全面评估： 该方法在三个 LLM（Qwen3-8B, Qwen3-4B, Llama3.1-8B）和十六个数据集（涵盖智能体工作流、编码、结构化生成及开放式对话）上进行了评估。
系统集成： 作者提供了一个系统的分析，涵盖了缓存机会、验证收益和执行成本，并包含一个用于部署验证的 vLLM 服务原型。

结果

性能： 在 48 个“模型-数据集”对中，混合验证解码在 47 个案例中优于贪婪解码 (Greedy Decoding)，在 46 个案例中优于 SuffixDecoding。
加速比： 在所有设置下，该方法相比 EAGLE3（一个强大的基于模型的基准）实现了平均 2.73 倍 的加速。
智能体工作负载： 该方法在智能体和工作流编辑任务（如 Delegate-52, InstructEdit）中表现尤为出色，这些任务中它持续优于 EAGLE3 及其他基准。这些工作负载受益于缓存所利用的重复结构模式，同时预测器能过滤掉状态依赖导致的失配。
效率： 分析表明，该方法显著减少了每 1,000 个 Token 的解码周期数（例如，在 Llama3.1-8B 上，从 EAGLE3 的 571 次降至混合验证解码的 200 次），同时保持了与基于模型的草稿相近的单周期成本。
预测器准确性： 收益预测器能够成功识别高收益草稿（定义为接受长度 $\ge 6$ ），在不同模型下的精确率（Precision）在 78.2% 至 87.6% 之间，召回率（Recall）在 61.4% 至 79.8% 之间。

意义与主张
本文认为，投机解码的主要瓶颈不仅在于草稿的质量，更在于验证决策的时机。通过在验证前预测无参数草稿的收益，混合验证解码避免了验证低价值缓存匹配所带来的开销。

作者声称，这种方法指向了运行时草稿选择 (Runtime Draft Selection) 这一有望成为投机解码重要方向的研究领域。他们证明了提示词结构创造了缓存机会，但高收益草稿集中在草稿空间的极小部分。学习到的预测器有效地隔离了这些高价值机会，使得系统能够将验证成本分摊到更长的接受前缀上。结果表明，对于结构化和智能体类工作负载，由收益估计引导的混合方法可以显著超越纯粹基于模型或纯粹基于缓存的策略。