💬 NLP

DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification

本文提出了 DIVERSED（动态集成松弛验证），这是一种通过引入任务与上下文相关的动态权重来融合草稿模型与目标模型分布的松弛验证框架，旨在克服传统推测解码中严格验证步骤导致的接受率瓶颈，从而在保持生成质量的同时显著提升推理效率。

原作者： Ziyi Wang, Siva Rajesh Kasa, Ankith M S, Santhosh Kumar Kasa, Jiaru Zou, Sumit Negi, Ruqi Zhang, Nan Jiang, Qifan Song

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziyi Wang, Siva Rajesh Kasa, Ankith M S, Santhosh Kumar Kasa, Jiaru Zou, Sumit Negi, Ruqi Zhang, Nan Jiang, Qifan Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 DIVERSED 的新方法，旨在让大型人工智能（大语言模型）说话写得更快，同时保持高质量。

为了让你轻松理解，我们可以把大语言模型想象成一位才华横溢但动作缓慢的“大师级作家”，而 DIVERSED 则是一套聪明的“速记员 + 编辑”协作系统。

1. 现在的痛点：大师太慢，速记员太笨

现状（自回归生成）： 以前，作家（大模型）写文章是一个字一个字写的。每写一个字，都要停下来思考、确认，然后再写下一个。这就像一个人走一步停一步，非常慢。
现有的加速法（推测性解码）： 为了加速，人们想出了一个办法：请一位**“速记员”（一个小模型）先快速猜出接下来的几个字（比如一次猜 5 个），然后让“大师”**（大模型）来检查这些字对不对。
- 问题出在“检查”环节： 传统的检查非常死板。大师会拿着放大镜，逐字对比：“速记员猜的这个词，和我心里想的一模一样吗？”
- 后果： 只要有一个字不完全一样，哪怕意思差不多，大师也会说：“错！全部作废！”然后重新自己写。这导致速记员猜对的机会很少，大部分时间都在浪费，加速效果大打折扣。

2. DIVERSED 的创意：灵活的“动态审核”

DIVERSED 的核心思想是：不要死板地追求“完全一样”，要看“语境”和“任务”来决定是否接受。

它引入了一个**“动态审核员”**（Dynamic Ensemble Verifier），这个审核员很聪明，它会做两件事：

比喻一：红绿灯与路况（动态权重）

想象你在开车（生成文字），速记员是导航仪。

传统方法： 无论前面是高速公路还是狭窄小巷，导航仪只要说“左转”，你就必须左转，否则就认为导航错了。
DIVERSED 方法： 审核员会根据路况（上下文）来决定听谁的。
- 在“高速公路”上（关键信息）： 比如数学题里的数字、代码里的关键字。这时候审核员会严格一点，主要听“大师”的，确保不出错。
- 在“普通街道”上（非关键信息）： 比如写故事时的形容词、连接词。这时候审核员会宽容一点，只要速记员猜得“差不多”或者“大概率对”，就直接采纳，不再纠结细节。

比喻二：团队合作的“混合意见”

DIVERSED 不再让“大师”和“速记员”非黑即白地二选一，而是让他们投票。

它会根据当前的情况，动态调整“大师”和“速记员”的话语权比例。
如果速记员猜得很有把握，且在这个语境下不太可能出错，审核员就会给速记员更大的权重，直接通过。
如果速记员猜得比较离谱，或者在关键位置，审核员就会把权重拉回给大师。

3. 为什么这很厉害？（核心优势）

拒绝“一刀切”： 以前的方法（静态集合）就像给所有情况都设定一个固定的“宽容度”（比如 50% 听速记员的）。但 DIVERSED 是见机行事的。在数学题里它很严谨，在写小说时它很大胆。
接受率更高： 因为不再因为微小的差异就全盘否定，速记员猜对的词被接受的次数大大增加。
速度更快： 接受率越高，意味着“大师”需要亲自写的字就越少，大部分时间都在“批量确认”速记员猜的词，整体速度自然就上去了。
质量不降： 虽然放宽了标准，但因为审核员知道什么时候该严、什么时候该松，所以最终写出来的文章质量依然很高，没有因为“乱猜”而变傻。

4. 总结：从“死板考官”到“灵活导师”

如果把大模型生成文字比作考试：

传统方法像是一个死板的考官：学生（速记员）答错一个标点符号，整道题都判错，学生只能重头再来。
DIVERSED像是一个灵活的导师：他会看这道题难不难。如果是送分题，学生猜得差不多就过了；如果是压轴题，他就严格把关。

结论：
DIVERSED 通过让审核过程变得**“动态”且“有弹性”**，成功打破了速度与质量之间的僵局。它让大模型在保持聪明的同时，说话速度变得像开了倍速一样快，而且写出来的东西依然靠谱。

一句话概括： DIVERSED 就是给大模型配了一个**“懂变通”的副手**，不再死板地卡每一个字，而是根据情况灵活放行，从而让 AI 写得更快、更顺。

1. 研究背景与问题 (Problem)

背景：
大型语言模型（LLM）在推理任务中表现卓越，但其自回归生成过程（一次生成一个 token）导致了高昂的计算成本和延迟。推测解码（Speculative Decoding, SD） 是一种流行的加速技术，它使用一个小模型（Draft Model）并行生成多个 token，然后由一个大模型（Target Model）进行验证。如果验证通过，则一次性接受这些 token，从而减少大模型的调用次数。

核心痛点：
现有的推测解码方法通常面临以下瓶颈：

僵化的验证机制（Rigid Verification）： 传统的“无损”推测解码要求接受 token 的分布必须严格匹配目标模型的分布。这导致许多看似合理但分布略有偏差的 draft token 被拒绝，限制了接受率（Acceptance Rate），进而限制了加速效果。
静态松弛的局限性： 为了突破瓶颈，研究者提出了“有损”推测解码（Lossy SD），通过松弛验证规则来增加接受率。然而，现有的松弛方法（如静态集成 Static Ensemble）通常使用固定的权重来混合草稿模型和目标模型的分布。
- 问题： 这种静态策略忽略了上下文依赖性。在某些上下文中，草稿模型的错误可能是无害的（可以接受），而在另一些关键上下文中（如数学推理的关键步骤），任何偏差都可能导致最终答案错误。固定的权重无法在“高接受率”和“生成质量”之间针对不同语境做出最优权衡。

2. 方法论 (Methodology)

作者提出了 DIVERSED（DynamIc VErification RElaxed SpEculative Decoding），一种基于动态集成验证的松弛推测解码框架。

核心思想

DIVERSED 不再使用固定的权重，而是学习一个动态的集成头（Ensemble Head），根据当前的上下文（Context）和具体的 token 位置，自适应地调整草稿模型和目标模型分布的混合权重。

具体技术细节

动态集成分布 (Dynamic Ensemble Distribution)：
- 在每一步 $t$ ，验证分布 $\nu_t$ 定义为：
  $\nu_t(x) = w_t p_t(x) + (1 - w_t) q_t(x)$
  其中 $p_t$ 是目标模型分布， $q_t$ 是草稿模型分布， $w_t$ 是动态权重。
- 权重计算： $w_t$ 由一个前馈神经网络（Ensemble Head）生成，输入为草稿模型和目标模型在当前步的隐藏状态表示（ $h^q_t, h^p_t$ ）：
  $w_t = f_\theta(h^q_t, h^p_t)$
- 这意味着权重 $w_t$ 是上下文相关（Context-dependent）和Token 相关的。如果上下文表明草稿模型不可靠，网络会自动增加 $w_t$ （更信任目标模型）；反之则降低 $w_t$ （更信任草稿模型）。
验证与回退机制：
- 草稿 token $\tilde{x}_t$ 被接受的概率为： $b_{\nu_t}(\tilde{x}_t) = \min\{1, \nu_t(\tilde{x}_t) / q_t(\tilde{x}_t)\}$ 。
- 如果被拒绝，则从回退分布 $P_{\nu_t}$ 中采样新 token，确保最终生成的 token 分布严格遵循动态集成分布 $\nu_t$ 。
训练目标 (Training Objective)：
- 由于 token 级别的监督信号通常不可用，作者使用**强化学习（RL）**进行训练。
- 优化目标是一个正则化函数，旨在平衡任务奖励（如数学题的正确答案、摘要的 ROUGE 分数）和接受率：
  $\mathbb{E} [ R(x_{1:T}) + \lambda \sum_{t=0}^T (1 - TV(q_t, \nu_t)) ]$
- 其中 $R$ 是序列级奖励， $\lambda$ 控制接受率的正则化强度，$TV $是总变差距离。正则项鼓励模型在保持高质量的同时最大化接受率，防止模型退化为仅使用目标模型（$ w=0 $）或仅使用草稿模型（$ w=1$）。
推理流程：
- 草稿模型并行生成 $N$ 个 token 及其隐藏状态。
- 目标模型并行验证这些 token 并生成对应的隐藏状态。
- 集成头并行计算每个位置的权重 $w_t$ 和对应的分布 $\nu_t$ 。
- 执行松弛的接受/拒绝逻辑。

3. 理论贡献 (Theoretical Contributions)

静态集成的帕累托前沿证明：
- 作者证明了使用固定权重的静态集成验证器（Static Ensemble）恰好位于由 Yin et al. (2024) 提出的“接受率 - 分布偏差”帕累托前沿上。这意味着通过调整静态权重，可以在不改变模型架构的情况下灵活地权衡速度与质量。
精确的期望接受长度推导：
- 现有理论通常假设 token 验证是独立同分布（i.i.d.）的，忽略了 token 在序列中的位置效应。
- 作者推导出了不依赖 i.i.d. 假设的期望接受长度 $E[T_N]$ 的精确表达式。该公式考虑了前序 token 被接受的条件概率（基于 min-kernel 分布），揭示了接受概率随序列长度增加而指数级下降的特性，为更精确的延迟分析提供了理论基础。

4. 实验结果 (Results)

作者在多个模型对（Llama, Qwen, Gemma）和任务（数学推理 GSM8K、新闻摘要 CNNDM/XSum、代码生成 MBPP）上进行了广泛实验。

更高的接受率： DIVERSED 在所有设置下均显著提高了接受率。例如，在 Llama-3.1-8B/1B 配对中，DIVERSED 将接受率提升了至少 28%，同时保持了与目标模型相当的任务准确率。
端到端加速： 接受率的提升直接转化为墙钟时间（Wall-clock time）的降低。DIVERSED 在保持生成质量（如 ROUGE-2、Accuracy、Pass@1）不下降的前提下，实现了比标准推测解码和静态集成方法更快的推理速度。
超越帕累托前沿： 如图 1 和图 10 所示，DIVERSED 在“推理时间 vs. 生成质量”的帕累托前沿上表现优于静态集成方法。它能在相同延迟下获得更高质量，或在相同质量下获得更低延迟。
跨任务泛化性： 实验表明，DIVERSED 在不同数据集间（如用 GSM8K 训练，在 CNNDM 测试）具有较好的泛化能力，但针对特定任务微调（Task-dependent）能获得最佳效果。
对比微调草稿模型： 相比于微调草稿模型（Fine-tuned Draft），DIVERSED 在不改变模型架构的情况下，通过动态验证机制实现了更高的接受率，且任务性能更稳定。

5. 意义与结论 (Significance & Conclusion)

打破僵化验证： DIVERSED 证明了推测解码中的验证规则不应是僵化的，而应是动态且上下文感知的。通过智能地“放松”那些对最终结果无害的验证约束，可以显著提升效率。
无需修改模型架构： 该方法不需要重新设计目标模型或草稿模型，也不需要复杂的架构修改（如 Medusa 或 EAGLE），只需在验证阶段引入一个轻量级的动态集成头，具有极高的实用性和部署灵活性。
理论深化： 论文对推测解码的理论分析更加严谨，去除了不切实际的 i.i.d. 假设，为未来设计更高效的解码算法提供了理论依据。
实际应用价值： 对于需要低延迟的大模型推理场景（如实时对话、代码辅助），DIVERSED 提供了一种在保持高智能水平的同时显著降低推理成本的有效方案。

总结： DIVERSED 通过引入动态学习的集成验证机制，成功解决了传统推测解码中“为了质量牺牲速度”或“为了速度牺牲质量”的困境，在帕累托前沿上实现了更优的平衡，是当前大模型推理加速领域的一项重要进展。