💬 NLP

Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting

本文介绍了渐进式树状草拟（Progressive Tree Drafting, PTD），这是一种无需训练且与模型无关的投机采样解码方法，它通过在目标大语言模型内部利用一种结构化、引导式的并行策略，在无需辅助模块的情况下实现了高达 2 倍的解码加速。

原作者： Zipeng Gao, Zhi Zheng, Qingrong Xia, Junda Lin, Ziwei Zhao, Tong Xu, Zhefeng Wang, Enhong Chen

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zipeng Gao, Zhi Zheng, Qingrong Xia, Junda Lin, Ziwei Zhao, Tong Xu, Zhefeng Wang, Enhong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图写一个关于一个超级聪明机器人朋友的故事。通常情况下，这个机器人非常谨慎但也非常缓慢：它一次只写一个词，停下来思考，检查自己的工作，然后再写下一个词。这种“一个接一个”的过程就像是一条单车道公路，交通拥堵很容易发生，因为机器人必须等待每一个词完成后才能继续前进。

有一段时间，人们试图通过雇佣一名“起草助手”来加速这一过程——这是一个更小、更快的机器人，负责猜测接下来的几个词。但这产生了一个新问题：你必须支付助手的费用，训练它像大机器人一样说话，并且要在它们之间不断传递便条。这就像是雇佣了一个传令员，他必须来回奔波，反而拖慢了所有人的速度。

然后，一些聪明的研究人员尝试了另一种不同的技巧：他们让大机器人自己在没有任何助手的情况下，去猜测自己未来的词汇。他们尝试让机器人同时思考几种不同的故事路径。然而，这篇论文指出，早期的这些“自我猜测”方法有点混乱。机器人经常会写出两三个几乎完全相同的句子，在重复的想法上浪费脑力。这就像是要求一位厨师做三顿不同的饭，结果发现它们最后都变成了完全一样的汤。

论文的核心思想：“树”技巧

被 COLM 2026 接收的这篇论文提出了一种新的方式来组织机器人的思考，称为渐进式树状起草（Progressive Tree Drafting, PTD）。与其让机器人漫无目的地游走在随机且独立的路径上，不如引导它生长出一棵“思想之树”。

它是这样运作的（用一种俏皮的方式来说）：

分支（The Branching）： 想象机器人从一个句子开始。它不再只是猜测下一个词，而是像树一样分叉，同时尝试几种不同的结尾（例如“夏威夷是一个快乐的地方”对比“夏威夷是一个著名的地方”）。
修剪（The Pruning）： 这是神奇之处。如果树的两个分支开始看起来太相似（比如两个分支朝着完全相同的方向生长），机器人就会“修剪”掉多余的分支。它会剪掉重复的部分以节省能量。
生长（The Growth）： 机器人会一步步持续生长这棵树，但它会不断检查以确保这些分支确实是不同的且符合逻辑。这就像一位园丁，既让植物自由生长，又修剪掉枯死或完全相同的细枝，从而让植物保持健康和多样性。

他们的发现

研究人员在几个著名的机器人大脑（如 LLaMA 和 Qwen）上测试了这个想法，并发现了令人兴奋的结果：

速度： 通过使用这种树状方法，机器人在处理数学问题时速度提升了高达 2.30 倍，在编程任务中提升了 2.08 倍。在通用对话任务中，速度提升了约 1.67 倍。
无需额外帮助： 最棒的是，这种方法不需要任何额外的“助手”机器人或特殊的训练。它可以直接配合现有的机器人开箱即用。
质量更高： 因为机器人被迫探索不同的路径（树枝），而不是仅仅重复同样的猜测，它接受的词汇变得更长，且逻辑更连贯。

他们排除了什么

论文非常明确地指出了哪些方法不如他们的新方法。他们反对仅仅让机器人猜测多条线性路径（比如一串线性的猜测）的做法。他们的分析表明，如果没有“树”结构和对重复内容的“修剪”，机器人会浪费一半以上的时间在思考那些 80% 极其相似的想法上。他们还表明，添加外部“起草模块”（即助手机器人）会产生过多的通信噪声，并且需要过多的训练，使得它们在效率上不如这种自我引导的树状方法。

他们的确定程度如何？

作者对这些数字非常有信心，因为他们在真实的硬件（NVIDIA L20 GPU）上进行了实际实验。他们不仅仅是在模拟这个想法，他们测量了以“每秒 token 数”为单位的速度，并发现他们的这种方法始终优于其他流行的“无需训练”的方法，如 Lookahead Decoding 和 Self-Draft。例如，在 GSM-8k 数学基准测试中，他们的方法达到了 2.30× 的加速，而次优的方法仅达到了 1.90×。

简而言之，这篇论文表明，如果你想在不需要额外帮手的情况下让 AI 说话更快，你应该停止让它在直线路径上徘徊，而是开始引导它生长出一棵聪明的、经过修剪的思想之树。这是一种通过确保机器人不会在重复的事情上浪费时间，从而充分利用其大脑的方法。

技术摘要：用于投机解码的渐进式树状草拟 (Progressive Tree Drafting, PTD)

问题陈述

投机解码（Speculative Decoding）已成为加速大语言模型（LLM）推理的关键范式，通过缓解自回归生成中固有的内存带宽瓶颈来提升效率。然而，现有方法面临显著局限性：

传统方法： 依赖辅助草拟模块（较小的模型或外部数据存储），这会带来显著的训练、对齐和通信开销。
内生方法： 最近的免训练方法（如 Lookahead Decoding、Self-Draft）在目标模型内部生成草拟内容。虽然这些方法消除了外部依赖，但往往无法充分利用模型的潜在并行能力。
- 核心瓶颈： 当前的内生方法通常依赖于独立的、无结构的线性分支。深入分析表明，这些独立的线性分支往往表现出高度的语义冗余（在许多解码步骤中相似度超过 80%），未能有效地将模型的并行资源导向多样化的草拟任务。这种冗余导致了计算浪费和次优的加速效果。

方法论：渐进式树状草拟 (PTD)

作者提出了渐进式树状草拟 (PTD)，这是一种结构化、引导式的并行推理策略，它将草拟过程重新定义为目标 LLM 内部的一个基于树的探索过程。PTD 是免训练且与模型无关的。

核心机制

树状结构草拟：
- PTD 不再生成独立的线性分支，而是将候选 Token 组织成一个树结构 $T = (V, E)$ 。
- 前缀共享： 树中的节点与其祖先节点共享前缀。这使得模型能够在避免重复计算相同前缀的同时，同时探索多个语义轨迹。
- 注意力掩码： 重新配置输入内容和注意力掩码，允许 Transformer 在单次前向传播中关注多个并发的推理轨迹。
渐进式扩展与剪枝：
- 初始化： 通过种子节点（随机或基于上下文衍生）来启动树结构，以触发多样化的推理路径。
- 扩展： 在每一步中，模型在单次前向传播中为所有当前叶节点生成草拟 Token。这些 Token 将作为子节点被添加。
- 逐步剪枝： 为了防止随着树的增长导致计算开销爆炸，PTD 采用了类似于滑动窗口的深度控制机制：
  - 宽度控制： 限制每个父节点的最大子节点数量，以专注于高概率路径。
  - 深度控制： 当子树超过深度阈值时，该机制保留最早添加的子节点及其后代，并剪掉陈旧的分支。这确保了树在上下文相关性和连贯性方面保持一致。
草拟提取与合并：
- 从扩展的草拟树中提取语义子树，并将其与候选缓存池合并。
- 递归合并函数聚合共享相同根节点的子树，确保用于验证的候选集得到优化。
验证：
- 候选树验证过程与草拟过程并发运行。
- 使用相同的注意力掩码和位置编码策略，模型在单次前向传播中验证候选树中的所有节点。
- 接受逻辑：
  - 贪婪解码： 如果验证的 Token 与候选树中的子节点匹配，则接受边。
  - 采样解码： 基于归一化概率的无放回采样方法来决定是否接受，以确保与原始模型的分布一致性。

核心贡献

识别冗余： 本文量化了现有线性/无结构草拟方法的计算冗余，证明了由于独立分支之间存在高度语义相似性，它们未能充分利用自回归模型的并行能力。
PTD 框架： 引入了渐进式树状草拟，这是一种将草拟重构为结构化、引导式并行生成过程的策略。它利用树拓扑结构来合并冗余前缀，并利用逐步剪枝机制来维持连贯性。
实验验证： 证明了 PTD 在各种基准测试和模型规模上均实现了显著的加速，且无需辅助模块或额外的训练。

实验结果

作者在包括 LLaMA-2/3、Qwen-2/3 和 CodeLLaMA 在内的多种模型上，针对多样化的基准测试（MT-Bench, GSM-8k, HumanEval, MBPP）对 PTD 进行了评估。

加速性能：
- PTD 持续优于最先进的免训练基准方法（Lookahead Decoding 和 Self-Draft）。
- 通用性能： 在 MT-Bench 上实现了高达 1.90× 的加速，在 GSM-100（数学推理）上实现了 2.30× 的加速。
- 代码生成： 在 MBPP-100 上实现了高达 2.08× 的加速。
- 峰值性能： 在 Qwen2-32B 处理 GSM-100 时，PTD 达到了 2.30× 的加速。
效率指标：
- 解码效率 (DE)： PTD 在接受长度 (Accept Length, AL) 方面保持了显著领先，表明其具有卓越的上下文连贯性，从而允许模型在单次验证传递中接受更长的序列。
- 开销： PTD 保持了极具竞争力的开销水平，通常低于 Lookahead Decoding，确保了结构复杂性不会转化为显著的延迟。
鲁棒性： 该方法在不同模型世代（7B 到 32B 参数）和任务类型（对话、数学、代码）中均表现出稳定的加速效果。

意义与主张

本文声称 PTD 通过解决以往方法的结构性低效问题，代表了内生加速领域的重大进展。

释放并行潜力： 通过将模型的并行潜力转化为实际的解码加速，PTD 利用结构化探索克服了独立分支的局限性。
部署可行性： 作为一种免训练、即插即用的解决方案，PTD 不需要额外的学习成本或架构修改，使其对于现成的 LLM 具有高度的通用性。
未来方向： 作者建议未来的工作可以探索更密集的语义表示（例如语义图）以实现更具引导性的生成，并旨在将草拟和解码过程解耦，以进一步增强系统的可扩展性。