💬 NLP

Accelerated Test-Time Scaling with Model-Free Speculative Sampling

本文介绍了 STAND，一种无模型投机解码方法，它利用随机自适应 N 元组草稿来挖掘固有的推理冗余，在无需牺牲准确性或进行额外模型训练的情况下，于各类推理任务中实现了 60-65% 的推理延迟降低。

原作者： Woomin Song, Saket Dingliwal, Sai Muralidhar Jayanthi, Bhavana Ganesh, Jinwoo Shin, Aram Galstyan, Sravan Babu Bodapati

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Woomin Song, Saket Dingliwal, Sai Muralidhar Jayanthi, Bhavana Ganesh, Jinwoo Shin, Aram Galstyan, Sravan Babu Bodapati

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一个非常棘手的谜题，比如一道复杂的数学题或一个棘手的编程挑战。你有一位才华横溢但思维缓慢的朋友（即 AI 模型），他能够解决这个问题，但他需要花费很长时间，逐字逐句地写下解决方案的每一个字。

问题：“慢走”
目前，当 AI 模型进行推理时，它像一个人逐字逐句地写句子一样，一步步地构建解决方案。如果模型需要生成 1,000 个字，它就必须停顿、思考并书写 1,000 次。这既缓慢又消耗大量能量。

有些人试图通过让模型同时写出 16 个不同的解决方案并挑选最好的一个来加速这一过程（就像让 16 个人来解谜并选出获胜者）。但这会让计算机工作得更加吃力，就像雇佣了 16 个人而不是一个人。

解决方案：STAND（“记忆技巧”）
这篇论文介绍了一种名为 STAND 的新方法。将 STAND 想象为一个聪明的“捷径”，它不需要雇佣第二个更小的助手。相反，它利用那位才华横溢的朋友自身的记忆来预测接下来的内容。

以下是其工作原理，使用简单的类比说明：

1. “模式识别器”（N-grams）

当你的才华横溢的朋友解决许多谜题时，他们往往会反复使用相同的短语或逻辑步骤。

旧方法： 如果朋友说“答案是 42"，系统会等待下一个字被写出来。
STAND 方法： 系统记得，每当朋友说“答案是”时，他们几乎总是紧接着说"42"。因此，系统会提前猜测接下来的几个字。

2. “置信度计”（随机草稿）

这是该论文最大的创新。

旧的猜谜游戏： 以前的方法就像一个机器人，只猜测最有可能的那个词。如果朋友不确定，机器人的猜测往往就是错的，朋友不得不停下来进行修正。
STAND 猜谜游戏： STAND 更聪明。它不仅记住了用了什么词，还记住了朋友在说这个词时有多大的把握。
- 类比： 想象你的朋友在“苹果”和“香蕉”之间做选择。
  - 旧方法： 如果他们说“苹果”，系统就猜“苹果”。如果朋友实际上指的是“香蕉”，猜测就会失败。
  - STAND 方法： 系统记得：“当他们说‘苹果’时，他们有 70% 的把握，但也有 30% 的可能性是‘香蕉’。”因此，系统会同时猜测所有可能性，并根据其可能性进行加权。这使得猜测正确的概率大大提高。

3. “可能性之树”（树搜索）

有时，路径并不是一条直线，而是分岔路口。

策略： STAND 构建了一个小型的猜测“树”。它不仅仅猜测下一个字，而是猜测朋友可能采取的几条不同路径。
优化： 论文提到了一种“数据驱动”的方法。想象系统首先尝试了一个巨大且杂乱的猜测树。然后，它查看结果并说：“好吧，这些分支总是有效，但这些死胡同从未奏效。”它剪除死胡同，保留最佳分支，从而为未来的猜测创建一张超级高效的地图。

4. “速度提升”（Gumbel-Top-K）

为了让这些猜测瞬间发生而不拖慢计算机速度，论文使用了一种名为 Gumbel-Top-K 的数学技巧。

类比： 想象你有一袋弹珠，需要选出最快的 3 颗。与其一颗一颗地挑选（这需要时间），不如摇晃袋子，让最快的 3 颗一次性弹出来。这节省了宝贵的时间。

结果：他们发现了什么？
研究人员在困难的数学、科学和编程问题上测试了这种方法。

速度： 他们发现，与标准的缓慢方法相比，STAND 使 AI 的速度提高了 60% 到 65%。
准确性： 关键在于，它并没有让 AI 变笨。答案和以前一样正确。
无需额外训练： 你不需要教 AI 任何新东西。这是一个“即插即用”的工具。你可以将任何现有的 AI 模型立即连接上这个“记忆技巧”。
扩展性： AI 探索的路径越多（例如尝试 16 个不同的解决方案），STAND 的效果就越好。这就像在探索一片巨大的森林时，拥有一张更好的地图。

总结
STAND 就像是给一个缓慢但深思熟虑的 AI 提供了一份由其自身过往思想制成的“作弊条”。它不需要从头开始写每一个字，而是利用对相似模式的记忆来瞬间预测接下来的几个字。它这样做不需要第二个 AI 来协助，并且保持了答案的聪明程度与以前一样，只是速度快得多。

技术摘要：基于无模型推测采样的加速推理时扩展（STAND）

问题陈述

推理时扩展（TTS）技术，如最佳 N 采样（best-of-N sampling）、多数投票和树搜索，通过在推理过程中分配额外的计算资源，显著增强了大型推理模型（LRMs）的推理能力。然而，由于生成长序列和多个轨迹，这些方法产生了巨大的计算成本。现有的专注于效率的方法，如基于长度的奖励训练或使用级联模型，往往面临一个根本性的权衡：降低计算成本会导致准确性的牺牲。此外，虽然推测解码（SD）提供了一条无损加速的途径，但许多现有的无模型 SD 方法依赖于确定性的 n-gram 查找，未能利用大型推理模型中使用的基于采样的生成策略的概率特性。

方法论：STAND

作者提出了STAND（随机自适应 n-gram 草稿，STochastic Adaptive N-gram Drafting），这是一种无模型的推测解码方法，旨在加速大语言模型（LLM）的推理，而无需额外的草稿模型或微调。STAND 利用了推理轨迹中的固有冗余，即相似的推理模式和 token 序列在不同解决方案中频繁复用。

该方法建立在三个关键创新之上：

基于 Logit 的自适应 n-gram 模块：
与存储离散 token ID 或 top-k token 的传统无模型草稿器不同，STAND 存储观察到的 n-gram 的下一个 token 的logit 分布（概率分布）。
- 内存效率： 为了处理大型词汇表，系统仅维护 top-k 索引及其概率。当 n-gram 被重复遇到时，分布通过加权平均进行合并（将未存储的索引视为零概率）。生成的分布被截断为概率最高的 10 个 token，以确保内存使用量恒定。
- 随机草稿： 通过保留概率信息，STAND 实现了随机草稿，即草稿 token 从存储的分布中采样，而不是选择单个确定性 token。这使得草稿分布与目标模型的采样策略保持一致，显著提高了 token 接受率。
通过 Gumbel-Top-K 优化采样：
为了并行高效地采样多个草稿树中的 token，STAND 用Gumbel-Top-K 技巧替代了顺序采样。通过向 log 概率添加 Gumbel 噪声并选择 top-k 索引，该方法并行地无放回地采样 $k$ 个 token。Gumbel 噪声项被预先计算并缓存，从而将采样开销与草稿过程分离，进一步降低了延迟。
数据驱动的草稿树优化：
STAND 不依赖启发式或纯粹动态的树构建，而是采用数据驱动的方法来优化静态草稿树。
- 过程： 首先构建一个初始的大树（625 个节点）。在一小批真实数据样本（例如 30 个样本）上执行推测解码。系统跟踪每个节点的接受概率，并选择最有效的 top-80 个节点，将其重组为紧凑的优化树结构。
- 结果： 这确保了树结构在经验上针对现实世界性能进行了优化，同时保留了静态树的计算效率。

主要贡献

无模型随机草稿： 论文指出，现有的无模型 SD 方法在很大程度上忽略了随机性。STAND 引入了一种机制，利用先前生成中的 logit 信息来执行随机草稿，这对于基于采样的 LRM 推理至关重要。
高效的 Logit 存储： 提出了一种内存高效、压缩的 n-gram logit 分布表示法，允许进行概率草稿，而无需完整神经草稿模型的开销。
数据驱动的树构建： 一种新颖的草稿树离线优化方法，根据经验接受率调整树结构，性能优于启发式树设计。
即插即用兼容性： 作为一种无模型方法，STAND 不需要额外的训练、目标模型微调或单独的草稿模型，使其适用于任何现有的 LRM。

实验结果

使用 DeepSeek-R1-Distill-Qwen-7B 和 14B 模型，在数学推理（AIME-2024）、科学问答（GPQA-Diamond）和编程（LiveCodeBench）任务上进行了广泛评估。

吞吐量和延迟： 与标准自回归解码相比，STAND 将推理延迟降低了60–65%，同时保持了准确性。在吞吐量方面，它比最先进的推测解码方法高出14–28%。
多轨迹扩展： STAND 的优势随着推理轨迹数量的增加而扩展。在最佳 16 采样（best-of-16）场景中，STAND 实现了最高的吞吐量和接受长度，显著优于 Token Recycle、ANPD 和 SAM 等基线。
多样化的推理模式：
- 单轨迹： 与标准解码相比，STAND 将吞吐量提高了约 2.38 倍。
- 批量解码： 即使在批量大小为 8 的情况下，STAND 仍保持了显著的加速（比基线高达 1.52 倍），而其他方法则出现性能下降。
- 推理时树搜索： 在多样化验证器树搜索（DVTS）中，STAND 相比标准解码实现了2.54 倍的平均加速。
消融研究：
- 随机与确定性： 与确定性草稿相比，随机草稿 consistently 产生更高的接受概率（高出 5–8%）和吞吐量。
- 树优化： 通过数据驱动方法优化的树在域内（AIME）和域外（GPQA）任务上均优于启发式树（例如来自 Token Recycle 的树）。
- 树结构： 为 STAND 优化的树表现出更大的深度（高达 13 层，而基线为 7 层）和“长尾”结构，反映了模型利用推理轨迹中发现的更长确定性序列的能力。

意义与主张

论文声称，STAND 提供了一种强大的、即插即用的解决方案，用于加速语言模型推理。通过利用推理轨迹中的冗余以及基于采样的生成中固有的概率信息，STAND 实现了显著的加速（延迟降低 60–65%），同时不牺牲目标模型的准确性。

作者强调，与需要模型重训练或部署单独草稿模型的方法不同，STAND 完全是无模型的，并且与任何现有的 LRM 兼容。它有效地解决了推理时扩展中性能与效率之间的权衡，特别是在涉及多轨迹、批量解码和树搜索的场景中。这项工作表明，聚合历史信息（通过 n-gram logit 存储）比简单地替换或忽略先前轨迹数据的方法对推理时扩展更有益。

注：作者承认当前实现存在局限性，即使用了 HuggingFace 库（不如 vLLM 或 SGLang 优化）和基于 Python 的 N-gram 查找，这表明通过更优化的实现，延迟降低仍有潜力。