💬 NLP

$\texttt{SPECS}$ : Faster Test-Time Scaling through Speculative Drafts

本文提出了名为 SPECS 的延迟感知测试时扩展方法，该方法利用小模型生成候选序列并结合奖励模型与大模型进行验证，在保持甚至提升推理准确率的同时显著降低了延迟。

原作者： Mert Cemri, Nived Rajaraman, Rishabh Tiwari, Xiaoxuan Liu, Kurt Keutzer, Ion Stoica, Kannan Ramchandran, Ahmad Beirami, Ziteng Sun

发布于 2026-02-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mert Cemri, Nived Rajaraman, Rishabh Tiwari, Xiaoxuan Liu, Kurt Keutzer, Ion Stoica, Kannan Ramchandran, Ahmad Beirami, Ziteng Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SPECS 的新方法，旨在解决大语言模型（LLM）在“思考”时面临的一个核心矛盾：想要更聪明（提高准确率），往往需要更慢（增加延迟）；想要更快，往往就要牺牲聪明度。

想象一下，你正在让一个超级聪明的数学家（大模型）和一个反应极快但经验稍浅的实习生（小模型）一起帮你解一道复杂的数学题。

1. 核心痛点：为什么现在的“思考”这么慢？

以前，为了让模型更聪明，我们通常会用“束搜索”（Beam Search）的方法。这就像让那个超级数学家一个人同时画出好几条解题思路（比如 4 条、8 条），然后仔细检查每一条，选出最好的一条继续往下走。

问题在于：让这位“超级数学家”每走一步都要重新计算好几条路，非常消耗时间（就像让一个教授同时写好几篇论文，速度自然慢）。
现状：用户等得太久，体验很差。

2. SPECS 的解决方案：聪明的“师徒搭档”

SPECS 的核心思想是**“让实习生先起草，教授再把关，但只在关键时刻让教授亲自上手”**。

比喻：建筑工地的“快速草图”与“最终审核”

想象你在盖一座大楼（解决复杂问题）：

传统方法（束搜索）：每次砌砖，都要请总工程师（大模型）亲自画 4 种不同的砌法，然后他再亲自选一种。这太慢了，因为总工程师太忙了。
SPECS 方法：
1. 起步阶段（教授亲自带队）：刚开始，问题很难，谁也不知道方向对不对。这时候，我们请总工程师（大模型）先画几条草图，确保方向没错。
2. 判断阶段（奖励模型打分）：有一个监理（奖励模型，PRM）会看这些草图。如果监理发现某条路“看起来很有希望”（分数很高），那就说明这条路大概率是对的。
3. 加速阶段（实习生接手）：一旦监理确认“这条路稳了”，SPECS 就会立刻把任务交给实习生（小模型/草稿模型）。实习生画得飞快，他迅速画出后续的步骤。
4. 快速审核：总工程师不需要重新画，只需要快速看一眼实习生画的图，确认“嗯，没错，继续”，或者“这里有点问题，换一条”。
5. 动态切换：如果监理发现某条路“看起来不太对劲”（分数低），那就立刻把任务抢回来，重新让总工程师亲自处理，避免实习生在错误的路上跑太远。

3. 为什么 SPECS 既快又准？

论文中提出了两个非常巧妙的策略：

A. “看人下菜碟”的动态切换（Dynamic Switching）

旧思路：很多以前的方法（如投机解码）是“先让实习生猜，猜对了教授确认，猜错了教授重来”。这有个问题：如果实习生一开始就猜错了，教授还得花时间去纠正，浪费了时间。
SPECS 思路：先让教授定调子。只有当教授和监理都确认“这条路很稳（高奖励）”时，才放心大胆地让实习生去跑。
- 比喻：就像开车，起步和过急弯（难题）时，必须由老司机（大模型）亲自开；但在直道（简单步骤）上，可以交给自动驾驶（小模型）来跑，既快又安全。

B. “软硬兼施”的评分机制（Reward-Guided Soft Verification）

在挑选哪条路继续走时，SPECS 不仅仅看“谁画得像”（概率），还看“谁得分高”（奖励）。
它把教授的专业判断（大模型的概率）和监理的评分（奖励模型）结合起来。
比喻：选路时，不仅看“这条路是不是教授平时常走的”（概率），还要看“这条路是不是通往宝藏的”（奖励）。这样选出来的路，既符合逻辑，又大概率能解出答案。

4. 实验结果：真的有效吗？

作者在数学题（MATH500, AMC23 等）和科学问答（GPQA）上做了测试：

速度提升：相比传统的“教授全权负责”的方法，SPECS 让回答速度快了约 18%。
准确率：虽然用了实习生，但准确率没有下降，甚至在一些情况下还更高了。
理论保证：论文还从数学上证明了，只要给的“思考次数”（束宽）足够多，这个方法最终能逼近最优解。

总结

SPECS 就像是一个聪明的项目经理：
它知道什么时候该让专家亲力亲为（解决难题、定方向），什么时候该让助手放手去干（处理简单步骤、加速流程）。通过这种“动态切换”和“智能筛选”，它成功地在**“快”和“准”**之间找到了完美的平衡点，让用户既能快速得到答案，又能保证答案的高质量。

这就好比在餐厅点菜：以前是主厨（大模型）亲自切每一块肉；现在，主厨负责切最难处理的食材并定菜单，剩下的切配工作交给熟练的帮厨（小模型），主厨最后快速检查一眼。结果就是：上菜更快了，味道也没变差。

SPECS 论文技术总结

1. 研究背景与问题定义

背景：
近年来，大语言模型（LLM）的推理能力显著提升，这主要归功于“测试时计算”（Test-Time Scaling）策略，即通过增加计算资源（如生成更多 Token、使用束搜索 Beam Search 等）来换取更高的准确率。然而，现有的测试时缩放方法主要关注总计算量（FLOPs）与准确率的权衡，往往忽视了用户感知的延迟（Latency）。在实际应用场景（如个性化交互、低吞吐量服务）中，延迟是用户体验的关键指标。由于现代 LLM 的自回归生成通常受限于显存带宽而非计算量，增加计算量往往直接导致延迟增加。

核心问题：
能否设计一种测试时缩放方法，在保持或提升准确率的同时，显著优化推理延迟？

2. 方法论：SPECS 算法

作者提出了 SPECS (SPECulative drafting for faster test-time Scaling)，这是一种感知延迟的测试时缩放方法。SPECS 结合了束搜索（Beam Search）、推测解码（Speculative Decoding）和过程奖励模型（PRM），通过动态切换生成模型来平衡延迟与准确率。

核心机制

推测性草稿（Speculative Drafts）：
- 利用一个**更小、更快的草稿模型（Draft Model）**并行生成多个候选推理块（Beams），而不是直接使用昂贵的大目标模型（Target Model）生成。
- 利用目标模型和奖励模型对这些候选块进行并行评分（Scoring）。由于评估（计算 Logits）比生成（自回归采样）受显存带宽限制更小，且草稿模型本身更快，这种策略能显著降低延迟。
动态切换机制（Dynamic Switching）：
- 关键洞察： 研究发现，对于**高奖励（High Reward）**的推理轨迹，小模型与大模型在后续步骤上的准确率差距很小；而对于低奖励轨迹，小模型表现极差。
- 策略： 算法初始阶段使用大目标模型生成，直到检测到当前部分轨迹的 PRM 分数超过阈值 $\tau$ （即确认为“高奖励”轨迹）。一旦确认为高奖励，算法动态切换到小草稿模型继续生成后续步骤。
- 优势： 避免了在低质量（低奖励）轨迹上浪费小模型生成的时间（因为小模型无法修正错误），同时也避免了在高质量轨迹上继续使用昂贵的大模型。
奖励引导的软验证（Reward-Guided Soft Verification）：
- 在从 $n$ 个候选块中选择最佳块时，SPECS 设计了一个新颖的评分函数 $S_i$ ，结合了目标模型的概率和奖励模型的分数：
  $S_i = \log \left( \frac{\pi_{target}(Y_i|tr)}{\pi_{gen}(Y_i|tr)} \right) + \beta r(Y_i|tr)$
- 其中 $\pi_{gen}$ 是当前生成模型（可能是 Target 或 Draft）， $r$ 是 PRM 分数， $\beta$ 是温度系数。
- 该评分函数不仅考虑奖励，还通过似然比（Log-likelihood ratio）惩罚那些与目标模型分布差异过大的候选项，从而在利用小模型加速的同时，保证生成的分布接近大模型的最优解。

算法流程 (Algorithm 1)

初始化： 从目标模型 $\pi_{target}$ 开始生成。
迭代生成：
- 生成： 使用当前生成模型 $\pi_{gen}$ 生成 $n$ 个候选块。
- 选择： 使用 SUBSAMPLE 子程序，基于评分函数 $S_i$ 从候选块中选择一个最佳块追加到轨迹中。
- 动态切换： 检查当前所有候选块中 PRM 分数的最大值。如果超过阈值 $\tau$ ，则将 $\pi_{gen}$ 切换为草稿模型 $\pi_{draft}$ 。
终止： 达到最大生成长度后返回结果。

3. 理论贡献

收敛性证明： 论文从理论上证明了，随着束宽（Beam Width, $n$ ）的增加，SPECS 的输出分布收敛于KL 正则化强化学习目标的最优解。
KL 正则化视角： 该目标函数旨在最大化期望奖励，同时最小化生成策略与目标模型之间的 KL 散度。
误差界： 论文推导了 SPECS 策略与最优策略之间的 KL 散度上界，表明该误差随束宽 $n$ 的增加以 $O(n^{-3/2})$ 的速度衰减（在有限块长度设置下），且受限于块级别的分布覆盖系数。

4. 实验结果

实验设置

数据集： MATH500, AMC23, OlympiadBench (数学推理), GPQA (科学推理)。
模型对：
- Qwen 系列：Draft (Qwen2.5-1.5B) + Target (Qwen2.5-7B)。
- Llama 系列：Draft (Llama3.2-1B) + Target (Llama3.1-8B)。
- 奖励模型：Skywork-o1-Open-PRM-Qwen-2.5-7B。
基线： 标准束搜索（仅用大模型、仅用小模型）、Reward-Guided Speculative Decoding (RSD)。

主要发现

延迟 - 准确率权衡（Pareto Frontier）：
- SPECS 在保持与大模型束搜索（Beam Search with Target Model）相当甚至更高的准确率的同时，将延迟降低了高达 18%。
- 在 MATH500 等数据集上，SPECS 的曲线完全支配（Dominates）了其他基线方法，处于更优的帕累托前沿。
动态切换的有效性：
- 消融实验表明，动态切换机制至关重要。如果随机切换或在低奖励时切换，准确率会大幅下降。
- 仅在“高奖励”轨迹上切换至小模型，既利用了小模型的速度，又避免了其在困难步骤上的性能缺陷。
鲁棒性：
- 即使奖励模型（PRM）存在噪声（注入高斯噪声），SPECS 仍能保持高性能，优于基线方法，表明其对奖励信号的不完美具有鲁棒性。
- 超参数（如阈值 $\tau$ 和温度 $\beta$ ）对性能影响较小，算法易于调优。

5. 核心贡献总结

提出 SPECS 算法： 首个将推测性草稿与测试时缩放（束搜索）结合，并引入动态模型切换策略的方法。它解决了传统推测解码在推理任务中因低奖励轨迹导致准确率下降的问题。
新颖的评分与选择策略： 提出了结合目标模型似然比和 PRM 分数的软验证机制，理论上证明了其收敛于 KL 正则化的最优策略。
显著的工程收益： 在多个高难度推理基准上，实现了**~18% 的延迟降低**，同时不牺牲准确率，为实际部署中的低延迟推理提供了可行方案。
理论洞察： 揭示了在高奖励轨迹上，小模型与大模型的差距极小这一现象，为动态模型选择提供了理论依据。

6. 意义与影响

SPECS 的工作填补了当前测试时缩放研究中对延迟约束关注的空白。它证明了通过智能地分配计算资源（在简单/高置信度步骤使用小模型，在困难步骤使用大模型），可以在不牺牲推理质量的前提下显著提升系统响应速度。这对于需要实时交互的 LLM 应用（如教育辅导、实时问答、代码生成）具有重要的实用价值，同时也为未来的推理加速算法设计提供了新的理论框架（如基于 KL 正则化的动态策略选择）。