💬 NLP

What If We Allocate Test-Time Compute Adaptively?

本文提出了一种由验证器引导的自适应框架，该框架通过迭代轨迹生成与选择来动态分配测试时计算量，利用过程奖励模型剪枝低质量路径，从而在复杂推理基准测试上相比均匀缩放方法实现了显著的性能提升。

原作者： Ahsan Bilal, Ahmed Mohsin, Muhammad Umer, Ali Subhan, Hassan Rizwan, Ayesha Mohsin, Dean Hougen

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahsan Bilal, Ahmed Mohsin, Muhammad Umer, Ali Subhan, Hassan Rizwan, Ayesha Mohsin, Dean Hougen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一道非常困难的数学题。你有一个聪明的助手（一个人工智能）可以为你提供帮助。

旧的方法：“暴力破解”法
在过去，如果助手卡住了，标准的建议是：“再努力一点，多试几次。”

运作方式： 你告诉助手：“不管怎样，把这个问题解 10 次。”
问题所在： 如果题目很简单，助手会浪费时间尝试 10 次，而其实一次就够了。如果题目超级难，助手可能会尝试 10 次，但每次都犯同样的错误，因为它不知道如何改变策略。这就像要求一个学生写 10 遍同一篇论文，却从未检查过第一稿是否有错别字。

新的方法：“自适应教练”
这篇论文提出了一种更聪明的方法来利用计算机的思考能力。系统不再只是单纯地“更努力”，而是扮演一个动态教练的角色，观察学生的解题过程并实时改变策略。

以下是新系统的工作原理，我们使用一个简单的类比：

1. 规划会议（“教练”介入）

在学生开始解题之前，系统会询问：“这是一个什么样的题目？”

是一个棘手的逻辑谜题？
是一个繁重的算术计算？
是一个令人困惑的文字应用题？

根据答案，教练会挑选合适的工具来应对工作。

类比： 如果是数学计算，教练会递给学生一个计算器（“数值验证器”）。如果是逻辑谜题，教练会告诉学生要“大声思考”并检查自己的工作（“自我反思”工具）。

2. 选择策略（如何思考）

教练还会决定学生应该如何思考。

选项 A (Best-of-N)： “尝试用 5 种不同的方法解题，并选出最好的一个。”（适用于当你不敢确定哪条路径正确时）。
选项 B (束搜索/Beam Search)： “同时进行三种不同的思路，如果其中一个看起来不对，就放弃它并保留另外两个。”（适用于探索多条路径）。
选项 C (前瞻/Lookahead)： “迈出一小步，检查是否顺利，然后再迈出下一步。”（适用于避免在早期犯下大错）。

系统不会为所有人选择同一种策略。它会为这个特定的问题选择最合适的策略。

3. “步步检查”的裁判（PRM）

这是最重要的部分。当学生写下解题步骤时，一位裁判（称为过程奖励模型，或 PRM）会监视每一个步骤。

旧的方法： 裁判只在最后看最终答案。
新的方法： 裁判在计算过程中进行实时检查。
- 类比： 想象足球比赛中的一名裁判。如果球员把球踢进了自家球门，裁判会立即吹哨并说：“停！那是错误！”球员不需要等整场比赛结束才知道自己失误了。
- 如果裁判看到某一步错了，系统会立即切断该路径（剪枝），并尝试另一条路径。通过不完成那些已经出错的解题过程，系统节省了时间。

4. 最终筛选

在系统运行了几轮（迭代）这种自适应过程后，它会查看所有完成的解题方案。它会挑选出在整个过程中从裁判那里获得最高分数的那个方案。

为什么这种方法更好？

论文在困难的数学竞赛（如 AIME 和 MATH-500）上测试了这一点。

效率： 它不会浪费能量。如果题目简单，它会快速解决；如果题目困难，它只会针对需要的部分投入更多精力。
准确性： 它的得分有了显著提高。
- 在一项测试（MATH-500）中，旧的方法大约正确率为 44%，而新方法达到了 65%。
- 在一项极难的测试（AIME24）中，旧的方法大约正确率为 3%，而新方法达到了 10%。（对于如此困难的测试，这是一个巨大的飞跃！）。

核心结论

该论文声称，与其盲目地向一个问题投入更多的计算能力，我们应该使用一个智能、自适应的系统，它能够：

为特定问题选择正确的工具。
步步检查工作，以便及早发现错误。
停止在死胡同路径上浪费时间。

这就像是一个学生在疯狂地写 10 页同样的错误答案，与一个会在过程中停下来、检查自己的工作、在遇到困难时改变方法，并以更少的无效劳动抵达正确答案的学生之间的区别。

技术摘要：基于验证器引导框架的自适应测试时计算分配

问题陈述

当前提升大语言模型（LLM）推理性能的范式已从扩展模型参数转向扩展推理时计算。然而，现有的测试时计算扩展方法面临三个根本性的局限性：

均匀分配： 昂贵的推理过程被均匀地应用于所有输入，导致在简单问题上浪费计算资源，而在真正困难的实例上探索不足。
固定策略： 推理策略（例如 Best-of-N 中的采样数量或搜索深度）通常是预先指定且固定的，无法根据中间推理质量进行调整。
静态验证： 虽然某些方法使用中间验证（例如过程奖励模型或 PRM）来引导搜索，但这些信号通常与固定的推理过程绑定。它们主要用于对已完成的候选结果进行重排序，而不是在推理进行过程中动态选择调用哪些推理工具或分配多少计算量。

核心挑战在于如何将推理视为一个迭代的、轨迹级的决策过程，即根据问题难度和中间验证信号来自适应地分配计算，而不是将其视为单次生成或固кси定的搜索程序。

方法论

作者提出了一种验证器引导的自适应框架，将推理视为一个迭代的轨迹生成与选择过程。该系统无需预训练、微调或参数更新，而是依靠一个模块化智能体架构，通过应用于基础 LLM 的角色条件提示模板来驱动。

智能体架构

该框架由四个层次组件组成，在每次迭代中运行：

规划智能体 ( $A_P$ )： 根据问题特征生成结构化的高层计划 $\pi$ ，以指导下游决策。
工具选择智能体 ( $A_T$ )： 根据问题和计划，从工具箱（思维链、自我反思、通用验证器、数值验证器、重构器、总结器）中动态选择子集。
计算选择智能体 ( $A_C$ )： 确定推理策略（Best-of-N、束搜索或前瞻搜索）以及一个探索参数 $m$ （定义预算，例如束宽或前瞻深度）。
答案提取智能体 ( $A_F$ )： 从完成的轨迹中合成最终答案。

过程奖励模型 (PRM) 集成

一个经过预训练、专注于数学领域的 PRM 作为迭代内和迭代间决策的统一控制信号：

迭代内控制： 在生成过程中，PRM 评估单个步骤转换（ $s_{t-1} \to s_t$ ）以分配局部有效性分数。这些分数用于引导在线剪枝和扩展（例如，在束搜索或前瞻搜索中保留得分最高的候选前缀），从而将模型引导至局部一致的路径。
迭代间选择： 在 $K$ 个独立的迭代中，PRM 将步骤分数聚合为轨迹奖励 $R(\tau) = \frac{1}{T}\sum v_t$ 。通过最大化所有已完成轨迹的聚合奖励来选择最终输出。

效率指标

为了评估准确性与效率之间的权衡，论文引入了两个指标：

理论 FLOPs ( $F_{theo}$ )： 统计所有模型调用（基础 LLM、控制器模块和 PRM）的总计算量。
计算强度得分 ( $S_{CI}$ )： 对冗余生成和验证开销进行惩罚，衡量相对于辅助成本，基础模型推理 Token 的利用效率。

核心贡献

轨迹级公式化： 论文将自适应测试时推理建模为一个轨迹级的生成与选择问题。通过使用 PRM 提供局部正确性信号，该框架实现了在线剪枝，并在生成过程中主动引导模型走向更好的推理路径。
实证收益： 自适应方法始终优于直接的测试时扩展和静态推理策略。
- MATH-500： Llama-3.1-8B-Instruct 的准确率从 43.8% 提升至 65.4%，Qwen-2.5-7B-Instruct 从 71.2% 提升至 81.4%。
- AIME24： Llama 从 3.3% 提升至 10.0%，Qwen 从 6.67% 提升至 13.3%。
- AMO-Bench： 两款模型的准确率均从 2.0% 倍增至 4.0%。
计算效率分析： 研究表明，性能提升源于将计算选择性地分配给高收益的推理轨迹。虽然由于控制器和验证开销，自适应方法产生的理论 FLOPs 略高，但其计算强度 ( $S_{CI}$ ) 显著低于统一扩展搜索的固定策略，表明其计算利用更为高效。

结果与发现

自适应性 vs. 固定策略： 动态选择工具和计算策略比单纯将 PRM 选择应用于固定策略能带来更显著的提升。该框架使推理行为适应模型结构，引导每个模型向符合其优势的方向推理（例如，Qwen 侧重于结构化推理和数值检查，而 Llama 则在更多样化的工具间分配决策）。
难度依赖性： 在中等难度问题（MATH-500 的第 1-4 级）上，改进最为明显。在极难问题（第 5 级）上，增益较弱，这归因于验证信号的可靠性降低，导致 PRM 可能对看似合理但错误的轨迹进行错误排序。
消融实验洞察：
- 迭代次数很重要，但超过一定次数后收益递减。
- 没有单一的固定配置占据主导地位；最佳固定策略需要预先知晓最优工具/策略组合。自适应方法则能自动实现相当的性能。
- 对于极具挑战性的问题（如 AIME24），来自自适应多工具选择的轨迹多样性至关重要，而统一的重复或增加探索参数反而会降低性能。

意义与主张

论文声称，验证器引导的自适应测试时推理是实现计算高效且可靠推理的一条实用且与模型无关的路径。通过基于中间验证信号动态塑造推理过程，该框架比统一重复或固定搜索程序能更有效地将计算转化为准确性。

作者强调，其方法是**无需训练（training-free）**的，依赖于启发式的、基于提示词条件的决策，而非学习到的策略。虽然本研究侧重于数学推理，但其核心思想被认为是领域无关的，适用于任何具有清晰中间步骤和可靠非终止验证信号（例如带有单元测试的代码生成、带有蕴含检查的多跳问答）的推理密集型领域。

这项工作强调，在线验证（引导生成）比事后重排序更有效，且自适应性允许将计算集中在高收益路径上，避免了统一扩展带来的浪费。然而，作者也谦虚地承认了局限性，特别是对 PRM 质量的依赖——在验证信号存在噪声的最难问题上，性能可能会下降。建议的未来方向包括难度感知验证和学习型的预算感知策略。