💬 NLP

T1: Tool-integrated Verification for Test-time Compute Scaling in Small Language Models

本文介绍了工具集成验证（T1）框架，该框架通过将重记忆任务的验证工作卸载给外部工具，增强了小语言模型的测试时计算扩展能力，使得一个 1B 模型在 MATH 基准测试上的表现能够超越规模显著更大的 8B 模型。

原作者： Minki Kang, Jongwon Jeong, Jaewoong Cho

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Minki Kang, Jongwon Jeong, Jaewoong Cho

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Tool-Integrated Verification for Test-Time Compute Scaling in Small Language Models》（面向小语言模型测试时计算缩放的工具集成验证）的通俗易懂的解释。

核心问题：“小脑瓜” vs. “大数学考试”

想象你有一个非常聪明但身材瘦小的学生（即小语言模型，简称 sLM）。这个学生擅长写故事和理解抽象概念，但在处理重体力活（比如复杂的数学运算或记忆冷门事实）时却很吃力。

最近，研究人员发现了一个技巧叫做测试时计算缩放（Test-Time Compute Scaling）。与其把学生变大（这既昂贵又缓慢），不如让他们多次参加测试，生成许多不同的答案，然后从中选出最好的一个。

难点在于： 为了选出最好的答案，你需要一位评委。

传统做法： 你雇佣一位超级聪明的教授（大型语言模型）来给这个小学生批改作业。这虽然效果很好，但却违背了使用廉价、小型化学生的初衷。
新问题： 如果让这个小学生自己给自己批改作业呢？研究表明，当题目变难（比如做三位数加法）时，小学生的“大脑”就会过载。他们记不住所有的计算事实，因此在评分时也会出错，就像他们在解题时出错一样。

解决方案：T1（“计算器 + 老师”组合）

作者提出了一种名为 T1（工具集成验证） 的新系统。你可以把它想象成在让小学生尝试批改作业之前，先给他们配备了一台计算器和一个事实核查员。

T1 的工作流程分为简单的两个步骤：

第一步：“计算器过滤器”（基于工具的验证器）

在小学生查看答案之前，他们先使用外部工具（如代码解释器或搜索引擎）来检查那些困难的部分。

类比： 想象学生正在检查一份数学试卷。他不是试图在脑子里计算 $237 + 321$ （这可能会出错），而是被迫写一段微小的代码，让计算机来完成计算。
结果： 计算机会立即指出：“这个答案是错的，因为计算有误”，并将该答案丢弃。小学生不需要费力去记忆数字，工具替他们完成了这项工作。

第二步：“老师的评审”（奖励模型）

现在，小学生只需要对那些通过了计算器过滤器的答案进行评分。他们利用自己的“老师大脑”（奖励模型）来检查逻辑是否通顺、故事是否连贯以及推理是否合理。

类比： 既然计算器已经剔除了那些数学错误的答案，学生就可以全身心地投入到逻辑判断上。“好了，数学是对的，但他们是否回答了具体要求的问题呢？”

为什么有效（“记忆”的魔力）

论文证明了一个有趣的理论：小模型之所以在验证环节失败，是因为它们必须记忆太多的事实。

没有工具时： 为了验证一道数学题，小模型必须在自己的脑海中“记住” $237 + 321$ 的结果。随着题目难度增加，其记忆力就会枯竭。
有了工具后： 模型不再需要记住答案。它只需要知道“如何向计算器提问”。这释放了它的脑力，让它能专注于更难的任务——逻辑推理。

结果：以小胜大

研究人员在困难的数学基准测试（如 MATH 和 GSM8K）上进行了测试。

令人震惊的结果： 一个仅有 10 亿参数的模型（小学生）在使用 T1 的情况下，表现竟然优于一个规模大得多的 80 亿参数模型（大个子学生，且未使用工具）。
核心启示： 通过将“枯燥的记忆工作”外包给工具，小模型变成了一个更优秀的评委。它现在可以如此出色地验证自己的工作，以至于超越了那些比它大 8 倍的模型。

总结

把 T1 看作是给一名高效的小型员工配备了一套专门的工具箱。与其试图成为一个无所不知、无所不能的“超人”，这位员工学会了使用计算器来处理繁重的体力活（数学/事实），然后利用自己的大脑来进行判断（逻辑）。这使得小型、廉价的模型能够达到此前认为如果不依赖大规模、昂贵计算机就无法达到的水平。

技术摘要：面向小语言模型测试时计算缩放的工具集成验证技术

问题陈述

近期，测试时计算缩放（test-time compute scaling）的进展表明，在推理过程中分配额外的计算资源可以显著增强小语言模型（sLM）的推理能力。然而，现有缩放方法过度依赖大型语言模型（LLM）作为验证器（例如过程奖励模型 [PRM] 或评论家模型 [Critic model]）来从多个候选方案中选择最优解。这种对大型验证器的依赖削弱了使用 sLM 所带来的效率和成本优势。

本文识别出的一个关键瓶颈是：sLM 无法可靠地验证其自身生成的输出，特别是在需要记忆算术事实或事实性知识的任务中。虽然大型模型仅通过思维链（CoT）推理即可进行验证，但 sLM 随着复杂度的增加，甚至在处理简单的计算时也会表现挣扎。作者假设，这种失败源于 sLM 记忆大量计算事实的能力有限，而非缺乏逻辑推理能力。

方法论：工具集成验证 (T1)

为了解决记忆瓶颈，作者提出了工具集成验证 (Tool-Integrated Verification, T1)，这是一个两阶段框架，旨在将记忆密集型步骤卸载给外部工具，同时保留 sLM 进行最终验证。

两阶段框架

基于工具的过滤阶段 (ToolV)：
- sLM 根据候选方案生成可执行代码（如 Python）或检索查询。
- 外部工具（如代码解释器或知识检索器）执行代码或检索事实，以验证数值准确性和事实一致性。
- 该阶段作为一个二元过滤器 ( $f(x, y; T, \theta) \in \{0, 1\}$ )，剔除存在计算错误或事实错误的方案。
基于奖励模型的评分阶段：
- 剩余的经过过滤的方案由奖励模型（过程奖励模型 [PRM] 或生成式奖励模型 [GenRM]）进行评分。
- 最终输出被选择为奖励模型得分最高的候选方案。

知识蒸馏

为了增强这两个阶段的性能，作者采用了来自大型教师模型（如 GPT-4o-mini）的知识蒸馏技术。

ToolV 蒸馏： 对 sLM 进行微调，使其能够根据教师模型的输出生成调用工具的查询（代码）并提取验证结果。
RM 蒸馏： 对 sLM 进行微调，使其能够生成验证理由和评分，模仿教师模型的评估过程。
Multi-LoRA： 使用独立的低秩自适应（LoRA）适配器分别处理基于工具的任务和基于奖励的任务，以在微调期间高效管理不同的目标。

理论分析

论文提供了支持 T1 方法的理论保证：

减少记忆负担： 通过信息论分析，作者证明了如果不使用工具，一个最优验证器必须记忆规模与 $O(M^3)$ （其中 $M$ 是数字范围）成正比的数据集才能实现近乎零误差。通过利用外部工具执行计算，存储在模型参数中的互信息降为零，因为工具处理了验证逻辑。
缩放性能： 作者将验证器建模为一个带有噪声的不完美过滤器。他们证明了使用基于工具的过滤器可以提高在 Best-of-N 选择过程中正确识别真实标签的概率。从理论上讲，这提高了测试时缩放性能的单调性，确保当存在可靠过滤器时，增加生成的方案数量 ( $N$ ) 会带来更好的结果。

实验结果

实验在数学推理基准测试（MATH500, GSM8K）和知识密集型任务（MMLU-Pro 子集）上进行。

性能提升： T1 使 sLM 能够显著超越规模更大的模型。具体而言，使用 T1 进行测试时缩放的 Llama-3.2 1B 模型 在 MATH500 基准测试上的表现优于 Llama-3.1 8B 模型。
与验证器的集成： T1 提高了 PRM 和 GenRM 的准确性。当与蒸馏后的 PRM 结合时，T1 使 1B 模型能够以更少的生成方案数量达到或超过 8B 模型的性能。
过滤效能： 分析显示，ToolV 有效地过滤掉了由计算错误导致的错误方案，而生成式验证器往往会忽略这些错误。
计算效率： 即使考虑到生成代码带来的 Token 开销（计算预算增加了约 1.14 倍），T1 提供的性能仍优于单纯扩大验证器规模或使用未配备工具的更大模型。
数据效率： 即使仅使用 10% 的训练数据进行蒸馏，基于工具的验证器仍能保持极具竞争力的性能，凸显了其高效性。

意义与主张

论文声称，工具集成不仅是有益的，而且是实现 sLM 在测试时缩放下成功验证的必要条件。其核心贡献包括：

识别瓶颈： 系统地将记忆密集型步骤识别为 sLM 验证的主要失效点。
提出框架： 引入了 T1，这是一个将外部工具与 sLM 整合，用于生成式验证器和 PRM 的无缝两阶段框架。
理论证明： 证明了将任务卸载给工具可以减轻记忆负担，并在理论上保证了改进的缩放性能。
实证验证： 证明了通过利用工具，小模型（如 1B 参数）可以获得与规模大得多的模型（如 8B+）相当的推理能力，从而保留了 sLM 的部署效率。

作者总结道，T1 提供了一条在不承担扩大模型参数高昂成本的前提下，增强 sLM 在复杂推理任务中性能的切实路径，前提是将验证负担转移给外部工具。