💬 NLP

Learning How to Use Tools, Not Just When: Pattern-Aware Tool-Integrated Reasoning

本文提出了一种模式感知（pattern-aware）的工具集成推理框架，该框架通过在将模式选择与教师偏好对齐之前，显式地学习代码执行和算法编码模式，从而提升大型推理模型的能力，并在 MATH500 和 AIME24 等挑战性数学基准测试中实现了显著的准确率提升。

原作者： Ningning Xu, Yuxuan Jiang, Shubhashis Roy Dipta, Hengyuan Zhang

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ningning Xu, Yuxuan Jiang, Shubhashis Roy Dipta, Hengyuan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：不仅要懂得何时请医生，更要懂得请哪位医生

想象你有一位非常聪明的学生（大型推理模型），他正在尝试解决复杂的数学难题。这位学生拥有一种超能力：他可以请求一个计算机程序（工具）来帮他完成繁重的计算工作，比如使用计算器或编程助手。

长期以来，研究人员一直专注于教导学生何时寻求帮助。他们问的是：“我应该在脑子里解决这个问题，还是应该调用计算机？”

然而，这篇论文指出，这个拼图块中缺少了一个关键部分：学生如何寻求帮助，与他们何时寻求帮助同样重要。

作者发现，即使学生知道自己需要帮助，他们也经常选择错误的“风格”来寻求帮助。他们识别出了两种主要的工具使用“模式”（或“风格”）：

“计算器”模式 (The "Calculator" Pattern)： 学生将计算机视为一个简单的计算器。他们写下数学题，并要求计算机仅仅进行数值运算。
- 类比： 像是在请一位厨师帮你切洋葱。你把洋葱交给他们，他们只完成这一个特定的任务。
“算法”模式 (The "Algorithmic" Pattern)： 学生将计算机视为一名程序员。他们编写一段完整的脚本或一套指令集，从头到尾解决整个问题。
- 类比： 像是请一位厨师去建造一间完整的餐厅厨房、编写一本食谱，然后烹饪出一顿饭。你给他们一个目标，他们构建出一套实现该目标的系统。

问题所在：用错了工具

论文显示，即使学生的逻辑完全正确，由于混淆了这两种模式，也会导致失败。

案例 1（溢出问题）： 假设有一个要求进行巨大计算的问题（例如 $1000!$ $1000!$ ）。如果学生使用了**“计算器”模式**，他们可能会尝试一次性将这个巨大的数字输入给计算机。计算机的“大脑”会因为过载而崩溃（发生“溢出错误”）。
- 修正方法： 学生本该使用**“算法”模式**，通过编写一个循环来逐步进行乘法运算，从而保证计算机的内存安全。
案例 2（无限循环问题）： 假设有一个问题是寻找隐藏在圆周率（Pi）数字中的特定质数。如果学生使用了**“算法”模式**，他们可能会尝试编写一个程序，试图一次性检查圆周率中的每一个数字。由于列表过长，计算机会耗尽内存或时间。
- 修正方法： 学生本该使用**“计算器”模式**，要求计算机每次只检查前 10 位数字，然后再检查接下来的 10 位，以此类推。

核心结论： 失败的原因不在于学生不会做数学题，而在于他们选择了错误的工具使用方法。

解决方案：两阶段训练营

为了解决这个问题，作者创建了一种两阶段训练方法，旨在教导学生成为一名“具备模式感知能力”的推理者。

第一阶段：掌握两种风格（代码能力训练）
首先，他们教导学生如何精通这两种风格。他们向学生展示了数千个例子，其中既有使用“计算器”风格解决问题的例子，也有使用“算法”风格解决问题的例子。

类比： 在教导驾驶员选择哪条路线之前，首先要确保他们既会开手动挡，也会开自动挡。他们需要精通这两种驾驶方式。

第二阶段：学习如何选择（模式偏好训练）
一旦学生学会了驾驶这两种车，第二阶段的任务就是教他们针对不同的路段选择哪辆车。他们使用一位“老师”（一个非常聪明的 AI）来引导学生：“对于这个特定问题，‘算法’风格是胜出的方案。对于那一个，‘计算器’风格则是更好的选择。”

类比： 就像一位驾驶教练告诉学生：“对于这条陡峭的山路，请使用手动挡；对于这条平坦的高速公路，请使用自动挡。”

结果：更聪明的选择，更高的分数

论文在极具挑战性的数学竞赛（如 MATH500 和 AIME24）上测试了这种新方法。

改进前： 学生虽然可以使用工具，但由于选错了风格，经常会导致崩溃或陷入僵局。其成功率约为 26.7%。
改进后： 通过学习将问题与正确的模式相匹配，成功率跃升至 50.0%。
代码可靠性： 生成可用代码的能力从 64% 提升到了 70.5%。

总结

这篇论文认为，要让 AI 在数学方面真正变得强大，仅仅知道何时使用计算机是不够的。AI 还必须学会如何使用它——即知道是将计算机视为一个简单的计算器，还是将其视为一个复杂的编程引擎。通过教导 AI 识别问题的“形状”并选择正确的工具使用风格，研究者可以将失败转化为成功。

技术摘要：模式感知型工具集成推理

问题定义

工具集成推理（Tool-integrated reasoning, TIR）已成为增强大语言推理模型（LRM）的关键范式，通过使模型能够与外部验证器（如代码解释器）交互，从而生成可执行且可验证的推理步骤。虽然先前的研究主要关注何时调用工具（例如：时机、多轮调用），但本研究发现了一个重要的空白点，即在理解一旦调用工具后如何应用工具方面存在不足。

作者观察到，模型经常遭受**模式失配（pattern mismatch）**的影响，即应用工具的策略与特定问题的需求不匹配。论文将两种不同的使用模式形式化为：

计算器模式（Calculator-pattern）： 严格将代码用于直接计算或验证中间算术步骤。
算法模式（Algorithmic-pattern）： 将整个问题的逻辑编码为一个完整的程序来解决问题。

论文表明，失败往往并非源于缺乏推理能力，而是源于选择了错误的模式。例如，尝试通过计算器模式直接计算 $1000!$ 会导致溢出错误，而采用涉及代数简化的算法方法则可以成功。相反，通过符号算法方法寻找 $\pi$ 中的质数可能会因为上下文限制而失败，而扫描式（计算器风格）的方法则会成功。

方法论

为了解决模式失配问题，作者提出了一个两阶段学习框架：

1. 训练集构建

作者构建了一个数据集，其中每个问题 $x$ 都配有两个不同的解法：

选定解法 ( $y^+$ )： 使用教师模型认为最合适的模式得到的解法。
反向解法 ( $y^-$ )： 使用另一种模式得到的解法。
两种解法都遵循标准化的输出架构（推理 $\to$ Python 代码块 $\to$ 输出 $\to$ 最终答案），以确保一致性。

2. 第一阶段：代码能力获取

模型在包含两种模式的组合数据集（ $D_{SFT} = \{(x_i, y_{alg}), (x_i, y_{calc})\}$ ）上进行监督微调（SFT）。

目标： 最小化响应 Token 的负对数似然。
目标： 确保模型学会为两种模式生成可靠的代码，而不偏向于特定的策略，从而为工具使用建立稳定的基础。

3. 第二阶段：模式偏好对齐

在 SFT 之后，模型进行直接偏好优化（DPO），以学习正确的模式选择策略。

机制： 使用冻结的参考策略（ $\pi_{ref}$ ，即 SFT 模型），训练模型提高“获胜者”（模式适用的）解法相对于“失败者”（模式失配的）解法的概率。
目标： 最大化偏好得分 $\sigma(\beta [\log \pi_\theta(y^+) - \log \pi_\theta(y^-) - (\log \pi_{ref}(y^+) - \log \pi_{ref}(y^-))]$ 。
目标： 使模型的模式选择与教师的偏好对齐，使其能够根据问题上下文调整其策略。

核心贡献

模式失配的形式化： 本研究识别并形式化了由于工具使用策略失配导致原本合理的推理过程发生偏差的现象，并区分了计算器模式和算法模式。
两阶段框架： 提出了一种新颖的框架，首先通过 SFT 构建双模式代码能力，然后通过 DPO 精炼策略选择，从而避免了对独立奖励模型的需求。
实证验证： 证明了对工具如何使用的建模，能显著提高代码可靠性和挑战性数学基准测试中的最终任务准确率。

实验结果

该框架在 OpenR1-Math-220k 数据集上进行训练，并在领域外基准测试 MATH500、AIME24 和 AMC23 上进行测试。使用的基座模型为 R1-Distill-Qwen-1.5B。

关键性能指标：

Code@1（可执行代码生成）：
- 在 MATH500 上，Code@1 从 64.0%（仅 SFT）提升至 70.5%（SFT + DPO）。
- 在 AIME24 上，Code@1 从 26.7% 提升至 50.0%。
- 在 GSM8K 上，Code@1 从 72.0% 提升至 80.1%。
Pass@1（整体准确率）：
- 在 AIME24 上，整体准确率从 26.7% 上升至 50.0%。
- 在 MATH500 上，准确率从 58.2% 增加到 63.2%。

结果表明，虽然 SFT 对于使模型生成可执行代码至关重要，但加入 DPO 能显著增强模型选择正确策略的能力，从而减少由模式失配引起的失败。

意义与主张

论文声称，工具集成推理的有效性不仅取决于调用工具的能力，还在于如何应用这些工具的策略对齐。通过显式地对计算器模式和算法模式之间的选择进行建模，所提出的方法提供了一种轻量且有效的方法，能够大幅提升推理准确度。作者断言，通过切换到互补模式，他们的模式感知方法将由（溢出或上下文限制导致的）失败案例转化为成功案例，这验证了在大型推理模型中，策略性适应与计算能力同样重要。