💬 NLP

AutoTool: Dynamic Tool Selection and Integration for Agentic Reasoning

AutoTool 是一个通过采用双阶段优化流水线和大规模数据集来增强 LLM 智能体对演进中工具集适应能力的训练框架，旨在实现动态工具选择，从而在多种推理任务中展现出比现有方法更优越的性能。

原作者： Jiaru Zou, Ling Yang, Yunzhe Qi, Sirui Chen, Mengting Ai, Ke Shen, Jingrui He, Mengdi Wang

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaru Zou, Ling Yang, Yunzhe Qi, Sirui Chen, Mengting Ai, Ke Shen, Jingrui He, Mengdi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢但略显刻板的助手（一个人工智能），它擅长解决谜题，但一旦工具箱里的工具发生变化，它就会陷入停滞。

问题：“固定工具箱”陷阱
大多数当前的人工智能助手训练起来就像一位厨师，他只知道如何使用摆在台面上那固定的 10 把刀和 5 个锅。如果你给了他一种他从未见过的全新类型的平底锅或不同种类的刀，他就会愣住。他们被训练去为特定的任务使用特定的工具，但如果“厨房”发生了进化，或者你递给他一个全新的小工具，他们就无法适应。

解决方案：AutoTool
这篇论文介绍了一种名为 AutoTool 的新训练方法，它将人工智能从一个仅仅是“工具使用者”转变为一个卓越的“工具购物者”。AutoTool 不再是记忆一份固定的工具清单，而是教会人工智能：

观察问题。
扫描一个庞大且不断变化的、拥有数千种工具的货架。
即时挑选出最合适的那个，即使这个工具是人工智能从未见过的。

它是如何运作的：两阶段“训练营”
研究人员通过一个两阶段的“训练营”方法来训练这个人工智能：

第一阶段：学习思考与行动（稳定性训练）
首先，他们教会人工智能如何一步步地思考问题（就像一段长长的思维链），以及如何在思考与使用工具之间进行平滑切换。想象一下，你在教一名学生如何写文章，以及如何使用计算器，而不会在两者之间感到困惑。这个阶段让人工智能的推理变得稳定且连贯。
第二阶段：学习选择（精炼阶段）
这是核心秘诀。一旦人工智能知道了“如何使用”工具，他们就教会了它“如何挑选”最好的工具。
- 类比： 想象一个游戏，人工智能必须挑选一个工具来解决数学问题。在过去，它可能只是瞎猜。有了 AutoTool，人工智能会被展示许多不同的尝试。它会学到，对于数学问题选择“代码解释器”就像是为锁选择“正确的钥匙”，而选择“搜索引擎”则像是选择了“错误的钥匙”。
- 神奇的技巧（嵌入/Embeddings）： 人工智能不再仅仅通过记忆工具名称（如“工具 A”或“工具 B”）来学习，而是学习工具的“氛围”或“本质”。这就像是学习了解到“锤子”的感觉是沉重的且用于敲击，而不是仅仅记住“锤子”这个词。这使得人工智能在面对一个全新的、陌生的工具时，能够说：“这感觉像一把锤子，所以我会用它来敲这个钉子”，即使它从未见过这把特定的锤子。

他们构建的“图书馆”
为了教授这些知识，研究人员不仅仅使用了少量的例子。他们构建了一个包含 200,000 个训练样本 的庞大库，涉及超过 1,000 种不同的工具（如代码运行器、搜索引擎和图像阅读器）以及 100 多个任务。

关键细节： 他们在 460 种工具上训练了人工智能，但在测试时却使用了一个拥有 1,346 种工具的库。这意味着 人工智能在测试期间使用的工具中有 65% 是它从未见过的全新工具。它必须在现场搞清楚这些工具是如何使用的。

结果：一个更聪明、更灵活的助手
当研究人员将 AutoTool 与其他先进的人工智能模型进行对比测试时：

它在 数学和科学 方面表现得更好（解决复杂问题）。
它在搜索方面表现得更好（在网络上寻找正确答案）。
它在编程方面表现得更好（编写计算机程序）。
它在 多模态任务 方面表现得更好（理解图像和图表）。

底线
AutoTool 证明了，人工智能并不需要接受过世界上所有工具的训练才能发挥作用。通过教会它“如何选择”并赋予它理解工具“本质”的能力，它走进一个充满它从未见过的奇妙小工具的房间时，依然能选出正确的工具来解决问题。这区别于一个只知道如何使用特定螺丝刀的机器人，而是一个能够观察工具箱、弄清楚哪种工具适合这个螺丝，并最终完成工作的专业人士。

技术摘要：AutoTool：面向智能体推理的动态工具选择与集成

1. 问题陈述

近期，智能体强化学习（Agentic Reinforcement Learning, RL）的进展使得大语言模型（LLM）能够生成交织着外部工具使用的长链式思考（CoT）轨迹。然而，现有方法通常基于一个固定的工具库预设前提，即为特定任务预定义工具。虽然这些方法在封闭环境中表现出色，但无法捕捉以下现实场景：

智能体必须从复杂且领域多样化的工具集中选择合适的工具。
在推理过程中引入了训练期间未曾出现的全新工具。

目前的模型存在过度拟合静态工具列表的风险，且缺乏在不断演进的工具环境中进行泛化的能力。这项工作所解决的核心挑战是：如何让 LLM 智能体在进行智能体推理时，能够从演进中的工具集中动态选择工具，同时保持强大的推理能力？

2. 方法论：AutoTool 框架

作者提出了 AutoTool，这是一个旨在赋予 LLM 智能体动态工具选择能力的训练框架。该框架将推理与工具使用整合进统一的轨迹中，并采用了双阶段优化流水线。

2.1. 工具感知轨迹生成

该框架将推理轨迹 $\tau$ 概念化为三个组件的相互作用：

内部推理 ( $\tau^{reason}$ )：标准的 CoT 内部推理。
工具选择 ( $\tau^{select}$ )：智能体对工具集 $\mathcal{T}$ 进行推理以选择工具 $t_k$ 。
工具集成 ( $\tau^{integrate}$ )：执行选定的工具并将反馈信息重新输入到生成过程中。

为了处理演进中的工具集，AutoTool 利用了嵌入锚定工具选择（Embedding-Anchored Tool Selection）：

工具嵌入：每个工具 $t_k$ 都配有一个特征描述 $\mu(t_k)$ （名称、功能、模式），并使用 LLM 的内部嵌入层被编码为潜在嵌入 $e_{t_k}$ 。
选择机制：智能体不再直接生成工具名称（这在面对未知工具时会失效），而是生成选择理由 $s_i$ 和预测的嵌入锚点 $e'_i$ 。通过基于 $e'_i$ 与候选工具嵌入 $e_{t_k}$ 之间的 Frobenius 范数距离进行 Softmax 分布采样来选择工具。这使得智能体可以通过表示对齐而非记忆标识符来选择新工具。

2.2. 双阶段优化流水线

训练过程由两个截然不同的阶段组成：

第一阶段：轨迹稳定化

目标：使智能体具备稳定的长文本 CoT 推理能力和有效的工具集成模式。
方法：从基准参考模型 ( $\pi_{\theta_{ref}}$ ) 开始初始化智能体，通过监督微调（SFT）以及基于 RL 的策略优化（如 GRPO）进行训练。这确保了模型能够生成包含推理、选择和执行步骤的连贯轨迹。

第二阶段：工具选择精炼

目标：专门优化工具选择过程，以处理动态工具集。
方法：优化过程专门针对工具选择步骤，掩盖内部推理和集成步骤。作者将工具选择建模为一个 Plackett–Luce (PL) 排序问题。
- 理论桥梁：作者证明，优化 KL 正则化 RL 目标等价于匹配策略在候选轨迹上的诱导 PL 排序分布。
- 目标：优化策略，使其与奖励引导的排序对齐，其中具有更好工具选择理由且最终答案正确的轨迹会被赋予更高的排名。
- 损失函数：使用易于处理的交叉熵（CE）损失来训练策略 $\pi_\theta$ 向最优策略 $\pi^*$ 靠拢，从而最小化模型的诱导排序与基于奖励的排序之间的差异。

3. 数据策展

为了支持动态工具环境，作者构建了一个拥有 200k 规模的数据集，其中包含明确的工具选择理由。

范围：涵盖 1,346 个工具（代码、搜索、多模态）以及涉及数学、科学、代码生成和多模态理解的 120 多个任务类型。
流水线：
1. 收集：汇集工具与任务。
2. 理由生成：使用专家级推理模型（DeepSeek-R1）为每一步为何选择特定工具生成显式的辩解，确保上下文与选择之间的一致性。
3. 增强：过滤无效理由，并将有效的理由插入轨迹中，以创建高质量的训练数据。
演进设置：训练期间仅使用了 460 个工具（34.2%）。其余 886 个工具被保留为未见工具，专门用于推理阶段的泛化性评估。

4. 实验结果

实验在十个不同的基准测试上使用 Qwen3-8B 和 Qwen2.5-VL-7B 作为基座模型进行。

4.1. 性能提升

AutoTool 一致地优于先进的 LLM 智能体和专门的工具集成方法：

数学与科学推理：平均提升 +6.4%。
基于搜索的问答：平均提升 +4.5%。
代码生成：平均提升 +7.7%。
多模态理解：平均提升 +6.9%。
对比：AutoTool（8B/7B 参数）在所有领域均达到了与规模更大的模型（如 Qwen2.5-72B、GPT-4o）以及专门的 RL 基线（如 ReTool、Search-R1）相当或更优的性能，展示了均衡的鲁棒性。

4.2. 对未见工具的泛化能力

未见工具性能：在推理阶段使用完全未见的工具集（886 个工具）进行评估时，AutoTool 保持了强劲的性能，与使用全量工具集相比，下降幅度不到 2%。
命中率：更高的工具选择命中率（选择正确的工具）与下游准确率的提升直接相关。
消融实验：经过工具选择理由训练的模型明显优于未经过训练的模型，成功工具执行次数增加了 13.5%。

5. 重要性与主张

论文声称 AutoTool 代表了迈向能够运行在演进环境中的可扩展智能体系统的重要一步。

超越静态工具：不同于以往假设固定工具库的工作，AutoTool 使智能体能够从动态、开放式的集合中自适应地选择工具。
泛化性：通过将选择锚定在嵌入空间并通过 PL 排序进行优化，该框架实现了对训练中从未见过的工具的强泛化能力。
效率：该方法使用比许多竞争对手更少的参数（8B/7B）实现了这些结果，突显了显式工具选择优化的效率。
实际影响：该框架解决了闭环训练与现实世界部署之间的差距，在现实世界中，工具集是流动的且在持续扩张的。

作者总结道，显式优化工具选择（而非仅仅是工具使用），对于构建能够在复杂、变化的环境中有效推理并行动的智能体至关重要。