💬 NLP

ToolOmni: Enabling Open-World Tool Use via Agentic learning with Proactive Retrieval and Grounded Execution

该论文提出了 ToolOmni 框架，通过构建冷启动多轮交互数据集进行监督微调，并结合解耦多目标 GRPO 算法实现主动检索与接地执行的闭环学习，显著提升了大语言模型在开放世界场景下工具检索的准确性与执行成功率。

原作者： Shouzheng Huang, Meishan Zhang, Baotian Hu, Min Zhang

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Shouzheng Huang, Meishan Zhang, Baotian Hu, Min Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ToolOmni 的新系统，它的核心目标是让大语言模型（LLM）在真实、复杂且不断变化的互联网世界中，像一位经验丰富的“全能管家”一样，不仅能主动寻找合适的工具，还能稳稳地执行任务。

为了让你更容易理解，我们可以把大语言模型想象成一个刚毕业的天才大学生，而“工具”（比如查天气的 API、订票系统、翻译软件等）就是互联网上成千上万个不同的专业部门。

1. 以前的困境：两个“笨办法”

在 ToolOmni 出现之前，让 AI 使用工具主要有两种笨办法，就像让这位大学生去办事：

办法一：死记硬背的“索引员”
- 比喻：大学生手里拿着一本厚厚的、很久没更新的通讯录。当老板（用户）让他找“查天气”的部门时，他只能靠关键词在通讯录里翻。
- 问题：如果通讯录里有 1 万个部门，而且每天都在新增，他很容易翻错，或者因为关键词匹配太肤浅（比如把“天气”翻成了“气象站”而不是“天气预报”），导致找不到真正有用的工具。这就是论文里说的“静态检索”太被动。
办法二：把说明书背进脑子里的“记忆大师”
- 比喻：大学生把几万个部门的说明书全部背了下来。
- 问题：一旦某个部门换了新电话或新流程（工具更新），他脑子里的旧知识就失效了。而且，如果老板问了一个他从未背过的部门（未见过的工具），他就彻底懵了。这就是“参数记忆”无法适应变化。

2. ToolOmni 的解决方案：一位“主动出击”的超级管家

ToolOmni 给这位大学生装上了两个超能力，并让他进入了一个**“思考 - 行动 - 反馈”的循环**中。

核心能力一：主动检索（Proactive Retrieval）—— 像侦探一样“问路”

以前的做法：老板问一句，AI 就机械地查一次表，查完就结束。
ToolOmni 的做法：
- 老板说：“我想找个能查僵尸电影流媒体信息的工具。”
- ToolOmni 不会直接瞎猜，它会主动思考：“光查‘电影’不够，我得先查‘流媒体’，再查‘僵尸’，最后查‘演员表’。”
- 它会像侦探一样，主动发起多次搜索，不断修正自己的问题，直到把真正需要的 3 个工具（就像找到了 3 个关键部门）精准地凑齐。
- 比喻：它不再是被动的“查字典”，而是主动的“问路者”。如果路不通，它会换条路再问，直到找到对的门。

核心能力二：落地执行（Grounded Execution）—— 像老练的工匠一样“干活”

以前的做法：拿到工具列表后，直接按顺序调用，一旦报错就卡死或胡乱猜测。
ToolOmni 的做法：
- 它拿到工具后，会边干边想。
- 如果工具报错（比如“缺少参数”），它不会死循环，而是会自我反思：“哦，刚才参数填错了，我换个参数再试一次”或者“这个工具不行，我换个类似的工具试试”。
- 比喻：它像一个经验丰富的工匠，工具不好用就自己修，或者换把锤子，而不是把锤子扔了说“这活干不了”。

3. 它是如何训练的？（两阶段“特训”）

为了让这位“管家”从新手变成大师，作者设计了一套独特的训练方法：

第一阶段：冷启动（SFT）—— 先教规矩
- 就像给大学生看“优秀员工案例集”。先让它模仿人类专家是怎么搜索工具、怎么调用工具的。这一步让它学会了基本的“规矩”和“套路”，不至于连工具长什么样都不知道。
第二阶段：强化学习（GRPO）—— 实战演练
- 这是最精彩的部分。作者发明了一种**“双轨制”奖励算法**。
- 比喻：想象老板给员工发奖金。
  - 以前：只有最后任务做成了才发钱。如果员工找错了工具，最后失败了，他根本不知道错在哪一步（是找错了？还是用错了？）。
  - ToolOmni 的新算法：把任务拆成两半。
    1. 找工具找得准不准？（检索奖励）：如果找对了工具，先给个小奖励。
    2. 工具用得对不对？（执行奖励）：如果工具调用成功，再给个大奖励。
- 这样，AI 就能明白：哦，原来我第一步找工具找得准，第二步用错了，或者反过来。它能分别优化这两个能力，互不干扰，最终变得既会找又会用。

4. 效果如何？（实战成绩）

在著名的 ToolBench（一个包含 1.6 万多个真实工具的巨大测试场）上，ToolOmni 的表现非常惊人：

找得更准：在海量工具中，它找对“黄金工具”的概率比以前的最强模型高了 10% 以上。
干得更稳：在端到端的任务中（从提问到给出答案），它的成功率大幅领先。
抗干扰能力强：即使给它一堆乱七八糟的“假工具”（噪音），它也能像过滤网一样，把有用的留下，把没用的扔掉，继续完成任务。
举一反三：即使遇到它从未见过的工具或领域，它也能利用学到的“通用技能”去解决，而不是死记硬背。

总结

ToolOmni 就像给大语言模型装上了一套**“主动思考 + 灵活应变”的神经系统**。

它不再是一个只会死记硬背说明书的“书呆子”，也不再是一个只会机械翻字典的“索引员”。它变成了一个聪明的“问题解决者”：面对复杂任务，它会主动出击去搜集信息，遇到挫折会灵活调整策略，最终在充满不确定性的开放世界里，稳稳地帮用户把事情做成。

这篇论文的核心贡献就是证明了：让 AI 学会“主动思考”和“分步优化”，是让它真正掌握工具、适应真实世界的关键。

1. 研究背景与问题定义 (Problem)

核心挑战：
在大语言模型（LLM）的工具学习领域，现有的方法在面对**开放世界（Open-World）**场景时存在显著局限。开放世界的特点是工具库规模巨大（如数万个 API）且动态更新。

检索瓶颈： 现有的基于静态嵌入（Embedding）的检索方法通常采用被动、单轮的检索策略。它们往往只能进行浅层的语义匹配，难以在海量工具中精准对齐用户意图与工具功能，导致检索召回率低或引入大量噪声。
执行与泛化瓶颈： 基于参数记忆（Parameter Memorization）的方法（如将工具文档微调进模型参数）难以适应动态变化的工具集，且在面对未见过的工具时泛化能力差。
解耦问题： 传统的流水线（Pipeline）方法将“工具检索”与“工具执行”割裂，检索模块无法根据执行过程中的反馈主动调整搜索策略，导致端到端任务成功率低。

目标：
构建一个统一的智能体框架，使 LLM 能够在开放世界环境中，通过主动检索（Proactive Retrieval）和基于 grounding 的执行（Grounded Execution），实现高效、鲁棒且具备泛化能力的工具使用。

2. 方法论 (Methodology)

ToolOmni 提出了一种统一的智能体框架，包含两个核心阶段：冷启动监督微调（SFT）和开放世界工具学习（基于解耦的多目标 GRPO）。

2.1 整体架构

框架将工具使用过程建模为级联的“检索 - 执行”流程，由策略 $\pi_\theta$ 驱动：

主动检索阶段 (Proactive Retrieval)： 智能体迭代地与检索服务器交互，自主决定搜索什么、何时停止，并筛选出完成任务所需的工具子集 $T_{sub}$ 。
基于 Grounding 的执行阶段 (Grounded Execution)： 基于检索到的工具文档，智能体进行推理并调用工具，生成观察结果或最终答案。

2.2 训练策略

阶段一：冷启动监督微调 (Cold-start SFT)

数据构建： 基于 ToolBench 构建高质量混合数据集。
- 检索数据： 约 28,000 条检索轨迹，通过拒绝采样（Rejection Sampling）过滤低质量样本。
- 执行数据： 约 33,000 条执行轨迹，包含正确和错误的执行路径，利用 Qwen-2.5-32B 作为自动裁判进行验证。
目标： 通过标准交叉熵损失函数（仅对智能体生成的推理和动作 token 计算损失），赋予模型基础的工具交互能力。

阶段二：开放世界工具学习 (Open-world Tool Learning)
这是核心创新点，采用解耦的多目标 GRPO (Decoupled Multi-Objective GRPO) 算法。

动机： 传统的 GRPO 使用单一奖励，难以同时优化检索和执行。ToolOmni 将两者视为相互关联但独立的子任务。
奖励设计：
- 检索奖励 ( $R_{ret}$ )： 包含格式正确性、真值工具召回率（Recall）以及检索工具被最终选中的转化率。
- 执行奖励 ( $R_{exec}$ )： 包含推理/调用格式正确性以及最终答案的正确性。
优势估计 (Advantage Estimation)： 对检索和执行分别计算组内相对优势（Group-Relative Advantage），避免执行奖励的稀疏性干扰检索学习。
解耦优化 (Decoupled Optimization)：
- 分离更新 (Separated Update)： 不直接求和梯度，而是按顺序分别更新检索和执行部分的参数，防止梯度冲突。
- 轨迹过滤 (Trajectory Filtering)： 仅当检索阶段成功召回所有真值工具（ $T_{gold} \subseteq T_{ret}$ ）时，才启动执行阶段的 rollout。这确保了执行策略仅在高质量、可解的上下文中训练，避免了“幻觉捷径”。

3. 主要贡献 (Key Contributions)

ToolOmni 框架： 提出了首个将主动检索与基于 grounding 的执行统一在端到端推理循环中的智能体框架，打破了传统流水线的限制。
两阶段训练策略： 结合了 SFT 冷启动（奠定基础能力）与基于 GRPO 的强化学习（优化探索与决策），特别是提出了解耦多目标 GRPO算法，实现了检索与执行能力的同步优化。
卓越的性能与泛化性： 在 ToolBench 基准测试中，ToolOmni 在检索精度和端到端执行成功率上均达到 SOTA，特别是在大规模开放世界场景和未见工具/领域的泛化能力上表现突出。

4. 实验结果 (Results)

实验在 ToolBench 基准上进行，涵盖不同难度（I1-I3）和泛化设置（指令、工具、类别泛化）。

工具检索性能 (RQ1)：
- 在**多域（Multi-Domain）**设置下（从 16,000+ API 中检索），ToolOmni 的平均 NDCG@5 达到 78.29%，显著优于 ToolRetriever (76.44%) 和 ToolGen (68.64%)。
- 证明了主动迭代检索能有效从海量噪声中定位“黄金工具”。
工具执行性能 (RQ2)：
- 端到端设置（With Retriever）： ToolOmni 的 Solvable Pass Rate (SoPR) 达到 54.13%，比强基线 GPT-3.5 流水线（42.35%）高出 11.78%，比统一生成模型 ToolGen 高出近 20%。
- Solvable Win Rate (SoWR)： 达到 50.16%，表明其生成的答案不仅正确，而且质量更高。
鲁棒性与泛化性 (RQ3)：
- 未见工具/领域： 在“类别泛化”（全新领域）测试中，SoPR 达到 55.95%，远超 ChatGPT (42.10%)，证明模型学会了通用的工具使用元技能而非死记硬背。
- 抗噪声能力： 在注入对抗性噪声工具（Adversarial Noise）的测试中，ToolOmni 表现出自适应恢复能力，准确率在噪声增加后反而反弹，而基线模型性能单调下降。
消融实验 (RQ4)：
- 移除 RL 导致检索性能大幅下降（-29%），证明 RL 对检索探索至关重要。
- 移除 SFT 导致执行性能大幅下降，证明冷启动是复杂推理的基础。
- 解耦优化和轨迹过滤机制对最终性能提升贡献最大。

5. 意义与展望 (Significance)

理论意义： 提出了解耦多目标强化学习在工具学习中的应用，解决了检索与执行任务中奖励稀疏和梯度冲突的难题，为开放世界智能体训练提供了新范式。
应用价值： ToolOmni 能够处理动态变化的工具库，无需频繁重新训练即可适应新工具，极大地降低了维护成本。其强大的抗噪声和泛化能力使其在真实世界的复杂任务（如自动化运维、跨平台数据整合）中具有极高的应用潜力。
局限性： 目前架构仍依赖级联范式，对于需要实时根据中间结果动态发现新工具链的极端复杂任务灵活性稍欠；且受限于计算资源，目前仅在 4B 参数模型上验证，更大规模模型的涌现能力有待探索。

总结： ToolOmni 通过“主动检索 + 落地执行”的闭环和创新的解耦强化学习算法，成功解决了开放世界工具使用中的检索不准和执行泛化难的问题，代表了当前 LLM 工具学习领域的最高水平。