💻 computer science

Benchmarking LLM Tool-Use in the Wild

该论文指出当前大模型工具使用基准测试忽视了真实用户交互的复杂性，为此提出了基于真实行为模式的 WildToolBench 基准，评估发现现有模型在应对真实场景下的多步工具调用时表现极差（准确率低于 15%），揭示了大模型智能体能力在“野生”环境下的巨大差距。

原作者： Peijie Yu, Wei Liu, Yifan Yang, Jinjian Li, Zelong Zhang, Xiao Feng, Feng Zhang

发布于 2026-04-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Peijie Yu, Wei Liu, Yifan Yang, Jinjian Li, Zelong Zhang, Xiao Feng, Feng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给现在的 AI 助手（大语言模型）做了一次"野外生存大考"，而不是在实验室里做“模拟考”。

为了让你更容易理解，我们可以把现在的 AI 助手想象成一个刚入职的超级实习生。

1. 以前的考试：温室里的花朵

以前的评测（Benchmark）就像是在温室里考这个实习生。

题目很完美：老板（用户）会非常清晰地写下：“请帮我查一下北京明天的天气，然后查一下上海明天的天气，最后把结果发给我。”
环境很干净：没有干扰，没有废话，指令一步接一步，非常有条理。
结果：在这种环境下，很多 AI 表现得像个学霸，准确率很高，大家觉得它们已经无所不能了。

2. 新的考试：WildToolBench（野外生存挑战）

但这篇论文的作者（来自腾讯和伦敦国王学院）发现，真实世界不是温室。在真实的办公室里，老板（用户）说话是** messy**（ messy 的）、灵活的，甚至有点混乱的。

于是，他们搞了一个叫 WildToolBench 的新考试，专门模拟这种“野外”环境。这个考试主要考了实习生三个“野外生存技能”：

技能一：拼乐高（组合任务）

真实场景：老板不会说“先查 A 再查 B"。老板会说：“我想规划个周末旅行，看看芝加哥和洛杉矶这周末天气咋样，顺便查查这两个地方有没有老鹰乐队（The Eagles）的演出，如果天气不好就换个地方，最后帮我做个 PPT 大纲。”
挑战：这需要实习生自己拆解任务，像拼乐高一样，知道哪些工具可以同时用（比如同时查两个城市的天气），哪些必须按顺序用（比如先查天气，如果天气不好再查演出，最后做 PPT）。
比喻：以前的考试是让你按说明书搭积木；现在的考试是给你一堆积木和一句“搭个能住人的房子”，你得自己设计结构。

技能二：读心术（隐含意图）

真实场景：老板说：“这天气太糟了，换个地儿。”
挑战：实习生得知道“这天气”指的是刚才查的芝加哥，“换个地儿”指的是刚才提到的洛杉矶或拉斯维加斯。如果老板说“我要那个作者的下一篇文章”，实习生得记住“那个作者”是谁，“下一篇”是相对于哪一篇。
比喻：以前的考试是老板把字都写全了；现在的考试是老板只说了一半，剩下的得靠实习生猜（而且猜对才行）。

技能三：见风使舵（指令切换）

真实场景：老板刚让查天气，突然说：“对了，你吃饭了吗？”（闲聊），然后又说：“哦对了，刚才那个天气，帮我查查洛杉矶的，还有，顺便帮我订个票。”
挑战：实习生得瞬间切换模式：从“查天气模式”切换到“闲聊模式”，再切回“订票模式”。如果它还在死板地查天气，或者把闲聊当成任务去执行，就挂了。
比喻：就像你在开车，前面是红灯，突然有人喊你，你后面又有人按喇叭。你得眼观六路，耳听八方，随时准备变道、刹车或加速，而不是只会直行。

3. 考试结果：惨不忍睹

作者找了 57 个 目前最厉害的 AI 模型（包括 GPT-4o, Claude, Gemini, 通义千问等）来考这个“野外生存”。

成绩：简直惨不忍睹！
- 在以前的“温室考试”里，这些模型可能能拿 80-90 分。
- 在 WildToolBench 的“野外考试”里，没有任何一个模型能超过 15 分（准确率）。
- 大多数模型甚至不到 60% 的任务能做完。

这意味着什么？
这说明现在的 AI 虽然很聪明，能写诗、能写代码，但一旦让它像真人一样去处理复杂的、多变的、充满潜台词的真实任务，它就晕头转向了。它像个只会做数学题的学霸，但不会处理人际关系和突发状况。

4. 论文的核心结论

这篇论文告诉我们：

别被假象骗了：以前那些高分评测，可能只是 AI 在做“假题”。
真正的难点不是“难”，而是“野”：任务本身不一定很难，难的是真实人类那种随意、模糊、多变的说话方式。
未来的方向：AI 不能只做一个“工具执行器”（你让我查我就查），它必须进化成一个“懂人”的助手，能听懂弦外之音，能灵活切换角色，能处理混乱的现场。

一句话总结：
现在的 AI 就像是一个只会按剧本演戏的演员，在排练室（旧评测）里表现完美；但一旦上了没有剧本的即兴舞台（WildToolBench），面对真实观众（用户）的突发状况，它就忘词、乱套、甚至下不来台了。这篇论文就是给 AI 行业敲响了警钟：要想真正落地，得先学会“接地气”。

《WildToolBench：基于真实用户行为的 LLM 工具使用基准测试》技术总结

1. 研究背景与问题定义

随着大语言模型（LLM）向智能体（Agent）演进，多轮对话和多步工具调用（Tool-Use）成为核心能力。然而，现有的主流基准测试（如 BFCL, ToolBench, $\tau$ -Bench 等）存在显著缺陷：

过度理想化：任务通常被设计为结构清晰、意图明确且信息完整的单轮或简单多轮任务。
忽视真实场景：未能捕捉真实用户交互中的复杂性，如组合性任务（多个简单需求合并）、隐式意图（信息分散在对话历史中）以及指令的动态转换（任务、澄清、闲聊混合）。
评估失真：现有基准下模型表现看似良好（饱和），但无法反映模型在真实“野生”环境下的鲁棒性。

核心问题：现有的 LLM 工具使用能力评估未能反映真实用户行为的复杂性，导致评估结果具有误导性，无法指导模型在真实场景中的改进。

2. 方法论：WildToolBench 构建

2.1 核心设计理念

WildToolBench 基于真实用户日志分析，提出了三个关键挑战，旨在模拟“野生”环境：

组合性任务（Compositional Tasks）：用户将多个简单需求合并为一个指令，要求 LLM 进行高效的工具调用拓扑编排（如并行、串行或混合调用），而不仅仅是简单的链式调用。
隐式意图推断（Implicit Intent）：用户意图分散在多轮对话中，包含部分信息缺失、指代消解（Coreference）和长距离依赖，要求 LLM 具备上下文推理和主动澄清能力。
指令动态转换（Instruction Transition）：用户在对话中自然地在任务执行、澄清、解释和闲聊之间切换，要求 LLM 能够实时调整策略（如从调用工具切换为直接回答或反问）。

2.2 数据构建流程

种子场景挖掘：分析大规模真实用户日志，提取种子场景和用户行为模式。
工具集构建：基于 ToolAlpaca，筛选并清洗了 400 个工具列表（覆盖约 1600 个 API），涵盖金融、编码、媒体、地理等 8 大类。
多智能体模拟与人工校验：
- 利用高性能 LLM 构建 User Agent 和 Assistant Agent 生成初始轨迹。
- 人工干预：9 名专家进行了多轮人工检查、修正和标注，确保数据符合真实分布，消除合成数据的“过度整洁”问题。
- 最终规模：256 个场景，包含 1024 个任务，平均对话轮次 5.27 轮，平均工具调用步数 1.92 步。

2.3 评估指标

除了传统的任务准确率，WildToolBench 引入了更细粒度的指标：

会话准确率（Session Accuracy）：一个对话中所有任务是否全部正确完成。
最优路径率（Optimal Path Rate, OP Rate）：评估工具调用拓扑是否是最优的（如是否避免了冗余调用，是否选择了并行执行）。
任务完成进度率（Accomplish Progress Rate, AP Rate）：衡量在失败任务中，模型成功执行了多少步骤。
错误分类：详细区分了动作错误（如选错工具、拒绝执行）、参数错误（类型、幻觉、值错误）等。

3. 关键贡献

首个基于真实用户行为的工具使用基准：填补了现有基准在“真实交互复杂性”方面的空白，强调了用户行为的组合性、模糊性和可变性。
揭示了 LLM 智能体能力的巨大差距：通过大规模评测，证明了当前最先进的模型在真实场景下表现极差，打破了“工具使用能力已成熟”的假象。
提出了新的评估范式：从单纯评估“能否调用工具”转向评估“如何理解用户意图并编排工具”，引入了 OP 和 AP 等细粒度指标。
开源与可复现：公开了数据集、评估脚本及 57 个模型的完整评测轨迹。

4. 实验结果与分析

研究团队在 57 个主流 LLM（包括专有模型如 GPT-4o, o1, Claude-4，开源模型如 Qwen, DeepSeek, GLM 等）上进行了评测。

4.1 整体表现

极低准确率：没有任何一个模型在**会话准确率（Session Accuracy）**上超过 15%。大多数模型的会话准确率低于 10%。
任务级表现：即使是任务级准确率，大多数模型也低于 60%。
模型对比：
- 专有模型整体优于开源模型。
- 推理型模型（如 o1, Gemini-2.0-Thinking）在隐式意图推断上表现较好，但在工具编排上并未全面碾压。
- 专用工具模型（Specialized Models）在泛化性上表现不佳，甚至不如通用大模型。

4.2 具体挑战分析

工具编排（Tool Orchestration）：
- 在混合多工具任务（Sequential + Parallel）中，最高任务准确率仅为 43.75%。
- 最优路径率（OP Rate）峰值仅为 42.74%，表明模型难以规划最高效的调用顺序。
隐式意图推断（Hidden Intent）：
- **长距离依赖（Long-Range Dependency）**是最难的任务类型，没有任何模型准确率超过 50%。
- 模型在处理指代消解和部分信息缺失时表现尚可，但在跨多轮对话的深层依赖上严重不足。
指令转换（Instruction Transition）：
- 随着对话中指令类型转换频率的增加，模型准确率显著下降（最高下降达 30%）。
- 模型存在自条件偏差（Self-conditioning）：倾向于重复之前的策略（如之前调用了工具，后续也倾向于调用），难以根据当前语境灵活切换策略。

4.3 错误分析

主要错误类型：从语法错误转向了语义和逻辑推理错误。
- **拒绝执行（Refusal）与错误调用（Wrong Name）**呈现两极分化：部分模型过于谨慎（高拒绝率），部分模型过于激进（高错误调用率）。
- 冗余调用（Redundant Call）和上下文管理失败是主要瓶颈，表明模型缺乏长期的规划能力。
- 专用模型在“选错工具”上的错误率极高（>30%），显示出过度专业化带来的脆弱性。

5. 意义与结论

重新定义评估标准：WildToolBench 表明，LLM 工具使用的未来挑战不在于构建更复杂的任务，而在于理解真实、混乱、灵活的用户行为。
能力缺口：当前 LLM 缺乏作为智能体所需的深层基础能力，包括指令遵循、长上下文理解、以及“心智理论”（Theory of Mind，即理解用户意图）。
指导意义：该基准为模型开发者提供了结构化的评估框架，指出了当前模型在长程规划、上下文管理和动态策略切换上的具体短板，为下一代 Agent 模型的训练和迭代指明了方向。

总结：WildToolBench 揭示了当前 LLM 在真实世界工具使用中的巨大能力鸿沟，证明了现有的理想化基准已无法衡量模型的真实水平，呼吁社区将研究重心转向更贴近真实用户行为的复杂交互场景。