🤖 AI

ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox

本文介绍了 ComplexMCP，这是一个基于模型上下文协议构建的严格基准，包含 300 多个相互依赖的工具和动态环境模拟，其结果表明，由于工具检索饱和、过度自信和战略性悲观等瓶颈，当前的 LLM 智能体在复杂工作流中的表现显著低于人类。

原作者： Yuanyang Li, Xue Yang, Longyue Wang, Weihua Luo, Hongyang Chen

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanyang Li, Xue Yang, Longyue Wang, Weihua Luo, Hongyang Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在聘请一位非常聪明、博览群书的机器人助手来帮你运营一家复杂的业务。你给它一份任务清单，比如“买些股票、预订航班，并给朋友发条消息”。

过去，研究人员通过给这些机器人分配简单、孤立的任务来测试它们，比如“计算 2+2"或“查询天气”。机器人在这些任务上表现出色。但在现实世界中，任务往往错综复杂。它们相互依赖（在知道谁要出行之前无法预订航班），系统可能出现故障（互联网可能会延迟），而且环境在你工作时也会发生变化（你的朋友可能已经拉黑了你，或者你的购物车里可能已经有商品了）。

问题：“最后一公里”的差距
这篇名为《ComplexMCP》的论文作者认为，虽然我们的 AI 智能体擅长处理简单事务，但在“最后一公里”——即实际完成现实世界工作的最后、最困难的步骤——却表现不佳。它们就像一位能在空旷停车场完美平行泊车的司机，但在试图穿越布满坑洼和其他车辆的繁忙城市街道时却会撞车。

解决方案：为 AI 构建一个“模拟城市”
为了测试这些机器人应对真实混乱的能力，团队构建了ComplexMCP。不要把它看作简单的测验，而要把它想象成一个巨大的、模拟的视频游戏城市，包含 7 个不同的区域（如社交媒体小镇、股票市场、在线商店和旅行社）。

工具：在这个城市里，有超过 300 种不同的“工具”（按钮、杠杆和 API）供 AI 使用。
混乱：关键在于，这些工具是相互连接的。你不能只是按下一个按钮；你可能需要先修复网络、检查余额，或者验证用户身份，工具才能生效。
“种子”机制：为了确保测试既公平又真实，他们使用了一个“种子”（类似于随机数生成器）。这确保了每次运行测试时，城市看起来都略有不同（不同的用户、不同的价格、不同的网络速度），但规则保持不变。这防止了 AI 仅仅死记硬背答案。

大考：机器人 vs. 人类
研究人员将顶级 AI 模型（如 GPT-5、Gemini 和 Claude）放入这个城市，并给它们布置了 47 项复杂任务。同时，他们也让真实的人类使用完全相同的工具完成同样的任务。

结果：严峻的现实检验
结果令人惊讶且发人深省：

人类的成功率约为94%。
最佳 AI（Gemini-3-Flash）的成功率仅为**55%**左右。
即使是最先进的模型，其成功率也 struggle 难以超过 60%。

为什么机器人会失败？
该论文指出了这些聪明的智能体在现实世界中失足的主要原因：

“工具过载”（检索饱和）：想象一位图书管理员需要在拥有 30 万本书的图书馆里找到一本特定的书。如果你不给他们目录就让他们找书，他们会感到不知所措。同样，当 AI 需要从数百种工具中进行选择时，它往往会忘记正确的那个，或者被海量的选项搞得晕头转向。
“白板”偏见（过度自信）：这是最常见的错误。AI 假设世界是空白且崭新的，就像一个新的游戏关卡。然而现实中，“购物车”里可能已经有商品，或者“网络”可能已经中断。AI 跳过检查当前状态，直接尝试行动，从而导致错误（例如试图购买你已经拥有的东西）。这就像试图往一个已经装满的行李箱里添加新物品，却不检查是否还有空间。
战略上的悲观主义：当 AI 遇到小错误（例如临时的网络故障）时，它往往不是尝试修复（例如调用“网络加速器”工具），而是直接放弃。它利用其华丽的语言技巧礼貌地说“我做不到”，而不是尝试另一条路径来解决问题。这就像一位司机看到坑洼，不是绕过去，而是立即调转车头。

关于“检索”（RAG）呢？
研究人员还测试了给 AI 提供一个“搜索引擎”来查找正确的工具（而不是一次性展示所有 300 个工具）是否会有帮助。虽然这节省了一些内存，但实际上却让 AI 在这些复杂任务上表现得更差。为什么？因为搜索引擎无法找到下一步所需的“隐藏”工具。这就像你让图书管理员找“关于烹饪的书”，但你真正需要的那本书名叫《如何烤蛋糕》，而图书管理员没有建议它，因为这种联系并不明显。

结论
该论文总结道，虽然 AI 变得越来越聪明，但它尚未准备好在复杂、混乱的现实环境中成为完全自主的劳动者。它缺乏感知世界当前状态、从微小错误中恢复以及驾驭复杂依赖链的能力。ComplexMCP 现在是 AI 的新“驾驶考试”，旨在发现这些弱点，以便下一代机器人能够学会在城市中行驶而不发生撞车。

技术摘要：ComplexMCP

问题陈述

当前的大语言模型（LLM）代理在调用孤立 API 方面表现出熟练度，但在商业软件自动化的“最后一公里”面临显著困难。在现实世界的企业和消费者场景中，工具很少是独立的；它们是原子的、高度相互依赖的，并且容易受到环境噪声（如网络延迟、状态不一致和瞬态错误）的影响。现有的基准测试未能捕捉到这种复杂性。像 ToolBench 这样的数据集依赖于独立的 RESTful API，缺乏真实的执行环境；而其他数据集如 $\tau$ -Bench 或 BFCL 要么缺乏规模，要么依赖抽象语法树匹配而非真实调用，要么利用精确预定义的环境，缺乏现实世界设置中的模糊性和随机性。因此，在评估代理在大规模、相互依赖的工具生态系统中稳健导航并展示错误恢复能力方面，存在关键差距。

方法论

作者引入了 ComplexMCP，这是一个基于模型上下文协议（MCP）构建的严格评估框架，用于模拟动态、有状态且随机的工具生态系统。

1. 系统架构

ComplexMCP 集成了 15 个 MCP 服务器中的 315 种不同工具，分为两种范式：

有状态服务器（7 个应用）： 这些服务器在代理的整个运行过程中维持持久的环境状态（ $S$ ）。它们包括 LightOS（系统协调）、LightTalk（社交平台）、LightShop（电子商务）、LightWeather（气象）、LightFlight（航空）、LightStock（金融交易）和 LightNews（媒体）。这些工具表现出强烈的相互依赖性；例如，发送消息可能需要解析用户 ID、验证网络状态以及解除联系人屏蔽。
无状态服务器（8 个应用）： 这些服务器处理独立的功能操作（如数学、密码学、化学、字符串处理），在调用之间不保留状态。

2. 种子驱动动态

为了确保可重复性和环境多样性，ComplexMCP 采用了 种子驱动架构。单个随机种子（ $\sigma$ ）确定性控制：

环境初始化： 基于种子采样合成知识库（用户档案、交易历史等），创建独特但结构一致的环境。
执行扰动： 种子控制执行过程中的随机事件，如 API 故障或网络延迟，模拟现实世界的不确定性。

3. 评估框架

该基准测试利用 确定性的、基于规则的评估系统，而非主观的“LLM 作为裁判”评分。

指标： 系统将最终环境状态（ $env_{new}$ ）与源自人工策划指令集的真实目标状态（ $env_{gt}$ ）进行比较。
关键指标：
- 完成率（ $R_c$ ）： 正确修改的状态元素与所需总更改量的比率。
- 异常行为率（ $R_b$ ）： 意外副作用（修改本应保持不变的状元素）的比率。
成功标准： 仅当 $R_c = 1$ 且 $R_b = 0$ 时，轨迹才被视为正确。

4. 实验设置

作者评估了 16 种最先进的商业 LLM（包括 GPT-4o、GPT-5、Gemini 系列、Claude 系列、Llama-3、Qwen-3-Max、DeepSeek-V3 等），涵盖了 47 个人工策划的任务。这些任务需要协调多个工具且没有明确提示，迫使代理依赖内部推理。该研究还比较了“全上下文”提示与检索增强生成（RAG）策略（标准和迭代），以评估效率与逻辑完整性之间的权衡。

关键结果

评估揭示了当前最先进模型与人类性能之间的巨大差距：

成功率： 表现最好的模型 Gemini-3-Flash 的成功率为 55.31%，而 GPT-5.1 得分为 19.14%。相比之下，人类志愿者的成功率为 93.61%。
令牌瓶颈： “全上下文”ReAct 范式产生了巨大的令牌开销。对于平均需要 11 轮工具调用的任务，初始系统提示（包含约 30,000 个令牌的工描述）被重新提交 12 次，导致每个任务约 360,000 个输入令牌。这造成了显著的经济和延迟成本。
RAG 局限性： 虽然迭代 RAG 通过减少令牌数量提高了效率，但未能达到全上下文方法的性能。作者将此归因于语义检索无法捕捉复杂多步工作流所必需的 潜在工具依赖关系。

识别出的失败模式

细粒度的轨迹分析确定了三个根本瓶颈：

工具检索饱和： 随着动作空间扩展（例如 >300 个工具），许多模型遭受“认知过载”，导致成功率下降。虽然某些模型（Gemini-3-Flash、Claude-Opus-4）通过长上下文处理缓解了这一问题，但其他模型（GPT-4o、DeepSeek-V3）则面临显著困难。
“白板”偏见（过度自信）： 模型经常假设环境处于默认或空状态，绕过关键的验证步骤（例如检查现有的购物车内容或网络状态）。这导致意外后果，如购买冗余物品或未能解决预先存在的冲突。
战略悲观主义： 遇到瞬态错误（如网络超时）时，模型往往过早中止任务，而不是尝试恢复策略（例如重试或调用缓解工具如 acc_network）。这种行为在 GPT-5 中尤为普遍，它倾向于“礼貌地放弃”而不是寻求备用解决方案。

意义与主张

该论文将 ComplexMCP 定位为下一代弹性自主系统的关键测试平台。其主要贡献包括：

真实性： 这是第一个在统一的 MCP 原生架构下，将大规模工具集与有状态、随机和动态环境同时整合的基准测试。
诊断价值： 通过识别“白板”偏见和战略悲观主义等具体失败模式，该工作为提升代理鲁棒性提供了清晰的路线图，超越了简单的工具调用，迈向真正的环境感知和恢复。
标准化： 通过利用模型上下文协议，ComplexMCP 促进了工具使用接口的标准化、可重复和互操作性评估，解决了当前代理研究中的碎片化问题。

作者总结道，虽然当前的代理显示出希望，但它们仍不足以应对相互依赖的工作流，而 ComplexMCP 是开发能够处理现实世界软件自动化复杂性的代理的必要步骤。