MCPEvol-Bench: Benchmarking LLM Agent Performance Across Dynamic Evolutions of MCP Servers
本文介绍了 MCPEvol-Bench，这是一个通过模拟真实的接口变化来评估大语言模型（LLM）智能体对 MCP 服务中动态工具集演进适应能力的创新基准测试，研究揭示了即使是目前最先进的模型在面对此类适应性挑战时也会表现挣扎，并遭受显著的性能下降。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在建造一个超级智能的机器人助手。你教会它使用工具——比如计算器、日历或搜索引擎——来为你解决问题。在人工智能的世界里，这些工具通常通过一个被称为模型上下文协议（Model Context Protocol, MCP）的标准系统连接在一起，它就像一个通用的即插即用适配器，让你的机器人可以从庞大的数字工具箱中抓取任何它需要的工具。长期以来，科学家们通过给机器人一组静态的工具并观察它们是否能解开谜题来测试它们。这就像是在赛道上测试一名驾驶员，而赛道上的路标永远不会移动，交通灯也永远不会变化。但在现实世界中，工具是混乱且充满活力的；它们会被不断更新、重命名或替换。一个大问题是：如果工具箱在机器人工作时发生了变化，它会感到困惑并崩溃，还是会适应并继续运行？
这正是 MCPEvol-Bench 背后的研究人员想要弄清楚的问题。他们意识到之前的测试太简单了，因为它们没有考虑到工具会演变的事实。为了解决这个问题，他们构建了一个新的动态测试场，名为 MCPEvol-Bench。他们没有创造一个静态的赛道，而是创造了一个“活生生”的环境，在这个环境中，机器人使用的工具会在任务执行过程中发生变化。他们研究了 123 个真实的工具服务器，并发现，在现实世界中，大约 20% 的远程服务器会离线，且超过一半的工具会随着时间的推移被删除或替换。为了模拟这种混乱，他们发明了 11 种“突变算子”——可以把它们想象成数字突变病毒——这些算子会自动微调工具。它们可能会增加一个新按钮、重命名一个参数，或者完全删除一个功能，就像真实的软件开发人员在进行更新时所做的那样。
结果令人有些警醒。研究人员测试了 12 个最先进的 AI 模型，包括像 GPT-5.4 和 Claude-Sonnet-4-6 这样的重量级选手。在开始阶段，当工具保持稳定时，这些模型的表现很好。但一旦工具开始演变，机器人就开始踉跄蹒跚。即使是最聪明的模型，在工具发生变化时，其成功率也会显著下降——下降了约 13.7% 到 14.4%。研究发现，机器人并不一定是忘记了如何使用工具，而是在“规划”和“推理”阶段迷失了方向。这就像一位厨师明明知道如何完美地切洋葱，却突然发现菜刀被换成了一把勺子；他们不知道该如何调整食谱，结果把事情搞砸了。研究人员发现，添加新工具或更改描述最容易让智能体感到困惑，而移除不必要的工具反而会有所帮助。他们还发现，为智能体添加诸如记忆和反思之类的“认知”功能有助于它们更好地适应，这表明 AI 的未来不仅仅在于变得更聪明，还在于当周围世界发生变化时，能够变得更具灵活性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。