技术摘要：MCP-Persona

问题陈述

模型上下文协议（Model Context Protocol, MCP）已成为连接大语言模型（LLM）与外部工具及数据的标准。然而，现有的基准测试主要评估智能体在通用的、无状态的信息检索工具上的表现。它们未能解决现实世界个性化应用（例如社交媒体、企业协作套件）中的复杂性，在这些应用中，工具与个人账户、历史行为及本地数据库紧密耦合。

在这些领域评估智能体面临三个关键障碍：

1. 部署成本： 真实的测试需要访问私有用户数据以及大量的环境搭建人力。
2. 隐私约束： 操作安全性限制了个人上下文的收集与共享，阻碍了开源基准测试的构建。
3. 模拟稳定性： 在确保公平评估的同时，维持一个能够模拟异构用户的稳定且可执行的环境，在技术上具有挑战性。

因此，最先进（SOTA）的智能体在处理个性化、有状态工具使用方面的性能仍处于很大程度上未被探索和评估的状态。

方法论：MCP-Persona

为了填补这一空白，作者引入了 MCP-Persona，这是首个旨在通过环境模拟来评估智能体在现实世界个性化 MCP 工具上表现的基准测试。该系统基于三个核心组件的交互构建而成：工具（Tools）、上下文（Contexts，即用户画像）和任务（Tasks）。

1. Tool-Traverse（工具遍历/模拟）

作者没有依赖静态文档，而是提出了“先遍历后模拟”（traverse-then-simulate）的范式，以创建 MCP 服务器的高保真本地副本。

• 数据收集： 他们手动部署了 12 个多样化的 MCP 服务器（包括 Lark、Slack、Rednote、Instagram），并配备了沙盒环境和测试账号。
• 真实函数调用（FC）遍历：
  • 引导阶段（Bootstrapping）： 人类标注员创建有效的“种子”函数调用，以记录常规行为。
  • 对抗性诱导（Adversarial Induction）： 由 LLM 驱动的流水线生成无效输入（例如类型不匹配、模式违规），以捕获错误处理逻辑和决策边界。
• 基于代码的模拟： 利用收集到的成功和失败的追踪记录，LLM 自主合成每个工具的可执行 Python 代码。这段代码充当有状态的模拟器，包含一个“上下文处理器”（Context Handler）模块，用于管理实体的持久化（加载、保存、查询、修改），并具备根据动态上下文验证输入的逻辑。

2. Context-Tree（上下文树构建）

为了支持有状态操作，作者为每个服务器构建了一个结构化的、可变的上下文树（Context-Tree）。

• 层级结构： 根据工具参数定义树状结构（例如：用户 → 日历 → 事件）。
• 内容来源： 节点通过四种方法填充：
  1. 枚举（Enumerate）： 从固定集合中进行约束采样。
  2. 自由形式（Free-Form）： LLM 生成的文本。
  3. 随机（Random）： 带有格式约束的合成生成。
  4. 真实内容（Authentic）： 经过脱敏处理的真实世界内容（例如真实的 Rednote 帖子）。
• 链接： 通过从生成内容中采样标识符来建立跨实体链接，以确保关系的一致性。

3. Persona-Gen（任务生成）

一个两阶段流水线生成了 173 个经人工验证的个性化任务。

• 原型合成： 根据依赖性、多样性和连贯性约束对工具调用链进行采样。LLM 生成带有占位符的抽象指令骨架（$S_{proto}$）。
• 上下文注入与模糊化： 来自上下文树的真实数值替换占位符。至关重要的是，应用了指令模糊化（Instruction Fuzzification）：执行特定的参数（隐式上下文）从指令中移除，以模拟现实世界的歧义性（例如，用户说“给我的主管发消息”，却未指定主管的 ID，这需要智能体从环境中推断出该信息）。
• 人工验证： 标注员审查任务，以确保模糊指令、解耦的上下文与地面真值（ground-truth）工具链之间的一致性。

评估指标

该基准测试采用了基于检查点（由 LLM 判断中间步骤）和基于执行（CRUD 操作成功率）的两种评估方式。指标包括检查点准确率（Acc）、0.8 成功率（SR-0.8）和执行准确率（Exec-Acc）。

关键结果

研究人员在十多个 SOTA 模型（包括 GPT-5、Claude-Sonnet-4.5 及各种开源模型）上进行了广泛实验，涵盖单服务器和跨服务器场景。

1. 显著的性能差距： 即便是最先进的模型也表现挣扎，没有任何模型在基准测试中的准确率超过 50%。Claude-Sonnet-4.5 取得了最高的综合准确率（41.50%），紧随其后的是 GPT-5（41.45%）。
2. 任务难度：
   • 邮件任务由于操作简单，难度最低。
   • 社交媒体和协作平台由于涉及跨用户交互和隐式实体解析，更具挑战性。
   • **跨服务器（Hodgepodge）**任务最为困难，凸显了在不同生态系统间协调工具时的失败。
3. 失败模式： 轨迹分析识别了三种反复出现的失败原型：
   • 探索不足（Under-exploration）： 智能体未能针对缺失的隐式信息查询环境（例如，未能从姓名解析出用户 ID）。
   • 跳过依赖（Skipping Dependencies）： 智能体跳过了必要的中间步骤（例如，在安排会议前未将电话号码转换为用户 ID）。
   • 长上下文退化（Long Context Degradation）： 随着上下文窗口被大量载荷填满，性能显著下降，导致智能体丢失初始约束。
4. 模拟保真度： Tool-Traverse 方法的表现显著优于仅依赖文档的基准（Vanilla），其行为对齐度达到 94.0%，而后者仅为 58.0%，证明了遍历真实服务器能获得更准确的错误处理和响应结构。
5. 技能增强： 提供专门的技能文档（尤其是经过人工精炼的文档）提升了性能，但差距依然显著。

重要性与贡献

本文声称有三项主要贡献：

1. Tool-Traverse： 一种严谨的模拟方法，能够忠实地复制现实世界的个性化 MCP 工具，克服了无法开放评估受账号绑定的服务器的问题。
2. MCP-Persona 基准测试： 一个全新的评估平台，包含 173 个经人工验证的任务，涵盖四个代表性的个性化场景（社交媒体、协作、内容管理、电子邮件），解决了测试智能体在沟通与协作工作流中需求的紧迫性。
3. 经验洞察： 研究揭示了 SOTA 智能体在个性化工具使用方面存在重大局限性，特别是在隐式接地（implicit grounding）、多步状态维护以及跨工具协调方面。

作者将 MCP-Persona 定位为一个可复现、保护隐私的测试平台，旨在加速开发能够处理真实用户细致、富含上下文的工作流的智能体，从而弥合通用助手与深度个性化、技能驱动型对手之间的差距。