技术摘要：基于代理状态的多轮工具调用大语言模型智能体评估

问题陈述

交互式大语言模型（LLM）智能体正日益被部署于工业工作流（如电子商务、账户管理）中，以解决多轮、多步骤的工具调用任务。有效的开发需要两个组成部分：（1）能够准确反映智能体是否达成用户目标的稳定评估；（2）用于从交互和环境反馈中学习的策略内（on-policy）数据生成。

当前的智能体基准测试（例如 $\tau$-bench、$\tau^2$-bench、AppWorld）采用“基准即环境”范式，进行基于最终状态的评估。虽然这种方法正确地对终端数据库状态进行评分，而非僵化的轨迹匹配，但它依赖于完全确定性的后端。构建和迭代这些确定性引擎需要大量的工程工作（例如模式设计、确定性工具、断言），某些基准测试甚至需要数万行代码和广泛的单元测试。这种工程负担拖慢了迭代速度，并限制了工业应用的可扩展性。

本文探讨的核心问题是：我们能否在无需构建重型确定性后端的情况下，保留基于最终状态评估的优势？

方法论：基于代理状态的评估

作者提出了基于代理状态的评估，这是一个由大语言模型驱动的模拟框架，用大语言模型推断的“代理状态”取代了确定性数据库。该系统作为一个“基准即环境”运行，由五个协同工作的大语言模型组件构成：

1. 场景规范（$z$）： 一个结构化对象，定义用户目标、用户事实、系统事实（初始状态）、预期的最终代理状态以及预期的智能体行为。这取代了对真实轨迹（ground-truth trajectory）的需求。
2. 推理智能体（RA）： 待评估的模型，遵循 ReAct 风格的循环（推理 $\to$ 行动 $\to$ 观察），通过多轮对话和多步骤工具调用与环境交互。
3. 用户模拟器（$f_{user}$）： 根据场景中的用户事实、目标以及特定人设（例如：高级用户、困惑者、模糊表达者）生成用户话语。
4. 工具模拟器（$f_{tool}$）： 通过“读取”和“写入”当前的代理状态来模拟工具响应（例如账户管理、电子商务），依据推理智能体的子查询和系统事实进行操作。
5. 状态追踪器（$f_{state}$）： 一个大语言模型组件，从直到步骤 $(t,k)$ 的完整交互轨迹中推断结构化代理状态（$\tilde{s}_{t,k}$）。与逐步状态更新不同，它基于整个轨迹前缀进行条件判断，以确保对误差累积的鲁棒性。
6. 大语言模型裁判：
   • 目标完成裁判： 根据场景的预期最终状态和行为，评估最终代理状态和智能体响应，对结果进行分类（目标完成、用户错误或智能体错误）。
   • 幻觉检测裁判： 检测工具模拟器或用户模拟器是否生成了与场景约束不一致的信息。

评估指标： 该框架测量目标完成率（GC）、用户/智能体错误率以及幻觉率（工具和用户）。它同时支持策略内数据生成（用于拒绝采样微调）和策略外数据生成（用于监督微调）。

主要贡献

1. 基于代理状态评估的形式化： 本文形式化了一种实用的基准测试，它保留了基于状态的评估原则，无需确定性后端，而是利用从交互轨迹中提取的大语言模型推断的代理状态。
2. 场景模式与组件架构： 引入了一种特定的场景模式和一个五组件大语言模型架构（推理智能体、用户模拟器、工具模拟器、状态追踪器、裁判），它们协同工作以模拟复杂的工作流。
3. 可靠性框架： 作者定义了可靠性标准，包括自举标准误、幻觉率以及人类与大语言模型裁判的一致性。他们针对人设敏感性、系统/用户事实完整性以及状态追踪器强度执行了针对性的消融实验。
4. 可扩展的数据生成： 该环境生成了适用于后训练（SFT/RFT）的可扩展的策略内和策略外 rollout，并为模型比较提供了稳定的指标。

结果

该基准测试在多样化的模型系列（GPT-5、GPT-4o、Gemini-2.5、Qwen3）和推理力度下进行了评估：

• 模型区分度： 目标完成率（GC）随模型强度和推理时推理力度的增加而一致提升。例如，在 GPT-5 系列中，更高的推理力度带来了单调的 GC 增益（高：85.76% > 最小：66.04%）。
• 训练有效性： 在此环境中对基础 Qwen3-30B-A3B 模型进行训练显著提升了性能。使用来自更强教师模型的策略外数据进行监督微调（SFT），使 GC 从 65.64% 提升至 77.34%。拒绝采样微调（RFT）也带来了改进。
• 对复杂性的鲁棒性： 虽然基础模型的性能随对话深度增加而下降，但 SFT 训练在长对话中提供了显著增益（+26.69 个百分点），表明训练信号泛化到了更困难的多步骤交互中。
• 可靠性与幻觉：
  • 人类与大语言模型一致性： 超过 90%，验证了自动化评估的有效性。
  • 模拟器幻觉： 在默认配置下（GPT-5o 配合中等推理力度），工具和用户幻觉率接近零（分别为 1.33% 和 0.67%）。
  • 消融发现： 从场景中移除系统事实或用户事实会导致幻觉率单调增加，证实了细致的场景规范至关重要。较弱的状态追踪器（例如 GPT-4o）增加了工具幻觉率，突显了准确状态推断的必要性。
• 跨模型鲁棒性： 即使交换模拟器和裁判模型（例如使用 Gemini-2.5-Pro 代替 GPT-5o），模型排名和训练增益仍保持一致，排除了单一模型系列设置带来的循环偏差。

意义与主张

本文主张，基于代理状态的评估为工业大语言模型智能体提供了一种实用且可扩展的替代方案，以取代确定性的智能体基准测试。通过将基于状态的评估与构建确定性后端的工程负担解耦，该框架实现了：

• 更快的迭代： 场景可以快速搭建，并随产品路线图演变，无需大量的代码工程。
• 严格的评估： 它在支持多种正确工具调用路径的灵活性的同时，保持了最终状态验证的严谨性。
• 有效的训练： 它生成高质量的策略内和策略外数据，成功通过 SFT 和 RFT 提升了开源智能体的性能，且增益可迁移至未见过的场景。

作者将这项工作定位为并非要取代所有确定性测试，而是针对工业环境的必要演进；在这些环境中，构建确定性后端的成本过高，但基于状态、以目标为导向的评估需求依然至关重要。