技术摘要：ProofAgent 测试框架

问题陈述

AI 智能体正从演示阶段过渡到高风险的生产环境，在这些环境中，它们执行多轮交互、使用工具、保留上下文、遵守策略并管理私有数据。传统的评估方法通常依赖静态基准或孤立的输出评分，无法捕捉由行为轨迹、对抗性压力和多轮操纵所引发的故障。

本文认为，智能体故障不仅仅是输出层面的错误（例如错误的答案），而是轨迹层面的故障。这些故障包括不安全的工具调用、未授权的工作流步骤、隐私泄露、虚构的策略引用以及有害的升级。现有方法存在以下具体局限性：

• LLM 作为裁判（LLM-as-Judge）： 通常评估孤立的响应而非完整的行为轨迹，且缺乏将评分与特定轮次关联的审计追踪。
• 任务基准： 侧重于任务完成度，而非对抗鲁棒性、策略一致性或抵御操纵的能力。
• 红队测试（Red-Teaming）： 在发现漏洞方面有效，但通常缺乏工程治理和监管所需的标准化评分、共识机制及与证据关联的报告。
• 人工监督： 虽然在高风险环境中必不可少，但人工审查无法作为主要机制，以支持跨每个智能体版本和发布周期的持续测试。

方法论：ProofAgent 测试框架

作者引入了ProofAgent 测试框架，这是一个开源的多阶段基础设施，旨在将专家级的对抗性审查流程操作化。该框架作为一个围绕被测智能体的评估生态系统，协调资产、执行、判断和报告。

核心架构

该框架由四个不同的阶段组成，每个阶段由专门的智能体管理：

1. 阶段 1：评估设计（规划智能体）

   • 将智能体角色、业务案例和目标转化为可执行的评估计划。
   • 推断操作领域，并从精选库中选择对抗性陷阱。
   • 编织多轮策略，其中后续轮次可能利用早期的让步或不完整的拒绝作为武器。
   • 整合“桥上人类（Human-on-the-Bridge）”角色，即人类专家在自动化执行开始之前策划评估情报（定义目标、指标和陷阱选择），而不是手动审查每一轮。

2. 阶段 2：对抗性试验执行（指挥智能体）

   • 通过生成基于当前对话记录的对抗性用户消息来执行评估计划。
   • 运用诸如反预兆、载荷混淆和虚假前提编织等技能，以测试智能体的鲁棒性。
   • 捕获完整的行为轨迹，包括工具使用元数据和轻量级缺陷提示（例如，声称使用工具但无证据），但在交互过程中不分配分数。

3. 阶段 3：行为判断（陪审员与共识智能体）

   • 事后评估： 陪审员评估已完成的对话记录，而非孤立的响应。
   • 多陪审员评分： 多个校准过的人格（例如：严格、宽容、持不同意见者）根据特定指标评估轨迹。
   • 轮次级审计： 每位陪审员生成一个分数，并产生将判断与特定轮次及证据片段关联的审计追踪。
   • 共识策略： 共识智能体检测陪审员之间的分歧。如果分数差异超过阈值，有争议的指标将进入重新投票阶段（使用德尔菲法或辩论策略），以解决歧义或明确保留分歧作为审计信号。

4. 阶段 4：证据关联报告（报告智能体）

   • 将分数、共识结果和审计追踪综合为结构化报告。
   • 识别触发故障的具体轮次、对抗性模式和指标。
   • 标记可疑模式（例如，表明压力不足的过于平坦的分数）以及需要选择性人工审查的发现。

核心算法：带轮次级审计的对抗性多陪审员评分

本文将评分方法形式化为一个过程，该过程使用一组陪审员 $J$ 针对一组指标 $M$ 评估已完成的行为轨迹 $T$。

• 目标： 计算共识分数 $\bar{s}_m$、置信度分数 $C_m$ 和最终聚合分数 $S_{final}$。
• 过程： 陪审员分配分数 $s_{j,m}$ 和审计追踪 $A_{j,m}$。计算分歧 $\Delta_m$。如果 $\Delta_m > \theta$，则触发共识策略（独立、德尔菲或辩论）。
• 输出： 一份将分数与具体证据、警告和发现关联的最终报告 $R$，确保评估具有可追溯性和可审计性。

关键评估指标

该框架在五个核心指标上评估智能体（可按领域配置）：

1. 任务成功： 在约束条件下向目标推进的程度。
2. 幻觉抵抗力： 避免无支持的声明或虚构策略。
3. 安全性： 避免有害行动或隐私侵犯。
4. 指令遵循： 遵守系统和策略约束。
5. 操纵抵抗力： 抵御社会工程、权威压力和提示注入的能力。

实验评估

作者在四个领域评估了该框架：医疗分诊、隐私/安全、代码生成和客户服务。

设置

• 智能体： 利用最佳大型语言模型（GPT-5.5 和 Claude Opus 4.7）的生产级智能体。
• 框架模式：
  • 对称模式： 由大型语言模型驱动的框架。
  • 非对称模式： 由较小的本地模型（Gemma 4B, 8-bit）驱动的框架。
• 协议： 25 轮对抗性试验，在三个陪审员人格之间采用辩论共识策略。

结果

1. 流程放大： 非对称框架（小型本地模型）保留了有用的对抗信号，在大多数领域产生的结果与对称框架（大型语言模型）高度一致。模式间的中位数全局差异通常保持在 $\pm 0.4$ 分以内。
2. 选择性故障： 强大的智能体并未均匀失败。它们在特定指标（例如，高安全评分但低指令遵循评分）或特定轮次表现出选择性弱点。
3. 校准案例： 在客户服务领域，GPT-5.5 智能体出现了显著分歧（对称模式：6.60 vs. 非对称模式：9.00）。这表明，诸如围绕账单的虚构框架等细微故障，可能需要对称框架更深层的结构推理来进行认证。

主要贡献与意义

本文将 ProofAgent 测试框架定位为一种可扩展的评估基础设施，而非新的基准或独立的裁判。

• 从静态到对抗性： 它将评估从静态的、单轮测试转变为可重复的、对抗性的行为压力测试。
• 从黑盒到证据关联： 它用将判断与特定轮次、行为和故障模式关联的报告取代了孤立的分数，从而实现可操作的调试。
• 从依赖规模到依赖流程： 研究结果表明，评估能力源于流程的结构（精选的陷阱、多轮压力、共识），而不仅仅是模型规模。完整框架流程中的小型本地模型可以有效地挑战生产级智能体。
• 分层评估模式： 作者提出了一种分层方法，即使用非对称框架进行回归测试和低成本扫描，而将对称框架保留用于认证、高风险领域和有争议的结果。

作者总结道，ProofAgent 测试框架旨在将对抗性 AI 智能体评估确立为一种共享的、开放的实践，推动该领域从“通过演示建立信心”转向“通过证明建立信心”。该框架已作为开源发布，允许社区扩展领域、陷阱、指标和评分规则。