🤖 AI

AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems

本文介绍了 AgentForesight，这是一个框架，其核心在于利用新构建的 AFTraj-2K 数据集训练的一个紧凑在线审计器，以实时预测并定位基于大语言模型的多智能体系统中的决定性错误，从而实现在部署阶段的干预，而非依赖事后归因。

原作者： Boxuan Zhang, Jianing Zhu, Zeru Shi, Dongfang Liu, Ruixiang Tang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Boxuan Zhang, Jianing Zhu, Zeru Shi, Dongfang Liu, Ruixiang Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一支机器人团队协同工作，共同组装一件复杂的家具。它们有一个计划：一台机器人负责切割木材，另一台负责打磨，第三台负责喷漆。

在过去，如果最终制成的桌子摇晃不稳或颜色涂错，专家们会等到最后，看着成品的一团糟，然后说：“啊，问题出在打磨机器人使用了错误的砂纸粒度上。”这被称为事后故障归因。这就像侦探在房子已经烧毁后才去破案。你知道是谁干的，但无法阻止火灾的发生。

AgentForesight 改变了这一局面。想象一位超级警觉的安全检查员站在机器人旁边，实时观察它们每一个动作，而不是坐等灾难发生。

核心理念：“停或行”检查员

这位检查员（即审计员）并不知晓未来。它只能看到到目前为止发生的情况。在每一个步骤，检查员都必须做出瞬间决定：

继续：“目前一切看起来安全。让机器人继续工作。”
警报：“停下！我刚刚发现了一个关键错误。如果我们让它们继续，整个项目将失败。”

目标是捕捉决定性错误——那个导致列车脱轨的特定时刻——在其他机器人盲目跟随这一错误指引并毁掉整个项目之前将其拦截。

问题：为何此前如此困难？

直到如今，我们缺乏训练这些检查员所需的良好数据。

“安全”问题：大多数现有数据仅展示了失败的项目。我们没有足够完美项目的示例，在这些示例中，我们确切地知道每一步都没有出错。仅基于失败案例训练的检查员可能会惊慌失措，叫停每一个项目，认为任何小插曲都是灾难。
“时机”问题：现有模型擅长在查看已完成的失败案例后说：“问题出在第 4 步。”但它们极不擅长在第 4 步正在进行时就指出：“立刻停下！”

解决方案：AgentForesight

研究人员构建了一个包含三个主要部分的新系统：

1. 训练手册（AFTRAJ-2K）

他们创建了一个名为AFTRAJ-2K的庞大机器人工作日志库。

安全日志：他们仔细筛选了数千个成功的机器人任务，确保它们从头到尾真正完美。这教会了检查员“安全”是什么样子的。
破损日志：他们选取安全任务，并在特定步骤故意制造故障（例如指示机器人使用错误的工具），然后利用一组 AI 裁判来一致确认哪一个步骤导致了失败。这教会了检查员何时该拉响警报。

2. 训练方法（由粗到精）

他们没有直接将检查员扔进深水区，而是像训练武术学生一样分两个阶段进行：

阶段 1：“直觉”（风险预判）：首先，他们教导检查员分辨“安全”时刻与“危险”时刻的区别。他们向检查员展示成对的步骤：“这看起来安全”与“这看起来危险”。检查员学会了感知事物出错的分界线。
阶段 2：“狙击手般的精准”（精确性）：一旦检查员具备了良好的“直觉”，研究人员便进一步磨练其技能。他们教导它 pinpoint（精确定位）确切的步骤以及确切负责的机器人。他们使用了一套奖励机制，当检查员在以下三方面做对时给予表扬：
- 什么：是否给出了正确的答案格式？
- 何处：是否在确切的步骤捕捉到了错误？
- 谁：是否归咎于正确的机器人？

3. 成果（AgentForesight-7B）

成果是一个紧凑、快速的 AI 审计员（命名为AgentForesight-7B），可与其他 AI 系统并行运行。

更快更智能：在测试中，它捕捉错误的能力远超庞大且昂贵的 AI 模型（如 GPT-4.1 或 DeepSeek-V4-Pro）。
精准：它不仅仅说“有些东西错了”；它会说：“停下！经理机器人在第 3 步犯了错。”
实用：它体积小巧，足以在标准硬件上运行，意味着它实际上可用于现实世界的应用，而不会拖慢整体速度。

为何这很重要

将其视为AI 团队的拼写检查器。

旧方式：你写完整篇文章并提交，然后拼写检查器说：“你在第 1 页犯了一个拼写错误。”但文章已经发送了。
AgentForesight 方式：当你输入时，拼写检查器在你犯错的那一刻就高亮显示错误，甚至在你完成句子之前。它阻止你发送一个有缺陷的产品。

该论文声称，这一系统允许我们在 AI 工作过程中进行干预，防止小错误在编码、数学和网页导航任务中演变成巨大且不可逆的失败。它将故障分析从“尸检”（post-mortem）转变为“活体手术”（saving the patient）。

技术摘要：AgentForesight

1. 问题定义

本文针对基于大语言模型（LLM）的多智能体系统中存在的一个关键可靠性瓶颈：“级联失效”现象。在长视野任务中，单个决定性错误（例如格式错误的工具调用或推理缺陷）常被下游智能体接受，沿轨迹传播，导致最终结果无法挽回。

现有方法将此问题框架化为事后归因，即模型仅在轨迹完成并失败后，才诊断出负责的智能体和步骤。作者认为，这种范式放弃了干预的机会。一旦事后诊断出失败，下游智能体已消耗资源，并可能触发了不可逆的副作用。

本文将此问题重新框架化为在线审计。在此设定下，专用审计器仅观察展开轨迹的当前前缀（无法访问未来步骤、工具响应或最终结果），并必须在每一步做出继续或报警的裁决。审计器必须：

可靠地区分仍处于安全状态的前缀与已越过决定性错误的前缀。
在错误发生的确切步骤发出报警，而非事后追溯。

2. 方法论

作者提出了AgentForesight，这是一个包含精心构建的数据集和由粗到细训练食谱的框架。

A. 数据集：AFTRAJ-2K

为支持在线审计，作者构建了AFTRAJ-2K，这是一个包含约 2,300 条智能体轨迹的语料库，涵盖编码、数学和智能体领域。与仅标注已完成失败的前序数据集不同，AFTRAJ-2K 为安全和不安全轨迹均提供了步骤级监督：

已验证的安全轨迹 ( $D_{safe}$ )：成功运行通过严格流程（结果等价性、工具完整性和连贯性检查）进行过滤，以确保其中不包含可能误导审计器的“静默”中间错误。
失败轨迹 ( $D_{unsafe}$ )：通过两个流构建：
- 构建流：向已验证的安全轨迹中注入受控的决定性错误（例如重写工具调用或裁决），以创建具有已知真实错误步骤的反事实失败。
- 诊断流：自然失败的轨迹，其决定性步骤未知。这些轨迹通过“提议 - 验证”集成进行标注，利用多个 LLM 裁判达成共识，确定最早的决定性错误步骤和负责的智能体。

B. 模型：AgentForesight-7B

作者使用由粗到细的强化学习（RL）食谱训练了一个紧凑的在线审计器（基于 Qwen2.5-7B-Instruct）：

阶段 1：失败边界对齐（BPPO）：
模型被训练以识别安全前缀与不安全前缀之间的急剧转变。利用边界对偏好优化（BPPO），模型学习对决定性错误之前的前缀输出 CONTINUE，对包含错误的前缀输出 ALARM。这在失败边界处建立了“风险预期先验”。
阶段 2：三轴裁决锐化（GRPO）：
模型进一步使用**组相对策略优化（GRPO）**进行细化，采用针对三个轴的综合奖励函数：
- 什么（结构）：确保输出遵循严格的 JSON 模式（裁决、步骤、智能体、原因）。
- 哪里（时机）：奖励对决定性步骤的精确定位（使用以真实值为高斯中心的奖励）。
- 谁（归因）：奖励识别出正确的负责智能体。
  此阶段将风险预期先验锐化为精确的步骤级定位。

3. 主要贡献

在线审计范式：本文引入了在线审计作为失败分析在部署时的重新框架，从事后诊断转向主动的、步骤级的干预。
AFTRAJ-2K：一个精心构建的数据集，提供了安全和不安全轨迹的首个步骤级真实值，并通过多裁判共识标注了决定性错误步骤和负责智能体。
AgentForesight-7B：一个通过两阶段 RL 食谱训练的紧凑在线审计器，在前缀受限设定下显著优于规模更大的专有模型。
实证验证：广泛的评估表明，由粗到细的方法产生了一个能够在失败传播锁定之前进行干预的模型。

4. 实验结果

作者在保留的 AFTRAJ-2K 划分和外部Who&When基准上评估了 AgentForesight-7B。

AFTRAJ-2K 上的表现：AgentForesight-7B 实现了66.44 的精确步骤 F1 分数，比最强的专有基线（DeepSeek-V4-Pro）高出**+19.9%（46.56）。它还将绝对步骤偏移（定位误差）降低了3 倍**（0.59 对比 1.77）。
泛化能力：在外部 Who&When 基准上，AgentForesight-7B 实现了57.69% 的步骤准确率和73.08% 的智能体准确率，在步骤准确率上比 GPT-4.1 高出约 19.6 个百分点。
部署权衡：该模型运行在“可部署区域”内（误报率 ≤ 20%，步骤准确率 ≥ 50%），而像 DeepSeek-V4-Pro 这样更强的专有基线由于高误报率而落在此区域之外。
消融实验：两阶段食谱被证明至关重要；仅阶段 1 将 F1 从 21.1 提升至 35.6，仅阶段 2 达到 50.4，但必须结合两者才能在复杂的智能体领域实现最终的 66.44 分数。

5. 意义与主张

本文主张 AgentForesight 将闭环从事后失败检测扩展至部署时干预。通过将失败分析视为在线审计任务，该框架使系统能够在决定性错误变得可见的那一刻停止执行，从而防止导致全轨迹失败的错误级联。

作者强调，其收益源于专为在线设定定制的专用训练食谱和数据集，而非简单地扩大模型规模。他们指出，即使直接重新利用事后归因模型（AgentDebug-7B）也无法在在线协议下成功，这突显了该问题的独特性质。这项工作将外部审计器定位为一种模块化、专用的安全机制，可独立于底层多智能体系统进行更新，为实现更可靠、运行时安全的智能体部署提供了一条路径。