💬 NLP

Tracing Agentic Failure from the Flow of Success

该论文提出了 OAT，一种轻量级的无监督故障归因模型，该模型利用神经受控微分方程进行单类学习，通过对成功轨迹的动力学进行建模来识别基于大语言模型（LLM）的智能体系统中的错误步骤，其速度和准确率均显著高于现有的基于提示或监督的方法。

原作者： Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观察一群机器人助手尝试建造一个树屋。它们互相交流、抓取工具、测量木材。突然，屋顶坍塌了。究竟是哪一个具体的动作导致了这场灾难？ 是它们忘了测量木材？还是用了错误的锤子？或者是关于设计方案争论得太久了？

寻找这一个错误的步骤，就像是在一千个机器人动作组成的干草堆中寻找一根掉落的针头。通常，为了解决这个问题，专家们必须坐下来，手动标注每一次失败尝试中的每一个错误，从而教给一个超级聪明的 AI（就像一个巨大的大脑）如何识别错误。但这既缓慢又昂贵，且需要大量的人力劳动。

论文的核心思想：仅从成功中学习
作者 Samuel Yeh 及其团队说：“等等。为什么我们一定要通过研究失败来寻找错误呢？如果我们只研究那些完美的树屋呢？”

他们提出了一种名为 OAT（单类智能体追踪，One-class Agent Tracing）的新方法。OAT 不是向 AI 输入一个破碎机器人的库并要求它学习什么是“错误”，而是只给它输入成功的、完美的轨迹。它学习的是完成一项完美工作的“节奏”或“流向”。它学习机器人在一切顺利时应该如何移动、思考和行动。

神奇的技巧：隐形的河流
这里是最酷的部分。团队将机器人的动作视为一条随时间流动的河流。他们使用了一种叫做神经控制微分方程（Neural Controlled Differential Equations, Neural CDEs）的数学工具。你可以把它想象成一张极其精确的地图，描绘出了机器人应该采取的“理想路径”。

当机器人失败时，就像河流突然撞到了岩石或卷入了漩涡。因为 AI 准确地知道平滑、成功的河流是什么样子的，所以它可以瞬间发现哪里变得波涛汹涌。它会为每一个步骤分配一个“怪异度分数”（异常得分）。如果某一步看起来与完美的流向过于不同，AI 就会将其标记为罪魁祸首。

他们排除了什么
论文明确反对了两种常见的方法：

“询问巨型大脑”法： 使用庞大且昂贵的 AI 模型（如 GPT-5）来阅读整个故事并猜测错误。作者指出，这种方法太慢，且成本过高。
“标注一切”法： 试图收集数以千计的破碎机器人案例，并手动标注其中的每一个错误步骤。作者认为，这种方法难以规模化，且具有歧义性。

结果：快速、廉价且出奇地好
团队在真实数据上测试了他们的想法。他们仅用 100 个成功的机器人旅程训练了 OAT。然后，他们将它投入到从未见过的破碎旅程测试中。

速度： OAT 比询问巨型 AI 模型快 200 到 5,000 倍。因为它不需要通过与大型模型进行对话来解决问题，所以它不产生额外的“Token”费用。
准确性： 尽管它只看到了 100 个完美的例子，但 OAT 击败了巨型 AI 模型。在类似任务的测试中，它在寻找错误方面表现得好出 20%。在完全不同的复杂任务中，它仍然比对手好出 7%。
“守门员”： 他们在数学模型中添加了一个特殊的“门”。这个门可以帮助系统在看到机器人表现出完全怪异、全新的行为（比如来自外星的机器人）时保持冷静。这个门让系统在处理陌生、不熟悉的场景时表现得更好，而不会感到困惑。

他们有多确定？
作者对这些数字非常有信心，因为他们使用不同的随机种子多次运行了测试，并得到了连贯的结果。他们使用标准数学指标（如 F1 分数和 AUROC）来衡量性能，发现 OAT 始终优于竞争对手。

然而，他们也谨慎地指出，虽然该系统效果很好，但并非完美。在某些情况下，它可能会错过最初的错误，但仍能捕捉到错误变得明显的后续步骤。他们建议，通过一些微调，它可能会变得更好，但就目前而言，他们已经证明了通过成功来学习是诊断失败的一种强大且实用的高效方法。

底线
与其通过研究残骸来找出哪里出了错，OAT 学习的是完美建筑的蓝图。当某些东西崩塌时，它能瞬间知道哪块砖头被放错了位置，而且它做得极快，不需要超级计算机。这是调试未来机器人的一个高效、实用的新方式。

技术摘要：从成功的流向追踪代理失败

问题陈述

本文探讨了 LLM 智能体系统中的**失败归因（failure attribution）**问题：即识别导致系统失败的具体步骤。现有的方法依赖于以下两种方式：

基于提示词（Prompting）的流水线： 使用前沿 LLM 分析轨迹，这会产生高昂的 Token 成本和延迟。
监督学习： 在带有步骤级错误标注的失败轨迹上训练模型。由于收集高质量、无歧义的步骤级标签非常困难，这种方法难以扩展。

作者提出了一个新的问题设定：无监督失败归因（Unsupervised Failure Attribution）。目标是训练一个仅使用成功轨迹（这些轨迹作为正常运行的副产品极易收集）的模型，并在推理时用于识别失败轨迹中的错误步骤，而无需在失败数据上进行任何步骤级的监督。

方法论：OAT（单类智能体追踪）

作者提出了 OAT，这是一个轻量级模型，将失败归因建模为一个在 LLM 潜空间（latent representation space）中的**单类学习（one-class learning）**问题。

1. 潜在表示（Latent Representation）

对于轨迹 $\tau = (Q, a_1, s_1, \dots, a_T)$ ，每个步骤 $t$ 由从生成动作 $a_t$ 的 LLM 智能体隐藏状态中提取的潜在向量 $h_t$ 表示。查询 $Q$ 也被表示为 $h_Q$ 。

2. 通过神经 CDE 进行连续轨迹建模

OAT 没有将步骤视为离散事件（如 RNN 或 Transformer 中那样），而是将轨迹建模为连续的潜在路径。

神经受控微分方程（Neural CDEs）： 该模型将步骤序列视为底层连续函数的非规则采样观测值。Neural CDE 通过以观测到的轨迹路径 $X(u)$ 为条件来学习成功轨迹的动力学特性。
门控控制路径（Gated Control Path）： 为了处理控制信号（轨迹的导数）可能出现伪影的分布外（OOD）输入，OAT 引入了一个门控函数。该函数能够自适应地抑制显著偏离训练分布的控制信号，从而在不牺牲域内表达能力的情况下提高鲁棒性。

3. 异常检测

在推理阶段，给定一个失败轨迹：

模型根据学习到的成功轨迹动力学，预测每个步骤的预期潜在状态 $\hat{h}(u_t)$ 。
异常分数 $e_t$ 计算为平方重构误差： $e_t = \|h'_t - \hat{h}(u_t)\|^2_2$ 。
检测策略：
- Top-k： 选择异常分数最高的 $k$ 个步骤。
- 符合性预测（Conformal Prediction, CP）： 使用成功轨迹的校准集来设置阈值 $\delta$ ，以控制假阳性率，从而标记出 $e_t > \delta$ 的步骤。

核心贡献

问题公式化： 提出了无监督失败归达，通过仅在成功轨迹上进行训练，消除了对失败数据进行高成本步骤级标注的需求。
模型架构 (OAT)： 提出了一种使用 Neural CDEs 结合创新的门控控制路径的连续时间单类学习方法，用于建模智能体动力学并检测局部偏差。
实证验证： 证明了 OAT 在域内（in-domain）和分布外（OOD）设置下均优于基于提示词的基准模型（包括 GPT-4o 和 GPT-5），且速度更快、成本更低。

实验结果

模型在来自 MCP-Atlas 数据集的 100 条成功轨迹上进行训练，并在来自 MCP-Atlas（域内）和 Who&When（OOD）的失败轨迹上进行评估。

性能：
- 域内 (MCP-Atlas)： OAT 比基于提示词的基准模型 F1 分数提升了 20%，AUPRC 提升了 10%。
- 分布外 (Who&When)： 尽管训练和测试数据集之间存在显著的结构和模型差异，OAT 仍比基准模型 F1 分数提升了 7%，AUPRC 提升了 5%。
效率：
- OAT 在推理时零 Token 成本。
- 比基于提示词的方法快 200–5000 倍（延迟约为 7ms vs. 4000ms+）。
- 可以在不到 1 GB 的显存上部署。
消融研究：
- Neural CDE vs. ODE： CDE 的表现显著优于 Neural ODE，证实了以观测到的轨迹步骤为条件的必要性。
- 门控（Gating）： 门控控制路径显著提高了 OOD 性能（+0.172 AUROC），同时对域内性能的权衡极小。
- 层选择： 来自 LLM 后层（later layers）的表示比前层提供了更强的异常检测信号。

意义与主张

本文声称 OAT 为诊断智能体系统失败提供了一个实用、高效且有效的方向。通过从监督失败学习转向无监督成功学习，该方法消除了标注瓶颈。作者强调，他们的方法使得实时失败归因首次成为可能，从而能够在高风险环境（如编程、科学研究）中部署诊断工具，而无需为每次诊断查询支付高昂的前沿 LLM 运行成本。这项工作表明，“成功的流向”包含了足以识别并定位“失败流向”的信号。