🤖 AI

FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search

该论文提出了 FALAT，这是一个通过将问题建模为依赖引导的搜索来改进 LLM 智能体轨迹中故障归因的诊断框架，旨在区分引入错误的步骤与仅传播先前错误的步骤，从而在识别负责的智能体和决定性失败步骤方面优于现有基准。

原作者： Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一支由高度智能的机器人组成的团队，它们正在协作解决一个复杂的谜题，比如编写一段软件或规划一次旅行。它们彼此交谈、使用工具并做出决策，形成了一个漫长的事件链。我们称这个链条为“轨迹”（Trajectory）。

有时，团队会失败，最终结果是错误的。但由于这个链条非常长，且机器人之间的对话非常频繁，想要弄清楚谁犯了错以及何时发生的错误，简直难如登天。

这里有一个问题：如果机器人 A 在早期犯了一个微小的错误，机器人 B 可能会做出一个基于该错误看似完全合理的行为。接着机器人 C 也会做一些其他事情，这些事看起来也符合逻辑，但实际上因为建立在机器人 B 的错误之上而变得错误。到最后，整个过程都崩溃了，但每一个步骤在当时看来似乎都是合理的。这就像一场“传声筒”游戏，信息被搞乱了，但每个人都深信自己听得没错。

解决方案：FALAT（侦探框架）

作者创建了一个名为 FALAT 的工具，作为这些机器人团队的侦探。FALAT 不仅仅是观察最终的混乱局面并进行猜测，它使用了一个巧妙的四步流程来寻找根本原因。

以下是 FALAT 如何运作，我们使用简单的类比来解释：

1. “理想剧本”（构建搜索空间）

在观察混乱的现实之前，FALAT 会先写下一个任务应该如何进行的**“理想剧本”**。它了解目标、规则以及一个优秀的机器人应该如何表现。

类比： 想象一位导演，他确切知道电影场景应该如何展开。当演员出错时，导演不仅仅是在观看混乱，他们会将实际拍摄的内容与剧本进行对比，以发现演员在哪里偏离了轨道。
为什么重要： 如果你只看机器人自身的推理，你可能会被误导，因为它们都在为同一个错误进行合理化辩解。FALFA 使用外部视角（剧本）来保持客观。

2. “变焦镜头”（层级化表示）

机器人的历史记录可能有数百步之长。阅读每一个字既慢又令人困惑。FALAT 会先放大缩小，再逐步深入。

类比： 想象观察一片森林。首先，你从直升机上俯瞰整片森林，看看哪个区域看起来病态（高层级）。然后，你放大观察，看看受影响的是哪一组树木（中层级）。最后，你走近地面，检查具体的叶子（底层级）。
为什么重要： 这能防止 FALAT 迷失在细节中。它通过先锁定可疑的“邻里区域”来缩小搜索范围。

3. “监管链”（类型化依赖关系）

这是最重要的部分。FALAT 不仅仅指责最后说话的那个人。它会追踪依赖关系（谁依赖于谁）。

类比： 想象一场接力赛，有人掉落了接力棒。
- 源头（The Source）： 掉落接力棒的那位跑者。
- 传播者（The Propagator）： 下一位捡起接力棒并继续奔跑的人，即便接力棒已经坏了。
- 症状（The Symptom）： 在终点线处因延迟到达而产生后果的跑者。
  FALAT 使用特殊的标签（如“后续行动”、“修正”或“死胡同”）来区分谁是掉落接力棒的人，以及谁只是在携带那个坏掉的接力棒。它会忽略那些仅仅是在重复已有的说法，或者实际上并未对最终结果产生影响的人。

4. “假设测试”（验证）

一旦找到了嫌疑对象，FALAT 不会直接将其逮捕。它会运行一次模拟。

类比： 侦探会问：“如果我们回到过去，并且仅修复这一个步骤，整个电影的结果会变正确吗？”
- 如果修复步骤 3 能让最终结果变得完美，那么步骤 3 就是决定性步骤。
- 如果修复步骤 3 后电影依然是破碎的，那么步骤 3 并不是真正的罪魁祸首；错误发生在更早的时候。

它有效吗？

作者在名为“Who & When”的基准测试上测试了 FALAT，该测试包含许多机器人团队失败的案例。

结果： 与其他方法相比，FALAT 在找到错误起始的确切步骤方面表现得更好。
数据： 在棘手的、人工设计的失败故事中，FALAT 在约 29% 的情况下找到了正确的步骤，而次优的方法仅为 17%。在较简单的、计算机生成的案例中，它的正确率达到了 46%。
启示： 尽管 29% 听起来并不高，但在这种“大海捞针”的领域中，这是一个巨大的进步。它证明了你不能仅仅要求一个聪明的 AI 去“猜”谁搞砸了；你需要一种结构化的方式来追踪依赖关系并进行“假设”测试。

总结

FALAT 是一个诊断工具，它不再仅仅指责链条中的最后一人。相反，它：

了解事物应该如何运作。
缩放并聚焦于可疑区域。
追踪信息流，以区分原始错误与产生的后果。
测试修复那一个步骤是否能挽救全局。

它将混乱、困惑的失败变成了一场逻辑严密的调查。

技术摘要：FALAT —— 通过依赖引导搜索追踪 LLM 智能体轨迹中的失败

问题定义

大语言模型（LLM）智能体通过包含推理步骤、工具调用和智能体间通信的长轨迹来解决复杂任务。当这些轨迹失败时，识别根源非常困难，这归因于“归因问题”（attribution problem）。错误往往会发生传播：早期的错误会破坏执行状态，导致后续步骤虽然在局部看起来是合理的，但实际上却继承了故障。因此，后续步骤可能会被错误地标记为失败的来源。

论文将失败归因定义为识别特定的智能体（“谁”）和决定性步骤（“何时”）的任务，即通过修正该步骤可以从观察到的错误输出 ( $\hat{o}$ ) 恢复到预期的最终输出 ( $o^*$ )。一个决定性步骤被定义为：如果对其进行修正（同时允许下游步骤进行适配），系统能够产生正确的结果。现有的方法（例如单次传递的 LLM 评判器或独立评估步骤的学习型追踪器）在处理位置偏差、顺序敏感性以及无法区分错误起源与错误传播方面存在困难。

方法论：FALAT 框架

作者提出了 FALAT，这是一个将失败归因重新表述为分层依赖引导搜索而非独立步骤分类的诊断框架。该框架分为四个阶段运行：

1. 构建搜索空间

FALAT 避免仅仅依赖于失败轨迹中存在缺陷的内部推理。相反，它构建了：

任务条件先验 ( $\pi$ )： 一个关于任务应如何解决的外部预期，该预期源自任务规范、智能体角色、系统提示词和可用工具。此先验独立于轨迹的中间步骤，以防止评估器被智能体自身的错误逻辑所误导。
分层轨迹表示 ( $M$ )： 轨迹被抽象为三个层级，以实现由粗到精的搜索：
- 高层 ( $M_{hi}$ )： 全局执行摘要，用于识别可疑阶段。
- 中层 ( $M_{mid}$ )： 局部步骤摘要，详细说明智能体、动作和决策。
- 低层 ( $M_{lo}$ )： 原始执行证据（工具输出、具体数值）。
  这种结构允许系统首先识别可疑区域，然后缩小范围至特定步骤。

2. 构建用于候选剪枝的类型化依赖关系

为了区分哪些步骤是产生错误，哪些仅仅是传播错误，FALAT 使用类型化的转换词汇在候选步骤之上构建了一个有向依赖结构。标签包括：

follow_up (后续)： 正常的进展或下游承接错误。
redundancy (冗余)： 没有新证据的重复。
no_influence (无影响)： 独立于候选输出的步骤。
error_shift (错误偏移)： 引入新偏差或转化上游错误的步骤。
correction (修正)： 修复上游偏差的步骤。
dead_end (死胡同)： 导致输出未被使用的步骤。

这些标签允许系统剪掉那些其影响无法到达最终输出，或者仅仅是早期故障症状的候选步骤，从而保留那些极有可能成为来源的步骤。

3. 依赖引导搜索与验证

剩余的候选步骤根据反事实充分性目标进行排序和验证。只有当修正该候选步骤能恢复 $o^*$ 时，该候选步骤才被视为具有决定性的。验证过程检查三个标准：

错误独立性： 该步骤是引入了错误，还是继承了错误？（通过向后依赖进行追踪）。
反事实充分性： 修复此步骤是否能恢复预期结果？
时间先行性： 在所有有效的候选步骤中，选择最早的一个。

4. 本地再搜索：对抗性验证

为了减轻“锚定效应”（即 LLM 评判器会对一个看似合理但错误的候选对象进行合理化解释），FALAT 执行本地再评估。它提取预测的决定性步骤周围的一个有界邻域，并将该候选对象与其直接相邻的步骤进行比较。LLM 会分配角色（ROOT_CAUSE [根因]、PROPAGATION [传播]、SYMPTOM [症状]、CONTRIBUTING [贡献]），并基于比较论证和反事实检查对步骤进行重新排序，以确保所选步骤确实具有决定性。

核心贡献

归因范式的重构： 论文将范式从扁平的步骤级分类转向了分层依赖引导搜索，明确建模了错误起源与传播之间的区别。
FALAT 框架： 一个包含四个阶段的诊断系统，集成了外部任务条件先验、分层抽象、类型化依赖剪枝和反事实验证。
实证验证： 在 Who&When 基准测试（包含来自算法生成和手工构建的多智能体系统的 184 个失败执行案例）上，针对三种不同的 LLM 后端进行了全面评估。

结果

FALAT 与专门的归因基准方法（CHIEF、AgentTracer）以及使用独立 LLM 的直接提示法进行了对比评估。

算法生成轨迹： FALAT 达到了 46.0% 的步骤级准确率（相比之下，使用相同后端的 CHIEF 为 37.3%）和 68.0% 的智能体级准确率。
手工构建轨迹： FALAT 达到了 29.1% 的步骤级准确率（相比之下，CHIEF 为 17.0%）和 73.0% 的智能体级准确率。
与独立 LLM 的比较： 即使是使用大型模型（如 Claude-Sonnet-4）的直接提示法，其步骤级准确率也显著较低（在手工构建的任务上为 18.9%），这表明仅靠增加模型规模不足以实现可靠的归因。
消融实验： 移除分层表示导致的性能下降最大（高达 -10.3% 的步骤级准确率），其次是移除外部先验和转换类型化。

意义与主张

论文声称，依赖感知推理对于实现 LLM 智能体系统可靠的失败诊断至关重要。作者认为，将失败归因视为独立的步骤分类是行不通的，因为它忽略了轨迹的因果结构。通过将问题构建为由类型化依赖引导的搜索和反事实充分性，FALAT 有效地分离了“根因”与“症状”。

研究结果表明，结构化搜索程序带来的收益远超单纯增加模型规模。该框架在识别“决定性”步骤（而非仅仅是错误显现的步骤）方面特别有效，解决了使自主智能体系统变得可靠且可调试的关键空白。作者指出了局限性，包括对 LLM 判断可靠性的依赖，以及在跨窗口边界捕捉极长程依赖时可能存在的困难，但仍坚持认为所提出的方法为失败归因提供了坚实的理论基础。