💬 NLP

When Failures Propagate: Causal Failure Attribution in Agentic Retrieval-Augmented Generation

本文介绍了 AgenticRAG-FP，这是一个用于智能体 RAG 中因果失效归因的干预性基准测试，它揭示了在失效随多个推理跳跃传播的过程中，诊断过程中存在显著的后验信号丢失，其基于覆盖率的诊断能力从第一跳的 0.91 降至后续跳跃的 0.00。

原作者： Lauren Pothuru

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lauren Pothuru

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的版图中，一种被称为检索增强生成（retrieval-augmented generation）的流行方法，允许计算机程序通过在大型文档库中查找信息后再进行回答。它不再仅仅依赖于机器记忆的内容，而是通过获取新鲜的事实来构建其响应。这种方法的进阶版本被称为代理检索（agentic retrieval），它赋予了计算机更多的自主权。它表现得像一名研究员，可以决定去查找一个事实、阅读它，然后决定该事实是否足以回答问题，或者是否需要再次搜索。这个过程可以形成一个链条，其中一次搜索导向一个新的问题，进而导向另一次搜索，如此循环往复，直到得出最终答案。虽然这种多步处理方式功能强大，但它也产生了一个隐藏的问题：如果计算机得到了错误的答案，人们往往很难确定错误究竟发生在哪个环节。错误可能始于第一步中一次糟糕的搜索，但计算机随后可能找到了修复它的方法；又或者，它可能将那个错误信息一直向后传递到了最后。理解链条在哪里断裂至关重要，但从单个错误到最终错误答案的路径，往往被后续的步骤所掩盖。

研究人员开发了一种新的方法来测试我们发现这些隐藏错误的能力。他们设计了一个受控实验，在计算机的搜索过程中，在特定的时刻故意植入一个特定的错误。想象一下，一台计算机正在尝试解决一个三步组成的谜题。研究人员可能会在第一步时，将正确的文档替换为一个错误的文档；或者他们可能会在处理过程的中途改变一个关键事实。至关重要的一点是，他们不仅仅是修改最终答案；他们让计算机从那个出错的点开始继续工作，迫使它对那份新的、有缺陷的信息做出反应。这种设置使他们能够观察，一个事后查看计算机整个思考和行动轨迹的诊断工具，是否仍能指出引入错误的精确时刻。核心问题在于，那个初始错误的信号能否在后续过程的旅程中幸存下来，还是会在后续步骤的噪声中消失。

实验结果揭示了这些系统中错误传播的一个严酷现实。当研究人员在第一步注入一个清晰的结构性错误——例如，给计算机提供没有任何可读文档，或提供完全无关的文档时，标准的诊断工具能够高精度地识别出问题。然而，一旦错误是在链条的第二步或第三步引入，同一个工具就会完全失效，无法将原始错误与后续步骤区分开来。在涉及八十个复杂问题的严格测试中，该工具在 91% 的情况下能正确识别第一步为失败源。但当错误发生在第二步或第三步时，该工具的准确率直接降至零。链条中的后续步骤似乎抹去了初始错误的清晰特征，使得通过简单审查最终输出结果来判断问题起因变得不再可能。

研究人员还探索了一种更微妙的错误类型，即计算机被给予一份看起来完全相关、但包含单个错误事实（如错误的日期或被替换的名字）的文档。在这种情况下，计算机通常不会立即崩溃并继续其工作，有时甚至会因为运气或稍后检索到了其他正确信息而最终得到正确答案。当研究人员分析那些在受到此类微妙破坏后导致计算机失败的案例时，他们发现，一种通过模拟“如果该特定步骤被修复将会发生什么”的更高级方法，大约能识别出约三分之二的问题。这表明，虽然初始错误对于简单的扫视而言是隐形的，但如果愿意运行更复杂的模拟来观察计算机的行为差异，它并非完全不可见。

这项工作的一个关键发现是，识别错误的能力很大程度上取决于计算机是否能自行恢复。在许多情况下，计算机虽然检索到了一个错误事实，但在随后的步骤中，它可能会找到一个新的文档来纠正这个错误，从而得到一个实际上是正确的最终答案。研究人员将这些成功的恢复情况视为一个独立的类别，指出它们代表了系统的韧性，而非失败。然而，对于那些导致失败的情况，研究表明，一旦计算机越过出错点，用于精准定位错误来源的信息往往就会消失。后续的步骤可能会检索出一个看似正常的文档，但该文档实际上是前一步错误的产物，从而形成了一个掩盖根源的连锁反应。

这项研究凸显了我们目前调试这些智能系统时面临的一个根本局限。仅仅观察最终答案或过程中的最后几步，往往不足以找到问题的源头。研究表明，随着这些系统变得更加复杂且需要更多步骤来得出结论，由初始错误留下的证据痕迹将变得越来越难以追踪。研究人员总结道，要真正理解这些系统为何失败，我们需要能够深入挖掘的工具，其深度要超越表层的最终输出，并可能利用模拟技术来溯源信息的路径。在这些方法得到完善之前，我们必须接受这样一个事实：在多步推理过程中，早期犯下的错误所留下的足迹很容易被后续步骤冲刷殆尽，最终只留下一个错误的答案，却让我们无从得知其始于何处。

技术摘要：AgenticRAG-FP

问题陈述

检索增强生成（RAG）系统，特别是采用 Agentic RAG 的系统，会在多个决策跳步（hops）中交织检索、推理和答案生成。虽然这种架构能够实现复杂的多跳问答，但它引入了一个显著的诊断挑战：因果故障归因（causal failure attribution）。

在多跳轨迹中，早期跳步引入的错误（例如，第 1 跳中的无关检索）可能会传播并导致第 3 跳产生错误答案，也可能被后续的检索所补偿。标准的评估指标（如最终答案准确率、检索召回率）会将注入的故障、其传播过程以及潜在的恢复过程混为一谈。现有的诊断方法可以检查轨迹或尝试局部修复，但缺乏经过验证的根因标签（certified root-cause label）。因此，目前尚无法确定在智能体生成了新的下游后缀后，事后轨迹是否能可靠地识别出注入故障的具体跳步，以及反事实修复探测（counterfactual repair probes）能否提供最终轨迹中所缺失的信息。

方法论：AgenticRAG-FP

本文介绍了 AgenticRAG-FP，这是一个用于评估 Agentic RAG 中因果故障归因能力的干预式基准测试。其核心机制涉及实时干预（live intervention）：

干预注入： 在轨迹中的特定跳步 $h$ 注入一个经过验证的故障。这包括替换证据、修改子查询或改变决策（例如，强制提前终止）。
后缀重执行： 智能体使用损坏的上下文从跳步 $h+1$ 开始恢复执行。下游后缀由智能体动态生成，而非事后编辑。这将干预的因果效应与静态轨迹编辑区分开来。
评估： 诊断器根据生成的失败轨迹，针对已知的干预标签（特定的跳步和故障类型）进行评分。

干预类型

该基准测试支持两类主要的故障：

结构性故障： 替换整个文档或查询（例如，空检索、无关文档、查询漂移、错误前提、陈旧证据）。这些故障在轨迹中通常表现为明显的异常。
内容损坏： 修改原本主题相关的证据中的特定事实片段。这包括改变承载答案的事实或“桥接实体”（连接不同跳步的事实）。这模拟了微妙的错误，如陈旧事实或提取错误，而不会使检索显得明显偏离主题。

评估的诊断器

该基准测试对比了几种诊断方法：

基于覆盖率的定位器（Doctor-RAG）： 使用答案支持覆盖率在不进行重执行的情况下定位故障。
轨迹阅读 LLM 评判员（Trace-Reading LLM Judge）： 通过检查语义轨迹内容来识别故障跳步。
冻结跳步反事实（Frozen-Hop Counterfactual，具备传播感知能力）： 在保持所有后续观察到的跳步不变的情况下修复候选跳步，测试答案是否会随之修正。
后缀再生（Suffix Regeneration，Suf-Regen）： 修复候选跳步并重新生成整个下游轨迹。

核心贡献

干预式基准测试： 一个支持结构化检索故障和经过验证的内容损坏的框架。内容损坏方法记录了原始与损坏的片段对，从而实现了确定性的、无需评判员的结局分类（吸收、抵抗或脱轨）。
深度条件分析： 分析了随着故障传播深度增加，事后信号如何退化。研究隔离了在后缀重执行后，用于精确跳步归因的信息可用性，这与端到端任务准确率是不同的概念。
受限的反事实比较： 对冻结跳步修复与后缀再生进行了针对性比较，强调了它们对下游证据的处理方式如何导致不同的关于因果链的诊断结论。

结果

结构化归因 (MuSiQue, Claude Haiku 4.5)

在针对 80 个三跳 MuSiQue 问题进行的严格密集扫描中：

第 1 跳： 基于覆盖率的诊断达到了 0.91 的准确率。
第 2 和第 3 跳： 基于覆盖率的诊断降至 0.00。
其他方法： LLM 评判员和冻结跳步探测保留了部分信号（例如，在后期跳步中准确率为 0.25–0.48），但结果表明，重新生成的后缀可以抹除注入跳步的覆盖率特征，同时保留可被更昂贵的探测手段利用的信息。

内容损坏 (HotpotQA & MuSiQue)

在一项涉及内容故障的小规模研究中：

第 2 跳： 基于覆盖率的诊断保持为 0.00（n=18 个失败案例）。
冻结跳步探测： 在探索性的池化比较中达到了 0.67 的准确率。
后缀再生： 在第 2 跳的准确率为 0.11。论文指出，再生后缀可能会检索到干净的证据，从而有效地消除了正在测试的故障，掩盖了诊断信号；而冻结跳步修复则保留了损坏的依赖关系。
结局标签： 确定性分析显示，在第 1 跳，15% 的损坏被“吸收”（逐字重复），58% 被“抵抗”（尽管存在损坏仍得出正确答案），26% 被“脱轨”。

意义与主张

本文主张，传播深度是一个显式且关键的评估维度，用于诊断 Agentic RAG 的失败。

信号丢失： 结果证明，一旦智能体重执行后缀，在第 1 跳有效的后验覆盖率信号会在更深的跳步处崩溃。较后的跳步可以通过检索补偿性证据或传播偏差来掩盖原始故障，从而用关于后期轨迹的证据取代局部特征。
修复策略的区别： 论文认为，冻结跳步修复和后缀再生并非互换关系。它们询问的是不同的因果问题：前者测试的是观察到的下游轨迹是否支持一个正确的答案（给定局部修复）；而后者测试的是修复后的前缀是否能引导智能体走向不同的下游轨迹。
恢复作为指标： 该基准测试将“恢复”（即智能体修复了损坏的轨迹）视为一种独立的鲁棒性结果，而非归因。在干预后得到正确的最终答案，意味着故障并未传播到输出，因此不应将端到端失败归因于该根因。

作者保持了审慎的态度，指出结果是基于特定的骨干网络和数据集（主要是 MuSiQue 和 HotpotQA），并不构成对所有 Agentic RAG 系统的普遍不可能定理。相反，他们识别了一种特定的失效模式——后缀重执行后后验信号的可识别性限制——任何未来的定位器都必须解决这一问题。论文总结道，未来的诊断系统可能需要具备路径感知能力，根据怀疑的故障类型选择修复探测，以处理因果链的纠缠问题。