🤖 AI

FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search

本論文は、失敗の要因となるステップと、単に先行する誤りを伝播させているだけのステップを区別するために、問題を依存関係に基づいた探索として定式化することで、LLMエージェントの軌跡における失敗の帰属を改善する診断フレームワークであるFALATを提案しており、これにより、責任のあるエージェントおよび決定的な失敗ステップを特定する上で既存のベースラインを上回る性能を示す。

原著者： Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

高度な知能を持つロボットのチームが、ソフトウェアの作成や旅行の計画といった複雑なパズルを協力して解いている場面を想像してみてください。彼らは互いに話し合い、道具を使い、一連の決定を下していきます。この一連の流れを「軌跡（トラジェトリー）」と呼びます。

時として、チームは失敗します。最終的な結果が間違っているのです。しかし、その過程があまりに長く、ロボットたちの会話も非常に多いため、誰がミスをし、いつそれが起きたのかを突き止めるのは極めて困難です。

ここに問題があります。もしロボットAが早い段階で小さなミスを犯した場合、ロボットBはそのミスに基づいた、一見すると完璧に論理的な行動をとるかもしれません。そしてロボロットCも、ロボットBの誤りに基づいて、実際には間違っているものの、一見正しく見える行動をとるかもしれません。最終段階に到達する頃には、すべてが台無しになっていますが、一つ一つのステップは、その時点ではすべて「妥当」に見えていたのです。これは、メッセージが伝わる過程で内容が歪んでしまう「伝言ゲーム」のようなものです。ただし、全員が正しく聞き取ったと確信しているという点が厄

技術要約: FALAT – 依存関係ガイド付き探索によるLLMエージェントの軌跡における失敗の追跡

問題定義

大規模言語モデル（LLM）エージェントは、推論ステップ、ツール呼び出し、およびエージェント間通信からなる長い軌跡を通じて複雑なタスクを解決する。これらの軌跡が失敗する場合、その根本原因を特定することは「帰属問題（attribution problem）」のために困難である。ミスはしばしば伝播する：初期の誤りが実行状態を損なうことで、後続のステップが局所的には妥当に見えても、実際にはその過失を継承しているという事態が生じる。その結果、後続のステップが失敗の発生源として誤ってフラグを立てられてしまうことがある。

本論文では、**失敗の帰属（failure attribution）**を、観察された誤った出力（ $\hat{o}$ ）から期待される最終出力（ $o^*$ ）を回復させるために、特定の「誰が（who）」および「いつ（when）」のステップを特定するタスクとして定義している。決定的なステップ（decisive step）とは、それが修正された場合（ダウンストリームのステップが適応することを許容した上で）、システムが正しい結果を生み出すステップと定義される。単一パスのLLMジャッジや、ステップを独立して評価する学習ベースのトレーサーといった既存の手法は、位置バイアス、順序への敏感さ、およびエラーの発生と伝播を区別できないという課題を抱えている。

手法: FALATフレームワーク

著者らは、失敗の帰属を独立したステップ分類ではなく、階層的な依存関係ガイド付き探索として再定式化する診断フレームワークであるFALATを提案している。このフレームワークは4つのステージで構成される：

1. 探索空間の構築

FALATは、失敗した軌跡の欠陥のある内部推論のみに依存することを避ける。代わりに、以下を構築する：

タスク条件付き事前分布 ( $\pi$ ): タスクの仕様、エージェントの役割、システムプロンプト、および利用可能なツールから導出される、タスクがどのように解決されるべきかという外部的な期待値。この事前分布は、エージェント自身の誤った論理に評価者が惑わされるのを防ぐため、軌跡の中間ステップとは独立している。
階層的軌跡表現 ( $M$ ): 粗から密への探索を可能にするため、軌跡を3つのレベルに抽象化する：
- 高レベル ( $M_{hi}$ ): 疑わしいステージを特定するグローバルな実行サマリー。
- 中レベル ( $M_{mid}$ ): エージェント、アクション、および決定の詳細を示すローカルなステップサマリー。
- 低レベル ( $M_{lo}$ ): 生の実行証拠（ツールの出力、具体的な値）。
  この構造により、システムはまず疑わしい領域を特定し、次に特定のステップへと絞り込むことができる。

2. 候補の枝刈りのための型付き依存関係の構築

エラーを発生させるステップと、それを単に伝播させるステップを区別するために、FALATは型付き遷移語彙を用いて、候補ステップに対して有向依存関係構造を構築する。ラベルには以下が含まれる：

follow_up (追従): 通常の進行、またはエラーの下流での持ち越し。
redundancy (冗長性): 新しい証拠のない繰り返し。
no_influence (影響なし): 候補の出力に依存しないステップ。
error_shift (エラーシフト): 新たな逸脱を導入したり、上流のエラーを変形させたりするステップ。
correction (修正): 上流の逸脱を修正するステップ。
dead_end (行き止まり): 使用されない出力につながるステップ。

これらのラベルにより、システムは、その影響が最終出力に到達できない、あるいは単なる初期の過失の症状である候補を枝刈りし、妥当な発生源となり得るものだけを保持することができる。

3. 依存関係ガイド付き探索と検証

残った候補は、**反事実的十分性（counterfactual sufficiency）**の目的に対してランク付けされ、検証される。候補が決定的なものと見なされるのは、それを修正することで $o^*$ が回復する場合のみである。検証プロセスは以下の3つの基準をチェックする：

エラーの独立性: そのステップはエラーを導入したものか、それとも継承したものか？（後方依存関係を通じて追跡）。
反事実的十分性: このステップを修正すれば、期待される結果が回復するか？
時間的前後関係: 有効な候補の中で、最も早いステップが選択される。

4. ローカル再探索: 敵対的検証

「アンカリング」（LLMジャッジが妥当に見えるが誤った候補を正当化してしまう現象）を軽減するため、FALATはローカルな再評価を行う。予測された決定的なステップの周囲の限定的な近傍を抽出し、その候補を隣接するステップと比較する。LLMは役割（ROOT_CAUSE [根本原因], PROPAGATION [伝播], SYMPTOM [症状], CONTRIBUTING [寄与]）を割り当て、比較議論と反事実的チェックに基づいてステップを再ランク付けし、選択されたステップが真に決定的であることを保証する。

主な貢献

帰属の再定式化: 本論文は、パラダイムを平坦なステップレベルの分類から、エラーの発生と伝播の区別を明示的にモデル化する階層的依存関係ガイド付き探索へと転換させている。
FALATフレームワーク: 外部のタスク条件付き事前分布、階層的抽象化、型付き依存関係の枝刈り、および反事実的検証を統合した4ステージの診断システム。
実証的検証: アルゴリズム生成および手動作成のマルチエージェントシステムから得られた184の失敗実行を含むWho&Whenベンチマークを用い、3つの異なるLLMバックボーンにわたって包括的な評価を実施した。

結果

FALATは、特化した帰属ベースライン（CHIEF, AgentTrice）およびスタンドアロンLLMによる直接プロンプティングと比較して評価された。

アルゴリズム生成の軌跡: FALATは、ステップレベルの精度で46.0%（同じバックボーンを用いたCHIEFの37.3%に対し）、エージェントレベルの精度で**68.0%**を達成した。
手動作成の軌跡: FALATは、ステップレベルの精度で29.1%（CHIEFの17.0%に対し）、エージェントレベルの精度で**73.0%**を達成した。
スタンドアロンLLMとの比較: 巨大なモデル（Claude-Sonnet-4など）を用いた直接プロンプティングであっても、ステップレベルの精度は著しく低く（手動作成タスクで18.9%）、モデルのスケールアップだけでは信頼できる帰属には不十分であることを示した。
アブレーション研究: 階層的表現の削除が最大の性能低下（ステップレベル精度で最大-10.3%）を引き起こし、次いで外部事前分布および遷移の型付けの削除が続いた。

意義と主張

本論文は、依存関係を考慮した推論が、LLMエージェントシステムにおける信頼性の高い失敗診断に不可ップであると主張している。著者らは、失敗の帰属を独立したステップ分類として扱うことは、軌跡の因果構造を無視するため失敗すると述べている。問題を、型付き依存関係と反事実的十分性によってガイドされる探索として捉えることで、FALATは「根本原因」を「症状」から効果的に分離している。

これらの知見は、構造化された探索手順が、単にモデルのスケールを拡大することを超えた大きな利益を提供することを示唆している。このフレームワークは、単にエラーが見えるステップを特定するのではなく、決定的なステップを特定することに特に効果的であり、自律的なエージェントシステムを信頼可能かつデバッグ可能にすることにおける重要なギャップを埋めている。著者らは、LLMの判断の信頼性への依存や、ウィンドウ境界を越えた非常に長い範囲の依存関係を捉える際の潜在的な困難などの限界についても言及しているが、提案されたアプローチが失敗の帰属のための強固な基盤を提供することを維持している。