💬 NLP

Tracing Agentic Failure from the Flow of Success

本論文は、成功した軌跡のダイナミクスをモデル化するために、ニューラル制御微分方程式を用いたワンクラス学習を活用することで、LLMベースのエージェントシステムにおけるエラーステップを特定する、軽量で教師なしの失敗帰属モデルであるOATを提案しており、既存のプロンプティングベースの手法や教師あり学習の手法よりも大幅に高い速度と精度を実現している。

原著者： Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

公開日 2026-07-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットの助手たちがツリーハウスを作ろうとしている様子を想像してみてください。彼らは互いに話し合い、道具を掴み、木材を測っています。突然、屋根が崩落しました。最大の疑問は、どの特定の動きが災厄を引き起こしたのか？ 木材の計測を忘れたのでしょうか？違うハンマーを使ったのでしょうか？それとも、設計について議論しすぎたのでしょうか？

このたった一つの失敗ステップを見つけ出すことは、千ものロボットの動作という干草の山の中から、一本の落ちた針を探し出すようなものです。通常、これを解決するために、専門家は失敗した試行のあらゆるミスを一つずつ手作業でラベル付けし、超スマートなAI（巨大な脳のようなもの）にエラーを特定させる学習を行わなければなりません。しかし、これは時間がかかり、コストも高く、多大な人間労働を必要とします。

論文の画期的なアイデア：成功のみから学ぶ
著者であるサミュエル・イェ（Samuel Yeh）氏とそのチームは、こう言います。「ちょっと待ってください。間違いを見つけるために、なぜ失敗を研究する必要があるのでしょうか？もし、完璧なツリーハウスだけを研究できるとしたらどうでしょう？」

彼らは、OAT（One-class Agent Tracing）と呼ばれる新しい手法を提案しています。AIに「間違い」とは何かを教えるために壊れたロボットのライブラリを読み込ませる代わりに、彼らは成功した、完璧な軌跡のみをAIに与えます。AIは、物事がすべて上手くいっている時に、ロボットがどのように動き、考え、行動すべきかという「リズム」や「流れ」を学習するのです。

魔法のトリック：見えない川
ここからが面白いところです。チームは、ロボットの行動を時間を流れる川のように扱っています。彼らはNeural Controlled Differential Equations（Neural CDEs）という数学的ツールを使用しています。これは、ロボットが進むべき「理想的な経路」を描く、超精密な地図のようなものです。

ロボットが失敗するとき、それはまるで川が突然岩に当たったり、渦を巻いたりするようなものです。AIは、滑らかで成功した川がどのような姿をしているかを正確に把握しているため、どこで水流が乱れたかを即座に察知できます。AIはすべてのステップに対して「奇妙さスコア」（異常スコア）を割り当てます。もしあるステップが完璧な流れから外れすぎている場合、AIはその原因を特定します。

彼らが否定したもの
この論文は、以下の2つの一般的な手法に対して明確に反対しています。

「巨大な脳に尋ねる」方法： 巨大で高価なAIモデル（GPT-5など）を使って物語全体を読み解き、ミスを推測させる方法。著者らは、これは遅すぎてコストがかかりすぎると示しています。
「すべてにラベルを貼る」方法： 壊れたロボットの例を何千も集め、あらゆるエラーのステップを手作業でラベル付けする方法。著者らは、これは規模を拡大するには難しすぎ、曖昧すぎると述べています。

結果：速く、安く、そして驚くほど優秀
チームは、自分たちのアイデアを実際のデータでテストしました。彼らはわずか100回の成功したロボットの旅路を用いてOATを訓練しました。そして、一度も見ることのなかった失敗した旅路の中に、それを投げ込みました。

スピード： OATは、巨大なAIモデルに尋ねるよりも200倍から5,000倍速いです。問題を解決するために巨大なモデルとチャットする必要がないため、「トークン」による追加費用はゼロです。
精度： たった100個の完璧な例しか見ていないにもかかわらず、OATは巨大なAIモデルを打ち負かしました。同様のタスクにおけるテストでは、エラーの特定において20%優れた結果を出しました。全く異なる難しいタスクにおいても、依然として7%優れていました。
「ゲートキーパー（門番）」： 彼らは数学モデルに特別な「ゲート」を追加しました。このゲートは、ロボットが全く奇妙で新しい動き（例えば、別の惑星から来たロボットのような動き）をしたときに、システムが冷静さを保つのを助けます。このゲートにより、システムは混乱することなく、未知の不慣れな状況をよりうまく扱うことができるようになりました。

どれほどの確信があるのか？
著者らは、テストを異なるランダムシードを用いて何度も実行し、一貫した結果を得たため、これらの数字に非常に自信を持っています。彼らは標準的な数学的スコア（F1スコアやAUROCなど）を用いてパフォーマンスを測定し、OATが競合他社を一貫して上回っていることを発見しました。

しかし、彼らはシステムは素晴らしい働きをするものの、完璧ではないことも注意深く述べています。場合によっては、最初のエラー自体は見逃すかもしれませんが、エラーが明白になるステップは確実に捉えることができます。彼らは、いくつかの微調整を行えばさらに改善できる可能性があると示唆していますが、現時点でも、成功から学ぶことが、失敗を診断するための強力で実用的な、かつ高速な方法であることを証明しました。

結論
何が間違っていたのかを知るために残骸を調査する代わりに、OATは完璧な建物の設計図を学びます。何かが崩壊したとき、OATはどのレンガが誤って置かれたのかを瞬時に特定し、スーパーコンピューターを必要とすることなく、電光石火の速さでそれを行います。これは、未来のロボットをデバッグするための、効率的で新しい方法なのです。

技術要約：成功のフローからエージェントの失敗を追跡する

問題提起

本論文は、LLMベースのエージェント・システムにおける失敗の帰属（failure attribution）、すなわち、システムの失敗を引き起こした特定のステップがどれであるかを特定するタスクを取り上げている。既存のアプローチは、以下のいずれかに依存している：

プロンプティング・パイプライン： 最先端のLLMを用いて軌跡を分析するが、これは高いトークンコストとレイテンシを伴う。
教師あり学習： ステップレベルのエラー注釈が付与された失敗の軌跡を用いてモデルを学習させる。しかし、高品質で曖昧さのないステップレベルのラベルを収集することは困難であるため、スケーリングにおいてコストが高い。

著者らは、新しい問題設定である**「教師なし失敗帰属（Unsupervised Failure Attribution）」**を提案する。目標は、成功した軌跡（通常の運用過程で副産物として容易に収集可能）のみを用いてモデルを学習させ、推論時に失敗の軌跡におけるエラーステップを特定することである。これには、失敗データに対するステップレベルの監督（supervision）は一切必要としない。

手法：OAT (One-class Agent Tracing)

著者らは、失敗の帰属を、LLMの潜在表現空間における一クラス学習（one-class learning）問題として定式化した軽量モデルであるOATを提案する。

1. 潜在表現

軌跡 $\tau = (Q, a_1, s_1, \dots, a_T)$ に対して、各ステップ $t$ は、アクション $a_t$ を生成しているLLMエージェントの隠れ状態から抽出された潜在ベクトル $h_t$ によって表現される。クエリ $Q$ もまた $h_Q$ として表現される。

2. Neural CDEsによる連続的な軌跡モデリング

ステップを離散的なイベント（RNNやTransformerのように）として扱うのではなく、OATは軌跡を**連続的な潜在パス（continuous latent path）**としてモデル化する。

Neural Controlled Differential Equations (Neural CDEs): モデルは、ステップのシーケンスを、基礎となる連続関数に対する不規則にサンプリングされた観測値として扱う。Neural CDEは、観測された軌跡パス $X(u)$ に条件付けることで、成功した軌跡のダイナミクスを学習する。
ゲート付き制御パス (Gated Control Path): 制御信号（軌跡の微分）が偽の信号である可能性がある分布外（OOD）の入力を処理するため、OATはゲーティング関数を導入している。この関数は、訓練分布から大きく逸脱する制御信号を適応的に抑制し、インドメインの表現力を損なうことなく堅牢性を向上させる。

3. 異常検知

推論時、失敗の軌跡が与えられた場合：

モデルは、学習された成功した軌跡のダイナミクスに基づき、各ステップに対する期待される潜在状態 $\hat{h}(u_t)$ を予測する。
異常スコア $e_t$ は、二乗再構成誤差として計算される： $e_t = \|h'_t - \hat{h}(u_t)\|^2_2$ 。
検知戦略:
- Top-k: 異常スコアが最も高い $k$ 個のステップを選択する。
- 共形予測 (Conformal Prediction; CP): 成功した軌跡のキャリブレーションセットを使用して、偽陽性率を制御する閾値 $\delta$ を設定し、 $e_t > \delta$ となるステップをフラグ立てする。

主な貢献

問題の定式化： 失敗データに対するコストのかかるステップレベルの注釈を不要にする、**「教師なし失敗帰属」**を導入した。
モデルアーキテクチャ (OAT)： エージェントのダイナミクスをモデル化し、局所的な偏差を検出するために、Neural CDEsと新しいゲート付き制御パスを用いた連続時間の一クラス学習手法を提案した。
実証的検証： OATが、インドメインおよびOODの両方の設定において、プロンプティングベースのベースライン（GPT-4oやGPT-5を含む）を上回る性能を示すことを実証した。また、それらよりも大幅に高速かつ安価であることも示した。

実験結果

モデルは、MCP-Atlasデータセットからの100個の成功した軌跡で学習され、MCP-Atlas（インドメイン）およびWho&When（OOD）からの失敗軌跡を用いて評価された。

パフォーマンス:
- インドメイン (MCP-Atlas): OATは、プロンプティングベースのベースラインに対して**F1スコアで+20%、AUPRCで+10%**上回った。
- 分布外 (Who&When): 訓練データセットとテストデータセットの間で構造的およびモデル的な違いが著しいにもかかわらず、OATはベースラインを**F1スコアで+7%、AUPRCで+5%**上回った。
効率性:
- OATは推論時のトークンコストがゼロである。
- プロンプティングベースのアプローチよりも200〜5000倍高速である（レイテンシは約7msに対し、ベースラインは4000ms以上）。
- 1GB未満のVRAMで展開可能である。
アブレーション研究:
- Neural CDE vs. ODE: CDEはNeural ODEを大幅に上回り、観測された軌跡のステップに条件付けることの重要性を裏付けた。
- ゲーティング: ゲート付き制御パスは、インドメインの性能への軽微なトレードオフを伴いつつ、OOD性能を大幅に向上させた（+0.172 AUROC）。
- レイヤー選択: LLMの後層からの表現は、前層よりも異常検知のための強力な信号を提供した。

意義と主張

本論文は、OATがエージェント・システムの失敗を診断するための実用的、効率的、かつ効果的な方向性を提供すると主張している。失敗の教師あり学習から成功の教師なし学習へとシフトすることで、このアプローチは注釈のボトルネックを取り除いている。著者らは、彼らの手法がリアルタイムの失敗帰属を初めて実用的なものにし、高額なコストをかけて最先端のLLMを実行することなく、高リスクな設定（コーディング、科学研究など）への診断ツールの展開を可能にすると強調している。この研究は、「成功のフロー」には「失敗のフロー」を特定し、局在化するための十分な信号が含まれていることを示唆している。