Real-Time Detection and Repair of LLM Agent Failures

コンピューターが単に質問に答えるだけでなく、実際に「行動」する世界を想像してみてください。それらはデジタル・インターン、つまり「エージェント」のように、ウェブを閲覧し、数値を計算し、ツールを使って複雑な問題を解決します。しかし、人間のインターンのように、これらのAIエージェントは気が散ったり、同じ間違いを繰り返すループに陥ったり、あるいは事実ではないことを自信満々に作り上げたりすることがあります。これがLLMエージェント（大規模言語モデルエージェント）の世界です。

これらのエージェントを軌道に乗せ続けるために、通常は監視役が必要になります。従来の方法は、最初のエージェントが行うすべてのステップを読み、「よくできました」と言うか「止まれ、それは間違いだ」と言うために、二人目の高価なAIを雇うことでした。しかし、これはワーカーが文字を一つ打つたびに監視するためにフルタイムのマネージャーを雇うようなもので、時間とコストがかかりすぎます。科学者たちが問いかけている大きな疑問は、**「エージェントの行動を見るだけでトラブルを察知できる、小さくて超高速な『番犬』を構築できるのではないか？」**ということです。エージェントがミスをするのを、二つ目のAIによる重い作業を必要とせずに、早期かつ安価に、そして自動的に捉える方法を見つけ出そうとするのが、この論文です。

---

論文の物語：マイクロ秒の番犬

この論文は、AIエージェントのためのリアルタイムの番犬として機能するように設計された、巧妙なシステムを紹介しています。すべての動きを判断するために二つ目のAIを雇う代わりに、著者は、エージェントが残す「テレメトリ（遠隔測定データ）」、つまり、エージェントが何を言い、どれほどの自信を持ち、どのようなツールを使ったかといったデジタルの足跡を監視する、軽量なモニターを構築しました。

AIエージェントを、森の中を歩くハイカーだと考えてみください。標準的な手法は、ヘリコプターのパイロット（二つ目のAI）が上空を飛び、ハイカーが正しい道を進んでいるかを確認することです。この論文は、異なるアプローチを提案しています。それは、ハイカーの頭上数フィートを飛ぶ、小さく超高速なドローンです。このドローンは森全体を理解する必要はありません。ただ、ハイカーが円を描いて歩いたり、同じ岩につまずいたり、突然小道から外れたりといった、特定のトラブルの兆候を監視するだけでよいのです。

番犬の仕組み

著者は、マイクロ秒（1ステップあたり約200マイクロ秒で、瞬きよりも速い）で動作するシステムを構築しました。これは**エコー状態ネットワーク（ESN）**と呼ばれる手法を使用しています。これを、叩くと振動するドラムだと想像してください。AIエージェントのアクションは、その「叩き」です。エージェントが正しく機能していれば、ドラムは予測可能でリズムのあるパターンで振動します。もしエージェントが失敗し始めると（例えば、ループに陥ったり混乱したりすると）、そのリズムは乱れます。番犬はこのリズムを聞き取り、ビートが狂った瞬間にアラームを鳴らします。

論文では、AIエージェントがタスクを解決しようとする**2,823件の実際の試行（エピソード）**を用いてこのテストを行いました。その結果、この「ドラム」の手法は、特定の種類のミスを捉える上で非常に優れていることが分かりました。

• ループ： エージェントが同じことを繰り返して行き詰まったとき、番犬はほぼ毎回それを捉えます。
• ツールのエラー： エージェントがツール呼び出しをミスしたとき、頻繁に検知されます。
• ゴールの逸脱： エージェントが本来すべきことを忘れてしまったとき、番犬はそれを察知します。

しかし、論文は、この番犬が「できないこと」についても非常に正直です。これには**「コンテンツの破損（内容の改ざん）」という盲点があります。例えば、エージェントが文書を読んでいる最中に、その文書内のテキストが密かにデタラメな内容に置き換えられたとします。もしエージェントがそのデタラメに対して異常な反応を示さない場合（つまり、その振る舞いや行動に変化がない場合）、番犬はそのエラーに対して盲目となります。 論文によれば、追加の助けなしでは、このコンテンツエラーの検出率は非常に低くなり（プールされた検出率が完璧なスコアからわずか0.28に低下）、エラーを見逃す割合が72%**に達します。

「盲点」の修正

これを修正するために、著者は**「コンテンツ・グラウンディング・チャネル」と呼ばれる第二のレイヤーを追加しました。これは、番犬に、エージェントが実際に読んでいるテキストをチェックするための虫眼鏡を与えるようなものです。この追加により、コンテンツエラーの検出率は、プールされたテストにおいて0.28から0.59へと跳ね上がり（特定の研究ケースでは、破損がテキスト上で可視である場合に1.00**に達しました）、大幅に向上しました。

しかし、注意点があります。この論文で見つかったのは、この番犬は監視しているAIの「性格」に非常に特化しているということです。ある種類のAI（qwen2.5など）で学習させたものを、別の種類のAI（llama3.1など）に使おうとすると、機能しなくなり、ランダムな推測と同程度の性能しか発揮できなくなります。著者は、新しいAIモデルを使うたびに、異なる家に合わせてサーモスタットを調整するように、番犬を「再校正（リキャリブレーション）」する必要があると主張しています。

「誠実な」限界

論文は、過度な期待を持たせないよう注意深く記述されています。非常にトリッキーなミス、例えばAIが**「ハルシネーション（幻覚）」**を起こしたとき（数字や事実を、もっともらしく聞こえるが実際には偽物のものとして作り上げたとき）、統計的な番犬は役に立たないことを認めています。事前登録された研究では、これらのモデルが自発的に事実を捏造することは稀であり、捏造が起きたとしても、番犬はそれを見ることができないことが示されました。

その代わりに、著者は別のツール、すなわち**「決定論的検証器（deterministic verifier）」**を提案しています。これは賢いAIではなく、単純な数学チェッカーです。もしエージェントが「合計費用は50ドルです」と言った場合、検証器は単に計算を確認します。「エージェントは本当にレシートを合計して50ドルを出したのか？」と。もし計算が合わなければ、検証器はフラグを立てます。この手法は、仕掛けられたテストにおいて、捏造された数字を100%（26件中26件すべて）検知し、誤報はゼロでした。（注：自然で、仕掛けられていない環境においては、研究規模が小さいため決定的な主張はできませんが、この手法はエラーが発生した際にそれを捉えるように設計されています。）

「修復」メカニメント

この論文の最も優れた点は、エラーを検知することだけでなく、それを「修正」することにあります。番犬がアラームを鳴らしたとき、システムは単にエージェントを停止させるのではありません。エージェントを、すべてが正しかった最後のステップまで**ロールバック（巻き戻し）**し、再度試行させます。

これは、ビデオゲームの「チェックポイント」のようなものです。もし穴に落ちてしまったら、レベル全体を最初からやり直すのではなく、最後に安全だった場所まで戻って、別のルートを試します。

• 番犬と修復がある場合： エージェントの成功率は**73%**になります。
• 修復がない場合（単なる再サンプリング）： エージェントの成功率はわずか**52%**です。

著者は、エージェントを修復する最も効果的な方法は、単に「もう一度やって」と言うのではなく、どのチェックが失敗したかを正確に伝えることであることを見出しました（例：「ツール呼び出しを忘れています」）。この具体的な指示によって、失敗の**45%を回復させることができました。単に盲目的に再試行させた場合の回復率は16%**でした。

まとめ

この論文は、エージェントを監視するために、二人目の高価なAIを雇う必要はないことを証明しています。エージェントのリズムを聞いてほとんどのミスを捉える、小さくて速い、マイクロ秒単位のモニターを使用することができます。完璧ではありません。新しいAIモデルごとに再校正が必要であり、あらゆる種類の嘘を捉えられるわけではありませんが、機能するときは、多くの時間とコストを節約できます。そして、ミスを捉えたときには、エージェントを安全な場所まで巻き戻して成功へと導き、成功率を52%から73%へと引き上げることができます。

著者は、この番犬は強力な第一防衛線ではあるものの、それが捉えられない特定の種類の嘘（数学的な事実など）に対しては、単純な非AI的なチェック（数学検証器など）と組み合わせて使用するのがベストであると結論付けています。これはチームワークです。速い番犬が「振る舞い」を扱い、単純な数学チェッカーが「事実」を扱うのです。