🤖 AI

AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems

本論文は、LLM ベースのマルチエージェントシステムにおける決定的なエラーをリアルタイムで予測・特定し、事後の失敗帰属に依存するのではなく展開時の介入を可能にするために、新たにキュレーションされた AFTraj-2K データセットで訓練されたコンパクトなオンライン監査器を備えたフレームワーク「AgentForesight」を導入する。

原著者： Boxuan Zhang, Jianing Zhu, Zeru Shi, Dongfang Liu, Ruixiang Tang

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Boxuan Zhang, Jianing Zhu, Zeru Shi, Dongfang Liu, Ruixiang Tang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットチームが複雑な家具を共同で製作している様子を想像してください。彼らには計画があります：あるロボットが木材を切断し、別のロボットがそれを研磨し、さらに別のロボットが塗装します。

過去には、完成したテーブルがぐらついたり、間違った色に塗られていたりした場合、専門家は最終段階まで待ち、出来上がった失敗を見て、「ああ、研磨ロボットが間違った粒度の紙を使った時点で問題が始まったのだ」と言うものでした。これは事後失敗帰属と呼ばれます。まるで家がすでに燃え尽きた後に犯罪を解決する探偵のようです。誰がやったかはわかりますが、火災を止めることはできません。

AgentForesightはこのゲームを変えます。災害を待つ代わりに、ロボットたちのすぐ隣に立ち、彼らのすべての動きをリアルタイムで監視する超警戒的な安全検査員を想像してください。

核となるアイデア：「継続か停止か」の検査員

この検査員（監査員）は未来を知りません。彼が見ているのは、これまでに起きたことだけです。検査員は、すべてのステップにおいて瞬時の判断を下さなければなりません：

継続：「これまでのところすべて安全そうです。ロボットたちを働き続けさせましょう。」
警報：「停止！今、致命的な間違いを認識しました。これを続けさせれば、プロジェクト全体が失敗します。」

目標は、他のロボットたちが盲目的にその悪い方向へ追随してプロジェクト全体を台無しにする前に、決定的なエラー、つまり列車が脱線するその特定の瞬間を捉えることです。

問題：なぜ以前はこれが難しかったのか？

これまで、これらの検査員を訓練するための良いデータがありませんでした。

「安全」の問題：既存のデータのほとんどは、失敗したプロジェクトのみを示していました。ステップごとに何も問題が起きなかったことを知っていた完璧なプロジェクトの例が不足していました。失敗のみで訓練された検査員は、パニックを起こし、小さなつまずきさえも災害だと考えて、すべてのプロジェクトを停止させてしまうかもしれません。
「タイミング」の問題：既存のモデルは、完成した失敗を見て「それはステップ4でした」と言うのは得意でした。しかし、ステップ4が進行中であるときにそれを見て、「そこで止まれ！」と言うのは全く不得意でした。

解決策：AgentForesight

研究者たちは、3つの主要な部分からなる新しいシステムを構築しました。

1. 訓練マニュアル（AFTRAJ-2K）

彼らはAFTRAJ-2Kと呼ばれる、ロボット作業ログの膨大なライブラリを作成しました。

安全なログ：彼らは、数千の成功したロボットタスクを慎重にフィルタリングし、最初から最後まで真に完璧であることを保証しました。これにより、検査員は「安全」がどのようなものかを学びます。
破損したログ：彼らは安全なタスクを取り、特定のステップで意図的に破損させました（例えば、ロボットに間違った道具を使うよう指示するなど）。その後、AI 審査員のパネルを用いて、どのステップが失敗を引き起こしたかについて合意しました。これにより、検査員は警報を鳴らす正確なタイミングを学びます。

2. 訓練方法（粗い粒度から細かい粒度へ）

彼らは検査員をいきなり深い部分に投げ込みませんでした。武道の学生のように、2段階で訓練しました：

段階1：「直感」（リスク予測）：まず、検査員に「安全な」瞬間と「危険な」瞬間の違いを感じさせるよう教えました。彼らはステップのペアを示しました。「これは安全に見える」対「これは危険に見える」。検査員は、物事が誤り始める境界線を感知することを学びました。
段階2：「狙撃手の狙い」（精度）：検査員が良好な「直感」を持てるようになった後、彼らはそのスキルを磨きました。彼らは、正確にどのステップと、正確にどのロボットが責任あるかを特定することを教えました。彼らは、検査員が以下の3つを正しく行うことを称賛する報酬システムを使用しました：
- 何：正しい回答形式を与えましたか？
- どこ：エラーを正確なステップで捉えましたか？
- 誰：正しいロボットを非難しましたか？

3. 結果（AgentForesight-7B）

結果として、他の AI システム alongside して動作する、コンパクトで高速な AI 監査員（AgentForesight-7Bと命名）が生まれました。

より速く、より賢い：テストにおいて、それは巨大で高価な AI モデル（GPT-4.1 や DeepSeek-V4-Pro など）よりもはるかに優れたエラー検出を行いました。
正確：単に「何かがおかしい」と言うのではなく、「停止！マネージャーロボットがステップ3で間違いを犯しました」と言いました。
実用的：標準的なハードウェアで実行できるほど小さく、つまり、すべてを遅くすることなく実際のアプリケーションで実際に使用できます。

なぜこれが重要なのか

これを AI チームのためのスペルチェックのように考えてください。

従来の方法：あなたは全文を書き上げ、提出し、その後スペルチェックが「1 ページ目にスペルミスがあります」と言います。その頃には、論文はすでに送信されています。
AgentForesight の方法：あなたがタイプしている間、スペルチェックはあなたが間違いを犯した瞬間にそれを強調表示し、文が終わる前に行います。それは壊れた製品を送信するのを防ぎます。

この論文は、このシステムが AI が作業している間に介入することを可能にし、コーディング、数学、ウェブナビゲーションのタスクにおいて、小さな間違いが大きく不可逆的な失敗に発展するのを防ぐと主張しています。これは、失敗分析を「死後検視（剖検）」から「ライブ手術（患者を救う）」へと変えるものです。

技術的サマリー：AgentForesight

1. 問題定式化

本論文は、大規模言語モデル（LLM）に基づくマルチエージェントシステムにおける重要な信頼性のボトルネック、「カスケード故障」現象に対処する。長期的なタスクにおいて、単一の決定的なエラー（例えば、不正なツール呼び出しや誤った推論）が下流のエージェントによって受け入れられ、軌跡全体に伝播し、最終的な結果を回復不能にする。

既存のアプローチは、この問題を事後の失敗帰属として捉えており、モデルは軌跡が完了し失敗した後にのみ、責任あるエージェントとステップを診断する。著者らは、このパラダイムが介入の機会を失うと主張する。失敗を事後に診断した時点で、下流のエージェントはすでにリソースを消費しており、潜在的に不可逆的な副作用を誘発している。

本論文は、この問題をオンライン監査として再定義する。この設定では、専用の監査人が、展開中の軌跡の現在の接頭辞のみを観察し（将来のステップ、ツール応答、または最終結果へのアクセスなし）、各ステップで継続または警報の判断を下す必要がある。監査人は以下のことを行わなければならない：

依然として安全な接頭辞と、決定的なエラーを通過した接頭辞を確実に区別する。
事後ではなく、エラーが発生した正確なステップで警報を発令する。

2. 手法

著者らは、キュレーションされたデータセットと粗から細へのトレーニングレシピを含むフレームワークAgentForesightを提案する。

A. データセット：AFTRAJ-2K

オンライン監査を支援するため、著者らはコーディング、数学、エージェント分野にわたる約 2,300 のエージェント軌跡からなるコーパスAFTRAJ-2Kを構築した。完了した失敗のみをラベル付けする従来のデータセットとは異なり、AFTRAJ-2K は安全かつ安全でない軌跡の両方に対してステップレベルの教師信号を提供する：

検証済み安全軌跡（ $D_{safe}$ ）： 成功した実行は、結果の同等性、ツールの整合性、および一貫性チェックを含む厳格なパイプラインでフィルタリングされ、監査人を誤導する可能性のある「沈黙」の中間エラーを含まないことを保証する。
失敗軌跡（ $D_{unsafe}$ ）： これらは 2 つのストリームを通じて構築される：
- 構築ストリーム： 検証済み安全軌跡への制御された決定的なエラー注入（例えば、ツール呼び出しまたは判断の書き換え）により、既知の真の決定的エラーステップを持つ対照的失敗を作成する。
- 診断ストリーム： 決定的なステップが不明な自然発生的な失敗軌跡。これらは、複数の LLM 判事による「提案と検証」のアンサンブルを用いて注釈付けられ、最も早い決定的エラーステップと責任あるエージェントについて合意に達する。

B. モデル：AgentForesight-7B

著者らは、粗から細への強化学習（RL）レシピを使用して、コンパクトなオンライン監査人（Qwen2.5-7B-Instruct ベース）をトレーニングする：

ステージ 1：失敗境界の整合（BPPO）：
モデルは、安全な接頭辞と安全でない接頭辞の間の鋭い遷移を認識するようにトレーニングされる。**境界ペア選好最適化（BPPO）**を使用し、モデルは決定的なエラーに直前の接頭辞に対して CONTINUE を、エラーを含む接頭辞に対して ALARM を出力することを学習する。これにより、失敗境界において「リスク予期事前分布」が確立される。
ステージ 2：3 軸判断の鋭敏化（GRPO）：
モデルは、3 つの軸を標的とした複合報酬関数を用いた**グループ相対方策最適化（GRPO）**でさらに洗練される：
- 何（構造）： 出力が厳格な JSON スキーマ（判断、ステップ、エージェント、理由）に従うことを保証する。
- どこ（タイミング）： 真の値を中心としたガウス報酬を使用して、決定的なステップの正確な局所化を報酬とする。
- 誰（帰属）： 正しい責任あるエージェントを特定することを報酬とする。
  このステージは、リスク予期事前分布を、正確なステップレベルの局所化へと鋭敏化する。

3. 主要な貢献

オンライン監査パラダイム： 本論文は、失敗分析の展開時再定義としてオンライン監査を導入し、事後診断から能動的なステップレベル介入へと移行させる。
AFTRAJ-2K： 安全および安全でない軌跡の両方に対する最初のステップレベルの真の値を提供するキュレーションされたデータセット。複数の判事による合意を通じて、決定的なエラーステップと責任あるエージェントで注釈付けられている。
AgentForesight-7B： 2 段階の RL レシピでトレーニングされたコンパクトなオンライン監査人であり、接頭辞制限設定において、はるかに大規模なプロプライエタリモデルを大幅に上回る性能を発揮する。
実証的検証： 粗から細のアプローチが、失敗の伝播が固定される前に介入可能なモデルを生み出すことを示す広範な評価。

4. 実験結果

著者らは、保持された AFTRAJ-2K スプリットと外部のWho&Whenベンチマークで AgentForesight-7B を評価した。

AFTRAJ-2K での性能： AgentForesight-7B は、正確なステップ F1 スコア 66.44を達成し、最強のプロプライエタリベースライン（DeepSeek-V4-Pro）を**+19.9%（46.56）上回った。また、絶対ステップシフト（局所化エラー）を3 倍**（0.59 対 1.77）削減した。
汎化： 外部の Who&When ベンチマークにおいて、AgentForesight-7B は57.69% のステップ精度と73.08% のエージェント精度を達成し、GPT-4.1 をステップ精度で約 19.6 ポイント上回った。
展開のトレードオフ： このモデルは「展開可能領域」（誤警報率 ≤ 20%、ステップ精度 ≥ 50%）内で動作するが、DeepSeek-V4-Pro のような強力なプロプライエタリベースラインは、高い誤警報率によりこの領域外に陥った。
アブレーション： 2 段階のレシピは不可欠であることが証明された。ステージ 1 単独では F1 を 21.1 から 35.6 に向上させ、ステージ 2 単独では 50.4 に達したが、複雑なエージェント分野において最終的な 66.44 のスコアを達成するには、組み合わせが必要であった。

5. 意義と主張

本論文は、AgentFoesight が事後の失敗検出から展開時介入へとループを開くことを主張する。失敗分析をオンライン監査タスクとして扱うことで、このフレームワークは、決定的なエラーが可視化された瞬間に実行を停止し、完全な軌跡の失敗につながるエラーのカスケードを防ぐことを可能にする。

著者らは、その成果が単にモデルサイズのスケーリングではなく、オンライン設定に特化した専門的なトレーニングレシピとデータセットに由来すると強調している。彼らは、事後帰属モデル（AgentDebug-7B）を直接流用しても、オンラインプロトコル下では失敗することを指摘し、問題の固有性を浮き彫りにしている。この研究は、外部監査人を、基盤となるマルチエージェントシステムとは独立して更新可能なモジュール化された専門的な安全装置として位置づけ、より信頼性が高く、ランタイム安全なエージェント展開への道筋を示している。