技術サマリー：最終回答を超えて：マルチエージェント産業ワークフローにおける軌道レベルの幻覚を検証する

1. 問題提起

静的な大規模言語モデル（LLM）から自律型エージェントシステムへの移行は、軌道レベルの幻覚という致命的な故障モードをもたらします。既存のベンチマーク（TruthfulQA、AgentBench など）は、主に最終出力における「ワンショット」の事実誤りを幻覚として評価していますが、マルチエージェントワークフロー内の逐次的かつツールを介した思考 - 行動 - 観察（TAO）サイクル内で生じる逸脱を捉えることができていません。

データセンター監視（特にAssetOpsBenchフレームワーク内）などの産業環境において、幻覚とは単なる誤った回答ではなく、エージェントループを通じて伝播する証拠からの構造的逸脱です。これらの逸脱は、手順のスキップ、前段階からの参照対象の誤り、またはエージェントが権限範囲外で行動するスコープ違反として現れる可能性があります。インスタンスを孤立した入力 - 出力ペアとして扱う現在の評価パラダイムでは、システムが環境の誤解により失敗したのか、あるいは存在しない状態を捏造した失敗なのかを診断できません。さらに、インタラクティブなループにおける幻覚の定義は、論理エラーやツール実行の失敗と混同されがちであり、診断分析に必要な粒度が欠如しています。

2. 手法

著者は、マルチエージェント産業ワークフローにおける軌道レベルの幻覚を検証するために設計されたデータセットおよび評価フレームワークTrajelを導入します。この手法は、4 つの中核コンポーネントを中心に構成されています。

A. 軌道構造と形式化

ワークフローは、LLM 駆動のエージェントを $M$、オーケストレーターを $C$、ツールの集合を $T_{tool}$ として表す複合 AI システム $\Phi = (M, C, T_{tool})$ としてモデル化されます。実行は、$\tau_t$ を思考、$\alpha_t$ を行動、$\omega_t$ を観察とするステップの系列 $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$ として進行します。軌道 $T$ は、これらのステップの順序付けられたトレースです。

B. 軌道認識型幻覚分類

本論文は、幻覚を TAO トレース上の構造的述語として定義し、5 つの明確なタイプに分類します。

1. 事実的 ($h_F$): 現在のステップにおける真実のデータと矛盾する主張。
2. 参照的 ($h_R$): 軌道の履歴に存在しないエンティティや以前の結果への言及（モデルが「記憶」している事実は一度も発生しなかったもの）。
3. 論理的 ($h_L$): 前提が正しくても、その前提から導き出されない推論。
4. 手順的 ($h_P$): タスク仕様で要求されるステップのスキップ、順序入れ替え、捏造、または存在しないステップの完了を主張すること。
5. スコープ ($h_S$): 特定の運用委任範囲外で行動または主張すること（マルチエージェント環境に特有）。

C. データセット構築 (Trajel)

このデータセットは、6 つのモデル構成および42 の産業用 AssetOps タスク across で生成された225 の専門家による注釈付きエージェント軌道で構成されます。

• 注釈プロトコル: バイアスを軽減するハイブリッドアプローチを採用しています。まずLLM をジャッジとして軌道を評価し、その後、LLM の判断にアクセスできないIBM とコロンビア大学の 2 機関からの盲検的人間レビューを行います。
• ラベル: 注釈には、幻覚の有無、タイプ（マルチラベル）、トレース内での位置（思考、行動、観察、応答）、および自由記述の根拠が含まれます。
• 統計: 人間が特定した幻覚発生率は68.3%であり、自動判断と人間判断間のコーホンの $\kappa$ は0.456です。注目すべきは、幻覚を含む軌道の**48.7%**が同時に複数のタイプを示している点です。

D. 検出モデリングフレームワーク

著者は、異なる文脈要件に対処するために、3 つの教師あり検出パラダイムをベンチマークします。

1. サブタスクレベル分類 (BERT): 個々のステップ ($\tau_t, \alpha_t, \omega_t$) に作用し、局所的な手がかりを検出します（事実的幻覚に有効）。
2. 軌道レベル NLI: 軌道履歴を前提、現在のステップを仮説とする含意問題として検出を扱います（参照的および論理的幻覚を対象）。
3. 長文脈モデリング (Longformer): 完全な直列化された軌道を取り込み、手順的およびスコープベースの幻覚のようなグローバルな構造的違反を検出します。

E. シグナル分析

本研究は、実行中または直後に観察可能な実行品質シグナル（タスク完了、データ取得精度、結果検証、エージェントシーケンスの正確性、明確性と正当化）を調査し、幻覚に対する予測力を決定します。

3. 主要な結果

A. 発生率と分類

• 手順的幻覚は最も一般的な故障モードであり、特定された故障の**38.5%**を占めています。これらは出力のみの評価には見えません。
• マルチラベルの複雑性: 幻覚を含む軌道のほぼ半分（48.7%）が同時に複数のタイプに関与しており、単一ラベル分類ではなくマルチラベル定式化の必要性を裏付けています。
• モデルのばらつき: 幻覚発生率はモデル間で劇的に異なり、**52.4%から81.0%**の範囲にわたり、異なるアーキテクチャが長期的な地平においてどのようにグラウンディングを維持するかについて大きな相違があることを示しています。

B. 検出性能

• LLM をジャッジとして: 高い二値精度（F1 = 0.855）を達成していますが、ジャッジは微妙なタイプを体系的に誤分類します。人間との合意度は、論理的（$\kappa = 0.211$）および参照的（$\kappa = 0.176$）幻覚において大幅に低下します。
• 教師ありモデル: 微調整されたモデル（BERT、NLI、Longformer）は多数クラスベースラインを上回りますが、F1 スコアにおいてゼロショット LLM ジャッジには及びません。最良の教師ありモデル（NLI）は ROC-AUC 0.689を達成し、軌道レベルの幻覚検出が現在の分類機にとって未解決の課題であることを確認しました。
• 局所化: 幻覚は最も頻繁に行動（手順的幻覚の 47.5%）と応答（事実的幻覚の 40.3%）に局在しており、失敗はしばしば推論からツール呼び出しまたは出力主張への翻訳段階で発生することを示唆しています。

C. 予測シグナル

本研究は、**明確性と正当化（CJ）**を幻覚の最も強力な単変量予測因子として特定しました。

• 明確でグラウンディングされた推論を欠く軌道の幻覚発生率は**94.3%であるのに対し、高明確性の軌道では9.1%**です。
• CJ シグナル単独でAUC 0.908を達成し、最良の訓練済み分類機（NLI、AUC = 0.689）を大幅に上回ります。
• 明確性と結果検証の両方が欠如している場合、幻覚発生率は**97.1%**に達し、これらのシグナルがエージェントオーケストレーターのための効果的な「キルスイッチ」条件となり得ることを示唆しています。

4. 意義と主張

本論文は、軌道認識型検出が標準的な事後検証を大幅に上回ると主張し、より安全なエージェント展開のために分類に基づいた評価が必要であると述べています。

• 評価の転換: この研究は、二値の「最終回答」検証からエージェントトレースの構造的分析への移行が不可欠であると論じています。静的ベンチマークの現在のパラダイムは、エージェントループの時間的およびインタラクティブなダイナミクスを捉えることができていません。
• 診断的価値: 5 つのタイプの分類は、グラウンディングの失敗を論理エラーや制御フロー違反から解きほぐし、軌道のどこで逸脱が始まったかを診断するために必要な粒度を提供します。
• 実践的な道筋: 発見事項は、限られた軌道データで複雑な教師あり分類機を訓練するよりも、実行品質シグナル（特に明確性と正当化）に基づく軽量なランタイムモニターの方が、リアルタイムの幻覚検出へのより実用的で効果的な道筋を提供することを示唆しています。
• 限界: 著者は、データセットが単一の産業ドメイン（AssetOpsBench）と 6 つのモデル構成に限定されていることを認めています。最も微妙なタイプ（論理的および参照的）における注釈者間合意は中程度であり、より豊富な注釈プロトコルの必要性を示しています。教師あり分類機の性能と LLM ジャッジの性能の間のギャップは、ハイブリッドアーキテクチャに関する今後の研究を促します。

結論として、Trajel はマルチエージェント産業ワークフローにおける軌道レベルの幻覚を検証するための最初の体系的なフレームワークを提供し、手順的およびスコープベースの失敗が一般的であり、しばしば同時に発生し、エージェントの実行トレースの構造的完全性を尊重する評価手法を必要とすることを示実証しています。