技術的サマリー：一貫性という検証可能な性質

問題定義

大規模言語モデル（LLM）エージェントは、ソフトウェアエンジニアリングから複雑な推論に至るまで、多様な分野で顕著な能力を示してきました。しかし、その高リスク環境への展開は、行動の一貫性の欠如によって妨げられています。決定論的ソフトウェアとは異なり、LLM ベースのエージェントは、サンプリングの確率性と表面的なプロンプト変化に対する感応性により、意味的に同等の入力に対して著しい出力変動を示します。現在の評価手法は主に、タスク完了率（例：pass@1）や特定のベンチマークにおける精度に焦点を当てています。しかし、これらの指標は、入力形式、文脈、または実行環境の変化に対して、エージェントが整合性のある信頼性の高い出力を生成するかどうかを捉えることができません。

本論文は、現在のエージェントの信頼性におけるいくつかの重要な限界を浮き彫りにしています：

• 摂動への脆弱性： minor なタイプミスや言い換えにより、思考連鎖（chain-of-thought）推論の精度が著しく低下する。
• ツールへの感応性： 複数のツールにアクセスできるエージェントは、ツールの説明が変更されたり、無関係なツールが追加されたりすると不安定な挙動を示し、敵対的条件下では精度がほぼゼロまで低下する。
• 矛盾する応答： エージェントは、特に文脈長の制限や未指定のクエリ下において、会話のターン間で矛盾する応答を生成することが多い。
• ベンチマーク汚染： 静的ベンチマーク（例：SWE-bench）での性能は、継続的に更新される変種（例：SWE-bench-Live）には反映されないことが多く、真の堅牢性の欠如を示唆している。

既存の研究には、エージェントの実行軌跡のレベルで一貫性を分解・測定するための標準化され、厳密なフレームワークが存在せず、最終的な出力のみに焦点を当てることが多い。

手法

著者は、統計的仮説検定に基づいた、AI エージェントの信頼性に関する厳密な測定科学を提案する。このフレームワークは、信頼性を**観測可能（出力レベル）と内部（軌跡レベル）**の 2 つの次元に分解する。

1. U 統計量による出力一貫性

出力レベルでの一貫性を測定するため、著者はU 統計量を用いて問題を定式化する。

• 設定： 基本プロンプト $x_0$ と、意味的に同等な摂動変種 $x_1, \dots, x_n$ の集合が与えられたとき、エージェントは出力 $y_0, \dots, y_n$ を生成する。
• 指標： 対称カーネル関数 $k(y_i, y_j)$ が、出力のペア間の類似性を測定する（例：BLEU、ROUGE、含意関係、または LLM ベースのジャッジ）。
• 推定量： 一貫性は、母集団パラメータ $\theta = E[k(Y, Y')]$ の不偏推定量である U 統計量 $U_n$ によって推定される。
• 仮説検定： このフレームワークは、帰無仮説 $H_0: \theta = 1$（完全な一貫性）に対して対立仮説 $H_1: \theta < 1$（一貫性の欠如）を検定する。定理 1 と 2 は、特定の仮定（分布不変性と均質なタスク分布）の下で、検定統計量が漸近的に正規分布に従うことを示しており、サイズ（偽陽性の制御）と検出力（検出感度）に関する保証を提供する。

2. カーネル法による軌跡一貫性

エージェントが逐次的な意思決定プロセスを実行することを認識し、フレームワークは実行軌跡 $\tau = (a_1, \dots, a_T)$ に拡張される。

• 確率過程： 軌跡は、可変長と時間的依存性を持つ確率過程として扱われる。
• 指標： 著者は、再生核ヒルベルト空間（RKHS）における**最大平均不一致（MMD）**を用いて、基本軌跡の分布と摂動軌跡の分布間の距離を測定する。
• カーネル： 可変長の行動シーケンスを処理するため、本論文は以下の手法を採用する：
  • ジェンセン・シャノン距離（JSD）： 使用されるツールの割合を測定する「構成ドリフト」を測定する。
  • レーベンシュタイン距離（LD）： 順序のドリフト（シーケンスの安定性）を測定する。
  • グローバルアライメントカーネル（GAK）： 編集距離における非負定値性の問題を解決する正定値カーネルであり、MMD に対する統計的に妥当なアナログを提供する。
• 重み付き指標： 誤りの非対称性（初期の探索よりも後期の逸脱の方が重大である）を捉えるため、著者は編集コストを位置によってスケーリングする重み付きレーベンシュタイン距離を導入する。

3. 多様性の扱い

単一のタスクに対して複数の有効な解決策が存在する問題に対処する。このフレームワークは、(i) GAK 行列に対するスペクトルクラスタリングによる解決モードの特定、および (ii) 各モード内での一貫性の測定という 2 段階のアプローチを提案し、正当な戦略の多様性と真の不安定性を区別する。

主要な貢献

1. 基礎的フレームワーク： 本論文は、エージェントの一貫性を定量化するための原理的な統計的フレームワークを確立し、中核能力と実行の堅牢性を区別する。
2. 理論的厳密性： 提案された検定統計量の漸近的正規性に関する形式的証明（定理 1〜3）を提供し、保守的な偽陽性率と真の一貫性の欠如を検出するための高い検出力を確保する。
3. 診断的粒度： 一貫性の欠如を構成ドリフト（どの行動が取られるか）と順序ドリフト（それらがどのように順序付けられるか）に分解することで、出力のみの指標では見えないアーキテクチャの弱点を明らかにする。
4. 時間的診断： 重み付き軌跡指標の導入により、エージェントがいつ逸脱するか（先頭負荷型か後方負荷型の誤りか）を特定可能にし、アーキテクチャの修正に対する具体的な指針を提供する。

実験結果

このフレームワークは、3 つのエージェントベンチマークで検証された：SWE-bench Verified（ソフトウェアエンジニアリング）、Spider2-DBT（データ変換）、およびBFCL（関数呼び出し）。実験では、プロンプトレベル（言い換え、逆翻訳、ノイズ）およびタスクレベル（環境変化、スキーマシフト、囮ツール）の摂動が適用された。

• 高精度が一貫性の失敗を隠蔽： エージェントはプロンプトレベルの摂動下では比較的高い出力一貫性（0.75〜0.90）を維持したが、タスクレベルの摂動下では著しい劣化を示した。
• 軌跡指標が隠れた失敗を明らかに：
  • SWE-bench： 「線形 MCP」摂動（情報検索メカニズムの変更）下では、OpenHands+Kimi-K2 の精度は約 25% に崩壊したが、出力一貫性は 60% のままだった。軌跡分析により、ツールの選択は一貫していた（高い JSD）が、行動の順序が著しく劣化していた（低いレーベンシュタイン距離）ことが判明し、実行シーケンスの失敗を示した。
  • BFCL： XML 形式の摂動下では、OpenHands+Kimi-K2 の精度はほぼゼロに低下した。軌跡指標は、構成と順序の両方において完全な崩壊を示し、JSON パースへのハードコードされた依存性と、有効な XML を生成できないことを明らかにした。
  • Spider2-DBT： Codex はスキーマ摂動下で高い構成一貫性を示したが、順序一貫性は中等度であった。これは、エージェントが摂動された入力に対して一貫して誤った回答を生成していたことを示唆する。
• 摂動強度： 除去実験により、摂動強度の増加（例：複数の言い換えパス）は精度の漸進的な低下をもたらしたが、特定の構造的変化（例：死んだコードの注入）は飽和効果を示し、エージェントが明確に使用されないコードを無視できることを示唆した。

意義と主張

本論文は、「エージェントがどこで、なぜ逸脱するかを特定するための数学的ツール」を提供すると主張する。その意義は、「エージェントはタスクを解決するか？」という評価パラダイムから、「エージェントは変化下でタスクを信頼性高く解決するか？」というパラダイムへの転換にある。

• 診断感度： 著者は、軌跡レベルの一貫性指標が従来の pass@1 レートよりもはるかに高い診断感度を提供し、精度指標が隠蔽するアーキテクチャの脆性を露呈させることを実証する。
• 展開準備性： 特定の失敗モード（例：シーケンスエラー対ツール選択エラー）を特定することで、このフレームワークはアーキテクチャ上の懸念の特定と修正を可能にし、これは高リスクの現実世界環境でのエージェント展開の前提条件である。
• 限界： 著者は、そのアプローチが摂動における意味的同等性の仮定に依存しており、これは経験的に検証することが困難であることを認めている。さらに、現在の軌跡分析は行動シーケンスを一貫性の単位として扱い、中間推論状態や信念更新を無視している。これらは、標準的なエージェントフレームワークによって現在露出されていない内部モデル状態へのアクセスを必要とする。

結論として、この研究は、単純な成功率を超えて、ストレス下でのエージェントの振る舞いに対する微妙な理解へと移行する、厳密で検証可能なエージェント信頼性の定義を提供し、より堅牢な AI システムの構築の基盤を提供する。