Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence

技術要約：エージェント行動契約 II

問題提起
マルチエージェントシステムの信頼性を認証するための現在のフレームワークは、構成的なアプローチに依存している。すなわち、個々のコンポーネントの信頼性を境界付け、それらの境界を乗算することでシステム全体の保証を導出するという手法である。このステップは、条件付き独立性の仮定（C5）によって正当化されている。この仮定は、適切なハンドオフが行われた場合、下流のエージェントの契約充足は上流のエージェントの実行とは独立していると仮定するものである。著者らは、この仮定は日常的に述べられているものの、検証されることは稀であり、特に冗長なエージェント（例：ライターとレビュアー）が同じ基礎となるモデルの重みを共有している場合には、極めて不合理であると主張している。コンポーネントがモデルを共有している場合、それらは「盲点」を共有することになり、失敗における正の依存関係が生じる。本論文は、この依存関係を無視することが、オペレーターにとって不利な「符号誤差（signed error）」をもたらすことを示している。すなわち、正の依存関係は、独立性の積よりも結合失敗確率を増大させ、冗長設計が最も必要とされる瞬間に、その設計が過大に評価される原因となる。

さらに、本論文は標準的な「解決策」が不適切であることを特定している：

1. 仮定を完全に破棄する場合： フレシェ・ヘーフェディング（Fréchet–Hoöffding）境界へと至るが、コンポーネントの平均信頼性が $1 - 1/m$ を下回る場合、これらはしばかった（保証の下限がゼロになる）ものとなる。
2. パラメトリックな依存モデル（例：ガウス型一因子コピュラ）を適合させる場合： これはさらに悪い結果をもたらす。著者らは、モデルが誤設定されている場合、ブートストラップによる下限の被覆率が、サンプルサイズ $n \to \infty$ に伴ってゼロに崩壊することを証明した。識別ギャップは $O(1)$ のまま維持される一方で、ブートストラップの不確実性は $O(n^{-1/2})$ として縮小するため、データが増えるほど、目に見える兆候がないまま、自信を持って間違った証明書を作成することになる。

手法
本論文は、厳格な事前登録済み実験デザインと、新しい有限サンプル認証フレームワークを採用している。

• 実験デザイン： 著者らは、12個の腕（arms）にわたる30,820回のミッションを実施し、その中には2エージェントのハンドオフ・トポロジーにおける18,000回の確認的コア・ミッションが含まれている。著者らは、「共有条件」を以下の3つのレベルで操作した：

  1. 同一モデル： 両方のエージェントが mistral-small-24b を実行。
  2. 同一ベンダー： エージェントは異なるモデルを実行（mistral-small-24b vs ministral-8b）。
  3. 異なるベンダー： エージェントは異なるベンダーのモデルを実行。
     スコアリングは決定論的（ゴールドコード）で行われ、誘発された相関を防ぐために判定ループにLLMは含まれていない。

• 認証フレームワーク（階層的アプローチ）：

  • ティア 0 (観測値): 観測されたグラフの結果に対する直接的なクロッパー・ピアソン（Clopper–Pearson）下限（エンドツーエンドの実行を必要とする）。
  • ティア 1 (コピュラ非依存): 依存構造を仮定しない有限サンプル認証。これは、測定された共実行モーメント（周辺分布、ペア、および高次の共成功モーメント）の周囲にあるボンフェローニ・クロッパー・ピアソン・ボックスによって制約された、ジョイント分布上の線形計画法（LP）を定式化する。このアプローチは健全であり、特定の割り当ての下でモーメント族に対して鋭利かつ単調である。
  • ティア 2 (モデルベース): 診断専用のフロアとして、適合されたガウス・コピュラに基づく。これは、被覆率の崩壊が証明されているため、認証には明示的に使用されない。

• 随時有効な認証（Anytime-Valid Certification）： 継続的なモニタリング（オプション停止）の実態に対処するため、ゲーム理論的確率に基づく e-プロセスを導入する。これはグラフ結果の条件付き平均のみを制約し、ミッション間またはコンポーネント間の独立性を必要としない。これは、最適なベッティング比率において、逐次確率比検定（SPRT）を正確に復元する。

主な結果

1. 相関した失敗： same_model 条件において、いずれかのエージェントが失敗したミッションのうち、同一モデルの2つのインスタンスが同時に失敗する割合は 90.0% であった（$\log OR = 6.66$, 95% CI [6.38, 7.00]）。これにより、モデルの共有が大規模な正の依存関係を誘発することが確認された。
2. モデル vs ベンダー： 異なるモデルへの置換は、相関を大幅に減少させた（6/6のコントラストがトポロジー間で有意であった）。しかし、モデルは異なるもののベンダーを異なるものに置換しても、相関の減少は有意ではなかった。「ベンダー」という変数は、モデルの同一性が異なれば、失敗の相関を予測する信頼できる指標ではなかった。
3. 周辺的な感度： Jaccard重複、$\phi$、Kendallの $\tau_a$ といった一般的な依存統計量は、周辺的な失敗率によって境界付けられることが示されている。特定の条件下では、これらの統計量は周辺的な失敗率の違いによって見かけ上の順序を逆転させたが、周辺分布に依存しない統計量（log odds ratio, Yule's Q）は一貫性を保っていた。
4. 認証の改善： 実データにおいて、モーメント集合を10個（周辺分布 + ペア）から14個（トリプルを追加）に増強することで、特定された区間を 85.7% 狭め、認証されたフロアを 0.2455 から 0.4116 へと引き上げた。
5. モデルベースの崩壊： コントロールされた実験において、モーメントが識別不可能な誤設定下では、サンプルサイズが250から2000に増加するにつれて、モデルベースのフロアの被覆率は0.36から0.01へと低下した。一方、ティア1のコピュラ非依存のフロアは100%の被覆率を維持した。
6. 随時有効性： e-プロセスの実装は、任意の停止条件下においても、すべてのベッティング比率にわたって、経験的な第一種の過誤率を 0.0471 以下に維持した。

意義と主張
本論文は、独立性を仮定しない、構成されたエージェント・パイプラインのための最初の 有限サンプルかつコピュラ非依存の信頼性認証 を提供すると主張している。その主要な貢献は、単に失敗が相関していることを測定すること（これは既存の研究でも行われている）ではなく、依存関係が測定されていない場合には正直に劣化し、沈黙のうちに誤った数値を生成することのない、健全で鋭利かつ実行可能な境界 を提供することにある。

著者らは、以下の事項については主張しないことを明示している：

• 同一モデルが共に失敗することを初めて発見したという主張。
• 3段階の共有順序（同一モデル > 同一ベンダー > 異なるベンダー）の発見（ベンダーレベルのコントラストが再現されなかったため）。
• 認証が指数関数的なコストなしに多数のエージェント（$m$）にスケールするという主張、あるいは、集約器自体がLLMである場合に適用できるという主張。
• 結果が最先端モデルやオープンエンドな対話タスクに一般化するという主張（評価は中規模モデルと決定論的な小売・金融タスクに限定されているため）。

本研究は、マルチエージェントの信頼性における「静かな失敗」に対する是正措置として提示されており、相関した失敗を測定可能にし、保証が沈黙のうちに（ではなく）透明に劣化することを保証する手法を提供している。すべてのコード、契約、ジェネレータ、および事前登録はAGPL-3.0の下で公開されている。