Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents

以下は、論文「Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents（観測できないものを統治する：自律型 AI エージェントのための適応的ランタイム統治）」の詳細な技術的サマリーです。

1. 問題定義

本論文は、自律型 AI エージェント（特に大規模言語モデルエージェント）の統治における重要なギャップに対処します。既存のプラットフォーム（AWS、Microsoft、Google など）は、静的でアイデンティティ中心の承認（例：「このアクションは許可されているか？」）を提供しますが、コード変更なしに時間とともに進化し、検出されない行動のドリフトや創発的リスクを検知することには失敗しています。

著者は、静的なポリシーが見逃す 3 つの具体的な失敗モードを特定しています：

1. 行動の非定常性：モデルの更新やプロンプトのドリフトにより、エージェントが静かに分布をシフトさせる。
2. 構成的リスク：個々の無害なアクション（例：少額の送金）が組み合わさって詐欺（例：構造化）を形成する。
3. 創発的差別：適応的学習が初期のデータ不均衡をシステム全体のバイアスへと増幅させる。

現在の解決策（ルールベースのガードレール、LLM 評価者、静的ポリシーエンジン）は、回避可能であったり、遅延を導入したり、過去の行動の記憶を欠いたりする。核心的な問題は、エージェントが完全に承認されたままでも、観測されないリスクが蓄積するにつれて安全ではなくなる点にある。

2. 中核的アプローチ：情報的生命可能性原理

本論文は、Aubin の生命可能性理論に基づいて統治を理論的に再定義することを提案する。中核的な洞察は情報的生命可能性原理である：

自律型エージェントを統治することは、観測されないリスク（$\hat{B}(x)$）の上限を継続的に推定し、エージェントの観測された能力（$S(x)$）が安全マージン（$\epsilon$）だけこの上限を上回る場合にのみアクションを許可することに帰着する。

決定ルール：
$$\text{Allow } x \iff S(x) \ge \hat{B}(x) + \epsilon$$

観測されないリスク（$\hat{B}(x)$）の分解

本論文は、$\hat{B}(x)$ を統計的に区別される 3 つの項に分解し、それぞれに特定の推定器を必要とする：

1. $U(x)$（不確実性/分布ドリフト）：エージェントの行動が参照分布から逸脱することによるリスク。取引結果とツール呼び出しのスライディングウィンドウに対するKL ダイバージェンスによって推定される。
2. $SB(x)$（構造的バイアス）：異なる人口セグメントがどのように扱われるかにおける体系的な格差によるリスク。セグメント対残りの Z 検定（2 比例検定）によって推定される。
3. $RG(x)$（現実ギャップ/逐次文脈）：一連の行動でのみ現れるパターン（例：構造化詐欺）によるリスク。PlanGovernor（行動履歴のパターンマッチング）によって推定される。

エージェント生命可能性フレームワーク（AVF）

この原理を実用化するために、著者は統治システムに必要な 3 つの必要十分条件を定義する：

• P1（監視）：すべての制約にわたって $\hat{B}(x)$ を継続的に推定する（状態保持型の履歴が必要）。
• P2（予見）：違反が発生する前に変化率（$d\hat{B}/dt$）を監視することで、境界横断までの時間（$t^*$）を予測する。
• P3（単調な制限）：介入は制限を強化することのみでき、緩和することはできない。これにより、敵対的な操作に対するリスク推定の整合性が保たれる。

3. システム実装：RiskGate

著者は、AVF の参考実装であるRiskGateを提示する。

• アーキテクチャ：統治層（統計推定器）、ドメイン層（ビジネスルール）、抽象化層（ポリシー API）からなる 3 層の非循環グラフ（DAG）。
• 統計推定器：
  • デュアルチャネル KL ダイバージェンス：取引結果とツール呼び出しを個別に監視し、結合された偽陽性率（FPR）制御のためにボッフェローニ補正を適用する。
  • 適応的閾値（D-UCB1）：ディスカウント付き上信頼区間アルゴリズムを使用して検出閾値を動的に最適化し、偽陽性と見逃された異常のバランスを取る。
  • バイアス検出：自己包含バイアス補正を伴うセグメント対残りの Z 検定を実装する。
• オートパイロット（規制マップ）：
  • Aubin の規制マップ（$R_A$）のインスタンスとして形式化される。
  • 「強化のみ」の基盤で動作する。システムが生命可能性境界に近づくと、自動的に閾値を強化する。
  • システムが有効なアクションなしに立ち往生することのないよう、「最後の手段」としてのキルスイッチを含める。
• 予測的統治：
  • 生命可能性指数（VI） $VI(t) \in [-1, +1]$ を計算する。
  • 最近の $VI$ 値に対するOLS 回帰を用いて $t^*$（境界横断までの時間）を予測し、統治を反応的から予測的へと変換する。

4. 主要な貢献

1. 理論的フレームワーク：情報的生命可能性原理は、統計推定器と統治の性質を単一の数学的構造の下で統合し、監視、予見、単調性がなぜ必要かを説明する。
2. エージェント生命可能性フレームワーク（AVF）：エージェントの劣化（老化）の形式的定義と、それを防ぐために必要な 3 つの性質（P1-P3）。
3. RiskGate 実装：以下の機能を備えた完全な Python ライブラリ：
   • モンテカルロ較正を伴うマルチチャネルドリフト検出。
   • マルチアームドバンディットによる適応的閾値最適化。
   • 決定が厳密に累積的（$D_{final} = \bigwedge D_i$）である単調パイプライン。
   • 空でない生命可能性カーネルの形式的保証を備えたクローズドループのオートパイロット。
4. 分析的検証：
   • カバレッジマッピング：フレームワークを「混沌のエージェント」失敗分類（11 のケーススタディ）にマッピングし、$\hat{B}(x)$ の 3 つの項がどのようにさまざまな失敗モードを網羅するかを示す。
   • 実演：
     • 構造化攻撃：$U(x)$ と静的ルールが見逃す詐欺を $RG(x)$（PlanGovernor）がどのようにブロックするかを示す。
     • 創発的バイアス：P2（予見）が、反応的な Z 検定がトリガーされる 108 操作前にバイアスドリフトを検出することを示す。

5. 結果と評価

• 注記：本論文は明示的に、定量的実証評価（検出率、遅延、ROI の測定）は将来の作業として範囲設定されていると述べている。現在の結果は分析的かつ理論的である。
• 分析的カバレッジ：フレームワークは Shapira ら [23] による 11 の文書化された失敗事例に成功裏にマッピングされ、単一の推定器ではすべてのリスクを網羅できないこと、$U(x)$、$SB(x)$、$RG(x)$ の組み合わせが必要であることを実証する。
• 収束：RiskGate のドリフト低減戦略は Rath [21] の知見と一致しており、組み合わせ戦略（メモリ、ルーティング、アンカーリング）はドリフトを最大 81.5% 削減できることを示唆する。
• 予測能力：$t^*$ 予測メカニズムは、介入のための「リードタイム」を提供し、制約が違反される前にシステムが行動することを可能にすることが示されている。

6. 意義と影響

• パラダイムシフト：AI 統治を、アクションが「今」許可されているかを確認する静的で状態非保持の承認から、エージェントの軌道が安全かを確認する動的で状態保持の生命可能性へと移行させる。
• 規制への整合性：このフレームワークは、定量化可能で継続的なリスク推定と監査証跡を提供することで、EU AI 法（リスク管理、精度、人間の監督）の要件に直接対応する。
• 形式的厳密性：システムを生命可能性理論に基づけることで、システムが「立ち往生」しない（定理 3.1）ことと、介入が構造的に安全であること（P3）を数学的に保証する。
• 敵対的耐性：**単調な制限（P3）**の性質は、攻撃者がシステムを自らの防衛を緩和させようとする「敵対的侵食」に対する重要な防御策として強調される。

要約すると、本論文は、行動ドリフト、構成的リスク、創発的バイアスに適応できる自律型エージェントを統治するための厳密な理論的基盤と具体的な参考実装を提供し、エージェントの行動がリアルタイムで明示的に観測できない場合でも安全性を確保する。