テクニカル・サマリー：信頼性を維持するエージェント型AI実行のためのポリシー代数

1. 問題の定式化

本論文は、エンタープライズにおけるエージェント型AIの決定的なギャップ、すなわち「能力（目標に到達する能力）」と「信頼できる能力（許容され、統治された経路を通じて目標に到達すること）」の区別に対処している。大規模言語モデル（LLM）エージェントは推論、ツール利用、委譲において優れているが、推論から行動への移行において新たな失敗モードを導入する。エージェントは、正しい最終回答を生成できたとしても、それが「不正なデータアクセス」「拡大された委譲権限」「未承認の副作用」「回復不能な予算消費」「不完全な監査証跡」を経由したものである場合、その回答は信頼できないものとなる。

既存のフレームワーク（OWASP AISVS、NIST AI RMFなど）やテストベッド（AgentDojoなど）は、リスクを特定し脅威モデルを提供しているが、これらの制御を動的に強制するための、構成可能で実行可能なランタイム・セマンティクスを欠いている。現在のベンチマークは、多くの場合、タスクの成功を優先しており、エンタープライズレベルの認可、監査可能性、またはプロファイルの保存を重視していない。核心となる問題は、エージェントのセキュリティは「パスの特性（path property）」であるということだ。最終的な回答が信頼できるのは、推論から行動への一連の遷移プロセス全体が、アイデンティティ、プロファイル、データ、メモリ、ツール、予算、アーティファクト、承認、および監査に関する統治インバリアント（不変条件）を満たしている場合に限られる。

2. メソドロジー：ポリシー代数

著者らは、エージェントの能力が行使される範囲としての「信頼性のエンベロープ（reliability envelope）」を定義する「ポリシー代数」を提案している。この代数は、セキュリティプロファイルを順序付けられたポリシーオブジェクトとして扱い、それらを合成することで、信頼性の維持と最小制限の健全性を保証する。

コア概念

• 信頼できる能力（Reliable Capability）: エージェントがタスク $\zeta$ に対して信頼できる能力を持つとは、目標に到達し、かつ全ての行動イベント $\eta_t$ が、アイデンティティ、ロール、プロファイル、データ、メモリ、ツール、予算、アーティファクト、Human-in-the-Loop (HITL)、および監査の述語の連言（conjunction）を満たすトレース $\xi$ が存在することを指す。
• ポリシー状態 ($\varpi$): セキュリティプロファイル、実行可能なツールセット、メモリ/データのスコープ、残予算、アーティファクト実体化ポリシー、承認状態、およびエビデンス義務のタプルで構成される。
• 合成 ($\otimes$): 代数はポリシー状態がどのように結合するかを定義する。二つの状態が相互作用する場合（例：委譲やツール呼び出し時）、合成演算子 $\otimes$ は以下を保証する：
  • プロファイル: プロファイルの結合 ($\sqcup$) により、より制限の強い（高アシュアランスな）プロファイルを選択する。
  • 権限: ツールセットとメモリスコープの積集合 ($\cap$) により、権限を絞り込む。
  • 予算: 残予算の最小値 ($\min$) を採用する。
  • 義務: エビデンス要件の和集合 ($\cup$) および、承認要件の論理和 ($\lor$) を適用する。
  • 定理: この合成は、信頼性を維持（アシュアランスを低下させたり権限を拡大したりしない）し、かつ最小制限（すべての入力を満たしつつ、不必要な制限を課さない）であることが証明されている。

主要なメカニズム

1. プロファイル・カスケード: いかなるアクションにおいても有効なプロファイルは、プラットフォーム、チーム、ユーザー、エージェント、およびパブリケーションのプロファイルの結合である。下位レイヤーが上位レイヤーから継承された制約を緩和することはできない。
2. 信頼性を維持する委譲: エージェントがサブエージェントに委譲を行う際、子コンテキストは親の制限を継承する。委譲されたプロファイルは呼び出し側と被呼び出し側のプロファイルの結合であり、ツールセットとメモリスコープは積集合となる。これにより、高セキュリティな呼び出しが低セキュリティなエージェントに委譲されることで制約を回避するといった「プロファイル・ロンダリング（洗浄）」を防ぐ。
3. コストを考慮したアーティファクト実体化: 「ゼロ結果による予算枯渇（結果が得られないまま予算を使い果たすこと）」を防ぐため、ランタイムは実体化述語を強制する。コスト露出が増大するにつれ、許容されるアクション集合は、予算が完全に消費される前に、耐久性のあるアーティファクト（ドラフト、チェックポイント、ファイル）を生成する方向へとリダイレクトされる。
4. 条件的正当性: 本論文は、ポリシー決定（正しいコンテキストに基づく決定）と、コンテキスト自体の正確性（例：誤分類された文書）を区別している。代数は、入力メタデータが正確であることを前提として、正当性を保証する。

システムアーキテクチャ

ランタイムは、以下の層構造を通じて代数を実装する：

• フレームワーク層: 再利用可能なエージェント・ブループリント。
• ランタイム実行層: ポリシーゲートを強制するシステム・オブ・レコード。
• アプリケーション層: ユーザーインターフェースおよびサービスコンシューマー。
• 強制フロー: いかなるアクション（ツール呼び出し、メモリ書き込み、委譲）の前にも、ランタイムは異種混合の入力（RBAC、脅威モデル、メタデータ）を単調なポリシー状態へとコンパイルする。そして述語の連言を評価する。いずれかが失敗した場合、アクションは拒否されるか、HITLへエスカレーションされるか、あるいは実体化へとリダイレクトされる。

3. 主な貢献

1. 信頼できる能力の定義: 目標に到達することと、到達可能なパスを通じて到達することを形式的に区別し、エージェントの自律性を「信頼性のエンベロープ内における効用最大化」として枠付けた。
2. ポリシー代数: エンタープライズのプロファイル、RBAC、ツール、メモリ、パブリケーション、予算、承認、およびエビデンスを扱う構成可能なフレームワーク。これは、合成が信頼性を維持し、かつ全ての入力を満たす最小制限の状態であることを保証する。
3. ランタイム・セマンティクス:
   • 非増幅型委譲: プロファイルの結合や権限の積集合などのメカニズムにより、呼び出しチェーンにおける権限の拡大を防ぐ。
   • コストを考慮した実体化: 予算露出が増加するにつれて、実行を回収可能な出力へとリダイレクトするロジック。
4. デザインサイエンス・パス: セキュリティアーティファクト（脅威モデル、標準規格）を実行可能な述語、リファレンス・ランタイム、および適合性評価プロトコルへとマッピングするためのメソドロジー。

4. 評価と結果

評価は、タスクの成功率ではなく、提案された制御タクソノミーへの**適合性（conformance）**に焦べく行われた。ランタイムは、プロンプトインジェクション、ツールの誤用、RAGガバナンス、マルチエージェント委譲、および予算シナリオをカバーする612のトレース（1,936イベント）を用いたワークロードに対し、RBACおよびホワイトリスト方式の比較対象と比較検証された。

主要指標:

• 安全でない介入率: ポリシー代数は、RBAC比較対象が67.1%であったのに対し、ポリシー違反イベントの**94.8%**をインターセプトした。
• 信頼違反: 代数は、比較対象で見られたプロファイル単調性の違反（31ケース）を**100%排除し、ゼロアーティファクト予算枯渇ケース（18ケース）も100%**排除した。
• 監査の完全性: 71.9%から**98.6%**へと向上し、トレースがレビューや修復に十分なデータを含むことを保証した。
• タスク完了率: ガバナンス下のランタイムは、タスク完了率の**86.9%**を維持した。これは比較対象の90.7%から3.8ポイントの減少である。
• オーバーヘッド: 中央値としての認可レイテンシは38msから71msに増加し、誤介入率は2.1%から4.2%に上昇した。

残留する失敗: 残りのミス（例：サンドボックス脱出における79.1%の介入率）は、代数ロジック自体の失敗ではなく、コンテキスト構築のエラー（例：曖昧なツールの意図、誤分類された文書）に起因するものとされた。

5. 意義と主張

本論文は、セキュリティ標準や脅威モデルを、有用なエージェント能力を損なうことなく、実行可能な挙動へと変換するための形式的かつ実行可能な手法を提供すると主張している。

• 視点の転換: セキュリティの焦点を「出力の安全性（最終的な回答は安全か？）」から「アクション・パスの信頼性（すべての遷移は安全か？）」へと移行させている。
• 構成的な信頼: マルチエージェント間の信頼は、代数演算子（結合と積集合）を通じて、委譲中の権限拡大を防ぎながら維持できることを示している。
• 経済的信頼性: 予算枯渇を耐久性のあるアーティファクトなしではポリシー失敗として扱うメカニズムを導入し、 unattended（無人）ワークフローにおける経済的な回収可能性を確保している。
• 修復ループ: 失敗した評価ケースをポリシーの更新と回帰テストに変換できるクローズドループ・プロセスをサポートしており、システムが進化することを可能にしている。

著者らは、これが標準の集約、エンタープライズ・ガバナンス、およびマルチエージェント間の信頼伝播を接続する、実装指向の形式化であることを謙虚に述べている。既存の標準や防御策に取って代わるものではなく、それらを実行可能にすることを目的としている。結果は特定のワークロードにおける測定可能なトレードオフとして提示されており、「信頼性のエンベロープ」を適用することで、生の能力に対して管理可能なコストで信頼性を担保できることを示している。結論として、エージェントが「信頼して行動できる」ための道筋は、ポリシー代数の不変性を弱めることではなく、より優れたコンテキスト知覚とポリシー較正を通じて信頼性のエンベロープを拡張することにあるとしている。