技術要約: PolicyFaultBench

問題提起

本論文は、ツールを使用するAIエージェントのセキュリティ保証における決定的なギャップに対処している。既存のベンチマークは、エージェントが有害なアクションを「実行」したか、あるいはツール環境を正常にナビゲートできたかに焦点を当てているが、モデルによる構造化された提案と、その実行の間に位置する**ランタイム媒介層（runtime mediation layer）**の信頼性については見落としがちである。

核心となる問題は、モデルが実行権限を持っていなくても、構造化された提案自体がリスクを生み出し得るということである。もしランタイムが信頼できるチェックなしにその提案をディスパッチ（配信）してしまえば、構造化された提案は十分な脅威となり得る。著者らは、「フェイルクローズ（失敗時に遮断）」のゲートとして機能することを意図している外部ポリシーエンジン自体が、欠陥（例：誤ったサブジェクト・パターン、チェックの欠落、またはフェイルオープンな例外処理）を含んでいる可能性があると主張している。さらに、プロバイダーの出力がポリシーエンジンの要求する期待されるスキーマに厳密に一致していることを保証する、**プロポーザル・インターフェースの適合性（proposal-interface conformance）**に関する厳格なテストも不足している。本論文は、実行の成功はポリシー欠陥の妥当性を意味するものではなく、ランタイムの保証には、インターフェースの正確性、ポリシーの正当性、状態への影響、および汎用性に関する個別の証拠が必要であると断じている。

メソドロジー

PolicyFaultBenchは、モデルのプランニング能力のテストとは区別された、媒介層を隔離してテストするための決定論的かつミューテーションベースのアプローチを採用している。

1. 実験設計

• 凍結された合成操作（Frozen Synthetic Operations）: 本研究では、40個の合成操作（10の脅威ファミリー × 4つのバリアント）のコーパスを使用する。モデルにはアクションを計画させるのではなく、定義済みの操作を構造化された提案へと**転写（transcribe）**させる。これにより、自由度の高いプランニング変数を排除し、インターフェースとポリシーのロジックを分離して検証する。
• 脅威ファミリー: コーパスは、間接プロンプトインジェクション、クロス・テナント・アクセス、パス・スコープ脱出、コマンド権限昇格、未承認のエグレス（外部通信）、コンフューズド・デピュティ（混乱した代理人）、委任の昇格、メモリ・ポイズニング、承認ロンダリング、およびポリシー・エラー・ハンドリングをカバーしている。
• プロバイダー: OpenAI (gpt-5.6-sol) と Anthropic (claude-sonnet-5) を使用している。Gemini のワークフローも試行されたが、インフラストラクチャの制約により中断された。

2. ポリシーおよびミューテーション戦略

• 2つのポリシー・アーキテクチャ:
  1. 順序ルール・ポリシー（Ordered-Rule Policy）: 主要な媒介者は、ルールを逐次的に評価する。
  2. ケイパビリティ・ポリシー（Capability Policy）: サブジェクト、テナント、リソース、プロベナンス（由来）、およびリスクに基づいて、サーバーサイドのケイパビリティを解決する独立したエンジン。
• ミューテーション・テスト: 著者らは、ポリシー・ロジックに欠陥を注入するために、12種類の一次ミューテーション・オペレーター（例：決定の反転、サブジェクト・スコープの拡大、承認ゲートのバイパス、フェイルオープン例外）を定義している。
• 妥当性の段階:
  • フローズン・コア（Frozen Core）: 初期の40ケースのコーパスに対してポリシーをテストする。
  • サバイバー誘導型プローブ（Survivor-Guided Probes）: フローズン・コアでミュータントが生存した場合、それらを「殺す（検知する）」ための特定のプローブを追加する。これは、初期の欠陥検出と、ターゲットを絞った修復を区別するものである。

3. エビデンスの階層と時系列

• v1 (履歴データ): 400件のOpenAI試行による主要レジャーと、400件のAnthropic試行による二次レジャー。実行後の監査により、Anthropicのv1出力において系統的なコンテキストの追加が行われ、インターフェースのドリフトが生じていたことが判明した。
• v2 (プロスペクティブ/予測的): ポリシー評価の前に厳密な適合性を強制する「修正済み」のプリ・ポリシー・ゲートを使用した、Anthropic向けの事前登録された確認実行（400試行）。
• 外部レプリケーション: 異なる操作セットやポリシー・アーキテクチャ間での汎用性をテストするために、実行前に凍結された、AgentDojo v1 スイートから派生した第2のコーパス。

4. 検証メカニズム

• オフライン・リプレイ: 提案を決定論的なサンドボックス内でリプレイし、記録されたポリシーの決定と状態遷移がオラクル（正解）と一致するかを検証する。
• インターフェース・エンドポイント:
  • フル・オブジェクト適合性（Full-Object Conformance）: プロポーザル・オブジェクト全体（サブジェクト、アクション、リソース、引数、コンテキスト）の完全な一致を要求する。
  • エンベロープ適合性（Envelope Conformance）: 決定に関連するフィールドのみをチェックし、非権威的なアノテーションを許容する。

主な結果

1. ミューテーションの妥当性

• フローズン・コア: 初期の40ケースのコーパスは、12個の順序ルール・ミュータントのうち7個を殺した（58.33%）。5つのミュータントが生存した。具体的には、サブジェクトの拡大、承認バイパス、時間的削除、フェイルオープン例外、および状態リセットの欠落に関するミュータントである。
• 拡張スイート: サバイバー誘導型のプローブを追加した後、すべての12個のミュータントを殺した。
• 外部コーパス: AgentDojo由来のコーパスは著しく弱く、当初は12個の順序ルール・ミュータントのうち2個、12個のケイパビリティ・ミュータントのうち1個しか殺せなかった。これは、新しいコーパスにおける実行の成功が、ポリシーの欠陥に対する妥当性を保証しないことを示している。

2. 決定と封じ込め

• リプレイの成功: 1,200件の完了済みレコード（OpenAI v1, Anthropic v1, Anthropic v2）全体を通じて、期待されるすべての拒否ケースが正しく拒否され、拒否されたプロポーザルによる状態の変化は発生しなかった。
• 封じ込め: 封じ込め失敗は観察されなかった。外部レプリケーションにおける791件の承認されたプロポーザルは、両方のポリシー間で一致しており、すべての検証済み遷移は一致していた。

3. インターフェースの適合性とドリフト

• v1 の不一致: 履歴のv1実行において、OpenAIは100%のフル・オブジェクト適合性を達成した。一方、Anthropicは400件中291件のみが一致した。不一致は限定的であり、必須フィールドは保持されていたが、Anthropicはコンテキスト・オブジェクト内に余分な警告テキストを挿入していた。
• v2 による修正: 修正されたプリ・ポリシー・ゲートを使用したプロスペクティブなAnthropic v2の実行では、400/400のフル・オブジェクト一致を達成した。
• 外部レプリケーションの失敗: 事前登録された800/800の受け入れルールは満たされなかった。外部コーパスにおいて、Anthropicは9/400の試行で失敗した（成功率97.75%）。これらの失敗は、無害な決済シナリオにおいて、Anthropicが要求されていない approval_scope フィールドを追加したことで発生した。これらはポリシー評価の前に隔離され、実行は阻止された。

4. レイテンシとコスト

• Anthropicは、OpenAI（6.6秒）と比較して、低い中央値レイテンシ（2.2秒）を示した。
• 3つの400試行レジャーの総コストは約4.68ドルであった。

主な貢献

本論文は、AIエージェントの保証分野に対し、以下の具体的な貢献を行っている：

1. 境界付きベンチマーク: オープンエンドなエージェント・プランニング・ベンチマークとは明確に異なる、ポリシー媒介およびインターフェース適合性に特化した40シナリオのコーパス。
2. ミューテーション・モデル: 「フローズン（凍結）」された妥当性と「サバイバー誘導型」の修復を分離し、生存者から派生したプローブを明示的にラベル付けする、診断的なミューテーション・フレームワーク。
3. オフライン状態リプレイ: プロバイダーを再実行することなく、決定論的なサンドボックス・セマンティクスを用いて、ポリシーの決定と状態遷移を検証する方法。
4. プロスペクティブな確認: 修正されたプリ・ポリシー適合パスを検証する、事前登録されたプロスペクティブな複製（Anthropic v2）。
5. インターフェース・アブレーション: 「フル・オブジェクト」適合性と「決定エンベロープ」適合性の比較分析を行い、厳格さと可用性のトレードオフを浮き彫りにした。
6. 外部汎用性: 独立して派生したコーパス（AgentDojo）と第二のポリシー・アーキテクチャ（ケイパビリティ・ベース）を用いた事前登録された拡張により、実行の成功とポリシーの欠陥妥当性が異なる性質であることを示した。

意義と主張

本論文は、PolicyFaultBenchが、モデルの提案と実行される副作用の間の特定の層を調査する方法を提供するものであると控えめに主張している。その主な意義は、普遍的な安全率を確立することではなく、以下を実証することにある：

• 実行の成功は、ポリシーの正当性の代用にはならない。 システムは、安全なアクションを正常に実行しながら、ポリシーの欠陥を検出できなかったり（低いミューテーション・スコア）、インターフェース契約の遵守に失敗したりすることがある。
• インターフェースの正確性は、別の保証要件である。 ポリシーの決定が正しくても、プロポーザル・オブジェクトの「ドリフト」（例：余分なフィールド）は、フェイルクローズによる拒絶を引き起こすか、あるいはポリシーが寛容すぎる場合に、逆にサイレントに受け入れられてしまう可能性がある。
• 汎用性はエンドポイントに依存する。 あるコーパスでの成功は、別のコーパスにおけるミューテーションの妥当性を保証しない。異なるコーパスは異なる種類の欠陥クラスを露呈させる。
• フェイルクローズ設計は効果的である。 外部レプリケーションにおける9件の非適合なAnthropicのプロポーザルをシステムは正しく隔離し、ポリシー評価や状態変化を防止した。これにより、全体の800/800の受け入れルールが達成されなかったとしても、フェイルクローズ・メカニズムが有効であることが検証された。

著者らは、ランタイムの保証には、単一の「安全性」メトリクスに頼るのではなく、インターフェースの正確性、ポリシーの正当性、状態への影響、およびコーパスとポリシーの汎用性に関する個別の証拠が必要であると結論づけている。