技術的概要：AgentSecBench

問題定義

大規模言語モデル（LLM）エージェントは、信頼された指示、検索された記録、およびツールの観測結果を単一の生成チャネルに統合する。このアーキテクチャ上の選択は、データフローと権限を混同させる：信頼されていない文字列（例えば、検索されたドキュメントやツールの出力）は、アプリケーションポリシーがそのような影響を承認していない場合であっても、秘密を含む応答や行動提案に影響を与える可能性がある。指示とデータの区別を型システムやアクセスチェックによって強制する従来のプログラムとは異なり、LLM エージェントはしばしばシステムプロンプト内の散文によってこれらの境界を定義することに依存している。本論文は、重要なギャップを特定している：プロンプトのテキストはセキュリティ境界を記述し得るが、本質的にそれを強制するわけではない。したがって、信頼されていない観測結果を制御する攻撃者は、ポリシー制約を回避し、プロンプトインジェクション、プライバシー漏洩、および不正なツールの使用につながる可能性がある。

手法

本論文は、プロンプト注釈と強制されたセキュリティ境界との間を測定・区別するために設計された形式的セキュリティフレームワークの実証的インスタンスであるAgentSecBenchを導入する。

形式的フレームワーク

著者は、許可された漏洩を伴う意図から実行までの非干渉性を定義する。核心となる概念は、暗号学的構造を共有する 3 つの「ゲーム」を含む：攻撃者が信頼されていない観測結果を選択し、防御が観測可能なチャネルを変換し、識別者が不正な出力イベントを評価する。

1. 指示完全性ゲーム： ドキュメントに埋め込まれた敵対的指示が、良性のユーザー要求を上書きできるかどうかをテストする。
2. 検索機密性ゲーム： 呼び出し元の承認範囲外のテナントに割り当てられた秘密（カナリア）が、検索されたコンテキストを通じて漏洩できるかどうかをテストする。
3. 機能完全性ゲーム： ツールの観測結果が、ユーザーのポリシーによって禁止されている行動の選択を誘発できるかどうかをテストする。

このフレームワークは、入力または行動空間から不正な特徴を除去する数学的演算であるポリシー射影と、不正なデータをモデルに対して可視のままにするテキスト上の警告または区切り文字であるプロンプト注釈との間を区別する。

実験設計

• モデル： 実験はQwen3-0.6BおよびQwen3-1.7Bで行われた。
• 防御策： 6 つの防御クラスが評価された：
  1. 防御なし（ベースライン）。
  2. 区切り文字の強化（プロンプト注釈）。
  3. 分類器フィルタリング（生成前のパターンマッチング）。
  4. 出所認識型 RAG ゲーティング（検索コンテキストの射影）。
  5. 最小権限ツールのゲーティング（ツールの出力の射影）。
  6. 組み合わせスタック（上記の構成）。
• 指標：
  • 敵対的優位性（$\widehat{Adv}$）： 敵対的制御と対になった良性制御との間の違反率の差。
  • チャネル閉鎖（$\widehat{C}$）： 指定された不正なマーカーまたは機能が生成前に入力から除去されたかどうかを測定する二値指標。
  • 良性ユーティリティ： 良性入力におけるタスク完了のための語彙的代理指標。
• プロトコル： 評価は、明確なグラウンドトリuthを確保するために完全一致識別子（例えば、BETA CANARY 0000 といった特定のカナリア文字列や CALL SEND EXTERNAL EMAIL 0000 といった行動トークン）を使用する。追加のモデル依存変動を導入することを防ぐため、本ベンチマークは LLM 判定者を回避する。

主要な貢献

1. 形式的定義： 信頼された指示と信頼されていない観測結果を組み合わせるエージェントに対する、許可された漏洩を伴う意図から実行までの非干渉性を定義した。
2. セキュリティの区別： テキストレベルの指示（プロンプト注釈）と強制されたセキュリティ境界（出所射影と機能制限）を明示的に分離した。本論文は、注釈がモデルの遵守に依存するのに対し、強制は敵対的チャネルを除去すると論じている。
3. 3 つのセキュリティゲーム： 指示、秘密、および機能の隔離をポリシー射影としてインスタンス化し、敵対的優位性、RAG 漏洩、およびチャネル閉鎖の推定量を提供した。
4. 評価トレース： 結果イベントと、防御されたコンテキストを生成した特定の強制クラスを記録する評価システムを実装し、行動的抵抗と実際のチャネル閉鎖との分離を可能にした。
5. 実証的分析： 観測された残余リスクが、生成前に不正な記号または機能が除去されたかどうかに関連していることを結びつけ、リスクの低減が常にチャネル閉鎖を意味するわけではないことを実証した。

結果

576 回の実行（3 つのゲーム、6 つの防御、2 つのモデルにわたる）の評価は、以下の洞察をもたらした：

• チャネル閉鎖対優位性： 組み合わせ防御は 100% のチャネル閉鎖と 0% の敵対的優位性を達成した。対照的に、区切り文字の強化（プロンプト注釈）は 0% のチャネル閉鎖を達成したが、優位性を 0.438 に低減した（ベースラインの 0.375 よりわずかに高い）。
• 防御の有効性：
  • 出所ゲーティングは、機密性ゲームにおける検索チャネルを正常に閉鎖した（0% の漏洩）が、ツールゲームにおける機能チャネルの閉鎖には失敗した。
  • 最小権限ゲーティングは機能チャネルを閉鎖した（0% の違反）が、検索漏洩には影響しなかった。
  • フィルタリングは部分的な閉鎖（54.2%）を達成し、優位性を 0.042 に低減した。
• 解釈： 防御は、敵対的チャネルを開放したまま（モデルが入力を無視することに依存して）観測された攻撃成功率（ASR）を低減し得る。逆に、チャネルを閉鎖する防御（不正な特徴を除去する）は、より強力で強制可能な保証を提供するが、それでもモデルが禁止されたターゲットを想像することを防ぐために、生成後の検証が必要となる可能性がある。

意義と主張

本論文は、AgentSecBench が、プロンプトテンプレートのランキングからセキュリティ境界の強制の検証へと焦点を移すセキュリティ指向の評価手法を提供すると主張している。

• 注釈対強制： 主要な貢献は、プロンプトのテキストは境界を記述し得るが、出所射影、機能制限、および出力検証のみがそれを強制し得ることを実証したことである。
• 測定可能な閉鎖： このフレームワークは、「チャネル閉鎖」を測定可能な変数として導入する。これにより、研究者は、不正な観測結果を正常に除去する防御（強制）と、単にモデルがそれに基づいて行動する確率を低減する防御（注釈）とを区別できる。
• 控えめな主張： 著者は明示的に、正確なマーカーの実験は「一つの観測可能なインスタンス」であり、網羅的な意味論的セキュリティを主張するものではないと述べている。正確なマーカー（カナリア）の使用は、ポリシー違反の十分な証人として機能するが、意味論的違反（例えば、言い換えられた秘密など）を過小評価する。結果は、テストされた特定のゲームにおける不安全性を確立する；違反がないことは、無制限の非干渉性を証明するものではない。

結論として、本論文は、安全なエージェント設計には、自然言語の指示に頼るのではなく、自然言語の指示に加えて明示的な観測結果の射影と機能の検証が必要であると論じている。