技術要約: Spider-Sense: 階層的適応型スクリーニングによる効率的なエージェント防御のための本質的なリスク検知

1. 問題提起

大規模言語モデル（LLM）が環境認識、タスク計画、ツール実行が可能な自律型エージェントへと進化するにつれ、その適用範囲は金融、コーディング、ウェブ操作などの重要な領域へと拡大しています。しかし、この拡張されたアクションスペースは、プロンプトインジェクション、メモリ汚染、ツールベースのエクスプロイトといったセキュリティリスクを導入し、データの流出や不正なシステム操作といった現実世界での実害を招く可能性があります。

著者らは、既存の防御メカニズムにおける根本的な欠陥を指摘しています。それらは主に強制的なチェック・パラダイムを採用しているという点です。これらのシステムでは、リスクが実際に存在するかどうかにかかわらず、エージェントのライフサイクルの定義された段階（例：アクション生成時やツール呼び出し時）でセキュリティ検証が強制的にトリガーされます。このアプローチは以下の問題を引き起こします：

• 高レイテンシ: 各プランニングステップやツールコールごとにセキュリティチェックが発生するため、複雑なマルチステップのワークフローにおいてオーバーヘッドが急速に蓄積します。
• 偽陽性（誤検知）: 頻繁かつ不要なチェックが、通常のユーザーインタラクションを阻害します。
• スケーラビリティの問題: 多くの手法は外部の検証モデルに依存しており、多大な計算コストを要するだけでなく、実用的なデプロイを制限するシステム依存関係を生じさせます。

本論文は、効果的なエージェントセキュリティとは、アーキテクチャ的に切り離された強制的な手続きではなく、真のリスクが感知された時にのみ介入する、本質的かつ選択的なものであるべきだと主張しています。

2. メソドロジー: SPIDER-SENSE フレームワーク

提案されている SPIDER-SENSE フレームワークは、**本質的なリスク検知（Intrinsic Risk Sensing: IRS）と階層的適応型スクリーニング（Hierarchical Adaptive Screening: HAS）**に基づくイベント駆動型の防御パラダイムを導入しています。

2.1 本質的なリスク検知 (IRS)

IRSは、セキュリティをエージェントのネイティブな認知機能として内部化し、実行フロー全体を通じて「潜在的な警戒状態」を維持することを可能にします。

• メカニズム: エージェントは、4つのセキュリティクリティカルな段階、すなわち クエリ ($q$)、計画 ($P_t$)、アクション ($a_t$)、および 観測 ($o_t$) の各段階において、リスク検知指標 ($\phi_t^{(k)}$) を自律的に評価します。
• トリガリング: 現在のアーティファクト、インタラクション履歴、およびシステム指示に基づき、エージェントはリスク検知指標を生成するかどうかを決定します。潜在的なリスクが感知された場合、エージェントは標準的なフローを一時停止します。
• 実装: エージェントは、疑わしいアーティファクトを特殊なテンプレート（例：ツール出力に対する <|sanitize_observation|>）でラップし、セキュリティチェックメカニズムへとルーティングします。このプロセスは内生的であり、外部の監視やアーキテクチャ上のオーバーヘッドを必要としません。

2.2 階層的適応型スクリーニング (HAS)

一度トリガーされると、疑わしいアーティファクトは、効率性と精度のバランスを取るように設計された2段階の検証プロセスを経ます。

1. 粗粒度検知 (高速スクリーニング):
   • システムは、既知の攻撃パターンのベクトル表現を含む、ステージ固有の攻撃ベクトルデータベース ($D^{(k)}$) を保持しています。
   • 現在のアーティファクトを埋め込み（エンベディング）し、コサイン類似度を用いて保存されたパターンと比較します。
   • 類似度スコアが閾値 ($\tau^{(k)}$) を超える場合、即座に高信頼度の結果が返され、既知のパターンを最小限のレイテンシで解決します。
2. 細粒度分析 (ディープ・リーズニング):
   • 類似度スコアが閾値を下回った場合（曖昧さや未知のパターンを示す場合）、システムはディープ・リーズニング段階へとエスカレーションされます。
   • 大規模言語モデル（LLM）が、現在のアーティファクトと、検索された上位 $K$ 個の最も類似したケースに対して明示的な推論を行い、推論に基づいた結果を生成します。
3. 意思決定: メインのエージェントは検証結果を受け取り、実行を 承認 (ACCEPT)、拒否 (REJECT)、または サニタイズ (SANITIZE) するかを自律的に決定します。

3. 主な貢献

1. 本質的なリスク検知 (IRS): 著者らは、指示レベルのコンディショニングを通じて、リスク意識をエージェントの実行フローに直接組み込むパラダイムを提案しています。これにより、外部のガードモデルや定常的な段階ごとの検査なしに、内生的かつイベント駆動型の防御が可能になります。
2. 階層的適到型スクリーニング (HAS): 効率と精度を適応的にバランスさせる新しいメカニズムです。ステージ固有の攻撃ベクトルデータベースを利用して、軽量なベクトルマッチングにより既知の脅威を解決する一方で、曖昧なケースを内部のディープ・リーズニングへとルーティングすることで、すべてのチェックにおいて外部モデルへの依存を排除します。
3. S2Bench ベンチマーク: 著者らは、インシチュ（in-situ）でのエージェント介入を厳密に評価するために設計された、ライフサイクルを考慮したベンチマークである S2Bench を導入しました。既存の静的なベンチマークとは異なり、S2Benchは以下の特徴を備えています：
   • マルチステージおよびマルチシナリオ: 8つのアプリケーションドメインと79のサブタスクシナリオにわたる4つのエージェントステージをカバーしています。
   • 実際のツール実行: プレースホルダーテキストではなく、大規模なツールライブラリ（約300の関数）と現実的な戻り値の内容（100種類以上）を統合しています。
   • 困難な良性プロンプト: 過剰防御や偽陽性をテストするために、攻撃構造を模倣して慎重に構築された153個の良性サンプルを含んでいます。
   • 現実的な攻撃シミュレーション: ツール出力やメモリ検索を動的に操作し、状態依存的な実行偏差を誘発する外部インジェクターを備えています。

4. 実験結果

著者らは、Mind2Web、eICU、および S2Bench データセットを用いて、SPIDER-SENSEを静的なガードレール（例：LLaMA-Guard 3、gpt-oss-safeguard）およびエージェンティックな防御（例：GuardAgent、AGrail）と比較評価しました。

• 防御性能: SPIDER-SENSEは、すべてのベンチマークにおいて最も低い 攻撃成功率 (ASR) と 偽陽性率 (FPR) を達成しました。
  • Mind2Web において、Claude-3.5を使用した場合、SPIDER-SENSEはラベル予測精度 (LPA) を84.8%（ベースライン）から 95.8% へ、F1スコアを90.3%から 92.1% へ向上させました。
  • S2Bench において、他の防御策の弱点である「計画（Plan）」段階におけるASRを、Claude-3.5で 17.7%、Qwen-maxで 20.0% まで大幅に減少させつつ、低いFPRを維持しました。
• 効率性: 本フレームワークは、セキュリティとユーティリティの優れたトレードオフを実現しました。ベースラインと比較してレイテンシのオーバーヘッドはわずか 8.3% でしたが、既存の「常時オン」の防御策では197%から381%のオーバーヘッドが発生していました。
• アブレーション研究:
  • いずれか一つのステージでのセンシングを削除すると、ASRが大幅に上昇しました（例：アクション段階のセンシングを無効にすると+29.9%）。これは、フルライフサイクル・モニタリングの必要性を裏付けています。
  • 細粒度分析段階を削除すると防御の精度が著しく低下し、一方で粗粒度検知を削除すると効率が著しく低下したことから、階層的設計の妥当性が証明されました。

5. 重要性と主張

本論文は、Spider-Sense が、外部的かつ強制的なセキュリティ手順から、本質的かつ選択的なリスク意識への転換を象徴していると主張しています。セキュリティをネイティブな認知機能として扱うことで、本フレームワークはエージェントが「潜在的な警戒」を維持し、リスク感知時にのみ防御をトリガーすることを可能にします。

著者らは、このアプローチが以下を実現すると断言しています：

• ユーティリティの保持: 繰り返しの多い定常的なチェックを回避することで、複雑なエージェントの実用的なデプロイを妨げるレイテンシや偽陽性を防ぎます。
• スケーラビリティの向上: すべてのステップで外部の検証モデルに頼るのではなく、内部の推論と軽量な類似度マッチングに依存することで、計算コストとシステム依存関係を削減します。
• 堅牢な評価の提供: S2Bench を通じて、本研究は、静的なテキストレベルのインジェクションテストを超え、エージェント攻撃の動的かつ状態依存的な性質を考慮した、より現実的な評価基準を提供します。

結論として、本研究は、本質的なリスク意識がスケーラブルなエージェントセキュリティのための実用的な基礎であり、効率性や自律性を損なうことなく、エージェントが現実世界の環境で安全に動作することを可能にすると述べています。