技術要約：行動する前に、考える（Think Twice Before You Act）

問題提起

外部ツールの統合は、大規模言語モデル（LLM）エージェントの能力を大幅に拡張させたが、同時に従来のプロンプトインジェクションを超えた新たな攻撃対象領域（アタックサーフェス）をもたらした。本論文では、**クロスツール記述ポイズニング（cross-tool description poisoning）**を特定し、これを定式化している。これは、非クリティカルまたは規制の緩いツールのメタデータ（記述）を操作することで、エージェントのプランニング・トラジェクトリ（計画の軌跡）を誘導する高度な攻撃ベクトルである。

従来の「ツール選好（tool-preference）」攻撃は、エージェントに特定の毒されたツールを選択させるようバイアスをかけるものであったが、クロスツール記述ポイズニングは、毒されたツール自体が一度も選択されない場合でも、他のツールを用いた悪意のあるアクションを誘発することを可能にする。例えば、無害な「アカウントバックアップ」ツールの記述を汚染することで、正当な「銀行振込」タスクの実行過程において、プランナーに悪意のある「メール送信」ステップ（例：アカウント詳細を攻撃者に送信する）を挿入させることができる。核心となる課題は、毒された記述がプランニングのコンテキスト内に複数のステップにわたって持続し、その後のツール選択に対して継続的な影響を及ぼし続ける点にある。

静的なツールフィルタリング、繰り返しのプロンプティング、あるいはシステムレベルの制約（DriftやProgentなど）といった既存の防御策は、この特定の脅威に対しては効果がないことが判明した。これらの手法は、タスクのコンテキストを考慮できていないか、API経由ではアクセスできない内部モデルの状態に依存しているか、あるいは、無害なツールの使用と、毒されたメタデータによって影響を受けたツールの使用を区別することができない。

手法：Tool-Guard

これらの限界に対処するため、著者らは隔離プランニング（isolated planning）の概念に基づく、新しいシステムレベルの防御策であるTool-Guardを提案する。その核心となる哲学は、セキュリティの原則である「隔離」をエージェントのプランニングに適用することであり、ツールを永久に無効化することなく、毒された記述と影響の意図された対象との接続を断ち切ることである。

コアメカニズム

Tool-Guardは、以下の3つの主要なステージを含む、動的かつ反復的なループを通じて動作する。

1. 動的なツールセットのパーティショニング（分割）:
   システムは、利用可能なツールセット $K$ を、以下の2つの互いに素なリストに動的に分割して保持する：

   • 影響を受けたリスト ($K_{inf}$): 毒された記述の影響を受けている疑いのあるツールが含まれる（初期状態は空）。
   • その他リスト ($K_{others}$): 残りのツールが含まれる。
     ツールが悪意を持っていると決めつけるのではなく、その呼び出しがユーザーの意図と乖離している、あるいはコンテキストに基づいた根拠が不十分であると判断された場合に、$K_{inf}$ へ移動させる。

2. 隔離プランニング:
   Tool-Guardは、フルセットのツールを用いてプランナーに問い合わせるのではなく、厳格な隔離条件下で、以下の2回、プランナーに問い合わせを行う：

   • $K_{inf}$ の記述のみを用いた問い合わせ。
   • $K_{others}$ の記述のみを用いた問い合わせ。
     これにより、一方のサブセット内の毒された記述が、もう一方のサブセットにおけるツールの選択やパラメータ設定を誘導することを防ぐ。その後、システムは2つの結果から候補となるアクションを選択する。両方のサブセットが有効なアクションを生成した場合はタイブレーカー（判定）を適用し、どちらも生成できなかった場合はトラジェクトリを終了する。

3. 実行前バリデーションとリストの更新:
   選択されたツール呼び出しを実行する前に、Tool-GuardはLLMベースのバリデーターを用いて2つのセマンティック・チェックを行う：

   • アライメント・チェック（整合性確認）: アクションがユーザーの意図および検証済みの進捗と一致しているかを確認する。
   • サスピション・チェック（疑念確認）: 引数がユーザーのリクエストや事前のツール出力に基づいているかを確認し、明確な出所（プロベナンス）を持たない機密性の高いエンティティ（例：受信者のアドレス）をフラグ立てする。

   バリデーションに失敗した場合、そのツールは影響を受けたリストに移動され、プランナーは更新されたパーティションの下で**再プランニング（replan）**を実行する。この反復プロセスにより、正当なツールの有用性を維持しながら、有害な影響経路を段階的に隔離していく。

MCPへの拡張

この手法は、サーバーレベルで同じ隔離ロジックを適用することで、Model Context Protocol (MCP) にも拡張可能である。サーバーを「影響を受けたグループ」と「影響を受けていないグループ」に分割することで、サーバー間のクロス・ポイズニングを防ぐ。

主な貢献

1. クロスツール記述ポイズニングの特性化: 本論文は、毒されたツール自体が呼び出されない場合でも、非クリティカルなツールの記述を汚染することで、安全性が重要なツールの呼び出しに悪意のあるステップを注入できることを示している。また、既存の防御策が、この継続的な影響に対して高い攻撃成功率（ASR）を示すことも明らかにしている。
2. Tool-Guardによる防御: 著者らは、ツールセットを動的に分割し、隔離プランニングを採用する防御策を提案する。実行時の検証と疑わしいツールの隔離により、ツールの可用性を完全に維持したまま、悪意のあるクロスツール誘導を遮断する。
3. 包括的な評価: AgentDojoおよび**ASB (Agent Security Bench)**ベンチマークを用いた広範な実験により、Tool-Guardがタスクの有用性を高く維持しながら、ASRを無視できるレベルまで低減させることを実証した。また、効率性と適応型攻撃に対する堅牢性についても定量化している。

実験結果

著者らは、複数のLLM（GPT-4o, GPT-4o-mini, Gemini-2.5, Claude-3.5）を用い、2つのベンチマークにおいて、5つの既存の防御メカニズム（System Prompt, Tool Filtering, Repeat Prompt, Drift, Progent）に対してTool-Guardを評価した。

• 攻撃成功率 (ASR): Tool-Guardは、ASRを無視できるレベルまで低減させた（例：AgentDojoでは約43%から約2%または0%へ、ASBではほとんどのモデルで72-96%から0%へ）。対照的に、既存の防御策はASRを大幅に下げることに失敗することが多かった（例：AgentDojoにおいてDriftは24.7%、Progentは19.6%のASRを示した）。
• 有用性の維持: Tool-Guardは、無害な条件および攻撃条件下での両方において、高いタスク有用性を維持した。ツールを無差別にブロックする「オーバーキル」型の防御とは異なり、Tool-Guardはタスク完了能力を維持し、攻撃下での有用性スコアはベースラインと同等かそれ以上であった。
• 効率性:
  • トークン・オーバーヘッド: Tool-Guardによるトークン使用量の増加は、防御なしのベースラインと比較して約1.5倍であり、DriftやProgentのような他のシステムレベルの防御よりも大幅に低い。
  • レイテンシ: 本手法は、ベースラインと比較して約3.7倍の実行時オーバーヘッドを導入した（Progentの1.2倍よりは高いが、Driftの7.3倍よりは低い）。これは再プランニング機構に起因する。
• 堅牢性:
  • 安定性: 防御策は複数の実行にわたって安定しており、標準偏差は低かった。
  • 適応型攻撃: Tool-Guardは、セマンティック適応型攻撃（捏造された正当化を用いてチェックを回避しようとする攻撃）および最適化ベースの攻撃（PAIR, TAP）に対して堅牢であった。最適化ベースの攻撃によってASRはわずかに上昇したが、依然として非常に低いレベル（例：PAIRの下で2.06%）に留まっており、攻撃者が直面する固有のトレードオフ（プランニングに影響を与えるほど明示的であることと、バリデーションを回避するほど巧妙であることの間の葛藤）を浮き彫りにした。
  • ストレス・テスト: クリティカルで高頻度に使用されるツールが汚染された場合でも、Tool-GuardはASRを低い一桁台に維持した。

意義と主張

本論文は、ツールの記述が、LLMエージェントにおける「これまで未探索であった重要な攻撃対象領域」であることを主張している。本研究の意義は以下の点にある：

1. 新たな脅威ベクトルの特定: ツールのメタデータがプランニング・コンテキスト内に持続するという性質を利用することで、従来の防御をバイパスする「クロスツール記述ポイズニング」を定式化したこと。
2. 防御の限界の提示: 現在の最先端の防御策が、継続的なクロスツールによる影響に対しては不十分であることを示したこと。
3. システムレベルの解決策の提案: 影響を隔離する手法を導入することで、実行時のセーフガードや静的なスキャニングだけに頼ることなく、効果的にこれらの攻撃を軽減できるTool-Guardを提示したこと。
4. セキュリティと有用性のバランス: 効果的な防御には、エージェントの有用性を犠牲にする必要はないことを証明した。Tool-Guardは、最小限のトークン・オーバーヘッドで、かつ「オーバーキル」な挙動を起こすことなく、堅牢なセキュリティを実現している。

著者らは、ツール拡張型LLMエージェントのための効果的な防御策は、単なるプロンプトインジェクション対策や静的なツールフィルタリングに頼るのではなく、隔離プランニングのようなメカニズムを通じて、クロスツールによる影響を明示的に対処しなければならないと結論付けている。