テクニカルサマリー：AGENTSPILL – LLMのツール呼び出しにおける搾取の測定

問題提起

大規模言語モデル（LLM）のツール呼び出し（ファンクション・コーリング）は、エージェント的ワークフローを可能にする一方で、「過剰なエージェンシー（Excessive Agency）」（OWASP LLM03）と呼ばれる重大な脆弱性を導入する。このシナリオでは、操作されたコンテキストが提供されると、モデルは確認なしに破壊的なツールを自律的に呼び出してしまう。核心となる構造的な弱点は、ツール呼び出しのインターフェースにある。すなわち、モデルの外部関数へのセマンティックな架け橋である「ツールの説明文」が、信頼できないユーザー入力と同じプロンプト・コンテキスト・チャネル内に存在していることである。SQLインジェクションではスキーマとデータが分離されているが、ツール呼び出しでは関数のスキーマ（説明）と攻撃者が制御するテキストが同一のチャネル内に配置される。これにより、攻撃者はツールの意味を再定義したり、ツール間のクロス・アンビギュイティ（曖昧性）を生じさせたり、破壊的な多段階シーケンスを標準的な操作手順としてフレーム化したりすることが可能になり、モデルによる無許可の不可逆的なアクション（例：アカウントの削除、資金の送金、VMの停止）の実行を引き起こす。

先行研究では、過剰なエージェンシーをより大きなキルチェーンにおける単一のノードとして扱ったり、テキストベースのプロンプトインジェクションに焦点を当てたりしてきた。本論文は、ツール呼び出しは、モデルの出力がテキストではなく実行可能な関数呼び出しであるという点で、独自の、かつ高リスクな搾取サーフェスを構成しており、体系的かつ独立した監査が必要であると主張する。

メソドロジー

著者は、ツールの説明、ツール間のアンビギュイティ、およびアクション・チェーンがどのように搾取へと構成されるかを測定するために設計された、体系的な実証監査であるAGENTSPILLを提示する。

• 実験デザイン: 本研究では、6つの搾取クラスを定義し、それぞれに3つのバリアント（Base, B, C）を設け、計18個のユニークな攻撃シナリオを定義した。
  • A01 ツール記述インジェクション: 注入された用語集を通じてツールの意味を再定義する。
  • A02 クロス・ツール・アンビギュイティ: 安全なツールと破壊的なツールの間の重複するセマンティックな意図を悪用する。
  • A03 確認なしのツール・チェイニング: 多段階の破壊的シーケンスをルーチンな手順としてフレーム化する。
  • A04 ファントム・ツール置換: 非存在するツールを要求し、実在する破壊的なツールへの置換を強制する。
  • A05 権限の混乱: 自己検証や安全性を主張するツール記述を使用する。
  • A06 コンテキスト誘発型エージェンシー: 歴史的なコンテキストを通じて、破壊的な振る舞いを段階的に正常化させる。
• 対象モデル: 実験は、OpenAI互換APIを介してアクセスされた3つのGeminiモデルティアに対して実施された。
  1. gemini-3.1-pro-low（最も高性能で、最も強力な安全性トレーニングを受けている）。
  2. gemini-3.5-flash-low（中程度の性能）。
  3. gemini-3.6-flash-low（最新のFlashティア）。
• 実行: 合計162回のリアル・トライアルが実行された（3ティア × 6クラス × 3バリアント × 3ランダムシード）。
• 検証: パイプラインは、テキスト生成を無視してJSONレスポンス内の tool_calls 配列を検査する決定論的なアウトカム・ジャッジを使用する。「フェイル・クローズド（失敗時に閉じる）」検証スクリプト（verify_numbers.py）が、報告された統計が raw データと一致することを保証するために、162件のトランスクリプトすべてを独立して再パースする。

主な貢献

1. 体系的な監査フレームワーク: 本論文は、一般的なプロンプトインジェクションを超えて、アクション選択に特化した、LLMのツール選択境界を標的とする6つの搾取フレームワークを導入し、オープンソースとして公開する。
2. 実証データ: 本研究は、異なるモデルティアおよびバリアント間におけるツール呼び出しの搾取可能性に関する最初の詳細な内訳を提供し、「より強力な」モデルがこの文脈において必ずしも安全ではないことを明らかにしている。
3. 非対称性の発見: 本研究は、重要な非対称性を特定した。すなわち、モデルは注入された自然言語の指示には強く接地する（高い成功率につながる）が、ファントムのリクエストに対して実在するツールを置換することには弱い（低い成功率）ということである。
4. 再現可能なアーティファクト: 独立した検証を可能にするため、162件の全トランスクリプト、6つの搾取フレームワーク、および検証パイプラインをオープンソースのアーティファクトとして公開する。

結果

監査の結果、全試行における**総合成功率は50.6%**であった。結果は、搾取タイプとモデルティアの間で顕著な格差があることを示している。

• 支配的なベクトル:
  • A01（ツール記述インジェクション）およびA03（確認なしのツール・チェイニング）が最も効果的であり、それぞれ78%の成功率（21/27試行）を達成した。
  • gemini-3.1-pro-low ティアは特にA01に対して脆弱であり、100%の成功（9/9試行）を達成した。これは、強力な指示追従能力が、注入されたポリシーに対する感受性を高める可能性があることを示唆している。
• 脆弱なベクトル:
  • A04（ファントム・ツール置換）およびA06（コンテキスト誘発型エージェンシー）は最も効果が低く、それぞれわずか22%の成功率（6/27試行）であった。
  • これは、モデルは既存のツールを再解釈するように騙されることはできるが、非存在するツールの代わりに実在するツールを置換することに対しては、部分的な「ツール・スキーマの接地（grounding）」を有していることを示している。
• ティア間の非対称性:
  • 「より高性能なモデルの方が安全である」という仮定に反して、gemini-3.1-pro-low モデルは最も高い全体的な搾取可能性（72%）を示した一方、gemini-3.6-flash-low は最も高い耐性（37%）を示した。
  • 3.5-flash-low モデルは、不整合なガードレール挙動を示した。ファントム置換に対しては高い感受性（67%）を示したが、プロ・ティアと比較して記述インジェクションに対する感受性は低かった。

意義と主張

本論文は、過剰なエージェンシーが単なる大きな攻撃チェーンにおける受動的なリンクではなく、直接ターゲットにされた際の高搾取性サーフェスであると主張している。孤立したベクトル（A01およびA03）の78%という成功率は、先行研究で見られるマルチカテゴリ・キルチェーンの成功率に匹かにするか、それを上回っている。

著者は、根本的なセキュリティ上の緊張関係を特定している。それは、エージェント的ワークフローを可能にする指示追従能力こそが、その搾取を可能にするメカニズムでもあるということである。注入されたコンテキストを通じて、ある破壊的なツールが安全である、あるいは破壊的な連鎖がルーチンであるとモデルに伝えられると、モデルは標準的なツール・スキーマよりも、この明示的な指示を優先してしまう。

本論文は、現在の防御策（権限の制限、人間の確認）は不完全であると結論付けている。なぜなら、それらはツール記述とユーザー入力を同じコンテキスト・チャネルに配置するという構造的な脆弱性に対処していないからである。著者は、**ツール・スキーマの接地（tool-schema grounding）**を主要な防御メカニズムとして提案しており、ツール選択を会話コンテキストから切り離すべきであると示唆している。これは、スキーマのみの選択モジュールを用いるか、あるいは再解釈を防ぐためにツールの記述を固定（アンカー）することによって実現される。本研究は、このようなアーキテクチャ上の変更が行われない限り、LLMエージェントは操作されたコンテキストに基づく自律的かつ破壊的な実行に対して脆弱であり続けることを強調している。