💬 NLP

ToolFlood: Beyond Selection -- Hiding Valid Tools from LLM Agents via Semantic Covering

本論文は、埋め込み空間の幾何学的性質を悪用して攻撃者が制御するツールを注入し、正当なツールを上位 k 個の結果から排除することで LLM エージェントのツール選択機能を無力化する新しい攻撃手法「ToolFlood」を提案し、その高い成功率を実証しています。

原著者： Hussein Jawad, Nicolas J-B Brunel

公開日 2026-03-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hussein Jawad, Nicolas J-B Brunel

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🛠️ 物語の舞台：巨大な工具屋

まず、AI アージェントがどうやって動くかを想像してください。
AI は、人間から「天気を教えて」「旅行の計画を立てて」といったリクエストを受け取ると、必要なことをするために**「道具（ツール）」**を使います。

しかし、世の中には何万もの道具（天気アプリ、地図アプリ、銀行アプリなど）があり、AI の頭（メモリ）には一度に全部入れられません。
そこで、AI は**「検索係（リトリーバー）」**を雇っています。

検索係の仕事: ユーザーの質問（例：「明日の東京の天気は？」）を聞いて、何万ある道具の中から**「一番似ているもの」をトップ 5 だけ**選んで AI に渡します。
AI の仕事: そのトップ 5 から、実際に使う道具を選んで実行します。

これまでのセキュリティ対策は、「選ばれた 5 つの中に、悪意のある道具が混じって選ばれないようにする」ことでした。

🌊 新たな攻撃：ToolFlood（ツール・フラッド）

この論文が指摘するのは、**「選ばれた 5 つの中に悪意のある道具を混ぜる」のではなく、「悪意のある道具で検索結果そのものを埋め尽くす」**という新しい攻撃です。

これを**「ToolFlood（ツール・洪水）」**と呼びます。

🧐 攻撃の手口：泥棒の策略

攻撃者は、AI が使う道具のリストに、**「自分たちが作った偽物の道具」**を大量に仕込みます。

偽物の道具を作る: 攻撃者は AI（LLM）を使って、ユーザーの質問に「すごく似ている」ように見せかける偽物の道具名や説明を大量に作ります。
- 例：ユーザーが「旅行計画」を聞くと、検索係は「旅行ガイド」を探します。攻撃者は「旅行ガイド」にそっくりな「偽旅行ガイド A」「偽旅行ガイド B」... を 100 個作ります。
検索係をだます: これらの偽物は、AI が使う「意味の距離（類似度）」の計算において、本物の道具よりも「質問に近い」位置に配置されます。
洪水のように押し寄せる: 検索係が「トップ 5 を選んでください」と言うと、本物の道具は 1 つも入らず、すべて攻撃者の偽物で埋め尽くされてしまいます。

🚫 結果：「見えない」本物の道具

ここが最も恐ろしい点です。

従来の攻撃: 本物の道具も 5 つ中 1 つは入ってくるので、AI は「あれ？これは怪しいかも？」と気づく可能性があります。
ToolFlood の攻撃: 本物の道具はトップ 5 にすら入ってきません。 AI は「本物がある」とさえ知りません。
- AI は「偽物の道具」しか見えないため、それを使って間違った行動をとってしまいます。
- これは、**「道具が選ばれる前の段階で、本物を隠蔽（DoS 攻撃）」**する行為です。

🎯 なぜこれが成功するのか？（数学的な裏側）

この攻撃は、**「シビル攻撃（偽のアカウントを大量に作って支配する）」**の道具版です。

戦略: 攻撃者は、ターゲットとなる質問の「意味の空間」を、自分の偽物で**「網羅（カバー）」**します。
貪欲な選択: どの偽物を作れば、最も多くの質問を「カバー」できるかを計算して、最小限の偽物で最大の効果を狙います。
結果: 実験では、本物の道具の 1% 以下の偽物を仕込むだけで、95% の確率で検索結果を完全に支配することに成功しました。

🛡️ 既存の防御策は効かない？

これまでの対策は、「選ばれたリストの中に怪しい言葉がないかチェックする」ものでした。
しかし、ToolFlood の場合、**「本物の道具がリストに存在しない」**ため、チェックする対象自体がありません。
AI は、攻撃者が用意した「偽物の世界」だけで判断を迫られることになります。

従来の防御: 「リストの中の怪しい言葉」を消す。
ToolFlood の弱点: 「リスト自体が偽物で埋め尽くされている」ため、リストの中身をチェックしても意味がない。

💡 まとめ：何が問題で、どうすればいい？

この論文が伝えたいこと：
AI が道具を使うシステムにおいて、「検索（リトリーバル）」という最初の門番が、**「偽物で埋め尽くされて本物が見えなくなる」**という脆弱性を持っていることを発見しました。

今後の対策の方向性：

多様性の確保: 検索結果が似たようなものばかりにならないように、多様な道具を混ぜる仕組みが必要。
洪水検知: 似たような道具が大量に現れたら「洪水（攻撃）」と判断してブロックする仕組み。
出所の管理: 誰が作った道具かを厳しく管理する。

一言で言うと：
「AI が道具を選ぶ前に、**『本物が見えないように』と、『偽物で川を埋め尽くす』**という新しいハッキング手法が発見されました。これからは、道具の『検索係』自体を強く守る必要があります」という警告です。

ToolFlood: 大規模言語モデル（LLM）エージェントにおけるツール検索層への攻撃「ToolFlood」の技術的概要

本論文は、外部ツールを連携して複雑なタスクを遂行する LLM エージェントのセキュリティ、特にツール検索（Retrieval）段階における脆弱性を指摘し、新たな攻撃手法「ToolFlood」を提案した研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義：ツール検索層の脆弱性と「Top-k 支配」

背景

LLM エージェントは、API やデータベースなどの外部ツールを利用するために、ユーザーのクエリに基づいてツールメタデータ（名前、説明など）を埋め込み空間で検索し、上位 $k$ 個のツールを選択します。従来の攻撃研究は、「選択（Selection）」段階に焦点を当てており、検索された候補リストの中から悪意のあるツールが選ばれやすくなるようメタデータを操作するものでした。

新たな脅威モデル：Top-k 支配（Top-k Domination）

本論文は、より根本的な**「検索（Retrieval）」段階**への攻撃を定義します。

攻撃目標: 攻撃者が制御するツール（悪意のあるツール）を、検索結果の上位 $k$ 個を完全に占有させること。
結果: 正当な（Benign）ツールが検索結果から完全に排除され、エージェントのコンテキストに届かなくなります。
影響: 検索段階で正当なツールが隠蔽されるため、その後の選択段階での防御策（プロンプトフィルタリング等）は無効化されます。エージェントは攻撃者が用意したツールの世界だけで推論を強いられます。これは、ツール生態系全体に対する「可視性の拒否サービス（Denial-of-Visibility）」攻撃です。

2. 手法：ToolFlood

ToolFloodは、埋め込み空間の幾何学的性質を利用し、攻撃者が制御するツールのメタデータを戦略的に配置することで、多様なクエリに対して検索結果を支配する手法です。

2.1. 攻撃の全体像

攻撃は以下の 2 フェーズで構成されます。

モンテカルロ候補生成（Phase 1）: 多様な攻撃用ツールの候補を生成。
反復的貪欲なセマンティック・マルチカバリング（Phase 2）: 生成された候補から、予算内で最大のクエリをカバレッジするツールを選択。

2.2. フェーズ 1：モンテカルロ候補生成

ターゲットとなるクエリ集合 $Q_{tar}$ に対して、以下のプロセスを $I$ 回繰り返します。

部分集合サンプリング: $Q_{tar}$ からランダムに $n$ 個のクエリからなる部分集合 $S_i$ を抽出。
条件付き生成: LLM を用いて、部分集合 $S_i$ $S_{i}$ 内のすべてのクエリに関連するツール名と説明を $g$ $g$ 個生成します。
- 単一のクエリに特化させるのではなく、複数のクエリにまたがる「共通領域」のメタデータを生成することで、後の段階での汎用性を高めます。
プール化: 生成されたすべてのメタデータを候補プール $P_I$ として集約します。

2.3. フェーズ 2：貪欲なセマンティック・マルチカバリング

候補プール $P_I$ から、予算 $B$ 以内で、ターゲットクエリを「カバレッジ」するツールを選択します。

カバレッジの定義: 攻撃者のツールメタデータ $m$ とクエリ $q$ の埋め込み距離（コサイン距離）が閾値 $\delta$ 以内であれば、そのツールはクエリを「カバレッジ」したとみなします。
最適化問題: 各クエリが $r$ 個（通常 $r=k$ ）以上の攻撃ツールでカバレッジされるように、ツールを選択する「予算付き最大カバレッジ問題」として定式化します。
アルゴリズム: 貪欲法（Greedy Algorithm）を用いて、残りの未カバレッジ・クエリに対する寄与（Marginal Gain）が最大となるツールを反復的に選択します。

2.4. 理論的保証

Phase 1 のランダムサンプリングと生成プロセスは、十分な反復回数 $I$ において、ターゲットとなるすべてのクエリに対して必要な数の攻撃ツール候補を生成する確率が 1 に収束することを理論的に証明しています（定理 4.1）。

3. 主要な貢献

ツール生態系における検索層の脅威モデルの提示:
- 従来の「選択競争」ではなく、「検索コンテキストの支配（Top-k 支配）」という新たな攻撃ベクトルを定義し、既存の選択段階の防御策が無力化されることを示しました。
ToolFlood の提案:
- LLM 支援による生成と貪欲な最適化を組み合わせた、シビル（偽装）ツール群によるセマンティック・カバリング攻撃を実装しました。
検索飽和の理論的洞察:
- 埋め込み空間の幾何学的分析を通じて、限られた数の注入ツールで検索結果を支配可能であることを数学的に示しました。
実証評価:
- 標準的なベンチマーク（MetaTool, ToolBench）において、非常に低い注入率（約 1%）で高い攻撃成功率を達成することを示しました。

4. 実験結果

実験設定

データセット: MetaTool（199 個のツール）、ToolBench（11,760 個のツール）。
評価指標:
- TDR (Top-k Domination Rate): 上位 $k$ 個がすべて攻撃ツールで占められる割合。
- ASR (Attack Success Rate): エージェントが攻撃ツールを選択する割合。
ベースライン: ランダム注入、PoisonedRAG（RAG 向け攻撃の適応版）。

結果

高い攻撃成功率:
- MetaTool: TDR 97.2%, ASR 99.6%（GPT-4o-mini 選択時）。
- ToolBench: TDR 91.0%, ASR 95.0%（GPT-4o-mini 選択時）。
- 注入された悪意のあるツールの割合は約 1%（MetaTool で 171 個、ToolBench で 145 個）と非常に少ないにもかかわらず、95% 以上の成功率を達成しました。
ランダム注入との比較:
- ランダムにツールを注入するだけでは効果は低く（TDR 1.6% 程度）、ToolFlood の戦略的カバリングの重要性が確認されました。
転移性（Transferability）:
- 攻撃最適化に使用した埋め込みモデル（Shadow Retriever）と、評価に使用したモデル（Target Retriever）が異なっても、高い攻撃成功率を維持しました（例：MiniLM で最適化し、text-embedding-3-small で評価しても TDR 84%）。
防御策の評価:
- MMR（多様性再ランク付け）: 検索結果の多様性を高めることで TDR は低下しましたが、ASR は依然として高かった（91.0%）。部分的な支配でも攻撃は成功します。
- プロンプトガード（Prompt Guard）: 攻撃が明示的な指示注入ではなく「意味的なカバリング」であるため、この防御策は全く機能しませんでした（TDR 91%, ASR 96.1%）。

5. 意義と今後の展望

意義

セキュリティ境界の再定義: ツールセキュリティは「選択」だけでなく、「検索（可視性）」そのものが攻撃対象となり得ることを示しました。
既存防御の限界: 選択段階でのフィルタリングやプロンプトガードは、検索段階で正当なツールが排除されてしまった場合、無効化されることを実証しました。
実社会への影響: 公開されたツールマーケットプレイスやオープンなツールエコシステムにおいて、攻撃者が少量のツールでシステム全体の挙動を操作できるリスクを浮き彫りにしました。

今後の展望

Sybil 耐性のある検索: 重複や類似ツールの支配を防ぐための、多様性を考慮した再ランク付けや、検索層における異常検知（洪水パターンの検出）の開発。
プロベナンスとガバナンス: ツールの出所や信頼性を保証するメカニズムの強化。
堅牢な検索ポリシー: セマンティック・カバリング攻撃に対して感度の低い、適応的な検索アルゴリズムの検討。

本論文は、LLM エージェントの信頼性を高めるために、検索層の完全性と可用性に対する体系的な注意喚起と、防御策の必要性を強く示唆する重要な研究です。