論文「Exploiting Web Search Tools of AI Agents for Data Exfiltration」の技術的サマリー

この論文は、大規模言語モデル（LLM）を自律的な AI エージェントとして運用する際、特に外部ツール（Web 検索など）と連携する際の重大なセキュリティ脆弱性、すなわち**「間接プロンプトインジェクション（Indirect Prompt Injection）」**によるデータ漏洩リスクを実証的に分析したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

近年、LLM は自然言語処理だけでなく、ツール呼び出し（Tool-calling）や検索拡張生成（RAG）を通じて、外部データソースや社内知識ベースと自律的に連携する AI エージェントとして進化しています。

• 脆弱性の核心: エージェントが外部の信頼されていないデータソース（Web ページ、ドキュメントなど）を処理する際、その中に埋め込まれた悪意のある指示（プロンプトインジェクション）を「ユーザーからの指示」と誤認し、実行してしまうリスクがあります。
• 具体的な脅威: 攻撃者は、SEO 操作などでエージェントの検索結果に悪意のあるサイトを表示させ、そのサイト内の隠された指示（白文字白背景やエンコードなど）を使って、エージェントに社内機密データ（プロジェクトの予算、秘密コードなど）を抽出させ、攻撃者のサーバーへ送信させることができます。
• 現状の課題: 既存の研究は理論的なリスクや一般的なメカニズムに焦点を当てており、企業環境での実用的な攻撃シナリオや、異なるモデル間の耐性比較、および多様なオビュスキュレーション（隠蔽）手法の有効性に関する体系的な評価が不足していました。

2. 研究方法 (Methodology)

著者らは、実世界の企業ワークフローを模倣した攻撃シナリオを構築し、体系的な評価を行いました。

• 攻撃シナリオ:
  • ターゲット: 社内知識ベース（RAG）と Web 検索ツールの両方にアクセス可能な AI エージェント。
  • 攻撃ベクトル: 攻撃者が管理する悪意のあるブログサイト（例：機械工学のギアサプライヤーに関する偽のページ）。
  • 攻撃フロー:
    1. ユーザーがエージェントに「ギアサプライヤーを検索」と指示。
    2. エージェントが悪意のあるサイトを検索結果として取得。
    3. サイト内の「隠された指示（白文字やエンコード）」を読み取り、社内データベースから「Project Alpha の秘密コード」を抽出。
    4. 抽出したコードを URL パラメータに埋め込み、攻撃者のサーバーへ GET リクエストを送信（データ漏洩）。
• 技術的実装:
  • フレームワーク: Pydantic AI を使用してエージェントを構築。
  • プロンプト生成: PyRIT（Python Risk Identification Tool for generative AI）を活用し、多様な変形プロンプトを生成。
  • 変形手法（オビュスキュレーション）:
    • LLM ベースのファジング: 長さの伸縮、言い換え、翻訳（ヒンディー語など）、類似性ベースのバリエーション。
    • エンコード・隠蔽: Base64、バイナリ表現、ゼロ幅文字、絵文字置換。
    • 構文・プレゼンテーション攻撃: ランダムな大文字小文字、ANSI エスケープシーケンスの埋め込み。
• 評価対象: 20 以上の異なる LLM（OpenAI, Google, Anthropic, Meta, Qwen, DeepSeek, X-AI 等）を対象に、89 種類の攻撃テンプレート×12 種類の変形（計 1,068 件）をテスト。

3. 主要な貢献 (Key Contributions)

1. 実証的な攻撃フレームワークの公開: 企業環境における Web 検索ツールを利用したデータ漏洩攻撃の完全な実装と、その評価スクリプトをオープンソース化（GitHub リポジトリ）。これにより、自動化されたレッドチームング（攻撃テスト）の基盤を提供。
2. 大規模なモデル比較評価: 主要なプロバイダーの 20 以上のモデルを対象に、間接プロンプトインジェクションに対する耐性を定量的に評価。
3. 攻撃手法の有効性分析: 既存の攻撃テンプレート（2023 年以降の既知のもの）や、多様なオビュスキュレーション手法が、現代のモデルにおいても依然として有効であることを示した。
4. モデル規模とセキュリティの非相関の発見: モデルのパラメータ数（規模）と攻撃耐性の間に明確な相関がないことを実証。セキュリティはモデルの規模ではなく、トレーニング方針や実装されたガードレールに依存することを示唆。

4. 実験結果 (Results)

• モデルごとの耐性差:
  • 脆弱なモデル: X-AI (Grok シリーズ) のモデルが最も脆弱（成功率 72.4% など）、次いで Qwen、Meta (Llama) のモデルが脆弱。
  • 堅牢なモデル: OpenAI (GPT-4.1-nano など)、Google (Gemini)、Amazon (Nova) のモデルは非常に高い耐性を示し、多くの場合 0%〜1% 程度の成功率に抑えられた。
  • 要因: OpenAI のモデルは、階層的な指示の優先順位付け（ツール呼び出しなどの指示が上位の指示に優先しないようトレーニング）が効果的であったと推測される。
• パラメータ数との関係:
  • 図 5 に示すように、パラメータ数（モデルサイズ）と攻撃成功率の間に明確な相関は見られなかった。巨大なモデルでも脆弱であり、小規模なモデルでも堅牢なケースが存在する。
• 攻撃手法の有効性:
  • 最も効果的な変形: 「Identity（変形なし）」と「ANSI エスケープシーケンス」が最も高い成功率（12% 以上）を記録。ANSI 攻撃は古くから知られているが、依然として有効。
  • 無効化された手法: Base64 エンコーディングやバイナリ表現は、多くのモデルで検知・無効化されるようになり、以前ほど有効ではなくなった。
  • テンプレートの持続性: 「Coach Bobby Knight」や「Void」など、2023 年以前から知られている攻撃テンプレートが、最新のモデルに対しても依然として有効（成功率 5-15%）であり、防御策の進化が追いついていないことを示した。

5. 意義と提言 (Significance & Recommendations)

• セキュリティ・バイ・デザインの必要性: 現在の LLM は、長年知られている攻撃に対しても防御できておらず、セキュリティは事後対応ではなく、設計段階から組み込む必要がある。
• 標準化された評価基盤の欠如: 従来のソフトウェアにおける CVE データベースのような、プロンプトインジェクション攻撃ベクトルの標準化された公開リポジトリの必要性を強調。これにより、開発者が事前に脆弱性をテスト・対策できる環境を作るべき。
• 多層防御の推奨:
  • ランタイム監視: 異常なデータ転送やワークフローの逸脱を検知。
  • ポリシー実行レイヤー: エージェントと外部ツールの間にゲートキーパーを配置し、実行前の検証を行う。
  • Guardrails as Code: 組織のセキュリティポリシーをコードとしてワークフローに埋め込む。
• トレーニングの改善: 敵対的な例（Adversarial Examples）をトレーニングパイプラインに体系的に組み込み、モデル自体の耐性を高めることが不可欠。

結論:
本論文は、AI エージェントの自律化が進む中で、Web 検索ツールを介した「間接プロンプトインジェクション」が現実的なデータ漏洩リスクであることを実証しました。モデルの規模だけではセキュリティは保証されず、プロバイダーごとのトレーニング方針や追加の防御層が重要であることを示唆しています。業界全体で標準化された攻撃評価と、セキュリティを中核に据えた開発への転換が急務であると結論付けています。