技術概要：ジェネレーターに到達できるか？現実的な RAG 環境におけるプロンプト・インジェクション攻撃の生存性に関する調査

1. 問題定義

生成エンジン最適化（GEO）に関する最近の研究は、プロンプト・インジェクション攻撃が特定の製品を優先させるために大規模言語モデル（LLM）の出力を操作できることを示しており、報告された成功率は最大 80% に達しています。しかし、著者らは、これらの先行評価が、展開されたシステムにとって根本的に非現実的な「フローズン・コンテキスト（FC）プロトコル」に依存していると主張しています。FC プロトコルでは、攻撃対象のドキュメントが自動的に検索され、検索および再ランク付けステージを完全にバイパスして直接ジェネレーターに渡されると仮定されています。

現実世界の検索拡張生成（RAG）パイプラインでは、ドキュメントの内容に対する敵対的な編集が、そのドキュメントのセマンティックおよび語彙的特性を変化させます。この変更により、ドキュメントは初期の検索器による検索に失敗するか、ジェネレーターに到達する前に再ランク付け器によってフィルタリングされる可能性があります。中心的な研究課題は、GEO 攻撃が（検索器→再ランク付け器→ジェネレーターという）完全な 3 段階パイプラインを「生存」できるのか、それともその有効性が単純化された評価プロトコルの人工物に過ぎないのかという点です。

2. 手法

著者らは、現実的なエンドツーエンドの 3 段階 RAG パイプラインを提案し、評価しました：

1. 検索器: 全文書コーパスをランク付けする疎（BM25）または密（BAAI/bge-large-en-v1.5）な検索器。
2. 再ランク付け器: 検索された上位 n 個（10）の候補を再順序付けする、LLM ベースのリストワイズ再ランク付け器（RankGPT 戦略を使用した Qwen3-8B）。
3. ジェネレーター: 再ランク付けされた上位 k 個（5）の候補に基づいて応答を生成し、m 個（3）の製品推奨を出力する LLM（Qwen3-8B）。

実験設定

• データセット: Amazon ESCI 製品検索コーパス（米国ロケール）を、e コマース規模を反映させるため、40 以上の注釈付き製品を持つ 1,294 クエリにフィルタリング。
• 攻撃対象: 攻撃されていないベースラインにおいて、再ランク付け器によって最初に除外されるランク 6 および再ランク付け器が最後に確認するランク 10 のドキュメント。
• 攻撃手法: 3 つのカテゴリーに分類される 7 つの攻撃を評価：
  • 指示上書き（IOA）: 固定サフィックス（例：DCH スキーマ）。
  • LLM 駆動型: 補助 LLM（CORE-Review、CORE-Reason、TAP）を使用した反復最適化。
  • 勾配ベース: ホワイトボックス・トークン最適化（RAF、SRP、STS）。
• 評価プロトコル:
  • フローズン・コンテキスト（FC）: 先行研究の方法（検索/再ランク付けをバイパス）。
  • エンドツーエンド（E2E）: 攻撃されたコーパスを再インデックスし、完全なパイプラインを実行。
• 指標:
  • 検索生存率（$S_r$）: 攻撃されたドキュメントは再ランク付け器のトップ 10 に入るか？
  • 再ランク付け露出（$E_\rho$）: ジェネレーターのトップ 5 入力に入るか？
  • 生成成功率（$S_g$）: 対象製品は最終的なトップ 3 推奨に現れるか？
• 防御評価: 市販のガード（Llama-Guard、QwenGuard、Prompt-Guard）と、少量データ（104 クエリ）でファインチューニングされた軽量 Prompt-Guard をテスト。

3. 主要な知見と結果

3.1 先行プロトコルは有効性を過大評価している

フローズン・コンテキストプロトコルは攻撃の成功率を著しく過大評価しています。完全なパイプラインを考慮すると：

• 検索はフィルタとして機能する: 平均して、攻撃ドキュメントの約 20% が検索に失敗します。指示上書き（IOA）攻撃は最も深刻な影響を受け、注入されたサフィックスがクエリ関連コンテンツを希釈するため、検索生存率は約 59% まで低下します。
• 再ランク付けは結果を再編成する: 再ランク付け器はドキュメントをさらにフィルタリングまたは促進します。ランク促進を通じて一部の攻撃を約 16.5% 向上させる可能性はありますが、ジェネレーターへの入力としてトップ 5 に切り詰められることが、多くの攻撃を緩和します。

3.2 エンドツーエンド攻撃の有効性は極めて変動する

E2E パイプライン下では、ほとんどの手法において攻撃のパフォーマンスが崩壊します：

• 勾配ベースの攻撃（RAF、SRP、STS）: これらは完全に失敗し、成功率（$S_g$）が 2% 未満に低下します。これらはジェネレーターの目的に対して最適化されていますが、検索器および再ランク付け器に対するドキュメントの語彙的/セマンティックな一致を劣化させます。
• 指示上書き（IOA）: 検索失敗により、高い FC 率から E2E では約 14.7% まで成功率が低下します。
• LLM 駆動型攻撃（CORE-Review、CORE-Reason、TAP）: これらがエンドツーエンドで有効に残っている唯一の手法です。
  • CORE-Reason: 独特なことに、FC と比較して E2E 下で成功率が約 4% 増加します。その最適化戦略にはユーザークエリが複数回含まれており、これが検索生存率を向上させ、密な検索器によって積極的に促進されます。
  • CORE-Review および TAP はそれぞれ約 46% および約 40% の成功率を維持しますが、FC と比較して依然として大幅な低下を被ります。

3.3 位置バイアスとステージの好適性

この研究は、ステージ間で相反する位置バイアスを明らかにしました：

• 再ランク付け器: 入力内の後方に配置された攻撃を好む（ランク 10 > ランク 6）。
• ジェネレーター: 入力内の前方に配置された攻撃を好む（ランク 6 > ランク 10）。「真ん中での消失（lost-in-the-middle）」現象と一致します。
  これは、単一ステージの分析では、入力位置のためにあるステージでは成功し、別のステージでは失敗する可能性のある重要なダイナミクスを見逃していることを示唆しています。

3.4 防御可能性

• 市販のガード（Llama-Guard、QwenGuard）: 一般化に失敗し、しばしば高い偽発見率（FDR）を示すか、高度な LLM 駆動型攻撃（CORE-Review/Reason）を見逃します。
• 軽量ファインチューニング: わずか 104 学習クエリ（攻撃/クリーン 1:1 平衡）でファインチューニングされた Prompt-Guard モデルは、最も効果的なエンドツーエンドのものを含むすべての攻撃タイプにおいて、ほぼ完璧な検出（F1 97.3%）を達成しました。これは、生存した攻撃が学習可能なスキーマを露呈していることを示しています。

4. 意義と主張

本論文は、GEO プロンプト・インジェクション攻撃の知覚される脅威環境が、以前報告されていたものよりも狭いと主張しています。

• 修正された脅威モデル: 既存の攻撃のほとんど（勾配ベースおよび指示上書き）は、検索および再ランク付けステージを生存できないため、現実的な RAG 環境では非効率的です。
• E2E 評価の必要性: 著者らは、将来の GEO 研究はエンドツーエンド評価プロトコルを採用しなければならないと主張しています。フローズン・コンテキストの仮定に依存することは、システムの堅牢性に関する誤った警報につながります。
• 検出可能性: 完全なパイプラインを生存する攻撃（LLM 駆動型プロンプト最適化）でさえ、最小限のデータで容易に検出可能な最適化スキーマに従っており、システムの実用性を損なうことなく堅牢な防御が可能であることを示唆しています。

本研究は、GEO 攻撃が依然として懸念事項である一方で、特定の脆弱性は攻撃手法とパイプラインアーキテクチャに強く依存しており、完全な RAG パイプラインを介した攻撃の「生存」が、現実的なリスクを評価するための重要な指標であると結論付けています。