技術的サマリー：ステルスレンズを通じた RAG における汚染に対する注意喚起的防御

問題定義

外部知識ベースと大規模言語モデル（LLM）を統合する検索拡張生成（RAG）システムは、検索汚染攻撃に対して脆弱です。これらの攻撃では、敵対者が知識データベースに汚染された文章を注入します（例えば、改ざんされた Wikipedia ページやソーシャルメディアを介して）。これにより、検索された文脈が汚染されます。汚染率が低い場合でも（例えば、10 文中 1 文が汚染された場合）、PoisonedRAG などの既存の攻撃は、LLM の応答を目標の回答に成功裡に操作できます。

本論文が扱う核心的な課題はステルス性です。既存の攻撃は高い成功率を達成しますが、著者らはそれらがステルス性を意図して設計されていないと主張します。 benign（良性）な文章の合意を覆すためには、敵対的な文章が LLM の推論プロセスに不均衡に影響を与える必要があります。この本質的な要件は、モデルの内部状態、特に注意重みの分布において検出可能な「悪意のある痕跡」を生み出します。本論文は、現在の防御策がこれらの中間信号を見落とし、代わりに表面レベルのセマンティクスやパープレキシティに依存していることを指摘しており、これらは高度な汚染攻撃に対しては効果が低いとします。

手法

1. ステルス性の形式化：SADG ゲーム

著者らは、**ステルス攻撃識別ゲーム（SADG）**を通じてステルス性の概念を形式化します。このセキュリティゲームにおいて、防御者は良性の検索セットと、汚染された文章が最大 $\epsilon$ 分率含まれる汚染されたセットを区別しようと試みます。攻撃が $\tau$-ステルスであるとは、防御者がセットを区別する利得が最大 $\tau$ であることを意味します。本論文は、成功した低汚染率の攻撃は本質的にこのテストに失敗すると主張します。なぜなら、それらは少数の文章に影響力を集中させるため、検出可能な統計的異常を生み出すからです。

2. 正規化された文章注意スコア（NPAS）

生成された応答に対する個々の文章の影響を定量化するために、本論文は**正規化された文章注意スコア（NPAS）**を導入します。

• メカニズム: この手法は、LLM のデコーダ層とヘッドからの注意重みを集約します。検索された文章 $z_t$ について、生成された応答トークンすべてから $z_t$ 内のトップ-$\alpha$ 最も注目されたトークンへの注意スコアを合計します。
• 正規化: スコアは、異なるクエリやモデル間での比較を可能にするため、すべての $k$ 個の検索された文章にわたる総注意で正規化されます。
• 根拠: benign なシナリオでは、注意は関連する文章間で比較的均等に分散されます。成功した汚染攻撃では、モデルは汚染された文章（特に敵対的な目標に一致するトークン）に注意を強く集中させるため、NPAS の分布は高い分散を示します。

3. 注意分散フィルタ（AV フィルタ）

汚染されたセットが NPAS において高い分散を示すという観察に基づき、著者らは**注意分散フィルタ（AV フィルタ）**を提案します。

• プロセス: フィルタは、検索セットから NPAS が最も高い文章を反復的に削除します。
• 停止条件: このプロセスは、残りの NPAS スコアの分散が閾値 $\delta$ 未満に低下するか、削除された文章の数が汚染予算 $\epsilon$ に達するまで続行されます。
• 実装: 位置バイアス（直近効果）を軽減するため、文章はフィルタリング前に NPAS によって再順序付けされます。閾値 $\delta$ は、クリーンなデータから推定されます（平均 + 1 標準偏差）。

4. 適応的攻撃

この防御の限界をテストするために、著者らはステルスを最適化する適応的攻撃を開発します。ジャイルブレイク手法（GCG および AutoDAN の拡張）を用いて、これらの攻撃は以下の複合損失関数を最小化します：
$$L_t = L_1 + \lambda \cdot L_2$$
ここで、$L_1$ は目標応答のクロスエントロピー損失（効果性）であり、$L_2$ は NPAS の分散（ステルス性）です。これにより、攻撃者は高い分散の注意シグネチャを作成することなく目標回答を誘発する汚染された文章を見つけることを強制されます。

主要な貢献

1. ステルス性の形式化: RAG 汚染攻撃のステルス性を厳密に定義し測定するための SADG の導入。
2. NPAS メトリクス: 文章から応答への影響を定量化する正規化された文章注意スコアの開発。汚染下ではこれが歪むことを実証。
3. AV フィルタ防御: 推論パイプラインを変更することなく、汚染された文章を確実に識別し削除する軽量な注意分散ベースのフィルタの提案。
4. 包括的な評価: 4 つのデータセット、5 つの LLM、5 つの攻撃タイプにわたる広範な実験。防御の限界を探るための適応的攻撃の開発を含む。
5. ホワイトボックス/ブラックボックス適用性: 防御がホワイトボックス設定（モデル内部への直接アクセス）とブラックボックス設定（注意信号を近似するための補助的なオープンソースモデルの使用）の両方で機能することを実証。

結果

• 検出能力（RQ1）: NPAS 分散（$D_{AV}$）を利用する防御者は、既存の攻撃において汚染されたセットを成功裡に識別し、SADG における平均勝利率は0.78であり、ランダム推測を大幅に上回ります。
• 頑健性（RQ2）: AV フィルタは、ベースラインと比較して頑健な精度（RACC）を大幅に向上させます。
  • benign な設定において、ベースライン防御よりも最大23% 高い精度を達成します。
  • 攻撃下では、Certified Robust RAG（キーワード/デコーディング）などのベースラインと比較して、最大20% 高い RACCをもたらします。
  • 一部のデータセットで約 88% に達し得るバニラ RAG の攻撃成功率（ASR）を、RQA-MC において平均**6.6%**まで削減します。これは既存の頑健な手法と同等かそれ以上です。
• 適応的攻撃の限界（RQ3）: 適応的攻撃は AV フィルタを回避でき、最大**35%**の ASR を達成します。しかし、これには禁止的なコストが伴います：
  • モデル内部と知識ベースへの完全なアクセスが必要です。
  • クエリ固有の最適化を伴い、標準的な攻撃と比較して実行時間が約$10^3$から$10^4$倍増加します（クエリあたり約 18,000 秒など）。
  • 著者らは、これらは実用的な脅威というよりも極端な理論的限界を表すと結論付けています。

意義と主張

本論文は、RAG 汚染においてステルス性と効果性は本質的にトレードオフの関係にあると主張します。少数の汚染された文章で応答を成功裡に操作するためには、敵対者は不均衡な影響力を行使する必要があり、これが注意重みにおいて検出可能なシグネチャを残します。

• 防御の有効性: AV フィルタは、RAG システムの有用性を維持し（クリーンな精度の低下は最小限）、現在の低ステルス攻撃を効果的に緩和する、実用的でオーバーヘッドの低い防御を提供します。
• 限界: この防御は特定の仮定に依存します：汚染は少数であること（$\epsilon < 0.5$）、正しい知識は良性の文章に冗長に表現されていること、そして攻撃は応答の内容（スタイルやデータ漏洩ではなく）を標的とすること。
• 将来展望: 適応的攻撃はステルスの向上が可能であることを示していますが、計算コストが高く、リソース集約的です。本論文は、RAG 汚染における真に効率的なステルスの達成が依然として重要な未解決の課題であり、AV フィルタのような多項式時間の防御が現在の実用的なシナリオには十分であると示唆しています。

著者らは、防御と適応的攻撃という二重の貢献が、現在の脆弱性とそれらを克服する高いコストを暴露することにより、より頑健な RAG システムの開発を促進することを強調しています。