技術要約：毒入れられた検索コーパスにおけるターゲット回答の追跡：トークン影響度属性解析によるアプローチ

問題提起

Retrieval-Augmented Generation（RAG）システムは、外部知識によって大規模言語モデル（LLM）を強化する一方で、**コーパス・ポイズニング攻撃（corpus poisoning attacks）**に対して脆弱です。これらの攻撃では、攻撃者が誤った特定のターゲット回答へとLLMの出力を操作するために、誤解を招く文書を検索コーパスに注入します。既存の検出手法は、補助的な分類器や追加のLLMベースの検証（例：別のモデルにクエリを投げて出力を検証する）に依存することが一般的です。しかし、これらの手法は多大な計算オーバーヘッドとメンテナンスコストを導入するため、軽量でリアルタイムな防御メカニズムを必要とする多くのエンタープライズ展開においては実用的ではありません。

手法：TRACEフレームワーク

著者らは、トークン影響度属性解析（token influence attribution）を通じて回答に関連するトークンを追跡することで、ポイズニング攻撃を特定する軽量な検出フレームワークであるTRACEを提案しています。文書を「良性」か「悪性」かに分類する手法とは異なり、TRACEはターゲットとなるLLMの内部メカニズムを分析し、予測に対して最も強い影響を及ぼしているトークンを特定します。このフレームワークは、以下の2つの明確なフェーズで動作します。

フェーズ1：キーワード探索

1. 影響度の計算： 各検索文書に対して、システムはバックプロパゲーション（誤差逆伝播法）を通じてトークンレベルの影響度スコアを算出します。ターゲット文字列は、定義された肯定表現（例：「はい、答えは：」）です。トークン埋め込み $x_i$ の影響度は、そのトークンに対する肯定表現の対数確率の勾配のノルムの二乗 $\|\nabla_{x_i} \log P_\theta(y|x_{1:n})\|^2$ として計算されます。
2. フィルタリング： システムは、ノイズを減らすために、句読点、頻出語（ストップワード）、およびユーザーのクエリに既に存在するトークンを厳格に除外した上で、影響度の高い上位 $k_1$ 個のトークンを抽出します。
3. フレーズの構築： 連続する高影響度インデックスを連結して、候補フレーズを作成します。
4. コンセンサス・フィルタリング： これらのフレーズは、すべての検索文書にわたって集計されます。フレーズが閾値 $a_1$ を満たす数の文書に再出現する場合にのみ、候補キーワード集合 $K$ に採用されます。これにより、毒入れられたコーパス内で同期された、集約された悪意のあるペイロードを分離します。

フェーズ2：二次検証

1. 標的型再評価： 各候補キーワード $p \in K$ に対して、システムは検索された文書を再評価します。フェーズ1とは異なり、フェーズ1では候補フレーズ $p$ 自体が新たなトークンレベルの影響度勾配を計算するためのターゲット予測として設定されます。
2. トリガーの特定： アルゴリズムは、各文書内で候補フレーズ $p$ に対応する、影響度の高い上位 $k_2$ 個のトークンを特定します。
3. 最終検証： これらのトークンを集計し、少なくとも $a_2$ 個の異なる文書において高影響度のトリガーとして現れる場合のみ、トークンを最終的なターゲット集合 $T$ に追加します。
4. 検出フラグ： 最終的なターゲット集合 $T$ が空でない場合、検索されたコーパスはポイズニングされていると判定されます。

主な貢献

1. 軽量なフレームワーク： TRACEは、補助的な分類器を必要とせず、かつ追加のLLM検証も必要としない検出メカニズムを導入しており、計算オーバーヘッドを大幅に削減します。
2. トークン属性付けパラダイム： 本論文は、検索された文書間で再帰的に現れる高影響度トークンを追跡することによってポイズニングを特定するという、新しい検出アプローチを提案しており、トークンの影響度をモデルの予測に直接結びつけています。
3. ターゲット回答の解明： 単なる検出にとどまらず、TRACEは計算コストを低く抑えながら、攻撃者が指定したターゲット回答を明らかにする能力があることを示しており、防御分析のための実行可能なインテリジェンスを提供します。

実験結果

著者らは、PoisonedRAG攻撃のベースラインに対し、3つのQAベンチマーク（Natural Questions, HotpotQA, MS-MARCO）および6つの多様なLLM（Llama-3.1-8B, Gemma-3-4b, Qwen-3.5-4B, Vicuna-7b, Mistral-7B, Phi-4-mini）を用いてTRACEを評価しました。

• 検出性能： TRACEは、評価されたほぼすべてのモデルにおいて、一貫して**90%を超える真陽性率（TPR）を達成しました。Phi-4-miniモデルにおいては、平均98.87%**のTPRを確保しました。
• 偽陽性の制御： ハイパーパラメータの調整により、良性のシナリオにおいて偽陽性率（FPR）を10%未満に抑制し、誤報に対する堅牢な制御を実現しました。
• ターゲット回答の特定： 本フレームワークは、NQおよびMS-MARCOデータセットにおいて約90%、HotpotQAにおいて70%超の割合で、攻撃者のターゲット回答を特定することに成功しました。
• 効率性： LLMベースの検証を用いるベースラインであるRAGForensicsと比較して、TRACEは優れた検出性能を実現しつつ、実行時間を大幅に短縮しました（例：Llama-3.1-8Bにおいて、1問あたり約1.0秒 vs 約9.0秒）。

重要性と主張

本論文は、TRACEがRAGパイプラインにおけるリアルタイムの第一線防御を提供すると主張しています。その重要性は以下の点にあります：

• 事前知識ゼロ： 出力を検証するためにターゲット回答を知る必要があるリアクティブ（反応型）な防御とは異なり、TRACEは攻撃に関する事前知識なしに、生成前にターゲット回答のトークンを特定します。
• 運用可能性： 補助モデルのトレーニングや繰り返しのLLM推論の必要性を排除することで、TRACEはエンタープライズ展開における実用的な制約に対処します。
• 透明性： 悪意のある予測を駆動している特定のトークンを明らかにできる能力により、組織は悪意のある出力を遮断し、レピュテーションリスクを軽減することができます。

著者らは、この手法がターゲット回答の統計的な再出現に依存しており、非常に少数のポイズニング文書を含む攻撃に対しては感度が低くなる可能性があるという限界を認めています。しかし、そのような希薄な注入は本質的に攻撃の成功率（ASR）を低下させるため、TRACEは高インパクトなポイズニング試行に対する効果的なフィルターになると主張しています。本研究は、セキュリティ評価のための防御ツールとして提示されており、新しい攻撃メカニズムやデータセットの公開は行っていません。