DenialRAG: Single-Document RAG Poisoning via Embedded Parametric Denial

技術要約：「DenialRAG: 埋め込まれたパラメトリック拒絶による単一ドキュメントRAGポイズニング」

問題提起
大規模言語モデル（LLM）の生成を外部ドキュメントに依存させる検索拡張生成（RAG）システムは、コーパス・ポイズニングに対して脆弱である。この脅威モデルでは、攻撃者が作成した文書を検索コーパスに挿入することで、モデルの重み、システムプロンプト、またはリトリーバーの内部構造にアクセスすることなく、生成器を攻撃者が意図した誤った回答（$Y$）へと誘導する。PoisonedRAG、AuthChain、CorruptRAGといった従来の単一ドキュメント攻撃は、単一の汚染された一節がRAGシステムを誤導できることを示してきたが、それらは通常、正解（$X$）を明示的に命名することを避けている。そこには、$X$に言及するとモデルのパラメトリックな知識が活性化され、汚染された内容を拒絶してしまう可能性があるという仮説がある。本論文は、 $X$ を避けることが本当に必要なのか、あるいは $X$ を明示的に命名し、それを論破することがより強力な攻撃ベクトルになり得るのかを調査している。

手法：DenialRAG
著者らは、汚染された一節の中に、正解（$X$）と攻撃者が選択した回答（$Y$）の間の衝突を明示的に埋め込む攻撃手法であるDenialRAGを提案している。$X$ を抑制するのではなく、$X$ を名前で挙げた上で、なぜそれが $Y$ に代わって拒絶されるべきなのかについて、攻撃者が制御した説明を提供するものである。

攻撃パイプラインは2つのフェーズで動作する：

1. オフライン攻撃時： ターゲットとなるクエリ $q$、正解 $X$、およびターゲットとなる誤った回答 $Y$ が与えられると、攻撃者はLLMを使用して短い（100語以下）汚染された一節を生成する。この生成には2つの呼び出しが含まれる：
   • 特徴抽出（Feature Extraction）： 検索の関連性を確保するために、質問の意図と顕著なエビデンスノード（エンティティ、日付など）を特定する。
   • 一節の構築（Passage Construction）： 以下の4つのコンポーネントを含む構造化された一節を生成する：
     1. 導入（Opening）： 具体的な詳細を伴い、$Y$ を決定的な回答として断定する。
     2. エビデンスの織り込み（Evidence Weaving）： ユーザーのクエリと整合させるために、抽出されたエビデンスノードを組み込む。
     3. 埋め込まれた拒絶（Embedded Denial）： 明示的に $X$ を名指しし、それを誤解や時代遅れの価値観として特徴付け、拒絶の理由を提示する。
     4. 権威による締めくくり（Closing Authority）： 制度的または記録に基づく引用を用いて、$Y$ を再確認する。
        生成されたドキュメントは、検索コーパス $K$ に挿入される。
2. オンラインクエリ時： ユーザーが $q$ を送信すると、リトリーバーは（高い語彙的・意味的オーバーラップにより）汚染された一節を選択する。生成器は、$X$ がすでに認められ、「説明によって退けられた」文脈を受け取ることで、$Y$ を出力するように誘導される。

主な貢献

1. 斬新な攻撃メカニズム： ポイズニング攻撃において正解を避ける必要があるという仮説に異を唱えるDenialRAGの導入。$X$ を明示的に命名し、その衝突の局所的な解決策を（$Y$ のために）埋め込むことが非常に効果的であることを実証した。
2. 体系的な評価： 3つのオープンドメインQAデータセット（Natural Questions, HotpotQA, MS-MARCO）、4つのベンダーにわたる8つのターゲットLLM（コストティアからフロンティアモデルまで）、および既存の4つの単一ドキュメント・ポイズニング・ベースラインを用いた包括的な評価。
3. 防御分析： 推論時の5つの防御策（Paraphrase, InstructRAG, TrustRAG, RobustRAG, AstuteRAG）を評価し、単一ドキュメント攻撃を軽減できるかどうかを判断した。
4. コンポーネントおよび安定性の分析： 「埋め込まれた拒絶」が最も重要なコンポーネントであることを特定したアブレーション研究、および攻撃の有効性が一様ではなく、ポイズニングメカニズムとターゲットモデルの整合性およびパラメトリック知識との相互作用に大きく依存することを示すクロスモデル分析。

結果

• 攻撃の有効性： DenialRAGは、3つのデータセットすべてにおいてMistral-7Bに対し最高の攻撃成功率（ASR）（89%、94%、86%）を達成した。しかし、有効性はモデルに強く依存する。フロンティアモデル（例：GPT-5.2, GPT-5.5）においては、PIA-direct（直接的な断定）やCorruptRAG-AK（鮮度更新の枠組み）といった他の攻撃の方が優れた性能を示すことが多い。例えば、GPT-5.5ではCorruptRAG-AKが優位であり、GPT-5.5に対するDenialRAGの性能は、コストティアのモデルと比較して大幅に低下する。
• 防御の堅牢性： 推論時の防御策は多くの設定でASRを減少させるが、一様な保護を提供するには至らない。
  • Paraphrase は限定的な効果しか示さない。
  • InstructRAG と TrustRAG は一部の攻撃のASRを減少させるが、特に汚染された一節自体が衝突を説明している場合、DenialRAGやCorruptRAG-AKに対して重大な残留リスクを残す。
  • RobustRAG と AstuteRAG は特定の状況下で強力な削減を示す（例：AstuteRAGはGPT-5.2におけるDenialRAGのASRを約8%まで減少させる）が、Mistral-7Bに対するDenialRAGに対しては効果がないままとなる（ASRは依然として約77-86%）。
• アブレーションによる知見： 「埋め込まれた拒絶」（すなわち、$Y$ を断定するだけ）を取り除くと、ASRが最大で減少する（平均して約17パーセントポイント減少）。これは、$X$ がなぜ間違っているのかを説明するメカニズムが成功の主要な要因であることを裏付けている。また、$X$ を明示的に命名することも極めて重要であり、正解の名前を省略すると有効性が低下する。
• モデルレジームの安定性： DenialRAGは、コストティアからフロンティアモデルへ移行する際に最大の性能低下（30.3パーセントポイントの低下）を示しており、これは強力なモデルがDenialRAGによる明示的な矛盾を、自身のパラメトリックな知識と照らし合わせて検証する能力が高いことを示唆している。対照的に、「鮮度更新」として衝突を枠付ける攻撃（CorruptRAG-AK）は、モデルレジームが変わってもより安定している。

意義および主張
本論文は、RAGポイズニングのリスクを単一の攻撃ファミリーや単一のターゲットモデルによって特徴付けることはできないと主張している。ポイズニング攻撃の有効性は、攻撃メカニズム（例：拒絶、断定、更新の枠組み）とターゲットLLMのアーキテクチャおよび整合性との間の特定の相互作用に強く依存する。

著者らは、DenialRAGは特にコストティアのモデルに対して強力な新しいベクトルであるが、普遍的に優れているわけではないことを強調している。研究は、防御策が非一様であることを浮き彫りにしている。ある種のポイズニング（例：直接的な断定）を緩和する防御策が、別の種類のポイズニング（例：埋め込まれた拒絶や鮮度更新）に対しては脆弱なままとなる可能性がある。したがって、本論文は、RAGのセキュリティを理解するためには、単一の指標やモデルクラスによって脅威の全体像を定義するのではなく、多様な攻撃メカニズムを幅広いモデルと防御策にわたって分析する必要があると結論付けている。