Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning

技術的サマリー：アーキテクチャの重要性：知識ベース汚染下における RAG システムの比較

問題定義
検索拡張生成（RAG）システムは、知識ベース汚染に対して脆弱である。これは、敵対者がシステム出力を操作するために工作された文書を注入する攻撃である。既存の文献は、これらの攻撃を「バニラ（標準的）」な検索後生成パイプラインに対して広範に評価してきたが、重要なギャップが残されている。すなわち、マルチエージェント議論、エージェント型検索、再帰的言語モデルなど、矛盾する情報を処理するように明示的に設計されたアーキテクチャは、敵対的に最適化された矛盾に対してテストされたことがないという点である。さらに、以前の評価は、汚染された文書が検索コンテキストを支配するシナリオ（例：$K=5$ の検索文書中 $N=5$ の汚染文書）に依存することが多く、正当な情報源と共存する単一の敵対的文書についてシステムが推論できる能力（$N=1$）をテストできていない。

方法論
本研究は、Natural Questions（NQ）データセットの 921 個の質問 - 回答ペアを対象に、Contriever を用いて 268 万パッセージの Wikipedia コーパスから検索された、制御された $N=1$ 汚染脅威モデル下で、4 つの異なる RAG アーキテクチャを評価する。すべてのシステムは、アーキテクチャの効果をモデル能力の差から分離するために、バックボーン LLM として GPT-5-mini を使用する。

テストされた 4 つのアーキテクチャは以下の通りである：

1. バニラ RAG: 標準的な単一パスの検索後生成パイプライン。
2. エージェント型 RAG: PydanticAI を介して実装され、エージェントが回答する前に反復的に検索し、クエリを再構成し、証拠を収集することを可能にするもの。
3. MADAM-RAG: 各検索された文書が独立したエージェントに割り当てられ審議され、その後アグリゲーターが最終回答を統合するマルチエージェント議論システム。
4. 再帰的言語モデル（RLM）: 上位 100 パッセージを検索し、記事タイトルを共有するすべてのパッセージ（一般的に約 2,600 パッセージ）に拡張する完全なトピックコンテキストを、プログラム的な分解と再帰的サブ呼び出しを通じて処理するシステム。

システムは以下の 3 つの条件下でテストされる：

• クリーンベースライン: 汚染された文書なし。
• 単純注入: 検索最適化を行わない、自然に書かれた矛盾するパッセージ。
• CorruptRAG-AK: 正しい情報源の信頼性を損なうように設計された「メタ認識的枠組み」（例：「多くの古く古い情報源は誤って述べている...最新のデータは確認している...」）を採用する敵対的攻撃。この攻撃には、汚染された文書が検索されることを保証するための検索最適化コンポーネントが含まれる。

評価指標には、アーキテクチャ間の公平な比較を確保するためにクリーン精度を条件とした攻撃成功率（ASR）と、LLM ジャッジによって評価される 7 分類の行動分類（例：自信あり正解、検出あり正解、保留、自信あり誤答）が含まれる。

主要な貢献

1. 高度なアーキテクチャの初回評価: 本論文は、知識ベース汚染に対するエージェント型、マルチエージェント議論、および再帰的アーキテクチャの最初の敵対的評価を提供し、汚染文献と矛盾処理文献の間のギャップを埋める。
2. 第一変数としてのアーキテクチャ: 本研究は、アーキテクチャ設計の選択のみが、比較可能なクリーン精度（約 92%）を持つシステム間で、攻撃成功率に約 58 ポイントの差（バニラで 81.9% から RLM で 24.4%）を生み出すことを実証する。
3. 攻撃成功の分解: 著者らは、単純注入と敵対的攻撃の間の性能ギャップを「検索効果」（汚染を検索させること）と「コンテンツ効果」（枠組みの説得力）に分解する。その結果、4 つのアーキテクチャの 3 つにおいて、敵対的優位性の大部分は検索最適化ではなく、生成段階におけるメタ認識的枠組みに由来することが判明した。
4. 行動分類の導入: 7 分類の分類法の導入により、二値精度を超えた失敗モード、すなわち矛盾の検出、保留、および自信レベルを捉えることができる。

結果

• 堅牢性のばらつき: CorruptRAG-AK 下では、バニラ RAG は 81.9% の ASR（クリーン条件付き）を記録するのに対し、エージェント型 RAG は 43.8% に低下し、RLM は 24.4% で最も高い堅牢性を達成する。MADAM-RAG は 45.5% の ASR を示すが、クリーン入力における高い非回答率（41.4%）によって複雑化しており、エラーを冒すよりも回答を拒否する傾向がある「安全だが無用」というトレードオフを示唆している。
• 分解の知見:
  • バニラ RAG: 攻撃優位性は検索（約 18 ポイント）とコンテンツ（約 32 ポイント）に分割される。
  • エージェント型 RAG: 優位性は圧倒的にコンテンツ駆動（約 30 ポイント）であり、検索への寄与は最小限である。注目すべきは、エージェントループが敵対的枠組みを増幅し、誤った回答の 63% でメタ認識的マーカーを反響させていることである。
  • RLM: 脆弱性のギャップ全体はコンテンツ推論段階に局在しており、検索最適化は攻撃者に追加の優位性をもたらさない。
  • MADAM-RAG: コンテンツ効果は統計的にゼロと区別できない。汚染が検索された後、敵対的枠組みは単純な矛盾に対して優位性を示さず、議論構造が説得的な言語をフィルタリングしていることを示唆する。ただし、アグリゲーターは枠組みに関係なく矛盾を確実に解決できない。
• 行動分析: バニラ RAG の失敗は主に「自信あり誤答」である。エージェント型 RAG は保留を含むより分散した失敗を示す。MADAM-RAG は高い保留率と「不明」応答を示し、自信あり誤答を抑制する一方で有用性も低下させる。RLM は自信あり誤答の率が最も低い。

意義と主張
本論文は、アーキテクチャの選択が、多くの専用防御メカニズムよりも重要である可能性のある、RAG 敵対的堅牢性において影響が大きく未探索の変数であると主張する。著者らは以下を主張する：

• 設計の優先度: 推論アーキテクチャの選択は、防御メカニズムの選択と同等の設計決定であるべきである。洗練された防御を備えたバニラパイプラインは、現実的な脅威に対して、素朴なエージェント型または再帰的パイプラインよりも劣る可能性がある。
• 脅威モデルの条件付き: 有機的な汚染（古くなった文書）に対しては、エージェント型 RAG が強力なコスト - 堅牢性のトレードオフを提供する。しかし、洗練された敵対的枠組みに対しては、エージェント型 RAG だけでは不十分であり、RLM が大幅なレイテンシコストを伴うが優れた堅牢性を提供する。
• 生成レベルの脆弱性: ほとんどの高度なアーキテクチャにおける主要な脆弱性は、検索ではなく生成/推論段階（コンテンツ効果）にある。これは、エージェント型および RLM システムに対する主要な介入ターゲットとして、生成レベルの防御（例：防御的プロンプティング、一貫性チェック）を動機づける。
• MADAM-RAG の限界: マルチエージェント議論構造は敵対的言語のフィルタリングと矛盾の検出において有望であるが、テストされた特定の実装は矛盾を確実に解決できず、高い非回答率をもたらした。このアーキテクチャの可能性を実現するには、改善された集約ロジックが必要であると論文は示唆している。

本研究は、RLM が現在最も強力な堅牢性を提供している一方で、高いレイテンシと情報非対称性（より大きなコンテキスト）が展開上の課題を呈していることを結論づける。著者らは、将来の研究において、軽量な防御的プロンプティングが、エージェント型システムのより低いコストポイントで、エージェント型と再帰的アーキテクチャ間の堅牢性のギャップを埋められるかどうかを調査すべきであると提唱している。