KEPo: Knowledge Evolution Poison on Graph-based Retrieval-Augmented Generation

本論文は、既存の攻撃手法では防御されるグラフベースの RAG（GraphRAG）の脆弱性を突くため、知識の進化経路を偽造して知識グラフを汚染し、LLM を意図的な有害な回答に誘導する新たな攻撃手法「KEPo」を提案し、その有効性を実証したものである。

要約

📖 物語：AI の「知識の地図」と「偽の歴史」

1. 背景：AI はどうやって答えるの？（GraphRAG とは？）

昔の AI は、ただの「辞書」や「本棚」から言葉を探して答えていました。しかし、新しいGraphRAGという仕組みは、情報を**「地図（グラフ）」**のように作ります。

• 普通の AI： 「リンゴは赤い」という事実をバラバラに覚えている。
• GraphRAG： 「リンゴ」→「赤い」→「果物」というように、事実同士を線でつなぎ、大きなネットワーク（知識グラフ）を作ります。
  これにより、AI は「リンゴが赤い理由」や「果物としてのリンゴの役割」を、まるで人間のように文脈（ストーリー）を理解して答えることができます。

2. 問題点：なぜこれまでのハッキングは効かないの？

ハッカーは、AI が間違った答えをするように、データベースに「毒」を仕込もうとします。

• 昔のハッキング（単純な嘘）： 「ニューヨークはカナダにあります」と、いきなり嘘を書き込む。
• GraphRAG の防御： AI は「待てよ、ニューヨークはアメリカだ」という**既存の地図（知識グラフ）を持っているので、「カナダ」という嘘は「つなぎ目がない」**と判断され、無視されてしまいます。
• 結果： 従来のハッキング手法は、この「つなぎ目」がないため、GraphRAG にはほとんど効きませんでした。

3. 新手法「KEPo」の正体：「嘘の歴史」を作る

そこで登場するのが、この論文で提案された**「KEPo（知識進化の毒）」です。
KEPo は、いきなり嘘をつくのではなく、「嘘の歴史（進化のプロセス）」**を捏造します。

🍎 アナロジー：リンゴの「進化」を捏造する

1. 本当の事実（出発点）：
   「2000 年、リンゴは『赤い』のが主流だった」。これは AI の地図にある正しい事実です。
2. ハッカーの目標（到着点）：
   「2024 年、リンゴは『青い』のが主流になった」という嘘を AI に信じさせたい。
3. KEPo の手口（偽の進化経路）：
   いきなり「青い」と言わず、**「進化の物語」**を作ります。
   • 「2000 年：赤いリンゴが主流だった（事実）」
   • 「2010 年：新しい品種の研究が始まり、青いリンゴの可能性が探られた（捏造された背景）」
   • 「2020 年：統計のミスが修正され、青いリンゴの方が実は多かったことが判明（捏造された経緯）」
   • 「2024 年：ついに『青いリンゴ』が新基準として確定！（目標の嘘）」

🎯 なぜこれが成功するのか？
GraphRAG は「事実同士のつながり（線）」を重視します。KEPo は、「2000 年の事実」から「2024 年の嘘」まで、自然な流れでつなげる線（進化経路）を AI の地図に描き足します。
AI は「あ、これは過去の事実から自然に進化してきたんだな」と判断し、「青いリンゴ」という嘘を、最新の正しい知識として受け入れてしまいます。

4. 大規模攻撃：「嘘のコミュニティ」を作る

さらに、KEPo は複数の嘘を**「グループ」**にまとめます。

• 「リンゴが青い」という嘘と、「バナナが黒い」という嘘を、**「果物の色が変わる現象」**という共通のテーマでつなぎます。
• これにより、嘘の情報が AI の地図の中で**「大きなコミュニティ（集まり）」**を形成します。
• AI は「多くの情報源が同じことを言っている（コミュニティが大きい）」と判断し、その嘘をより確実な事実だと信じてしまいます。

5. 実験結果：最強のハッキング

研究者たちは、この手法がどれほど強力かを実験しました。

• 結果： 従来のハッキング手法は GraphRAG にほとんど効きませんでしたが、KEPo は9 割以上の確率で AI を騙し、意図した間違った答えを出させることができました。
• 防御策： 現在の「スパム検知」や「命令無視」といった防御策は、この「自然な嘘の物語」には見抜くことができず、無力でした。

---

💡 まとめ：何が重要なの？

この論文が伝えているのは、**「AI が賢くなるほど、単純な嘘は通用しなくなるが、巧妙な『物語（ストーリー）』なら騙せる」**という恐ろしい事実です。

• 従来のハッキング： 「嘘つき！」と叫ぶようなもの。AI はすぐに「嘘だ」と見抜く。
• KEPo（今回の攻撃）： 「実は昔はこうで、途中でこうなって、今はこうなったんだ」と、まるでドキュメンタリーのような嘘の歴史を作る。AI はその「論理的な流れ」に騙されてしまう。

🛡️ 私たちへの教訓：
AI が「知識の地図」を作る時代において、「事実のつながり」をいかにして守るかが、今後のセキュリティの最重要課題になります。単に「嘘を消す」だけでなく、「嘘の物語（進化経路）」を見抜く新しい防御技術が必要だと警鐘を鳴らしています。

技術概要

論文要約：KEPo（GraphRAG に対する知識進化汚染攻撃）

1. 背景と問題提起

Graph-based Retrieval-Augmented Generation (GraphRAG) は、外部データベースから知識グラフ（KG）を構築し、それを基に大規模言語モデル（LLM）の生成を支援する技術です。これにより、従来の RAG（検索拡張生成）が抱える複雑な知識関連付けや長文脈推論の課題が解決されます。

しかし、GraphRAG の外部データへの依存は新たな攻撃面（アタックサーフェス）を生み出しています。

• 既存の攻撃手法の限界: 従来の RAG に対する汚染攻撃（意味単位置換、プロンプトインジェクション、RAG 汚染など）は、GraphRAG に対しては効果が薄いです。
  • 理由: GraphRAG は生テキストをそのまま使うのではなく、KG として再構成（抽象化）してから検索・推論を行うため、注入されたテキストが KG の構造にうまく統合されず、低ランク付けされたり、無視されたりします。特に、既存の知識と矛盾する注入テキストは、KG における「条件付きペルプレキシティ（C-PPL）」が高くなり、モデルに受け入れられにくくなります。

本研究は、この GraphRAG の堅牢性を逆手に取り、**「知識の進化経路を偽造する」**ことで KG に巧妙に埋め込む新しい攻撃手法 KEPo (Knowledge Evolution Poison) を提案します。

2. 提案手法：KEPo (Knowledge Evolution Poison)

KEPo は、ターゲットとなる質問と回答に対して、**「事実から毒のある事象へ至る知識の進化経路」**を捏造し、KG に注入する手法です。

主要なステップ

1. アンカー事実と時間的アンカーの特定:
   • 対象クエリ $q$ と元の正解 $a$ から、既存の事実 $f$ とその発生時刻 $t$ を抽出します。
2. 知識進化経路の偽造 (Knowledge Evolution Forgery):
   • 攻撃者が意図する「毒のある事象（ターゲット回答 $a^*$ に対応する事実 $f^*$）」を、未来の事象として設定します（時刻 $t + \Delta t_1$）。
   • LLM（Fabricator）を用いて、元の事実 $f_t$ から毒のある事実 $f^*_{t+\Delta t_1}$ へ至る**「進化経路 $L$」**を生成します。
   • さらに、より自然な導入とするため、元の事実 $f_t$ よりも前の「初期背景（Source-state fact）」と、そこからの進化経路も捏造します。
   • これにより、注入テキストは既存の KG と時間的・意味的に連続した「自然な進化の結末」として扱われます。
3. 条件付きペルプレキシティの低減:
   • 直接注入するのではなく、進化経路を介して注入することで、注入テキストと既存知識の間の条件付きペルプレキシティ（C-PPL）を大幅に低下させます。これにより、KG への統合度合いが高まり、検索時のランキングが向上します。
4. 多ターゲット協調攻撃 (Multi-target Cross-subgraph Coordinated Attack):
   • 複数の異なるターゲット攻撃を行う場合、それぞれの汚染されたサブグラフ（コミュニティ）間で、ターゲット回答の類似性に基づいてノードを接続します。
   • これにより、複数の汚染された事実が互いに補強し合い、大規模な「汚染コミュニティ」を形成します。これにより、検索順位がさらに向上し、攻撃成功率が向上します。

3. 主要な貢献

1. GraphRAG における既存攻撃の失敗要因の解明: 従来の RAG 攻撃手法が GraphRAG で機能しない理由（KG 構造への統合の難しさ、ペルプレキシティの高さ）を分析し、その脆弱性を特定しました。
2. KEPo の提案: 知識の進化経路を偽造することで、LLM を誤った最終結論へと誘導する新しい攻撃手法を提案しました。
3. 多ターゲット攻撃の最適化: 複数の汚染サブグラフを論理的に連結させることで、攻撃の規模と効果を拡大する戦略を確立しました。
4. SOTA パフォーマンスの達成: 複数の GraphRAG フレームワーク（GraphRAG, LightRAG, HippoRAG 2）およびデータセット（Graph-Story, Graph-Medical, MuSiQue）において、既存の手法を凌駕する攻撃成功率（ASR）と条件付き攻撃成功率（CASR）を達成しました。

4. 実験結果

• 攻撃成功率 (ASR): KEPo は、単一ターゲット・多ターゲットともに、すべての GraphRAG 変種において最高レベルの攻撃成功率を記録しました。
  • 例：GraphRAG（ローカル検索）の Graph-Story データセットにおいて、ベースライン（PoisonedRAG, CorruptRAG, GRAG-Poison）が 50% 前後であるのに対し、KEPo は 70% 以上を達成しました。
• テキスト長の影響: 注入テキストの長さは、約 100 語まで増加すると ASR が急上昇しますが、120 語を超えると頭打ちになります。短すぎると統合が不十分、長すぎると効果が薄れるためです。
• LLM の影響: 攻撃生成に使用する Fabricator LLM の能力が高いほど攻撃成功率は上がりますが、比較的小型のモデル（Qwen3-14B など）でも既存の強力な攻撃手法を上回る結果を示しました。
• 防御策への耐性: 既存の防御手法（クエリのパラフレーズ、指示無視、プロンプト検出など）を適用しても、KEPo によって注入されたテキストの多くは検出されず、攻撃成功率はほとんど低下しませんでした（Retention rate が 98% 以上）。

5. 意義と結論

KEPo は、GraphRAG システムが「知識の進化」を前提とした推論を行う特性を悪用し、KG 構造そのものを汚染することに成功しました。

• セキュリティへの示唆: GraphRAG は従来の RAG よりも堅牢であると誤解されがちですが、知識の文脈や時間的連続性を巧みに操作することで、極めて高い成功率で攻撃可能です。
• 今後の課題: 本研究は、GraphRAG のセキュリティ対策が不十分であることを浮き彫りにしました。今後は、単なるテキストの毒性検出ではなく、知識グラフ内の論理的整合性や時間的進化の正当性を検証する新しい防御メカニズムの開発が急務であることが示唆されています。

この研究は、次世代の検索拡張生成システムのセキュリティリスクを明確にし、より堅牢なシステム設計の必要性を強く訴求するものです。