KEPo: Knowledge Evolution Poison on Graph-based Retrieval-Augmented Generation

该论文针对基于图检索增强生成（GraphRAG）系统因依赖外部数据而面临的安全隐患，提出了一种名为 KEPo 的新型投毒攻击方法，通过构建伪造的知识演化路径将有毒事件注入知识图谱，从而有效误导大语言模型生成攻击者预设的有害回答，并在单目标和多目标攻击场景下均取得了优于现有方法的攻击成功率。

要点

这篇论文介绍了一种名为 KEPo（知识进化投毒）的新型黑客攻击手段，专门针对一种叫做 GraphRAG 的先进人工智能系统。

为了让你轻松理解，我们可以把整个故事想象成**“伪造历史书”**的游戏。

1. 背景：AI 是怎么“读书”的？

想象一下，现在的 AI（大语言模型）就像是一个博学的学生，但它记性不太好，或者知识更新慢。为了回答你的问题，它会去查一本**“外部参考书”**（数据库）。

• 普通版（RAG）： 就像学生去图书馆查资料，直接找几段文字拼凑答案。如果有人在书里夹了一张写着“纽约在加拿大”的假纸条，学生很容易就被骗了。
• 升级版（GraphRAG）： 现在的 AI 更聪明了。它不只是查文字，而是把书里的内容整理成一张巨大的“关系网”（知识图谱）。比如，它知道“纽约”属于“美国”，“美国”属于“北美”。如果有人在书里夹一张假纸条说“纽约在加拿大”，AI 会发现这张纸条和它脑子里的“关系网”对不上（逻辑不通），于是把它扔掉，继续相信正确的知识。

之前的黑客手段失效了： 以前的黑客直接往书里塞假纸条（比如直接写“纽约在加拿大”），或者用奇怪的指令（比如“忽略前面的话”）。但在 GraphRAG 这种“关系网”系统里，这些假纸条因为逻辑太突兀，根本进不去网络，或者进去后权重很低，AI 根本不会信。

2. KEPo 的绝招：伪造“知识进化史”

KEPo 攻击者很聪明，他们知道直接撒谎没用，于是他们决定**“伪造历史”**。

想象一下，你想让 AI 相信“纽约现在属于加拿大”（这是你的目标谎言）。

• 普通黑客： 直接写“纽约属于加拿大”。（AI：这太假了，驳回！）
• KEPo 黑客： 他们写了一部**“编年史”**。

KEPo 的三步走策略：

1. 找到“锚点”（真实历史）：
   首先，他们承认一个事实：在 2000 年，大家都认为“纽约属于美国”。这是 AI 已经知道的真理，也是“关系网”里稳固的部分。

2. 伪造“进化过程”（关键步骤）：
   他们不直接说结果，而是编造了一个**“知识演变”**的故事：

   • 2000 年： 大家都认为纽约在美国。
   • 2010 年： 有学者开始研究一种新的地理理论，提出边界可能模糊。
   • 2020 年： 新的统计数据显示，由于某种特殊的行政变更，纽约的归属权发生了微妙变化。
   • 2024 年（最新报告）： 权威机构发布最终报告，“修正了过去的错误，确认纽约现在属于加拿大”。

   妙在哪里？ 这条“进化路径”把旧事实（纽约在美国）和新谎言（纽约在加拿大）用逻辑链条顺滑地连起来了。对于 AI 来说，这不像是一个突兀的谎言，而像是一个**“经过时间验证的、最新的知识更新”**。

3. 多目标“连坐”（扩大影响）：
   如果黑客想同时攻击好几个问题（比如“纽约在哪”、“伦敦在哪”），他们会让这些伪造的“历史书”互相引用。比如，在讲纽约的谎言时，顺便提一句“就像伦敦的情况一样……"。这样，这些谎言在“关系网”里就形成了一个互相支持的“谣言团伙”，变得更有分量，更难被剔除。

3. 实验结果：黑客赢了

研究人员在多个测试集上进行了实验，结果令人震惊：

• 旧方法： 在 GraphRAG 系统里，以前的攻击手段成功率几乎为 0%（就像往坚固的堡垒里扔纸飞机，根本打不进去）。
• KEPo 方法： 攻击成功率飙升！
  • 在单目标攻击中，成功率达到了 40% - 70% 以上（取决于具体系统）。
  • 在多目标攻击中，成功率更高。
  • 即使 AI 系统尝试了各种防御手段（比如检查指令、改写问题），KEPo 依然能绕过，因为它的谎言看起来太“合情合理”了。

4. 总结与启示

一句话总结：
KEPo 攻击不再是通过“大声喊叫”来欺骗 AI，而是通过**“编写一本逻辑严密的假历史书”**，让 AI 误以为这是知识的自然更新，从而心甘情愿地输出错误的、甚至有害的答案。

这对我们意味着什么？
这给未来的 AI 安全敲响了警钟。如果我们只检查“这句话是不是假的”，可能防不住这种“看起来像真的假历史”。未来的防御系统需要学会识别**“知识演变的逻辑是否合理”**，而不仅仅是检查单个事实的对错。

打个比方：
以前的黑客是**“伪造假钞”（直接塞假钱），银行（AI）一眼就能看出水印不对。
KEPo 黑客是“伪造货币发行历史”**（编造说这种假钞是央行最新发行的改版，并伪造了从旧版到新版的演变过程），让银行以为这是合法的货币更新，从而放心地把它收进金库。

技术摘要

这是一份关于论文《KEPo: Knowledge Evolution Poison on Graph-based Retrieval-Augmented Generation》（KEPo：基于图检索增强生成的知识演化投毒）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
基于图的检索增强生成（GraphRAG）通过从外部数据库构建知识图谱（KG），将文本划分为语义社区，从而提升大语言模型（LLM）在复杂知识关联和长上下文推理方面的表现。然而，这种对外部数据的依赖引入了新的攻击面。

核心问题：
现有的针对传统 RAG 系统的投毒攻击方法（如语义单元替换、提示注入、RAG 投毒）在 GraphRAG 框架下失效。

• 原因分析： GraphRAG 在检索前会将注入的文本抽象并重组为知识图谱。
  • 语义替换/提示注入： 难以在 KG 中形成有意义的实体或关系，导致无法被检索。
  • 传统 RAG 投毒： 注入的文本通常缺乏完整的三元组结构，导致在 KG 中形成孤立、不连通的小社区，检索排名低；且注入的有毒知识与原始数据库冲突，导致困惑度（Perplexity）高，难以被 LLM 采纳。
• 目标： 如何设计一种新的攻击方法，能够绕过 GraphRAG 的鲁棒性，将有毒知识无缝融入知识图谱，并误导 LLM 生成攻击者指定的有害回答。

2. 方法论 (Methodology)

论文提出了一种名为 KEPo (Knowledge Evolution Poison) 的新型投毒攻击方法。其核心思想是伪造知识演化路径，将有毒知识伪装成从原始事实自然演化而来的结果，从而降低困惑度并提高在 KG 中的集成度。

2.1 单目标攻击流程 (Single-Target Attack)

KEPo 通过以下步骤构建攻击语料：

1. 锚点提取： 针对目标查询 $q$ 和目标答案 $a^*$，首先查询原始 GraphRAG 系统获取原始答案 $a$（包含事实 $f$ 和时间锚点 $t$）。
2. 构建演化路径：
   • 起点： 原始事实 $f_t$。
   • 终点： 包含目标有毒答案的伪造事实 $f^*_{t+\Delta t1}$。
   • 演化过程： 利用 LLM（Fabricator）伪造从 $f_t$ 到 $f^*_{t+\Delta t1}$ 的知识演化路径 $L$，并编造一个可信的背景故事（Background）作为初始状态。
3. 时间排序与融合： 将原始事实、演化背景、演化路径和最终有毒事实按时间顺序（$t \to t+\Delta t$）组织成连贯的文本。
4. 原理： 通过引入演化路径，降低了有毒文本相对于原始事实的条件困惑度（Conditional Perplexity, C-PPL）。LLM 会认为有毒知识是事实随时间自然演化的结果，从而在检索和生成阶段给予高权重。

2.2 多目标协同攻击 (Multi-Target Cross-subgraph Coordinated Attack)

为了增强对多个相关查询的攻击效果，KEPo 进一步提出了跨子图协同策略：

1. 相似性计算： 计算多个攻击目标答案之间的语义相似度。
2. 关键节点连接： 提取各个有毒子图中的关键节点（基于度中心性），在相似度高的子图之间建立伪造的关联关系。
3. 社区扩张： 将原本独立的有毒子图连接成更大的“超级有毒社区”。
4. 效果： 扩大了有毒知识的规模，增强了子图间的相互强化，进一步提高了在 GraphRAG 检索阶段的排名和攻击成功率。

3. 关键贡献 (Key Contributions)

1. 揭示了 GraphRAG 的潜在漏洞： 证明了现有的 RAG 投毒方法在 GraphRAG 中失效的原因，并指出通过伪造“知识演化”可以绕过 KG 的鲁棒性。
2. 提出了 KEPo 攻击框架： 设计了基于知识演化伪造的投毒方法，通过构建时间连贯的演化路径，成功将有毒知识融入 KG 社区，误导 LLM 输出目标答案。
3. 实现了多目标协同增强： 提出了跨子图连接策略，通过扩大有毒社区规模，显著提升了多目标攻击场景下的攻击成功率。
4. 全面的实验验证： 在多个数据集（Graph-Story, Graph-Medical, MuSiQue）和多种 GraphRAG 框架（GraphRAG, LightRAG, HippoRAG 2）上进行了测试，证明了 KEPo 的优越性。

4. 实验结果 (Results)

实验在多个基准测试和框架上进行，主要发现如下：

• 攻击成功率 (ASR) 与条件攻击成功率 (CASR)：
  • KEPo 在单目标和多目标攻击中均达到了**最先进（SOTA）**的性能。
  • 在 GraphRAG 框架下，KEPo 的 ASR 显著高于现有基线方法（如 PoisonedRAG, CorruptRAG, GRAG-Poison）。例如，在 GraphRAG-Local Search 模式下，KEPo 在 Graph-Story 数据集上的 ASR 达到了 70.3% (单目标) 和 71.2% (多目标)，而基线方法普遍低于 53%。
  • 即使在检索框架退化为朴素 RAG 时，KEPo 依然保持高性能，证明了其通用性。
• 搜索模式差异：
  • 局部搜索 (Local Search) 的攻击成功率通常高于全局搜索 (Global Search)。这是因为局部搜索更关注节点和边的相似度，而 KEPo 成功将有毒知识嵌入到现有社区中，使其在局部检索中排名靠前。
• 消融实验：
  • 移除“源事实到原始事实”或“原始事实到有毒事实”的演化路径，都会导致 ASR 显著下降，证明了演化路径构建的必要性。
• 防御测试：
  • 现有的防御策略（如查询改写、指令忽略、提示检测）对 KEPo 几乎无效（保留率 >98%，ASR 无明显下降），表明 KEPo 具有极强的隐蔽性。
• 模型影响：
  • 使用更强大的 Fabricator LLM 能生成逻辑更连贯的文本，从而获得更高的 ASR。
  • 不同的 Generator LLM 对攻击的抵抗能力略有不同，但 KEPo 在所有测试的生成器上均表现优异。

5. 意义与影响 (Significance)

• 安全警示： 该研究揭示了 GraphRAG 并非绝对安全，其核心的知识图谱构建机制存在被“知识演化”欺骗的脆弱性。攻击者无需直接篡改实体，只需伪造合理的演化逻辑即可操控模型。
• 防御挑战： 现有的基于关键词过滤或指令忽略的防御手段无法识别这种深层的语义和逻辑欺骗，迫切需要针对知识图谱结构完整性和演化逻辑一致性的新型防御机制。
• 未来方向： 论文强调了在构建 GraphRAG 系统时，必须考虑对注入数据的演化逻辑进行验证，以防止此类隐蔽的投毒攻击。

总结： KEPo 是一种针对 GraphRAG 的高隐蔽性、高成功率的投毒攻击方法，它利用知识演化的时间连贯性欺骗 LLM，成功突破了现有防御，为图检索增强生成系统的安全性研究提供了重要的反面案例和新的研究方向。