Blast Radius Characterization of Triple-Level Poisoning Attacks in Knowledge Graph Retrieval-Augmented Generation Systems

想象一下，互联网是一个巨大的、混乱的图书馆，每一本书都是一条信息。在很长一段时间里，试图回答问题的计算机（比如我们那些超级聪明的 AI 助手）只会抓取书架上最相似的一本书，阅读它，然后猜测答案。这就像是你向图书管理员询问食谱，结果对方给了你一本封面印着“鸡肉”字样的随机食谱。但最近，科学家们开始构建一种不同类型的图书馆：一个知识图谱（Knowledge Graph）。这个图书馆不再仅仅是堆积如山的图书，而是一个巨大的、闪烁着光芒的网络，其中的每一个事实都是一个节点（点），而每一个关系都是连接它们的线。如果你询问关于“鸡肉”的问题，系统不仅仅是找到一本书；它会沿着这些线追踪，查看鸡肉吃什么、可能携带哪些疾病，以及哪些食谱会用到它。这被称为检索增强生成（Retrieval-Augmented Generation, RAG）。这就像是给了 AI 一张地图，而不仅仅是一份单词列表，让它能够通过复杂的逻辑链条进行推理。

然而，这种新型的网络状图书馆也有了一个可怕的新弱点。在旧的书架系统中，如果有人在某本书里塞进了一页假信息，只有那些正在看那本书的人会被骗。但在一个由连接的点组成的网络中，如果你破坏了地图中间的一根单根线条，那个谎言可以同时沿着数十条不同的路径传播。这就像是在河流中心滴入了一滴红墨水；突然间，所有与这条河相连的溪流、池塘和瀑布都变成了粉红色。这篇论文研究的正是这种“染料”传播得究竟有多远。研究人员想知道：如果一个恶意行为者在这个连接的网络中注入了一个谎言，会有多少个不同的问题会因此出错？他们称之为**“爆炸半径”（Blast Radius）**。这是一个衡量当系统建立在错综复杂的连接网络之上时，一个微小的错误能造成多少破坏的指标。

大型实验：毒素传播得有多远？

论文作者设置了一个数字实验，在一个非常特定的、高风险的环境中测量这种“爆炸半径”：一个医学知识图谱。他们使用了一个名为 Microsoft GraphRAG 的系统，由名为 Gemma 2 9B 的 AI 模型驱动，并向其输入了一系列关于癌症、糖尿病和病毒等的真实医学摘要。

为了测试该系统，他们并没有尝试用复杂的代码或秘密密码来欺骗 AI。相反，他们玩了一场“结构性破坏”的游戏。他们在图中注入了三种不同类型的虚假事实（称为“三元组”），以观察破坏是如何扩散的：

1. “边缘”攻击（The "Edge" Attack）： 他们植入了一个关于次要、冷门医学事实（例如某种针对罕见病症的特定药物）的谎言，这个事实只与其它事实有极少数的连接。
2. “枢纽”攻击（The "Hub" Attack）： 他们瞄准了一个明星级的医学事实——一个“枢纽（Hub）”，它与数十个其他事物相连。在实验中，他们选择了 p53，这是一个著名的蛋白质，是癌症研究中的核心角色，连接着基因、疾病和治疗方法等各处。他们注入了一个谎言，称 p53 是导致肿瘤而非抑制肿瘤的。
3. “链式”攻击（The "Chain" Attack）： 他们创造了一个由三个相互连接的谎言组成的故事，将四个在现实生活中并不存在的医学主题链接在一起。

令人震惊的结果：一个谎言，十四个错误

结果令人警醒。研究人员发现，网络的形状比谎言的内容更重要。

• “边缘”攻击： 当他们关于次要、冷门事实撒谎时，破坏被控制住了。对于他们注入的每一个谎言，AI 会给出 7 个错误答案。毒素虽然传播了，但基本保持在局部范围内。
• “枢纽”攻击： 这是情况变得疯狂的地方。当他们针对超级连接的蛋白质 p53 注入仅仅 一个 谎言时，爆炸半径瞬间爆发。这一个虚假事实导致 AI 给出了 14 个错误答案。这意味着，“枢纽”攻击的危险程度是“边缘”攻击的 两倍，尽管他们只使用了同样数量的虚假数据。这个谎言不仅停留在 p53 上，它还通过网络游走，腐蚀了关于癌症治疗、基因疗法和药物机制的答案，而用户甚至根本没有直接询问过 p35。
• “链式”攻击： 当他们构建了这个由三个谎言组成的虚假链条时，破坏虽然深刻，但每个谎言带来的爆炸性稍低（大约每个谎言导致 4 个错误答案）。然而，它非常擅长欺骗处理复杂多步问题的 AI。

“两跳”甜点区（The "Two-Hop" Sweet Spot）

最有趣的发现之一是哪些问题受影响最大。研究人员测试了需要 AI 在网络中进行一步跳转（1-hop）、两步跳转（2-hop）或三步跳转（3-hop）才能找到答案的问题。

他们发现，两步跳转问题是最脆弱的。看起来，当 AI 需要跨越一个中间事实来获取答案时，它最容易跌入被污染的区域。在“枢纽”攻击中，10 个问题中有 6 个 两步跳转问题被腐蚀了。**“级联效应（Cascade Effect）”*是真实的：AI 不仅仅是把直接的问题搞错了；它连那个谎言产生的后果*也搞错了。事实上，在每种情况下，“级联”破坏（间接受影响的答案）都远大于“直接”破坏（明确提到该谎言的答案）。

为什么这很重要以及如何修复

论文总结道，在知识图谱中，位置决定一切。如果你毒害了图书馆的一个安静角落，那只是个小问题。如果你毒害了所有道路交汇的主路口，整个城市都会迷失方向。这对于医学、法律和商业等领域是一个巨大的问题，因为在这些领域，一个错误的事实可能会导致错误的诊断或错误的法律策略。

为了反击，作者提出了一种新的防御机制，称为**“度数加权信任评分”（Degree-Weighted Trust Scoring）**。想象一下图书馆入口处的一名保安。他不仅仅是阅读书籍内容来看是否造假，还会观察作者和主题。如果一个新事实是关于一个“枢纽”（如 p53 这样高度连接的实体），保安会变得非常怀疑，并将其标记出来，要求人工核查后才允许进入系统。如果这个事实是关于一个次要、冷门的课题，保安则会快速放行。通过这种方式，系统可以将精力集中在保护地图中最危险的部分。

简而言之，这篇论文告诉我们，虽然将 AI 的知识连接成一个网络会让它变得更聪明，但也让它变得更加脆弱。在正确（或错误）的位置，一个谎言就能产生涟漪效应，以我们始料未及的方式使系统陷入混乱，将一个小错误变成一场巨大的灾难。