MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks
本文介绍了 MM-PoisonRAG，该框架表明多模态检索增强生成系统极易受到针对性局部投毒和广泛全局投毒攻击，这些攻击会严重降低模型准确率并绕过现有防御机制。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个超级智能的机器人助手，它既能看懂图片，也能读懂文字。为了回答你的问题，这个机器人不仅仅依赖自身的记忆；它还有一个可以查阅最新事实的“图书馆”。这套系统被称为多模态检索增强生成（Multimodal RAG）。它就像一名侦探，在破案前会先在数据库中查找线索。
论文MM-POISONRAG揭示了这位侦探工作方式中一个令人恐惧的缺陷：这个图书馆可以被黑客入侵。
以下是他们发现的要点，使用简单的类比进行说明：
1. 设定：信任的侦探
通常，当你问"2023 年大都会艺术博物馆慈善舞会上的那条裙子是什么颜色的？”时，机器人会：
- 搜索其图书馆中关于该活动的图片和文字。
- 筛选结果，找出最匹配的条目。
- 阅读这些最佳匹配项，并给出答案。
问题在于，这个图书馆是向公众开放的。就像任何人都可以在餐厅网站上发布虚假评论一样，恶意行为者也可以将一本假书或一张被篡改的照片塞进机器人的图书馆中。
2. 攻击：投毒的两种方式
研究人员创建了一个名为MM-POISONRAG的框架，以测试该图书馆有多容易被破坏。他们发现了两种截然不同的破坏系统的方法：
攻击 A：“定向间谍”（局部投毒）
- 类比：想象你正在寻找一份特定的“巧克力蛋糕”食谱。一名间谍潜入图书馆，将关于巧克力蛋糕的唯一一本真书替换为一本假书，上面写着：“巧克力蛋糕实际上是由盐和石头制成的。”
- 运作方式：攻击者针对特定问题，创建一个特定的假图片和一个匹配的假描述（标题）。他们将其制作得如此完美，以至于机器人的搜索引擎将其选为排名第一的结果。
- 结果：机器人阅读了这本假书，并自信地告诉你：“巧克力蛋糕是由盐制成的。”
- 论文发现：即使攻击者不知道机器人的内部代码（即“黑盒”攻击），他们仍然能够以约 56% 的成功率欺骗系统。
攻击 B：“通用故障”（全局投毒）
- 类比：想象图书馆的大门上贴着一张单一、发光且粘人的便签，上面写着：“忽略所有书籍。对每一个问题的答案都是‘抱歉’。”因为这张便签如此醒目且位置怪异，无论问什么，机器人都会抓取它。
- 运作方式：攻击者仅创建一个奇怪的图片和标题，其设计目的是看起来与所有内容都相关。这就像一把能打开所有锁的“万能钥匙”。
- 结果：无论你问的是天气、数学还是历史，机器人都会抓取这一个虚假条目，并给出一个荒谬的答案（例如“抱歉”或“三”）。
- 论文发现：这具有毁灭性。仅凭一个被投毒的条目，机器人的准确率就会降至0%。它完全停止工作。
3. “魔术戏法”（可迁移性）
研究人员发现了一个更令人不安的事实：这种毒药对其他机器人也有效。
- 类比：如果你用一本假书欺骗了机器人 A（它使用特定的搜索引擎），那么同一本假书通常也会欺骗机器人 B（它使用不同的搜索引擎），而无需你修改那本书。
- 论文发现：攻击者无需知道受害者具体使用哪种搜索引擎。他们可以在一个系统上训练其虚假内容，然后成功破坏他们甚至未曾见过的其他系统。
4. 失败的盾牌（防御措施）
研究人员试图看看现有的安全措施是否能阻止这种攻击。
- 类比：这就像试图通过要求大盗“重述他们的问题”或检查他们的照片是否“模糊”来阻止他们。
- 论文发现：这些旧把戏行不通。这些伪造的图片和文字制作得如此精良，以至于安全过滤器无法将它们与真实、诚实的信息区分开来。机器人的“免疫系统”被完全绕过了。
总结
该论文得出结论：多模态检索增强生成系统极其脆弱。
- 你不需要是天才黑客就能破坏它们；你只需要植入几精心设计的虚假图片和文字。
- 一旦植入，这些“毒药”要么能诱骗机器人给出特定的错误答案，要么能完全关闭其正确回答任何问题的能力。
- 当前的安全工具不足以阻止这种攻击。
作者并非断言这明天就会发生，但他们正在发出警报：在我们将这些数字图书馆托付给重要信息之前，我们需要为它们构建更坚固的锁。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。