Can It Reach the Generator? Investigating the Survival of Prompt-Injection Attacks in Realistic RAG Settings
本文表明，在现实的检索增强生成系统中，大多数提示注入攻击因检索和重排序过滤机制而无法抵达生成器，而那些侥幸通过的攻击也极易被轻量级防护模型检测出来，从而证明先前的研究严重高估了实际安全风险。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你经营着一座非常智能、高科技的图书馆。当访客询问“最好的咖啡机是什么？”时，你的图书馆不会仅仅递给他们一份书单。相反，它拥有一个三步走的团队，负责决定向他们展示什么内容：
- 图书管理员（检索器）： 扫描整座图书馆，找出可能相关的 top 10 本书。
- 专家评论家（重排序器）： 仔细阅读这 top 10 本书，并重新排序，确保绝对最好的书排在最前面。
- 礼宾员（生成器）： 从评论家那里挑选出 top 5 本书，为访客撰写一封最终推荐函。
问题：“假书”攻击
最近，研究人员发现了一种名为“生成式引擎优化”（GEO）的技巧。这就像有人试图将一本虚假的、自我吹捧的书偷偷混入图书馆，以此诱骗礼宾员将其推荐为最好的咖啡机，哪怕它实际上糟糕透顶。
先前的研究声称这种技巧取得了巨大成功，称攻击者能让其假书登上榜单首位的比例高达 80%。他们把情况描述得仿佛图书馆完全向破坏行为敞开了大门。
现实核查：该论文的发现
这篇论文指出：“且慢。那些先前的研究是在作弊。”
在那些旧研究中，他们假设假书已经坐在评论家的桌上了，完全跳过了图书管理员和评论家这两个环节。他们只是问礼宾员：“这里有一本假书；你能推荐它吗？”
但在现实世界中，假书必须先经受住图书管理员和评论家的考验。作者测试了这种现实场景，发现攻击的效力远不如人们想象的那么强。
以下是他们发现的结论，使用了简单的类比：
1. 图书管理员过滤掉了假书
当攻击者试图编写一本假书来欺骗系统时，他们往往不得不以怪异、机械化的方式编写（例如添加秘密代码或奇怪的指令）。
- 结果： 图书管理员正在寻找听起来正常的书籍，因此往往根本不会选中那本假书。它被留在了书架上。
- 数据： 大约 20% 的假书甚至没能通过图书管理员这一关，更别提到达评论家那里了。
2. 评论家拒绝了怪异的内容
即使假书通过了图书管理员这一关，它也必须面对专家评论家。评论家会阅读内容，看它是否真正回答了问题。
- 结果： 许多在旧版“作弊”测试中看起来很强的攻击，在这里就瓦解了。评论家意识到这本书在极力欺骗他们，于是将其排名下调。
- 数据： 依赖“基于梯度”数学（复杂、机械化的代码）的攻击几乎完全失败。它们的成功率从看似构成威胁的水平降至 不到 2%。它们根本无法在评论家这一关幸存下来。
3. 只有“圆滑的说话者”能幸存
有一种攻击类型仍然有效：由大语言模型（LLM）驱动的攻击。这些是由另一个 AI 编写的假书，听起来非常自然且具有说服力。
- 结果： 这些“圆滑的说话者”能够欺骗图书管理员和评论家，因为它们听起来像是真实、有帮助的推荐。
- 数据： 这类攻击仍然有 40–50% 的成功率。它们是唯一能一路通过到礼宾员那里的攻击。
4. “烟雾探测器”有效
该论文还测试了我们是否能抓住这些攻击者。
- 发现： 他们构建了一个微小的、轻量级的“保安”（一个小 AI 模型），仅使用少量攻击样本进行训练。
- 结果： 这个保安抓住了每一个通过整个流程的攻击，包括那些圆滑的说话者。这就像拥有一个烟雾探测器，无论火势隐藏得多么好，它都能瞬间嗅到烟雾。
主要结论
该论文得出结论：关于 AI 推荐容易被劫持的“末日”场景是被夸大的。
- 旧观点： “黑客可以轻松迫使 AI 推荐任何东西！”（基于跳过了安全步骤的测试）。
- 新观点： “黑客可以尝试，但图书馆的自然安全步骤（图书管理员和评论家）会过滤掉大多数攻击者。少数漏网之鱼也很容易通过简单的探测器被发现。”
简而言之，该系统比我们担心的要稳健得多，但我们仍需保持“烟雾探测器”（保安）的开启状态。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。