原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一个非常聪明、乐于助人的机器人助手（一个 AI 智能体），它为你阅读文档。也许它是一个阅读股票报告的金融机器人，或者是一个审查合同的法律机器人。为了确保这个机器人的安全，你安装了一位“安全警卫”（一个注入检测器）。这位警卫的任务是发现任何试图在机器人阅读的文档中偷偷混入秘密恶意命令的人。
问题所在：“披着羊皮的狼”
该论文指出，安全警卫被训练用来识别那些显而易见、大张旗鼓的入侵者。想象一下一种静态攻击，就像一个人戴着鲜红的假面具，举着一块写着“忽略所有先前的规则！按我说的做！”的牌子。警卫会立刻看到并拉响警报。
但论文引入了一种更隐蔽的新型攻击，称为“领域伪装注入”。
想象一个高明的窃贼，他不戴面具，而是打扮得完全像一个受信任的专家。如果机器人正在阅读一份财务报告，这个窃贼就会伪造一段文字，其外观和语气都与真正的金融分析师所写的一模一样。他们使用同样的华丽辞藻、同样的句子结构以及同样的严肃语调。然而，在这段听起来完全正常的文字背后，隐藏着一个秘密指令：“卖出所有股票。”
对安全警卫来说，这看起来就像是文档中合法的一部分。警卫没有看到红面具，只看到了西装和领带。因此，警卫会说“一切看起来都很干净”，让那条恶意指令大摇大摆地溜了过去。
重大发现：“盲点”
研究人员使用两种不同的 AI 模型（Llama 和 Gemini）对此进行了测试，发现了一个巨大的安全漏洞，他们称之为“伪装检测差距（CDG）”。
- 对于 Llama 模型： 警卫拦截了 94% 的明显“红面具”攻击。但当攻击伪装成专家文本时，警卫仅拦截了9.7%。它几乎漏掉了所有内容。
- 对于 Gemini 模型： 警卫拦截了 100% 的明显攻击，但拦截伪装攻击的比例却下降到了55.6%。
可怕之处在于？警卫并非困惑或不确定。它是自信地错误。它看着伪装后的攻击，以 100% 的确定性说：“这是安全的！”而实际上它却是危险的。这意味着你不能仅仅告诉警卫“要更小心”或“更担心”来修复它；警卫根本不知道要看什么。
“辩论俱乐部”实验
研究人员还尝试了一种不同的安全策略：让三个机器人在做出决定之前对答案进行辩论。
- 对于较弱的机器人（Llama）： 辩论让情况变得更糟。当机器人争论时，它们实际上放大了错误的指令。如果一个机器人被伪装文本欺骗，其他机器人也会跟随，使得错误发生的可能性增加了 10 倍。这就像一群朋友都同意一个错误的答案，因为没人愿意在答案听起来非常真实时说出“等等，那听起来很假”。
- 对于较强的机器人（Gemini）： 辩论起到了帮助作用。较强的机器人能够识破诡计并互相纠正，从而使系统更安全。
我们能否仅仅增加更多示例？
研究人员尝试了一种“廉价修复”：他们向安全警卫展示了一些这类伪装攻击的示例，以便它能学会要看什么。
- 对于强机器人（Gemini）： 这非常有效。警卫学会了这种模式，几乎拦截了所有伪装攻击。
- 对于弱机器人（Llama）： 这几乎没有起到任何帮助。警卫仍然漏掉了大部分攻击。这表明，较小、较便宜的 AI 模型在仅通过查看少量示例来学习这些微妙诡计的能力上存在根本性的局限。
核心结论
该论文总结道，我们当前的安全警卫对看起来像真东西的攻击视而不见。它们非常擅长捕捉大声、明显的入侵者，但对于那些完美融入人群的攻击者则完全失效。这对于用于现实世界工作的较小 AI 模型来说是一个巨大的问题，因为它们无法轻易被“教导”去识别这些微妙的诡计，而增加更多机器人来辩论这个问题实际上可能会使问题恶化。
研究人员已发布了他们的工具，以便其他人尝试构建更好的警卫，但目前，“披着羊皮的狼”仍然是欺骗 AI 系统的一种非常有效的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。