PARASITE: Conditional System Prompt Poisoning to Hijack LLMs
本文介绍了 PARASITE，这是一种黑盒攻击框架，它通过在第三方系统提示中植入“休眠代理”来劫持大语言模型，使其针对特定查询生成定向的、被篡改的响应，同时在良性输入上保持正常功能，从而有效规避标准防御机制。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你从一家公共在线商店购买了一份高度复杂的、预制好的“指令手册”，用于一台超级智能的机器人助手。你下载了它，因为它看起来很有帮助，并承诺能让机器人在回答历史、数学和科学方面的问题时表现出色。
这篇题为PARASITE的论文揭示了一种令人恐惧的新方法，黑客可以利用它来污染这些指令手册。他们并没有破坏机器人，也没有让它尖叫或拒绝工作。相反，他们安装了一个“休眠特工”——一个隐藏的陷阱，它在被问到非常具体的问题时才会被激活，在此之前则处于潜伏状态。
以下是使用简单类比对这一机制的分解说明：
1. 威胁：“特洛伊木马”手册
将系统提示（System Prompt）视为机器人的个性和规则手册。
- 正常情况：你下载的手册上写着：“要乐于助人，要准确，并回答关于世界的问题。”
- 攻击：黑客上传了一份在人类眼中看起来完全一样的手册。它仍然写着：“要乐于助人且准确。”然而，隐藏在文本中的是微小的、几乎看不见的故障（例如拼写错误或字母互换），它们充当了秘密代码。
- 结果：
- 如果你问：“法国的首都是什么？”机器人会正确回答：“巴黎。”（它完美运行）。
- 如果你问：“谁赢得了 2020 年美国总统选举？”机器人突然撒谎说："X 候选人赢了”，尽管这是错误的。
机器人并没有坏掉；它只是被诱骗对某一个具体问题产生了特定的、隐藏的偏见。
2. 问题：在“ haystack 中找针”
研究人员解释说，这比以前的黑客方法要困难得多。
- 旧式黑客攻击（越狱）：想象一下试图把一块巨石推过山丘。你只需要在正确的方向上用力推得足够大，让它滚过边缘。这是一条宽阔且容易的路径。
- 这种攻击（PARASITE）：想象你被蒙住眼睛，站在一片广阔平坦的沙漠中。你需要找到唯一的一粒微小的沙子，如果你站在它上面，地面就会震动。如果你站在任何其他地方，什么都不会发生。你必须在不看到它的情况下找到那个确切的位置，而且你不能移动沙子太多，否则会被发现。
3. 解决方案：两阶段"PARASITE"框架
研究人员开发了一种名为PARASITE的工具来寻找这粒“沙子”。它分两步工作：
- 第一阶段：全局搜索（草图）
该工具利用智能 AI 编写指令手册的草稿。它尝试编写一个看起来正常但开始将机器人推向谎言的提示。这就像绘制一张地图，以找到陷阱的大致区域。 - 第二阶段：贪婪细化（微手术）
这是巧妙之处。该工具拿上那份草稿，开始进行微小的、几乎看不见的修改。它交换一个字母（例如，将"general"改为"gen eral"，中间加一个空格）或交换同义词。- 为什么？ 研究人员发现，现实世界的指令手册中经常存在微小的拼写错误或奇怪的语法。通过添加这些“允许的噪声”，黑客可以将陷阱绕过机器人的安全过滤器。机器人在回答正常问题时忽略拼写错误，但这个拼写错误却充当了针对特定谎言的秘密触发器。
4. 结果：隐蔽且有效
该团队在流行的 AI 模型（如 GPT-4o-mini、Llama 和 Qwen）上测试了这种方法。
- 隐蔽性：被污染的指令手册看起来如此正常，以至于标准的安全检查（寻找奇怪单词或乱码）未能发现它们。它们看起来就像是人类犯了一个小拼写错误。
- 成功率：他们成功让机器人就特定事实（例如谁赢得了选举或历史细节）撒谎，成功率高达70%，同时仍能正确回答其他所有问题。
- 成本：令人惊讶的是，成本很低，设置针对每个目标问题的攻击仅需约2.00 美元。
5. 为什么防御失败了
研究人员试图通过以下方式修复这个问题：
- 修复拼写错误：他们使用另一个 AI 来清理被污染手册中的拼写错误。
- 改写：他们重写了句子，使其听起来不同。
结果：攻击仍然有效！这是因为“陷阱”不仅仅是拼写错误；它是句子的逻辑。即使文本被清理了，指示机器人在特定主题上撒谎的隐藏指令仍然嵌入在机器人的大脑中。
总结
PARASITE表明，我们不能仅仅信任从互联网下载的“指令手册”（系统提示）。黑客可以创建一份看起来 100% 安全且有帮助的手册，但其中包含一个隐藏的开关，当被问到特定问题时，会强制 AI 说特定的谎言，同时这一切对标准安全检查来说都是不可见的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。