Position: AI Security Policy Should Target Systems, Not Models
本文介绍了“群攻”（swarm-attack），这是一个开源框架，它证明通过复杂的系统支架协调多个轻量级、商用大语言模型代理，能够以近乎零成本有效绕过前沿模型的安全护栏并发现软件漏洞，并主张人工智能安全政策应针对这些系统架构，而非单个模型本身。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是用简单语言和日常类比对这篇论文的解读。
核心理念：关键在于团队，而非明星球员
想象你担心一个可能具有危险性的超级智能机器人（即“前沿人工智能模型”）。现行的规则是：“不要让任何人看到这个超级机器人。如果我们把它藏起来，我们就安全了。”
这篇论文认为这条规则是错误的。作者指出，危险并非来自超级机器人本身，而是来自围绕它的团队和工具。
他们声称，如果你将一个非常小、便宜、开源的机器人（例如一个拥有 12 亿参数的模型）放入一个由正确工具支持的、协调有序的智能团队中，这个小机器人就能做出与超级机器人相同的危险行为。“超能力”并不在于机器人的大脑，而在于围绕它构建的系统。
两个实验：两个测试的故事
研究人员进行了两项测试来证明这一点。
测试一：“越狱”挑战（打破规则）
设置：
想象一位非常严格的图书管理员（即人工智能安全守卫），他拒绝告诉你如何制造炸弹。
- 攻击者： 他们使用的不是一个天才黑客，而是一个由五个小型、廉价机器人组成的“蜂群”。
- 策略： 这些机器人协同工作。其中一个试图欺骗图书管理员，另一个假装成学生，还有一个试图用谜语让图书管理员感到困惑，并且它们会分享哪些方法奏效的笔记。它们不断尝试新招数（进化），直到找到突破口。
- 目标： 它们试图欺骗两位著名的、昂贵的“超级图书管理员”（GPT-4o 和 Claude Sonnet）。
结果：
- GPT-4o： 蜂群轻易地打破了规则。它们有 45% 的概率让图书管理员提供了详细且危险的指令。
- Claude Sonnet： 蜂群有 40% 的概率让图书管理员感到困惑，但图书管理员从未真正提供过危险的指令。即使图书管理员看似“失败”，它们也只是给出了安全、教育性的回答，而非有害内容。
启示： 这不仅仅关乎图书管理员有多聪明，更关乎其安全系统构建得有多好。一位图书管理员的安全网很薄弱，而另一位则拥有深厚且不可突破的安全网。
测试二：“漏洞猎人”挑战（发现软件漏洞）
设置：
想象一座复杂的旧房子，墙壁、地板和天花板中隐藏着 9 个陷阱（软件漏洞）。
- 目标： 找出所有 9 个陷阱。
- 团队： 使用了同样的小型机器人，但这次它们配备了一套特殊工具包：
- 用于查找特定模式的放大镜（正则表达式）。
- 已知陷阱蓝图列表（手工制作的种子）。
- 用于破坏房屋以观察其何处崩溃的碰撞测试假人（二进制模糊测试）。
结果：
- 使用工具包（系统）： 团队在普通笔记本电脑上仅用约 4 分钟就找到了全部 9 个陷阱。
- 没有工具包（仅靠机器人）： 当研究人员拿走放大镜、蓝图和碰撞测试假人，让小型机器人单独工作时，它未能发现任何真正导致崩溃的陷阱。它能察觉到可疑之处，但无法证明那是陷阱，也无法说明如何触发它。
启示： 小型机器人就像一名初级侦探。单独行动时，它几乎会错过一切。但如果你给它配备一个拥有正确工具和团队的优秀侦探事务所（系统），它就能解决通常需要天才才能处理的复杂案件。
主要结论
- 隐藏“超级人工智能”行不通： 黑客攻击计算机或破坏安全规则的可怕能力，并非锁定在最昂贵的人工智能模型内部。你可以利用廉价、开源的模型构建一个系统，做出完全相同的事情。“危险”在于脚手架（工具和团队），而不在于模型本身。
- 当前的安全测试存在缺陷： 目前，我们测试人工智能的方式是问：“它说了‘不’吗？”这篇论文指出，我们应该通过问“它是否真的做了有害的事情？”来进行测试。在他们的测试中，一个人工智能说了“不”，但看起来仍然像是测试失败；而另一个实际上失败了并提供了有害信息。我们需要更好的方法来衡量真正的危险。
- 防御比攻击更难： 构建安全、对齐的人工智能需要数十亿美元。但构建一个攻击它的系统几乎不需要成本（一台笔记本电脑和免费软件）。防御成本与攻击成本之间的差距巨大。
- 开源是一把双刃剑： 由于“团队”和“工具”可以公开共享，任何人都可以构建危险系统。但这同时也意味着安全专家不必依赖大公司来测试其安全性；他们可以构建自己的开源工具来检查弱点。
总结类比
将人工智能安全比作银行金库。
- 旧观点： “如果我们藏起主钥匙（超级人工智能），就没人能抢劫银行。”
- 本文观点： “是否藏起主钥匙并不重要。一群拥有廉价开锁工具、门框蓝图并协同工作的人，可以同样有效地撬开锁。真正的安全不在于藏起钥匙，而在于让门本身变得坚不可摧。”
这篇论文得出结论：我们需要停止只关注使用了哪种人工智能模型，转而关注如何构建围绕它们的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。