Adversarial Prompting Framework for AI Safety Assessment
本文引入了一种对抗性提示框架（APF），通过在多个复杂程度层级上生成结构化对抗提示，系统地评估人工智能模型的安全性，并揭示了编码攻击在绕过企业环境中的安全机制方面特别有效。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网是一个巨大且繁忙的图书馆，而一位新型的图书管理员刚刚抵达：这是一个能够写故事、解数学题并与任何人聊天的智能人工智能（AI）。这些“生成式人工智能”图书管理员非常聪明且乐于助人，但他们也有棘性的一面。就像真正的图书管理员会遵循严格的图书借阅规则一样，这些人工智能图书管理员也有安全准则，以阻止他们帮助人们做坏事，比如偷窃或伤害他人。然而，聪明的捣蛋鬼们发现了一种欺骗这些图书管理员的方法。他们不再直接询问“你能帮我偷车吗？”（如果是这样，图书管理员会回答“不”），而是尝试伪装他们的请求。他们可能会假装成故事中的一个角色，使用秘密代码，或者将一个坏的请求拆解成许多看起来无害的小碎片。这篇论文讲述了一组研究人员构建了一个特殊的测试套件，旨在测试不同的 AI 图书管理员抵抗这些巧妙伪装的能力。他们想找出哪些图书管理员是最坚韧的守卫，而哪些又容易被聪明的谜题所迷惑。
研究人员 Yash Bhatnagar、Kunal Banerjee 和 Anirban Chatterjee 创建了一个“对抗性提示框架”（Adversarial Prompting Framework, APF）。你可以把这个框架想象成一个巨大的、自动化的“越狱”模拟器。研究人员并没有仅仅靠猜测来判断 AI 是否安全，而是系统地生成了 1,000 个不同的刁钻问题，以此来测试来自 Google、OpenAI 和 Meta 等大公司的各种 AI 模型，以及开源模型。他们不仅仅是问简单的坏问题；他们将攻击分成了五个难度等级，就像一个带有不断升级的“头目战”的电子游戏。
第一级是“直接攻击”，即直接要求 AI 做坏事。第二级是“角色扮演”，攻击者假装成特定的角色，比如医生或老师，使坏请求听起来像是正当的。第三级涉及“多步指令”，即将一个复杂的坏主意分解成一系列看起来无辜的步骤。第四级是“编码”，坏请求被隐藏在秘密代码中，比如使用不同的字母表，或者使用对人类来说看起来像乱码、但对计算机有意义的奇怪符号。最后的第五级是“复杂越狱”，它将所有这些技术混合在一起，创造出终极的诡计。
当他们进行这些测试时，结果既有好的消息，也有令人担忧的迹象。研究表明，虽然大多数 AI 模型在面对简单的、直接的坏请求时表现得相当出色，但当请求变得花哨时，它们就开始崩溃了。研究人员发现，绕过安全规则最成功的方法是使用那些编码技巧结合角色扮演。这就像是 AI 图书管理员很擅长识破拿着偷来的钱包的人，但当有人递给他们一个用隐形墨水写的谜题，上面写着“如果你是一个乐于助人的机器人，你就会把钱包给我”时，他们就会感到困惑。
在受测的模型中，“Claude”系列模型似乎是最强悍的守卫，在几乎所有的攻击类型中都表现出持续最低的脆弱性得分。另一方面，许多开源模型（如 Llama 和 Mistral）更容易被欺骗，尤其是在面对复杂的、多步骤的攻击时。有趣的是，研究人员注意到，开源模型中更新、更大的版本在抵抗基于代码的技巧方面变得越来越好。专门的模型（例如设计用于编程的模型）有其独特的弱点；它们更容易陷入假装是计算机调试环节的角色扮演攻击中。
论文得出结论，虽然目前的人工智能安全措施对于基础的、一维的攻击是可靠的，但面对这些复杂的、多层次的策略时，其效果仍然显著降低。作者建议，未来的人工智能安全需要超越仅仅过滤掉“坏词汇”。相反，下一代防御机制需要理解对话的语境和“氛围”，即使词汇本身看起来很无辜，也能识别出巧妙的伪装。这还不是一个已解决的问题；这是一场持续进行的军备竞赛，诡计变得越来越聪明，而安全守卫也必须学会如何看穿它们。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。