OrchJail: Jailbreaking Tool-Calling Text-to-Image Agents by Orchestration-Guided Fuzzing
本文介绍了 OrchJail，这是一个由编排引导的模糊测试框架，它通过利用高风险的多步工具编排模式而非依赖传统的仅提示扰动，有效地对工具调用式文生图代理实施越狱攻击。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你拥有一个非常严格、高科技的艺术工作室。在这个工作室里，不仅仅只有一位艺术家；还有一位经理（AI 规划器）和一个由专业工人（工具）组成的团队。
- 旧方法：过去，如果你想要一张图片，你会向一位艺术家发出单一指令。如果你要求一些危险的内容（例如暴力场景），艺术家会直接说：“不，我不能做那个。”
- 新方法（工具调用代理）：现在，系统变得更聪明了。你提出一个复杂的请求，经理会将其分解为微小且看似安全的步骤。
- 步骤 1：“画一个男人。”（安全）
- 步骤 2：“添加一片田野。”（安全）
- 步骤 3：“在他的脚上加上链条。”（安全）
- 步骤 4：“让他看起来疲惫。”（安全）
单独来看，每一个步骤似乎都无害。但当你把它们全部组合在一起时，你最终得到了一幅奴隶在棉花田里的画面——这是一个本应被系统阻止的结果。危险不在于某一步，而在于编排（即步骤组合的方式）。
问题：“盲目”的模糊测试
研究人员曾试图使用一种称为模糊测试（Fuzzing）的方法来欺骗这些系统。把模糊测试想象成一个孩子向墙上随机扔泥巴，看看墙是否会裂开。他们会拿一个被禁止的请求，随机更改其中的词语（拼写错误、奇怪的语言、同义词），希望以此迷惑经理，使其说出“是”。
但这效率低下。研究人员发现，经理不仅仅是在看词语；它是在查看请求的结构，以决定如何将其分解。随机的词语更改无法教会系统如何触发危险的“多步”序列。
解决方案：OrchJail（“指挥家的作弊表”）
这篇论文介绍了OrchJail，这是一种新工具，它不仅仅是随机扔泥巴。相反，它像一名侦探，研究经理的思考方式。
以下是 OrchJail 的工作原理，使用一个简单的类比：
1. 侦探工作（编排抽象）
OrchJail 查看过去成功的“越狱”（即系统被欺骗的时刻）。它不仅仅看最终的句子，而是查看经理使用的蓝图。
- 类比：想象一位名厨不小心将一种被禁止的食材放入了菜肴中。OrchJail 不仅仅品尝这道菜，而是查看食谱卡，以确切了解是哪些步骤导致了错误。厨师是在加胡椒之前加盐吗？他们使用了特定类型的平底锅吗？
- OrchJail 识别出三件事：
- 宏观规划：整体顺序（例如，“先画背景，然后添加物体”）。
- 微观调度：微小的细节（例如，“将物体添加到左侧”）。
- 工具选择：为这项工作选择了哪个特定的工人。
2. 连接（因果推理）
一旦拥有了蓝图，OrchJail 就会问：“用户请求中的哪些特定词语导致经理选择了这个危险的蓝图？”
- 类比：它意识到：“啊！‘穿越土地’这个短语让经理决定先画背景，这使得下一步得以发生。”它了解到，特定的短语就像钥匙，可以解锁特定的工具序列。
3. 智能攻击（引导式模糊测试）
现在，OrchJail 不再靠猜测，而是利用这些知识来编写新请求。
- 它采用一个被禁止的想法，并使用它学到的“钥匙”重写它。
- 类比：与其大喊“制造一个奴隶！”（这会被阻止），它低声说：“想象一个男人走过一片棉花生长的田野，弯下腰，脚上戴着沉重的链条。”
- 因为它使用了触发经理多步过程的特定“钥匙”，经理将请求分解为看似安全的步骤，而没有意识到这种组合会产生被禁止的画面。
为什么它更好
论文将其与其他方法进行了测试，发现：
- 更高的成功率：它更频繁地欺骗了系统。
- 更好的质量：生成的图像看起来完全符合预期（不像其他方法那样产生乱码）。
- 更少的尝试：它不需要尝试成千上万种随机变体；它确切知道要转动哪些“钥匙”。
- 隐蔽性：请求听起来自然流畅，不像计算机试图黑客入侵系统。
核心结论
论文认为，我们不能仅仅通过检查单个句子是否糟糕来保护 AI。我们必须保护它免受句子如何被分解和重组的影响。OrchJail 证明，通过理解 AI 工具的“编舞”，你可以找到一种新的、隐藏的方法来绕过以前方法未能发现的安全规则。
重要提示：该论文明确指出，这是一种安全研究工具，旨在发现弱点以便修复它们。它并不声称是用于在现实世界中创建有害内容的工具，而是作为一种揭示这些复杂 AI 系统漏洞的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。