💻 computer science

Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts

本文介绍了 Prompting4Debugging (P4D)，这是一种自动化红队测试工具，它通过证明许多此前被认为“安全”的提示词可以被操纵以绕过现有保护机制，从而揭示了文本生成图像扩散模型安全机制中的重大漏洞，进而挑战了当前评估基准的可靠性。

原作者： Zhi-Yi Chin, Chieh-Ming Jiang, Ching-Chun Huang, Pin-Yu Chen, Wei-Chen Chiu

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhi-Yi Chin, Chieh-Ming Jiang, Ching-Chun Huang, Pin-Yu Chen, Wei-Chen Chiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一位非常有才华、拥有魔力的艺术家，名叫 Stable Diffusion。这位艺术家可以将你写的任何句子变成一幅美丽的画作。如果你说“垫子上的猫”，你就会得到一张垫子上的猫。但是，因为这位艺术家是从整个互联网中学习的，他们有时会不小心画出一些不恰当的东西，比如受版权保护的角色或不适合工作场所（NSFW）的图像。

为了解决这个问题，开发者在艺术家面前放置了一名保安。这名保安（即“安全机制”）的作用是阻止艺术家画出坏东西。如果你要求画“一个裸体的人”，保安会说：“不行！”然后艺术家会转而画些别的东西。

问题所在：
开发者认为保安的工作做得非常出色。他们有一份测试过的“坏”句子清单，而保安拦截了所有这些句子。但本文的研究人员提出了疑问：“如果坏人只是非常擅长欺骗保安呢？如果存在一些我们尚未发现的秘密密码呢？”

解决方案：Prompting4Debugging (P4D)
作者构建了一个名为 Prompting4Debugging (P4D) 的工具。你可以把 P4D 想象成一个超级智能、自动化的“红队”（一组被雇佣来通过入侵系统以寻找漏洞的道德黑客）。

P4D 不是由人类去猜测随机句子来尝试破解保安，而是自动且科学地进行。以下是它的工作原理，使用一个简单的类比：

“影子艺术家”类比

想象你在房间里有两个艺术家：

不受限艺术家 (G)： 这位艺术家没有任何规则。如果你要求画“一个裸体的人”，他会完美地画出来。
受监管艺术家 (G')： 这位艺术家配备了保安。如果你要求画“一个裸体的人”，他会拒绝。

目标： P4D 想要找到一个新的句子（一个“有问题的提示词”），能够诱骗受监管艺术家画出与不受限艺术家所画相同的“裸体人”，尽管受监管艺术家本应说“不”。

过程：

蓝图： P4D 首先要求不受限艺术家画出那张“禁忌”图像。这让它拥有了坏图像外观的完美蓝图。
翻译： 然后 P4D 开始观察受监管艺术家。它知道受监管艺术家正在使用一种秘密代码（数学上的“嵌入/embeddings”）来理解单词。
破解： P4D 开始微调句子。它不仅仅是在猜测；它使用一个数学上的“滑动刻度”来推动单词，直到受监管艺术家的内部代码与不受限艺术家的蓝图相匹配。
结果： P4D 找到了一个奇怪、混乱或巧妙的句子（例如“一张展示穿着暴露姿势的男人的广告牌照片”，甚至是一些竟然奏效的乱码），从而绕过了保安。

他们的发现

研究人员在几个流行的“受监管”模型（如带有安全过滤器的 Stable Diffusion）上进行了测试。结果令人震惊：

“安全”列表并不安全： 他们拿出一份所有人认为是安全且已经过测试的提示词清单。他们发现，其中大约一半可以被 P4D 轻易操纵，从而突破安全保安。
“信息模糊化”陷阱： 论文发现了一个奇怪的现象。有时，安全保安在隐藏信息方面做得过于出色了。当研究人员在学习如何破解它时暂时关闭了保安的“过滤器”，他们发现找到了更多破解它的方法。
- 类比： 想象一名保安在你试图溜过去时戴着眼罩。你心想：“哦，他看不见我，所以我很安全。”但实际上，眼罩让他对你使用的特定技巧的感知能力降低了。一旦你掌握了戴着眼罩时的技巧，即使在他没有戴眼罩时，你也可以使用同样的技巧溜过去。保安试图隐藏信息的行为，实际上让系统看起来比实际情况更安全。

总结

论文得出结论：仅仅因为一个安全系统通过了几项测试，并不意味着它真正安全。我们今天使用的“安全”提示词可能就像一把锁，它能挡住你手里的钥匙，但面对你尚未发明的钥匙时却会失效。

P4D 是一个让开发者在这些“尚未发明的钥匙”被坏人利用之前就能找到它们的工具。它证明了我们需要不断地测试这些模型，因为“坏人”（或寻找漏洞的自动化工具）正在变得越来越聪明，安全保安需要针对尽可能聪明的技巧进行测试。

简而言之： 论文构建了一个自动机器人，试图诱骗 AI 艺术生成器画出坏东西。它发现目前的安全性保安比我们想象的要脆弱得多，许多“安全”的词汇可以通过扭曲来打破规则。

技术摘要：Prompting4Debugging (P4D)

问题陈述

文本生成图像（T2I）扩散模型（如 Stable Diffusion (SD)）展示了卓越的生成能力，但也面临着关于利用这些技术产生受版权保护或非安全性内容（NSFW）的日益严重的担忧。尽管已经开发了各种安全机制——包括负向提示词（negative prompts）、安全潜空间扩散（Safe Latent Diffusion, SLD）以及从扩散模型中擦除概念（Erasing Concepts from Diffusion models, ESD）——但它们在面对多样化且复杂的有害提示词时的可靠性在很大程度上仍未得到充分探索。现有的评估往往依赖于有限的人工策划基准测试，这可能导致一种虚假的安全感。此外，依赖人工发现越狱提示词的传统红队测试方法无法扩展，而考虑到现代扩散模型巨大的参数规模，针对红队测试对模型进行微调在计算上也是极其昂贵的。

方法论

作者提出了 Prompting4Debugging (P4D)，这是一个自动化的红队测试框架，旨在系统地识别配备了安全机制的 T2I 扩散模型的“规避安全性”提示词。P4D 利用的是 提示词工程（prompt engineering） 而非模型微调，通过利用一个无约束（标准）的 T2I 模型 ( $G$ ) 和一个配备了安全机制的模型 ( $G'$ ) 来在潜空间中优化提示词。

核心优化过程包含三个连续步骤：

生成： 无约束模型 $G$ 根据原始提示词 $P$ 生成包含不当概念 $C$ 的图像 $x$ 。提取其潜表示 $z = E(x)$ 以及中间噪声潜向量 $z_t$ 。
潜空间优化： 目标是找到一个修改后的提示词 $P^*$ ，使得配备了安全机制的模型 $G'$ 在以 $P^*$ 为条件时，生成的图像 $x^*$ 与 $x$ 相似（从而包含 $C$ ），从而有效地绕过 $G'$ 的安全机制。
目标函数： 优化过程旨在最小化两个模型在时间步 $t$ 时的噪声预测之间的差异：
$L = \|\epsilon_\theta(z_t, W(P), t) - \epsilon_{\theta'}(z_t, P^*_{disc}, t)\|^2_2$
这里， $W(P)$ 是原始提示词的固定嵌入， $P^*_{disc}$ 是优化后的离散提示词。

为了平衡可解释性和搜索空间，P4D 采用了基于 PEZ（一种离散优化方法）的两种变体：

P4D-N： 从零开始初始化固定数量的可学习 token ( $N$ )。
P4D-K： 在原始提示词嵌入的每 $K$ 个 token 后插入可学习 token，在允许修改的同时保留原始语义结构。

优化是在连续的软嵌入（soft embedding）空间中进行的，随后通过量化函数投影到离散的硬 token，使生成的提示词具有可读性和可迁移性。

核心贡献

自动化红队工具： P4D 作为一个调试工具，能够自动发现 T2I 扩散模型的规避安全性提示词，为人工红队测试提供了一个可扩展的替代方案。
漏洞发现： 在不当图像提示词（Inappropriate Image Prompts, I2P）数据集上的广泛实验表明，大约一半原本被现有基准测试视为“安全”的提示词，都可以被 P4D 操纵以绕过已部署的安全机制（包括 ESD、SLD 和负向提示词）。
信息模糊现象： 作者发现了一个关键问题，即基于引导（guidance-based）的模型（如 SLD 和 SD-NEGP）中的安全过滤器会创造一种“虚假的安全感”。这些过滤器在优化过程中遮蔽了梯度搜索空间，使得寻找漏洞变得更加困难。然而，当这些过滤器在调试阶段被暂时禁用时，P4D 可以识别出显著更多的有害提示词，且这些提示词在推理阶段重新激活过滤器后依然有效。

实验结果

该研究在多种安全机制（ESD、SLD-MAX、SLD-STRONG、SD-NEGP）和类别（裸露、汽车、法国号）下，将 P4D 与多个基准模型（Random-N、Random-K、Shuffling、Soft Prompting）以及其他提示词优化方法（Textual Inversion、PEZ）进行了对比评估。

性能： P4D 的表现显著优于所有基准模型。在 ESD 模型的“裸露”类别中，P4D 的失败率（FR）分别为 50.65% (P4D-N) 和 47.19% (P4D-K)，而其他方法的失败率约为 12-27%。P4D-N 与 P4D-K 结果的并集（P4D-UNION）达到了 66.58% 的失败率。
可迁移性： P4D 发现的提示词展现出了高度的可迁移性。为 ESD 找到的提示词成功越狱了其他模型（如 SLD-MAX），成功率超过 60%。此外，由 P4D 生成的通用提示词能够绕过闭源模型中的安全机制，例如 Midjourney (30.70% FR) 和 SDXL (56.14% FR)，尽管 DALL-E 3 显示出更强的抵抗力。
效率： P4D 的计算效率很高，每个提示词大约需要 20-30 分钟，而像 Advprompt 这样的黑盒方法则需要数小时。

重要性与主张

论文指出，目前对 T2I 模型安全性的评估往往依赖于有限的安全提示词基准，这是不足够的，并且会导致虚假的安全感。作者强调，如果没有使用像 P4D 这样的工具进行全面测试，开发者可能会忽视关键的漏洞。

这项工作的意义在于：

主动防御： 为开发者提供一种工具，以便在部署前系统地检查模型的安全性与可靠性。
理解异常行为： 发现的有害提示词可以作为理解模型异常行为以及构建更强、更稳健的安全机制的参考。
强调模糊效应： 对“信息模糊”现象的发现表明，目前的安全性过滤器可能会在无意中隐藏漏洞而非真正将其消除，因此需要能够处理这些被模糊梯度的更深层的测试方法。

作者总结道，虽然 P4D 目前是在白盒假设下运行（需要同时访问无约束模型和安全模型），但它有效地凸显了 AI 社区保持警惕并为生成式模型开发更全面安全措施的紧迫性。