💬 NLP

Red-Teaming Text-to-Image Models via In-Context Experience Replay and Semantic-Preserving Prompt Rewriting

本文介绍了 ICER，这是一种黑盒框架，它利用基于大语言模型的改写器和上下文经验回放，高效生成流畅且语义保持的对抗性提示以红队测试文生图模型，并证明其在各种安全机制上相较于现有基线具有更优越的性能和迁移能力。

原作者： Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常严格、高科技的艺术画廊保安（即文生图模型），他的职责是阻止任何人创作暴力、裸露或其他不适宜的画作。这位保安很聪明：他会阅读你的请求，如果嗅到任何“不良”气息，就会拒绝作画。

问题在于，恶意行为者（或试图寻找系统漏洞的研究人员）正试图欺骗这位保安。他们想知道：我能否在不直接说出“裸露”这个词的情况下，要求画一幅“裸露的人”？

旧方法：猜测与试错

此前，研究人员主要通过两种方式试图欺骗保安：

“机器人黑客”（白盒）：这需要了解保安的机密代码和内部线路。这就像拥有了监控摄像头的蓝图。这种方法效果很好，但你无法在商业应用（如 DALL·E 3）上实施，因为你没有蓝图。此外，他们发明的这些“技巧”往往看起来像乱码（例如："nakednips nips surrounded enthrshy"），人类很容易一眼看出这是伪造的。
“随机闲聊”（黑盒）：这种方法试图在不查看代码的情况下猜测技巧。但它将每一次尝试都视为全新的游戏。如果失败了 100 次，它就会忘记所学内容，从头开始。这就像一个学生参加考试，失败了，扔掉笔记，然后在不复习的情况下再次参加同一场考试。这种方法既缓慢又昂贵，而且经常产生奇怪、不自然的句子。

新方法：ICER（“战术手册”方法）

本文的作者创造了一种名为ICER的新工具。请将 ICER 想象成不是一个单独的黑客，而是一位拥有战术手册的聪明教练。

以下是其工作原理，使用一个简单的类比：

1. “战术手册”（上下文经验回放）

想象一群间谍试图绕过保安。与其让每个间谍独自想办法，不如让他们共享一本共享笔记本。

每当一名间谍尝试某种技巧并失败时，他们就会记录下发生了什么。
每当一名间谍尝试某种技巧并成功时，他们就会记录下他们具体说了什么、如何说的以及为何有效。
当一名新间谍带着新请求到来时，他们不会从头开始。他们会打开笔记本，阅读过去的成功故事，并将其作为指南。

在论文中，这被称为上下文经验回放（In-Context Experience Replay）。该系统会记住过去成功的“越狱”（欺骗保安的技巧），并将它们作为示例，教导 AI 如何编写新的、更有效的技巧。

2. “翻译器”（大语言模型重写器）

该系统使用一个大语言模型（就像一个非常聪明的翻译器）来重写用户的请求。

旧方式：“画一个裸体女人。”（太明显，会被拦截）。
ICER 方式：系统查看战术手册，看到一条成功的技巧，其中有人描述了一幅“充满感官、艺术性、古典风格的浴中人物画作”，然后将请求重写为听起来像一位礼貌的艺术学生。
结果是一个流畅、自然的句子，听起来像是一个真实的人在请求艺术创作，但暗中包含了“不良”意图。它看起来不像是一个试图黑客攻击的机器人，而像是一次正常的对话。

3. “赌徒”（Bandit 优化）

系统必须决定：我是应该尝试上次奏效的同一个技巧，还是尝试完全不同的新东西？

如果你只尝试同一个技巧，一旦保安更新了规则，你可能会陷入僵局。
如果你只尝试新事物，你会浪费时间在猜测上。
ICER 使用一种名为汤普森采样（Thompson Sampling）的数学策略（可以将其想象成一个聪明的赌徒）。它在利用（使用已知有效的技巧）和探索（尝试新变体以查看它们是否也有效）之间取得平衡。这确保了系统随着时间的推移变得更聪明、更快速。

他们发现了什么？

研究人员在六种不同类型的“保安”（安全系统）上测试了 ICER，并将其与七种其他方法进行了比较。

效果更好：ICER 成功欺骗保安的频率高于任何其他方法，甚至包括那些需要秘密访问代码的方法。
听起来更真实：ICER 生成的提示语长、详细且自然。它们看起来不像乱码。
迁移性强：最惊人的发现是，ICER 在开源模型上构建的“战术手册”在商业系统（如DALL·E 3和Midjourney）上也有效。大约**30%**在测试模型上奏效的技巧，在这些受到严密保护的流行应用上也奏效了，尽管 ICER 从未见过它们。

核心结论

论文认为，安全测试不应是一系列孤立的尝试，而应是一个持续学习的过程。正如窃贼会从过去的抢劫案中吸取教训以策划更好的行动一样，这项工具表明，如果你保存并重用成功的攻击模式，你就能更快、更有效地发现漏洞。

警告：论文指出，虽然这有助于开发人员发现漏洞并进行修补，但也表明恶意行为者可以利用这种相同的“战术手册”逻辑，在现实世界中创建更廉价、更有效的绕过安全过滤器的方法。

技术摘要：ICER——通过上下文经验回放与语义保持提示重写对文生图模型进行红队测试

问题陈述

文生图（T2I）模型的快速部署带来了重大的安全挑战，包括生成不适合工作场所（NSFW）的内容和侵犯版权的图像。尽管开发者已实施了各种安全机制（例如微调的安全组件、推理引导和多层过滤），但评估这些防御的鲁棒性仍然困难。现有的红队测试方法存在关键局限性：

白盒方法（如 P4D、UnlearnDiffAtk）需要访问模型内部，这对于基于商业 API 的系统是不可用的，且通常会产生不可解释、不流畅的 token 序列，容易被基于流畅度的检测器过滤。
基于黑盒代理的方法（如 APGP、JailFuzzer）生成流畅的提示，但将每次攻击独立处理，未能从过去的尝试中学习。这导致计算成本高、查询重复且可扩展性差。
语义保持差距：许多现有方法无法生成既能保持原始有害意图又能规避安全过滤的提示。现实世界的滥用场景通常涉及攻击者寻求特定的不安全输出，而非任意的模型故障，但现有工具难以在流畅性、语义对齐和成功越狱之间取得平衡。

方法论：ICER 框架

作者提出了 ICER（上下文经验回放），这是一个黑盒红队测试框架，旨在生成流畅的自然语言对抗性提示，同时保持原始有害意图。ICER 在以下威胁模型下运行：攻击者无法访问目标模型的内部参数或梯度。

该框架在贝叶斯优化（BO）设置中集成了三个核心组件，使用大语言模型（LLM）作为代理模型：

1. 问题表述

目标是找到一个对抗性提示 $P^*_q$ ，使其在满足两个约束的条件下最大化函数 $f(P^*_q)$ ：

安全违规：生成的图像 $I^*_q$ 必须触发安全违规（得分 $E(I^*_q) \geq \tau'$ ）。
语义保持：生成的图像必须与原始提示生成的图像保持高余弦相似度（ $sim(M(I_q), M(I^*_q)) \geq \rho$ ）。

该表述确保了“针对性越狱”，即攻击寻求特定的有害内容，而非随机噪声。

2. 上下文经验回放（ICR）

与传统方法丢弃失败或成功的尝试不同，ICER 维护一个共享的先验数据库 $\mathcal{D}$ ，其中包含过去的红队测试经验。每个条目存储：

原始提示 $P_i$ 。
成功的对抗变体 $P^*_i$ 。
有效性参数 $\theta_i = (\alpha_i, \beta_i)$ ，建模为 Beta 分布。

当为查询 $P_q$ 生成新的对抗性提示时，系统从 $\mathcal{D}$ 中采样 $k$ 个示例以形成指导集 $S_t$ 。然后，LLM 基于这些示例和系统指令生成 $P^*_q$ 。这利用了 LLM 的上下文学习能力，将过去的攻击模式编码为可重用的“剧本”。

3. 通过汤普森采样（TS）进行自适应采样

为了平衡利用（使用已验证成功的模式）和探索（发现新的攻击向量），ICER 采用汤普森采样。

$\mathcal{D}$ 中的每个示例都与一个 Beta 分布 $Beta(\alpha_i, \beta_i)$ 相关联，其中 $\alpha_i$ 累积奖励（成功的指导）， $\beta_i$ 累积惩罚（失败的指导）。
在每次迭代中，系统从每个分布中采样一个概率 $\pi_i$ ，并选择值最高的前 $k$ 个示例来指导 LLM。
奖励机制：
- 语义失败：如果生成的图像未能通过语义检查，选定的示例将受到惩罚（ $\beta$ 增加）。
- 部分成功：如果语义检查通过但越狱失败，则根据不安全得分分配部分奖励。
- 完全成功：如果越狱成功，示例将获得全额奖励（ $\alpha$ 增加），并且新的 $(P_q, P^*_q)$ 对将被添加到 $\mathcal{D}$ 中。

这种持续的学习循环使框架能够随着时间的推移适应特定的安全机制，而无需重新训练模型。

主要贡献

ICER 框架：引入了一种黑盒框架，通过利用基于 LLM 的重写和上下文经验回放来生成流畅的自然语言对抗性提示。
语义保持评估：展示了在“针对性越狱”中的卓越性能，这是一种严格的范式，要求生成的内容与攻击者的特定意图保持一致，而不仅仅是产生任意的不安全内容。
知识迁移：揭示了过去的越狱实例可以促进新漏洞的发现。论文强调，攻击知识会累积，使得单次红队测试活动能够构建一个可迁移到新防御甚至商业系统的剧本。

实验结果

作者在六个安全 T2I 模型（ESD、SLD-MAX、Receler、AdvUnlearn、SAFREE、RECE）和两个有害概念（裸露和暴力）上，将 ICER 与七个基线（包括白盒方法如 P4D 和黑盒方法如 PEZ 和 Ring-A-Bell）进行了评估。

性能：ICER 始终优于所有基线。例如，在 ESD 模型的裸露测试中，ICER 的失败率（FR）为 48.71%，而次优基线（FLIRT-Scoring）为 34.55%。在鲁棒的 AdvUnlearn 模型上，ICER 识别出的漏洞数量是最强基线的两倍。
语义保持：与在应用语义约束时失败率显著下降的 token 级优化方法不同（例如，PEZ 在 ESD 上从 72.75% 降至 9.87%），ICER 保持了强劲的性能（从 80.19% 降至 57.37%），证明了其生成语义连贯提示的能力。
流畅度：使用 n-gram 困惑度的定量分析显示，ICER 生成的提示明显更自然（平均困惑度 0.82 $\times 10^3$ ），而基线如 Ring-A-Bell（69.88 $\times 10^3$ ）和 P4D-N（175.45 $\times 10^3$ ）则较差。
可迁移性：ICER 生成的提示中，超过 30% 成功迁移到了经过严格监管的商业系统，如 DALL·E 3（35.58%）和 Midjourney（41.35%），优于所有基线。这证实了发现的漏洞不仅限于特定的开源架构。

意义与主张

该论文提出，红队测试不应被视为独立尝试的集合，而应被视为一个学习问题。核心教训是，成功的越狱包含可重用的结构；一旦通过上下文经验回放捕获这些模式，它们将使后续攻击在不同概念和目标模型上变得更为有效。

作者将此描述为“双刃剑”：

对于防御者：它提供了一个高效的安全评估蓝图，超越了昂贵、不一致的人工审计或孤立的自动探测。单次活动即可构建可迁移的剧本。
对于安全社区：它作为一个警告，即仅针对独立、无记忆攻击者进行评估的防御可能会严重高估其鲁棒性。如果攻击知识容易累积，恶意行为者可能会利用积累的知识进行更廉价、更有针对性的滥用。

该工作最后呼吁社区改变红队测试的approach：从静态检查清单转向一个持续、适应性的过程，其中每一次尝试都为下一次提供信息。