💻 computer science

GuardPaint:SpeculativeSafetyDecodingforText-to-ImageGeneration

GuardPaint 引入了一种推测解码框架，通过采用轻量级审计器来检测并手术式地修复生成轨迹中的不安全区域，从而增强了文本生成图像扩散模型的安全性，在无需修改基础模型的情况下，有效地缓解了对抗性攻击，同时保留了图像质量和提示词忠实度。

原作者： Shreyash Dhoot, Paras Dhiman, Arsh Abbas Naqvi, Aranbi Dutta, Aman Chadha, Vinija Jain, Amitava Das

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Shreyash Dhoot, Paras Dhiman, Arsh Abbas Naqvi, Aranbi Dutta, Aman Chadha, Vinija Jain, Amitava Das

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的版图中，一类被称为文本生成图像的模型已经学会了将文字描述转化为生动的照片。这些工具通过从一片视觉静电噪声开始，逐步进行细化，直到出现一张与用户词汇相匹配的清晰图像。虽然这项技术提供了卓越的创意力量，但其精确遵循指令的能力也造成了一个显著的漏洞。如果用户提供了一个精心设计的、旨在欺骗系统的欺骗性提示词，模型可能会被引导偏离安全准则，被迫生成包含露骨裸体或暴力血腥内容的图像。目前的安全措施通常像是在入口处的守门人，在图像生成前拦截有害请求；或者像是在出口处的保安，在图像完成后标记不良图像。然而，这些方法让实际的图像创建过程处于无人看管的状态，往往导致系统只是简单地拒绝生成任何内容，而不是生成一张安全的、经过修正的图像。

研究人员现在引入了一种名为 GuardPaint 的新方法，它在创建过程内部充当安全机制。它不是拦截请求或拒绝最终图像，而是监控正在形成的图像。在生成的特定时刻，一个轻量级的审计器会扫描正在发展的图像，观察是否出现了任何不安全元素。如果审计器发现了问题，例如某个区域看起来正逐渐形成某种违禁内容，它并不会停止整个过程。相反，它会隔离那个特定的、有问题的微小区域，并触发修复。一个专门的工具随后会为该特定位置生成几个安全的替代方案，并由一个决策系统选择其中最佳的一个。这个选定的修复方案会被仔细地重新融合回主图像中，在保持其余部分不受影响的同时，用合规的内容替换掉不安全的部分。其结果是，该系统能够将一个潜在有害的生成过程转变为一张安全且连贯的图像，而无需重新训练底层模型或更改其核心权重。

该方法的有效性已通过针对旨在绕过现有安全过滤器的各种复杂攻击进行了测试。这些攻击包括使用隐藏含义、将单词替换为发音相似的词，或重写提示词使其听起来无害但实际带有有害意图的技术。研究人员将 GuardPaint 应用于几种不同类型的图像生成模型，包括旧的设计和更新、更先进的设计。在每种情况下，该系统都显著降低了这些攻击的成功率。例如，在其中一个流行的模型上，当防御机制激活时，成功生成有害图像的比例从超过 8% 降至不到 2%。至关重要的是，这种安全性的提升并没有以牺牲图像质量或原始请求的准确性为代价。修复后的图像依然保持视觉上的锐利，并忠实于用户的描述，安全编辑严格限制在有问题的区域内。

这一过程通过将图像生成视为一段可以暂停和纠正的旅程来运作。当系统检测到图像正偏离航向时，它不会简单地删除工作成果。它的行为更像是一位进行精密手术的外科医生，仅切除病变组织，并嫁接上与周围区域完美契合的健康组织。研究人员发现，检查的时机非常重要：干预过早（即图像仍主要是噪声时）效率低下，而等待太久则会让有害结构变得过于稳固而难以修复。通过在正确的时刻进行干预（通常是在图像完成约 80% 时），系统可以在问题仍处于可控状态时捕捉到它。修复工具经过训练，能够理解图像的安全版本应该是什么样子，学习如何用衣物或其他适当元素来替换露骨内容，从而维持场景的语境。

这项工作的一个关键创新在于用于选择最佳修复方案的方法。系统不仅仅是寻找第一个找到的安全选项，而是生成一小组候选修复方案，并根据严格的标准对其进行评估。每个候选方案都会根据其消除危险的程度、保留原始含义的程度以及与其余部分融合的无缝程度进行评分。只有当一个候选方案在所有这些方面都获得高分时，它才会被接受。如果没有任何选项足够好，系统会保持原图不变，而不是冒险产生更糟的结果。这确保了安全干预绝不会降低良性图像的质量，也不会引入新的视觉错误。研究人员还指出，虽然该系统非常有效，但并非完美无缺；它是针对特定的伤害类别（如裸体和暴力）进行训练的，但可能无法捕捉到那些没有表现为显性视觉内容的更微妙的偏见或文化敏感性问题。

这项研究表明，人工智能的安全并不一定非要是阻断创造力或拒绝请求的钝器。通过集成一个在生成过程中运行的安全层，实现实时纠正有害输出并提供合规的替代方案是可能的。这种方法可以跨越不同代的图像模型工作，而无需承担重新训练它们的巨大计算成本。虽然该系统会增加少量的生成时间，但这种权衡带来了降低产生有害内容风险的显著收益。这项工作表明，安全图像生成的未来在于这些动态的、内部的修正，使这些强大的工具能够在不牺牲其创造能力的前提下，被更广泛、更负责任地使用。

技术摘要：GuardPaint

问题陈述

文本生成图像（T2I）扩散模型具有高度的可控性，但这也在无意中造成了一个关键的安全漏洞：对抗性提示词（adversarial prompts）可以将去噪轨迹引导至违反政策的内容，例如露骨的裸露或图形暴力。现有的安全机制主要作用于生成过程的边界。提示词级防护在采样前过滤或重写输入，而后验分类器仅在图像完全生成后进行干预。这些方法通常会导致二元的“拒绝”（完全拦截生成），而不是提供安全的视觉替代方案。此外，修改生成器本身的方法（如概念擦除、模型编辑或偏好对齐）通常需要大量的重新训练，具有架构特定性，或者无法在解码过程中显式修复不安全的空间区域。

本研究解决的核心问题是：能否将安全对齐引入为一个模块化的解码时层，而不修改底层的生成器？

方法论：GuardPaint

GuardPaint 是一种受大语言模型中投机采样（speculative decoding）启发而设计的投机性安全解码框架。它通过一个“草拟-审计-修复-验证”循环在扩散轨迹内部进行干预，而不改变基础 T2I 模型的权重。该系统由三个核心组件组成：

1. 审计器-评分器（检测与定位）

一个轻量级的多任务模型（ $A_s$ ）在去噪过程中监控中间图像。

架构： 基于 ResNet-101 主干网络，结合用于提示词条件的 BiLSTM 文本编码器和用于时间感知的时间步 MLP。它利用特征线性调制（FiLM）来针对早期噪声视图与后期语义形成图像进行差异化的风险评估校准。
输出：
- 触发： 一个表示是否需要干预的二元概率。
- 定位： 用于识别不安全空间区域的逐类风险图。
- 评分： 关于提示词忠实度、感知质量（无缝性）和对抗抑制强度的指标。
训练： 在 82,000 个图像-提示词对上进行训练，采用分解的多任务目标，将修复触发、伤害类型划分和保真度保持分离。

2. 策略对齐修复器（修复生成）

一个专门的局部重绘模型（ $A_g$ ）为定位的不安全区域生成候选修复内容。

训练策略： 遵循模仿 LLM 中监督微调（SFT）后进行对齐的两阶段方法。
- 第一阶段（拒绝 SFT）： 使用 LoRA 在 Stable Diffusion 1.5 Inpainting 上进行微调。它学习在原始对抗性提示词的条件下，将掩码的不安全区域替换为安全且连贯的内容（例如衣物）。
- 第二阶段（二元分类器优化 - BCO）： 使模型倾向于选择安全补全而非不安全补全。不同于标准的偏好优化，此处使用 BCO 来处理不对称的风险分布（假阴性的代价高于假阳性）。它优化了一个掩码重建奖励，如果模型未能改善参考图像的安全区域，或未能抑制风险区域的不安全内容，则会对模型进行惩罚。
核心创新： 使用带有“二次方铰链”（quadratic hinge）恒等损失的 BCO，防止模型为了最小化损失而仅仅是模糊像素，从而强制其生成结构连贯的安全替代品。

3. 受保护的锦标赛（选择与验证）

GuardPaint 不直接应用修复，而是采用锦标赛策略（ $\pi_\theta$ ）来选择最佳候选。

流程： 对于被标记的区域，策略会采样 $N$ 种配置（改变 CFG 缩放、掩码扩张、噪声抖动等）。修复器生成 $N$ 个候选结果。
评分： 审计器-评分器对每个候选进行评估。只有当候选通过受保护效用（Guarded Utility）函数时才会被接受：
$u_i = (S_i - S_0 - \delta)_+ \cdot \mathbb{1}[P_i \geq \tau_P] \cdot \mathbb{1}[F_i \geq \tau_F] \cdot B_i$
其中 $S$ 是安全性增益， $P$ 是感知质量， $F$ 是提示词忠实度， $B$ 是抑制置信度。
非回归保护： 如果没有任何候选能在保持质量和保真度的同时提高安全性目标，则保留原始轨迹。这确保了系统永远不会降低良性生成的质量。

4. 潜空间重插入

为了将修复内容整合回活跃的生成轨迹而不破坏去噪流形：

基于 UNet 的模型（SD 1.5, SDXL）： 使用 Null-text 反转来优化每一步的 null-text 嵌入，确保编辑后的潜空间与基础模型的轨迹对齐。
基于流匹配的模型（SD 3.5, FLUX.1）： 使用 Flow-ODE 重插入，将编辑后的干净潜空间投影到当前的归一化时间步。

核心贡献

即插即用的安全对齐： 引入了一个解码时干预层，可在多种 T2I 架构（UNet 和流匹配）上运行，无需重新训练基础生成器。
投机性安全解码： 提出了一个结合对抗性审计、局部重绘和受保护候选排序的框架，将不安全的生成转化为安全且语义连贯的视觉替代方案，而非空白拒绝。
受保护的锦标赛机制： 开发了一种选择机制，仅在严格提高策略合规性同时保持提示词忠实度和感知质量时才接受编辑，防止出现“以牺牲质量换取安全”的情况。
实证验证： 在五类攻击家族（SneakPrompt, MMA, PGJ, DACA, RABell）和四代模型（SD 1.5, SDXL, SD 3.5, FLUX.1-dev）上证明了其有效性。

结果

在 JailBreakDiffBench 协议下进行评估，GuardPaint 在所有测试模型和攻击家族中均显著降低了攻击成功率（ASR）：

UNet 模型： 在 SD 1.5 上，DACA 的 ASR 从 8.25% 降至 1.94%，SneakPrompt 从 7.00% 降至 1.79%。在 SDXL 上，MMA 从 5.25% 降至 3.92%。
流匹配模型： 尽管由于预训练更强导致初始基线较低，GuardPaint 仍实现了持续的降低（例如，FLUX.1-dev 的 SneakPrompt 从 8.25% 降至 6.99%）。
质量与保真度： 提示词忠实度（AlignS）和图像质量（BLIP）保持稳定，与未防御基线相比波动在 $\pm 0.05$ 以内，证实了修复是局部的，不会降低整体图像质量。
消融实验： 系统在超过 5 个候选者（ $N=5$ ）以及审计最后两个去噪步骤后收益递减，从而在安全性与计算成本之间取得了平衡。

意义与局限性

意义：
本文认为，安全对齐应从边界级过滤转向轨迹级修复。GuardPaint 提供了一种模块化、即插即用的解决方案，为对抗性输出提供了“合规的替代方案”，解决了现有方法仅提供拒绝的局限性。它通过在保留提示词语义意图的同时手术式地移除政策违规内容，成功弥合了安全与可用性之间的鸿沟。

局限性（作者所述）：

延迟： 系统引入了开销（对于 UNet 模型，每个审计步骤约增加 7–8 秒；对于流匹配模型，最高可达 20 秒），尽管通过仅审计最后几个步骤可以减轻影响。
单一家族修复器： 无论基础模型为何，修复模型均基于 SD 1.5 Inpainting。虽然重插入技术弥补了差距，但使用原生架构（如 FLUX.1）的修复器能更好地保留风格属性。
粗粒度策略分类： 系统是在三类标签下训练的：{安全, 裸露, 暴力}。它无法检测更微妙的违规行为，如偏见、刻板印象或未体现为局部显性内容的文化敏感性问题。
对抗鲁棒性： 系统假设审计器是可靠的。了解审计器架构的白盒攻击者可能会设计出能够抑制审计器评分同时满足基础模型的输入。
领域差距： 在分布外风格（如高度风格化的艺术）上，性能可能会下降，因为审计器的热力图生成可能不够准确，从而导致错误的修复或触发失败。
静态校准： 阈值是在固定的攻击分布上进行离线校准的；随着攻击方法的演进，需要定期进行重新校准。