技术摘要：通过推理时提示-噪声优化（PNO）保障文本生成图像的安全性

1. 问题陈述

文本生成图像（T2I）扩散模型虽然能够生成高质量且多样化的图像，但由于继承自大规模、未经过滤训练数据集的偏差，容易产生包含敏感或不当内容的安全性问题。现有的安全机制面临显著局限性：

• 数据过滤与重训练： 计算成本高昂，且往往无法完全移除所有不安全内容。
• 微调： 需要大量的资源，难以泛化到未见过的提示词，并存在降低图像质量的风险。
• 推理时干预（引导/编辑）： 诸如负向提示词（Negative Prompting）或模型编辑等方法通常容易被绕过，且缺乏鲁棒性，难以抵御对抗性攻击。
• 根本冲突： 在忠实遵循用户提示词与避免不安全输出之间存在内在的张力。现有方法往往无法平衡这两个目标，要么牺牲了安全性，要么显著偏离了预期的语义。

此外，T2I 系统极易受到对抗性攻击的影响，即恶意构造提示词以绕过安全过滤器。本文指出一个关键差距：目前缺乏一种稳健的、无需训练的方法，能够有效地在不进行大规模模型重训练的情况下，既能抑制毒性生成，又能保持高水平的提示词-图像对齐。

2. 方法论：提示-噪声优化 (PNO)

作者提出了 提示-噪声优化 (PNO)，这是一种在推理阶段运行的新颖、无需训练的框架。PNO 将安全图像生成视为一个优化问题，共同调整扩散采样过程中的两个基本组成部分：

2.1. 优化变量

PNO 不是修改模型权重或离散的文本提示，而是在连续空间中进行优化：

1. 连续提示嵌入 ($c$)： 文本提示的潜在表示（例如通过 CLIP）。在连续空间中进行优化，使得与离散文本修改相比，能够实现更精细的语义控制。
2. 注入噪声轨迹 ($\tau = \{x_T, z_T, \dots, z_1\}$)： 去噪过程中使用的噪声样本序列（特别是在 DDIM 采样中）。噪声轨迹控制着低层细节和图像的具体呈现形式。

2.2. 目标函数

其目标是最小化毒性损失函数，同时保持噪声的高斯特性并维持与原始提示词的对齐。该优化问题公式化为：
$$\min_{c, \tau} L_{toxic}(x_0) + \lambda L_{reg}(\tau)$$
约束条件为：
$$x_0 = \text{DDIM}(c, \tau)$$

• $L_{toxic}(x_0)$： 量化生成图像 $x_0$ 不恰当程度的损失函数，通常由预训练的图像安全性分类器（如 Q16）进行衡量。
• $L_{reg}(\tau)$： 正则化项，确保优化的噪声轨迹仍接近标准高斯分布，防止生成过程变得不稳定。
• $\lambda$： 控制正则化强度的超参数。

2.3. 算法

PNO 采用基于梯度的优化循环（算法 2）：

1. 初始化： 通过用户文本初始化提示嵌入 $c$，并通过随机采样初始化噪声轨迹 $\tau$。
2. 采样： 使用当前的 $c$ 和 $\tau$ 通过 DDIM 采样器生成图像 $x_0$。
3. 评估： 计算毒性损失和正则化损失。
4. 更新： 计算关于 $c$ 和 $\tau$ 的梯度，并使用优化器（如 Adam）对其进行更新。
5. 终止： 该过程迭代执行，直到毒性损失低于阈值或达到最大迭代次数。

2.4. 联合优化的理论依据

论文认为，仅优化提示词或仅优化噪声都是次优的：

• 仅噪声优化： 只能调整低层细节。如果提示嵌入编码了一个有毒的概念，噪声扰动无法消除高层语义层面的毒性。
• 仅提示优化： 虽然可以消除毒性，但往往需要对嵌入空间进行大幅度偏移，从而导致与原始提示词的语义对齐度显著下降。
• 联合优化： 通过利用这两个方向，噪声轨迹可以吸收部分“毒性梯度”，从而允许提示嵌入仅在必要时才进行移动以脱离毒性区域。这实现了安全性与对齐度之间更优的权衡。

3. 核心贡献

1. 新颖框架： 引入了 PNO，这是首个利用提示嵌入和扩散噪声轨迹进行推理时联合优化，从而在无需模型重训练的情况下增强 T2I 安全性的方法。
2. 协同效应发现： 证明了提示嵌入（控制生成“什么”）与噪声轨迹（控制如何“渲染”）在实现安全目标方面的理论与经验上的协同作用。
3. 鲁棒性： 验证了 PNO 对于旨在绕过现有安全机制的对抗性攻击具有鲁棒性。
4. 最优权衡： 经验证据表明，PNO 达到了优于现有方法的帕累托前沿（Pareto frontier），在图像安全性与提示词对齐度之间实现了比任何基准方法更好的平衡。
5. 高效性： 这是一种无需训练的方法，与需要大量资源的微调或重训练相比，仅产生微小的推理成本。

4. 实验结果

作者在 I2P 数据集（自然毒性提示）和 Ring-a-bell 数据集（对抗性提示）上对 PNO 进行了评估，并使用 Stable Diffusion 1.5 (SD1.5) 作为骨干网络。

4.1. 毒性降低

• I2P 数据集： PNO 在大多数类别中实现了近乎 100% 的安全生成，显著优于 SafeGen、SalUn、UCE 等基准方法以及 SLD 和负向提示词等推理时方法。
• 对抗鲁棒性： 在 Ring-a-bell 数据集上，PNO 将毒性百分比降低至 0.00%（Q16 指标），而其他方法表现挣扎，生成的图像不安全率往往与基础模型相当甚至更高。
• 泛化能力： 当使用独立的视觉语言模型 (VLM) 进行评估，并使用不同的安全性分类器 (MHSC) 进行交叉检查时，结果保持一致，排除了针对单一评估器的奖励黑客行为（reward hacking）。

4.2. 质量与对齐

• CLIP 分数： PNO 保持了较高的 CLIP 分数（文本-图像对齐度），证明了安全执行并未以忽略用户提示词为代价。
• 权衡： PNO 的配置（通过改变学习率）形成了占优的帕累托前沿，提供了比其他评估方法更好的安全性-对齐度权衡。
• 效率： 对于超过 60% 的提示词，PNO 在 3 次迭代（不到 20 秒）内即可达到安全生成。它不需要额外的训练数据或模型微调，可在消费级 GPU 上有效运行。

4.3. 消融研究

• 联合 vs 单一： 噪声与提示的联合优化显著优于仅优化其中一个组件，能在保持合理对齐度的同时实现近乎零毒性，且迭代次数更少。
• 初始化： 初始噪声轨迹的随机搜索提高了所有指标的表现。
• 步长： 较大的步长能更快地最小化毒性，而较小的步长则优先考虑对齐度，为不同的用户需求提供了灵活性。

5. 意义与主张

本文声称 PNO 是使 T2I 扩散模型变得值得信赖的重要一步。其主要意义在于：

• 无需训练的安全机制： 它提供了一种实用的、可部署的解决方案，不需要承担重训练或微调大型模型的极高成本。
• 鲁棒性： 它解决了当前系统易受对抗性攻击的致命漏洞，提供了一种难以被绕过的防御机制。
• 平衡优化： 通过利用噪声轨迹和提示嵌入提供的正交控制，它解决了安全性与实用性之间的冲突，实现了以往安全干预手段无法达到的对齐保持水平。

作者总结道，PNO 有潜力成为安全图像生成的标准方法，未来的工作将集中在优化推理速度以及开发更稳健的安全评估目标函数上。