Training-Free Debiasing of Diffusion Models via CLIP-Guided Denoising Optimization

技术摘要：通过 CLIP 引导的去噪优化实现扩散模型的免训练去偏

问题陈述
文本生成图像（T2I）扩散模型（如 Stable Diffusion）能够生成高质量图像，但往往表现出显著的人口统计学偏差。尽管接收的是中性提示词（例如“一张 CEO 的照片”），这些模型仍会持续产生关于性别和种族的刻板印象，从而强化现有的社会偏见，并导致某些群体的系统性代表性不足。现有的解决方案面临关键局限性：基于训练的方法（重训或微调）计算成本高昂，且难以应用于已部署或闭源模型；而推理时方法通常依赖于启发式提示词工程或静态潜空间操作，这会导致图像质量下降、语义对齐失效或缺乏动态适应性。

方法论：文本嵌入转向 (Text Embedding Steering, TES)
作者提出了 文本嵌入转向 (TES)，这是一个免训练框架，通过在扩散过程中直接优化条件文本嵌入来减轻人口统计学偏差，而无需修改模型参数。驱动 TES 的核心观察是：人口统计属性主要在去噪的早期阶段（即全局图像结构形成时）被确定。

该方法通过集成到使用 DDIM 采样的标准分类器自由引导（CFG）流水线中的两阶段优化策略来运行：

1. 早期阶段全局对齐： 在细粒度视觉细节出现之前，TES 对文本嵌入进行初始梯度更新，以引导全局生成轨迹向预定义的目标人口统计分布靠拢。
2. 迭代去噪时细化： 在初始对齐之后，TES 在随后的去噪步骤中不断细化嵌入。这种细化利用了基于 CLIP 的反馈，该反馈源自每一步骤中重建的中间“清洁图像”估计值 ($\hat{x}_0$)。

优化目标
TES 优化原始文本嵌入 ($e_0$) 的加性扰动 ($\Delta e$)，使得 $e_t = e_0 + \Delta e$。优化过程旨在最小化在一个特定时间步窗口内计算的复合损失函数 ($L_{total}$)，在该窗口内重建的图像具有语义意义，且轨迹仍具灵活性：

• 属性损失 ($L_{attr}$)： 利用 CLIP 余弦相似度，鼓励生成的图像与目标属性描述（如“一名女性”）对齐，同时反对对比属性（如“一名男性”）。
• 职业损失 ($L_{prof}$)： 保留原始提示词（如“CEO”）的语义内容，以防止模型偏离预定主题。
• 正则化 ($L_{reg}$)： 对嵌入扰动施加 $L_2$ 惩罚，以防止过度偏离原始嵌入。

该框架根据时间步动态调整学习率，在高噪声阶段应用较小的更新，并随着可靠语义信息的可用性增加而增强更新强度。

核心贡献

1. 免训练框架： TES 通过在推理期间持续优化文本嵌入来减轻人口统计学偏差，不需要模型重训、微调或辅助模块。
2. 两阶段策略： 作者确定了早期干预对于全局轨迹控制的重要性，并结合了迭代细化以保持稳定性并防止回退到有偏结果。
3. 动态上下文感知控制： 不同于依赖固定方向或静态映射的方法，TES 根据中间清洁图像估计值来调整嵌入，实现了上下文感知的统计学属性转向。

实验结果
在 Stable Diffusion v2.1（以及用于泛化性的 v1.5）上针对六类职业（如 CEO、护士、出租车司机）和两种人口统计属性（性别和种族）进行了广泛实验。

• 公平性： TES 显著优于现有的免训练基准方法（如 LightFair、EntiGen）和原始的 Stable Diffusion。在性别去偏方面，它将 Bias-O 指标从 0.85（基准）降低至 0.26，并将公平性差异 (FD) 从 0.54 降低至 0.13。在种族去偏方面，Bias-O 从 0.63 降至 0.15。
• 质量与语义： 尽管进行了激进的去偏处理，TES 仍保持了极具竞争力的图像质量。它取得了最佳的 FID 分数（性别为 226.13，种族为 228.52）和高 CLIP-T 分数，表明具有很强的文本-图像语义对齐性。该方法在改变人口统计属性的同时，成功保留了职业语义和视觉连贯性。
• 消融实验： 结果证实，早期对齐和迭代细化两者都是必要的；仅使用其中一个阶段会导致公平性控制不佳或语义对齐不稳定。此外，包含职业保留损失对于维持预定主题至关重要。

意义与主张
论文声称 TES 证明了推理时文本嵌入优化是一种实用且可扩展的公平感知生成方案。通过将偏差缓解与模型重训解耦，该方法提供了一种即插即用的机制，可应用于现有的已部署扩散模型。作者断言，与现有技术相比，其方法在公平性和图像质量之间取得了更优的平衡，在不牺牲生成内容的可靠性或视觉保真度的前提下，产生了更平衡且真实的社会角色呈现。这项工作强调，对嵌入进行动态、上下文感知的转向是减少生成式 AI 中系统性人口统计学偏差的一条可行路径。