ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

技术摘要：ContrastiveCFG

问题陈述
分类器自由引导（Classifier-Free Guidance, CFG）已成为通过锐化后验分布来提高扩散模型采样中条件对齐度的标准方法。然而，CFG 的一种常见应用是“负向提示词”（Negative Prompting, NP），即用户试图通过简单地取反 CFG 引导向量（即 $p(x)/p(c|x)^\gamma$）来过滤掉不需要的特征。本文指出，这种朴素方法存在一个关键缺陷：取反操作会导致概率分布发生反转。随着引导尺度 $\gamma$ 的增加，这种反转后的分布会主导边际数据分布，导致样本漂移到低密度区域或完全超出原始数据支撑集之外。这会导致样本质量显著下降并产生伪影。虽然最近的方法（如动态负向引导 DNG）尝试通过使用互补条件来缓解这一问题，但在正向和负向条件不互斥（例如，存在重叠的文本提示词）时，这些方法往往难以在不损害所需概念的前提下完全移除不需要的概念。

方法论
作者提出了 ContrastiveCFG (CCFG)，这是一种全新的引导策略，它通过使用对比损失（contrastive loss）——具体源自噪声对比估计（Noise Contrastive Estimation, NCE）——将条件采样重新表述为一个优化问题。

1. 核心概念： CCFG 不再是对概率分布进行取反，而是将引导视为一个目标，即利用对比损失函数，要么将去噪方向吸引向正向条件（$c_+$），要么将其排斥开负向条件（$c_-$）。
2. 推导：
   • 该方法使用预训练的扩散模型对数据分布 $p_\theta(x)$ 进行参数化，并基于无条件（或替代性）预测定义一个噪声分布 $q(x)$。
   • 对于正向引导，模型最小化一个损失函数，旨在鼓励预测的噪声 $\epsilon$ 与条件噪声 $\hat{\epsilon}_{c}$ 对齐，同时将其与无条件噪声 $\hat{\epsilon}_{\emptyset}$ 区分开来。
   • 对于负向引导，角色发生了反转：模型最小化一个损失函数，旨在将预测的噪声推离不需要的条件 $\hat{\epsilon}_{c_-}$，同时保持其靠近无条件基准。
3. 采样策略：
   • 作者基于对比损失的梯度，推导出了去噪方向 $\hat{\epsilon}$ 的闭式更新规则。
   • 生成的引导项包含一个动态权重系数（取决于条件预测与无条件预测之间的距离）。
   • 至关重要的一点是，随着当前样本与负向条件的相关性逐渐降低，负向引导的强度会自动衰减至零。这防止了标准 NP 中出现的“过度排斥”和分布偏移问题。
   • 该方法可以无缝集成到现有的确定性 DDIM 采样中，仅需极小的计算开销，仅需对条件模型和无条件模型进行额外的正向传播。

主要贡献

• 新颖的引导公式： 本文引入了一个基于对比损失的扩散引导框架，避免了标准负向提示词中由于概率分布反转而导致的数学陷阱。
• 动态衰减： 与静态取反方法不同，CCFG 能够自动控制排斥强度。当样本远离不需要的概念时，引导力会随之减弱，从而确保采样过程始终保持在有效的有效数据流形内。
• 统一框架： 该方法在单一且一致的数学公式内处理正向和负向条件，实现了对所需概念的吸引和对不需要概念的排斥，无需针对冲突解决进行复杂的经验性调整或超参数微调。

实验结果
作者在多种场景下评估了 CCFG，包括类别条件生成（MNIST, CIFAR10, ImageNet-1k）和文本生成图像（T2I）任务（StableDiffusion 1.5, SDXL）。

• 类别条件生成： 在 ImageNet-1k 上，与 CFG++, NP, DNG, Perp-Neg 和 SLD 等基线方法相比，CCFG 取得了最高的“整体准确率”（即同时实现正向对齐和负向排除）。它成功地移除了不需要的类别（例如，区分相似的品种，如马尔济斯犬与西伯利亚哈士奇），同时保持了高审美得分和图像质量；相比之下，NP 会降低图像质量，而 DNG 则无法完全排除重叠类别。
• 文本生成图像： 在 T2I 任务中，CCFG 展示了在处理复杂的、存在重叠的文本提示词时，能够精准移除不需要的概念，而不会扭曲正向提示词或引入伪影。视觉示例表明，虽然 NP 经常会移除整个类别（例如，在要求移除“草莓”时移除了所有红色水果）或破坏图像连贯性，但 CCFG 能够精确打击目标对象。
• 定量基准测试： 在提出的 PIE-Bench-Neg 数据集上，CCFG 在正向提示词对齐（通过 CLIP, ImageReward, HPS-v2 衡量）和负向提示词抑制方面均达到了最先进的性能，超越了其他先进的负向引导方法。

意义与主张
本文声称，ContrastiveCFG 为现有负向引导方法的局限性提供了一个在理论上严谨且在实践中有效的解决方案。通过用对比优化目标取代朴素的概率反转，CCFG 在实现类似于传统 CFG 对正向条件的引导效果的同时，克服了与负向提示词相关的样本质量下降和分布偏移问题。作者强调，该方法能够忠实地移除不需要的概念，而不牺牲样本质量，即使在正向和负向条件重叠的情况下也能保持高效，使其成为扩散模型精细化控制的强大工具。