技术摘要：用于长尾扩散模型的对比式条件-无条件对齐 (CCUA)

问题陈述

用于类别条件图像合成的训练数据通常呈现长尾分布，其特征是“尾部”类别的图像数量远少于“头部”类别。这种不平衡导致扩散模型在为这些代表性不足的类别生成图像时，会出现**模式崩塌（mode collapse）**和多样性降低的问题。现有的方法，包括标准的去噪扩散概率模型 (DDPM) 和基于分数的扩散模型 (SBDM)，往往无法在不损害头部类别生成质量的前提下，为这些欠代表类别生成高保真度和多样性的图像。虽然对比学习已在长尾识别和基于 GAN 的生成中被证明有效，但将其应用于扩散模型以解决类别不平衡生成问题，需要进行新的适配，以应对去噪过程的具体机制。

方法论：对比式条件-无条件对齐 (CCUA)

作者提出了 CCUA，这是一个包含两个协同损失函数的框架，旨在提高尾部类图像的多样性和保真度，同时保持头部类别的质量。该方法兼容基于 U-Net 的架构以及扩散 Transformer (DiT/SiT)。

1. 用于无条件生成的无监督对比损失 (UCL)

为了解决模式崩塌问题，作者引入了一种应用于无条件生成潜变量的无监督对比损失。

• 机制： 将噪声估计网络拆分为一个潜变量编码器 $e(\cdot)$ 和一个解码器 $d(\cdot)$。编码器将噪声图像 $x_t$ 映射到低维潜变量 $h$。
• 损失公式： 该损失使用仅包含负样本的 InfoNCE 式公式。在同一个小批量（mini-batch）内，每张图像作为锚点（anchor），批次中的所有其他图像作为负样本。这里没有通过数据增强创建正样本对；锚点本身被视为自身的正向向量。
• 目标： 这在潜变量空间中创造了一种“排斥力”，无论类别如何，都使合成图像之间的距离最大化。这迫使模型使无条件潜变量多样化，防止它们崩塌为一个常数向量或过拟合于有限的训练样本。
• 理论依据： 直接将对比损失应用于条件潜变量会导致一个平凡解，即模型在最大化类间多样性（分离类别）的同时忽略了类内多样性。通过将损失应用于无条件潜变量，模型被强制使所有样本多样化，这种多样性随后通过第二个损失函数蒸馏到条件生成中。

2. 用于条件-无条件对齐的对齐损失 (AL)

第二个组件将条件生成与多样化的无条件生成进行对齐。

• 机制： 该损失最小化条件分布 $p_\theta(x_{t-1}|x_t, c)$ 与无条件分布 $p_\theta(x_{t-1}|x_t)$ 之间的 KL 散度。在实践中，这被简化为估计噪声 $\epsilon_\theta(x_t, t, c)$ 与 $\epsilon_\theta(x_t, t, \emptyset)$ 之间的 MSE 损失。
• 时间权重： 至关重要的是，这种对齐在大时间步长（反向过程的初始阶段）处权重更高。
• 动机： 作者观察到，在初始去噪步骤期间，来自不同类别的图像（以及条件生成与无条件生成之间）的低频分量高度相似。通过对齐这些初始步骤，模型可以促进知识共享，将知识从头部类别（数据丰富）传递给尾部类别（数据稀缺）。这使得尾部类别能够在生成的早期阶段，从头部类别所学习到的丰富多样性中获益。

3. 协同作用

该框架将标准的 DDPM 损失与提出的 CCUA 损失相结合：
$$\mathcal{L}_{total} = \mathcal{L}_{ddpm} + \alpha \cdot \mathcal{L}_{ucl} + \gamma \cdot \mathcal{L}_{al}$$
其协同作用在于：UCL 使无条件潜变量空间多样化，而 AL 将条件潜变量空间对齐到这个多样化的无条件空间。这种对条件潜变量的间接多样化处理，在实验中被证明比直接对条件潜变量应用对比损失更为有效。

核心贡献

1. CCUA 框架： 一种针对类别不平衡扩散模型的新颖方法，结合了无条件潜变量上的无监督对比学习与条件-无条件对齐损失。
2. 对齐策略： 提出专门在大时间步长（初始去噪步骤）对齐条件与无条件生成，以利用低频分量的相似性并实现从头部到尾部的知识迁移。
3. 无监督对比正则化： 使用仅含负样本的无监督对比损失作用于无条件潜变量，在不需要类别标签进行对比配对的情况下，最大化类内和类间多样性。
4. 架构无关性： 该方法被证明在基于 U-Net 的架构和扩散 Transformer (SiT) 上均有效。

实验结果

该方法在 ImageNet-LT (256×256)、TinyImageNet-LT (64×64)、Places-LT (64×64) 和 CIFAR-LT 数据集上进行了评估。

• 定量性能：
  • 在 ImageNet-LT 上，CCUA 显著优于包括 SiT、CBDM、REPA 和 Dispersive Loss 在内的基线模型。
  • 在 900k 训练步数时，CCUA 实现了 FID 为 15.1（相比之下 SiT 为 19.9）和 FID$_{tail}$ 为 22.5（相比之下 SiT 为 33.9），代表了尾部类别保真度约 11.4 点的提升。
  • 该方法在全线指标上也提高了召回率（多样性）和精确度（保真度）。
  • 在 TinyImageNet-LT 上，CCUA 取得了最佳的 FID (12.0) 和 FID$_{tail}$ (20.8)，超越了 DDPM、CBDM 和 OCLT。
• 定性结果： 可视化显示，与经常在这些类别上产生重复或低质量图像的标准 SiT 相比，CCUA 能为尾部类别（例如“红葡萄酒”、“浓缩咖啡”、“窗帘”）生成更高多样性和保真度的图像。
• 消融实验：
  • 两种损失的结合是必要的；仅使用其中之一会导致结果欠佳。
  • 在大时间步长应用对齐损失（线性权重）优于恒定或二次方权重。
  • 使用来自 Transformer 第 N/4 块的潜变量表示，通常能在整体 FID 与空间 FID/召回率之间提供最佳权衡。

重要性与主张

本文声称 CCUA 通过将长尾 GAN 的原则（特别是针对较低分辨率/早期阶段的无条件训练）适配到扩散范式中，有效地解决了长尾生成问题。通过将多样化任务（由无条件对比学习处理）与条件任务（由对齐处理）解耦，该方法避免了直接进行条件对比正则化的陷阱。

作者强调，其方法：

• 在不降低头部类别质量的前提下，改善了尾部类别的生成。
• 易于在现有的 DDPM 和 SBDM 流水线中实现。
• 在极端类别不平衡场景下（例如不平衡因子为 0.001 的 ImageNet-LT），优于同期的 Dispersive Loss 和 DiffROP。
• 为为什么在反向过程的初始步骤对齐条件与无条件生成有利于长尾设置下的知识共享，提供了理论和实证依据。