技术摘要：DeDPO：用于扩散模型的去偏直接偏好优化

1. 问题陈述

直接偏好优化（DPO）已成为将扩散模型与人类偏好对齐的标准方法，通过消除对独立奖励模型的依赖，为强化学习人类反馈（RLHF）提供了一种高效的替代方案。然而，DPO 面临一个关键的可扩展性瓶颈：它依赖于大规模、高质量的人类偏好标签，而获取这些标签的成本极高且耗时。

近期尝试使用合成偏好（由 AI 模型生成）来解决这一问题的做法往往会失败，因为这些合成标签可能存在噪声、与真实人类判断不一致或引入系统性偏差。直接在如此不完美的反馈上进行训练会导致对齐不稳定且性能下降。核心挑战在于如何利用大量廉价的合成数据，同时仅使用少量高质量的人类标签来纠正其固有的噪声和偏差。

2. 方法论：DeDPO（去偏 DPO）

作者提出了 DeDPO，这是一个半监督框架，它将来自因果推断的去偏估计技术集成到 DPO 目标函数中。该方法运行在如下设定下：一小部分数据带有真实的人类偏好标签，而更大规模的数据则带有由高性价比 AI 反馈（例如视觉语言模型或自训练）生成的合成偏好标签。

2.1 将 DPO 重构为二元分类

作者首先将标准的 Diffusion-DPO 损失重新解释为一个二元分类问题。对于图像对 $(x_0, x_1)$ 和提示词 $c$，偏好标签 $z$ 指示了哪张图像更受青睐。DPO 损失被重写为二元交叉熵损失 $L(G_\theta(y), z)$，其中 $G_\theta$ 是模型的隐式边际预测器。

2.2 去偏损失函数

在一种朴素的半监督方法中，人们可能会简单地用合成标签 $\hat{G}(y)$ 来填补缺失的人类标签，这会导致有偏的结局回归（Outcome Regression, OR）估计量。DeDPO 则提出了一种去偏损失（公式 8），它结合了有标签数据和无标签数据：

$$L_{DeDPO}(\theta) = \mathbb{E}_{n_l+n_u} [L(G_\theta(y), \hat{G}(y))] + \mathbb{E}_{n_l} [L(G_\theta(y_l), z_l) - L(G_\theta(y_l), \hat{G}(y_l))]$$

其中：

• $n_l$ 和 $n_u$ 分别是有标签和无标签样本的数量。
• $z_l$ 是真实的地面真值（ground-truth）人类标签。
• $\hat{G}(y)$ 是合成标签。

纠正机制：

• 无标签数据： 损失函数直接使用合成伪标签 $\hat{G}(y)$ 作为监督信号。
• 有标签数据： 损失函数引入了一个纠正项 $(z_l - \hat{G}(y_l))$，将伪标签向真实的人类标签进行偏移。该纠正项通过重要性权重 $\frac{n_l + n_u}{n_l}$ 进行放大，该权重反映了有标签数据的稀缺性。
• 理论特性：
  1. 无偏性： DeDPO 损失的期望等于总体层面的 DPO 损失，无论合成标签是否正确。如果合成标签是完美的，它会利用所有数据；如果合成标签完全错误，它会渐近地退化为仅使用有标签数据。
  2. 对合成模型收敛性的鲁棒性： 作者证明，即使合成偏好模型 $\hat{G}$ 的收敛速度慢得多，目标扩散模型 $\theta$ 也能实现最优收敛率（具体而言，误差项取决于合成模型误差的 4 次方）。这使得系统即使在合成标注者不完美的情况下也能保持鲁棒。

2.3 合成偏好来源

该框架支持两种主要的合成标签来源：

1. 自训练（Self-Training）： 使用当前策略 $\theta$（来自前几次迭代）的隐式奖励边际来生成标签。作者指出，为了避免过拟合，合成模型理想情况下应在独立于 DPO 训练集的数据上进行训练。
2. 预训练视觉语言模型（VLMs）： 使用如 Qwen 或 CLIP 等模型对图像对进行标注。在本文的设定中，这种方式更受青睐，因为它避免了在相同有标签数据上进行自训练所固有的独立性违规问题。

3. 核心贡献

• 为扩散模型引入去偏估计： 本文首次将来自因果推断的去偏估计技术应用于扩散模型的偏好优化问题。
• 半监督对齐： 它建立了一个稳健的框架，利用少量的人类标签（例如 25%）并辅以大规模合成标签来对齐扩散模型，且无需单独的奖励模型。
• 理论保证： 作者提供了理论证明，表明所提出的损失函数是无偏的，并且只要合成模型是在独立数据上训练的，学习过程对合成偏好模型的误差具有鲁棒性。

4. 实验结果

作者在 FiFA-5K 和 HPDv2 数据集上使用 SD1.5 和 SDXL 主干网络对 DeDPO 进行了评估。

• 性能对比完全监督 DPO： 使用 25% 人类标签和 75% 合成标签训练的 DeDPO，其表现始终能达到或略微超过使用 100% 人类标签训练的 DPO。
  • 在使用 SD1.5 的 FiFA-5K 上，DeDPO 达到了 PickScore 21.91 和 HPSv2 27.80，超过了全监督 DPO 基线（21.88 PS, 27.79 HPSv2）。
  • 在 SDXL 上，DeDPO 匹配了全监督性能（22.83 PS vs. 22.84 PS）。
• 对噪声的鲁棒性： 相比之下，将合成标签与 DPO 直接混合（不进行去偏）的朴素方法表现始终较差，这表明如果不进行纠正，单纯添加合成数据会降低对齐质量。
• 可扩展性： 随着无标签合成数据集的大小增加（高达 98K 对），DeDPO 保持了稳定的性能，而传统的 DPO 性能则因噪声标签的累积而显著下降。
• 定性改进： 定性比较显示，与使用较少人类标签或朴素合成混合的模型相比，DeDPO 能更好地捕捉细粒度细节和组合约束（例如复杂提示词中的特定物体）。
• AI 作为评判者（AI-as-a-Judge）： 在通用偏好和视觉吸引力方面，符合人类对齐标准的 AI 评判者（Gemini 2.5 Flash）在约 57% 的案例中更倾向于 DeDPO 而非全监督 DPO，在约 76% 的案例中更倾向于 DeDPO 而非半监督 DPO。

5. 重要性与主张

论文声称 DeDPO 为扩散模型的人类-AI 对齐提供了一种可扩展且具成本效益的解决方案。通过集成去偏估计，该方法成功地将廉价、有噪声的合成反馈转化为可靠的训练信号。

作者断言，DeDPO：

1. 克服了数据瓶颈： 它实现了利用极小比例的人类标签进行高质量对齐，使得大规模偏好优化在无需高昂成本的情况下变得可行。
2. 确保了鲁棒性： 它对合成标注者（包括自训练和 VLM）固有的变化和噪声具有韧性，防止了在合成偏好上进行训练时常见的稳定性问题。
3. 实现了最先进的效率： 它达到了与使用全人类标签数据集训练的模型相当、甚至偶尔超越其性能的水平，为高效偏好优化树立了新标准。

该研究结论认为，经过正确去偏处理的合成反馈是广泛人类标注的有效且可靠的替代品，为使生成模型与人类价值观对齐提供了一条切实可行的路径。