Beyond Pairwise Preferences: Listwise Reward-Aware Alignment for Diffusion Models

技术摘要：Diffusion LAIR

问题陈述
当前用于对齐文本到图像扩散模型的偏好优化方法，如直接偏好优化（DPO）及其扩散专用变体（例如 Diffusion-DPO、DSPO），主要依赖成对监督。这些方法将训练数据简化为给定提示下的二元“胜者 - 败者”比较。作者认为这种简化具有局限性，主要原因有二：

1. 数据结构：实际的偏好数据集（例如 Pick-a-Pic）通常包含单个提示的多个候选图像，形成了天然的列表结构，而成对方法忽略了这一点。
2. 信息丢失：现代奖励模型提供连续分数。将这些分数简化为单一的二元标签，会丢弃未选中候选者的相对质量信息，并忽略样本间奖励差距的幅度。
   此外，现有的用于扩散对齐的在线强化学习（RL）方法计算成本高昂、难以并行化，且由于其同策略（on-policy）特性，对分布偏移敏感。虽然离线方法效率更高，但它们尚未充分利用列表式、奖励评分数据中可用的更丰富信号。

方法论：Diffusion LAIR
本文提出了Diffusion LAIR（列表式优势加权隐式奖励），这是一种将对齐视为列表式、奖励感知问题的离线偏好优化方法。

• 数据表示：该方法不处理独立的成对数据，而是处理提示 $c$ 及其对应的 $N_c$ 个候选图像集合 $\{x^{(i)}_0\}$ 和相应的连续奖励分数 $\{r_i\}$。
• 优势加权：奖励分数被转换为中心化优势权重（$w_i$）。首先，使用温度参数 $\tau$ 计算 softmax 概率 $p_i$。然后，将权重相对于均匀基线进行中心化：
  $$w_i = p_i - \frac{1}{N_c}$$
  这确保了 $\sum w_i = 0$，即相对于组平均值，为高奖励样本分配正权重，为低奖励样本分配负权重。
• 优化目标：该方法对隐式奖励进行优势加权回归优化。隐式奖励定义为当前模型（$\theta$）相对于固定参考模型（$ref$）的去噪损失改进：
  $$s_\theta(x_0, x_t, t, c, \epsilon) = \omega(\lambda_t) (l_{ref} - l_\theta)$$
  损失函数为：
  $$L_{LAIR} = \mathbb{E} \left[ -\sum_{i=1}^{N_c} w_i s^{(i)}_\theta + \frac{\lambda}{N_c} \sum_{i=1}^{N_c} (s^{(i)}_\theta)^2 \right]$$
  第一项鼓励模型增加高奖励样本的隐式奖励，并降低低奖励样本的隐式奖励。第二项是二次惩罚项，用于正则化隐式奖励的幅度，防止其相对于参考模型发生激进的偏离。

理论分析
作者提供了该目标的理论表征：

1. 闭式最优解：该目标在隐式奖励空间中承认唯一且有界的闭式最优解：$s^*_i = \frac{N_c}{2\lambda} w_i$。这阐明了正则化强度 $\lambda$ 直接控制偏好更新的幅度。
2. 代理 KL 界限：在特定假设下（对数比率近似和有界全支撑扩展），作者推导出了诱导分布与参考分布之间 Kullback-Leibler (KL) 散度的界限：$D_{KL} \le \frac{\Delta_c}{\eta}$。这表明 $\lambda$ 控制偏好倾斜的锐度，确保更新保持保守。
3. 相对于成对方法的优势：与可能导致隐式奖励趋向无穷大以最大化胜者与败者之间差距的成对目标（如 Bradley-Terry）不同，LAIR 的列表式公式基于整个候选集分配有限的相对目标，从而保留了排序结构和奖励间距。

实验结果
该方法在 Stable Diffusion 1.5 (SD1.5) 和 Stable Diffusion XL (SDXL) 上进行了评估，使用了 Pick-a-Pic v2 数据集。

• 设置：图像使用 PickScore 奖励模型进行离线评分。模型经过微调，并在文本到图像生成（HPD、Parti-prompts）、组合生成（GenEval）以及基于指令的图像编辑（InstructPix2Pix）任务上进行评估。
• 性能：Diffusion LAIR 在大多数指标上优于强基线模型（Diffusion-DPO、DSPO、Diffusion-KTO、MaPO、InPO）。
  • 在 SD1.5 上，它在 Parti-prompt 和 HPD 数据集的 PickScore、HPS、Aesthetics、CLIP 和 ImageReward 指标上均取得了最高分数。
  • 在 SDXL 上，它同样优于基线模型，包括 MaPO 和 Diffusion-DPO。
  • 泛化性：值得注意的是，尽管仅使用 PickScore 进行训练，该模型在其他指标（例如 ImageReward）上仍显示出显著改进，这表明列表式目标改善了特定奖励模型之外的整体样本质量。
  • 组合与编辑：与成对基线相比，该方法在 GenEval（组合推理）和 InstructPix2Pix（图像编辑）的胜率上表现出一致的增益。
• 效率：训练过程比在线 RL 基线显著更高效，并且与其他离线方法相当或更高效，SD1.5 约需 24 个 GPU 小时，SDXL 约需 140 个 A100 GPU 小时。

意义与主张
本文主张，Diffusion LAIR 通过超越成对简化的局限性，为对齐扩散模型提供了一个简单且有效的方向。其主要贡献如下：

1. 列表式学习：这是首个直接利用奖励评分图像组进行扩散偏好优化的方法，充分利用了相对样本质量的完整结构。
2. 理论清晰度：它提供了有界的闭式最优解，揭示了正则化如何控制分布偏移和更新幅度。
3. 实证优越性：它在生成、组合和编辑任务中展示了强大的性能，证明了列表式、奖励感知的优化比成对方法能带来更广泛的改进。

作者指出了局限性，具体包括对训练所用奖励模型质量的依赖，以及理论 KL 界限中的理想化假设。然而，他们提出该方法对人工标注数据集中常见的噪声偏好标签具有鲁棒性。