技术摘要：迈向通用偏好对齐：纳什均衡下的扩散模型

问题陈述

基于人类反馈的强化学习（RLHF）及其计算高效的变体直接偏好优化（DPO）已成为将文本到图像（T2I）扩散模型与人类偏好对齐的标准方法。然而，现有的基于偏好的扩散对齐方法大多继承了 RLHF 范式，依赖由 Bradley–Terry（BT）模型诱导的隐式奖励信号。作者指出，BT 模型关于传递性（若 A > B 且 B > C，则 A > C）的假设无法捕捉人类偏好的全部复杂性，因为人类偏好可能具有非传递性（例如“石头 - 剪刀 - 布”循环）。此外，当前方法通常在优化前将人类偏好转换为奖励诱导函数，而非直接对偏好关系进行建模。本文提出，博弈论视角，特别是基于人类反馈的纳什学习（NLHF），为扩散对齐提供了一个更稳健的框架，避免了 BT 模型中限制性传递性假设的问题。

方法论：扩散纳什偏好优化（Diff.-NPO）

作者提出了Diff.-NPO，这是一个源自纳什均衡视角的通用偏好优化框架。Diff.-NPO 将对齐问题表述为当前策略（$\pi$）与先前策略（$\pi_{prev}$）之间的二人零和博弈，并由参考策略（$\pi_{ref}$）进行正则化，而非最大化 BT 诱导的似然。

核心框架

1. 博弈论表述：目标定义为极小极大博弈，其中“最大玩家”（当前策略）试图生成优于“最小玩家”（先前策略）的样本，同时两者均被正则化以保持在参考策略（$\pi_{ref}$）附近，以防止分布漂移。
2. 在线镜像下降（OMD）：为确保稳定的学习动态并避免贪婪最佳响应更新的不稳定性，该方法采用带有熵正则化（Hedge）的乐观镜像下降。这导出了一个自博弈目标，其中策略更新是对先前策略的最佳响应，并受参考策略约束。
3. 损失函数推导：
   • 该方法将图像级偏好提升至反向轨迹空间。
   • 它基于轨迹概率的对数比率推导出了成对逻辑损失。
   • 最终目标$L_{Diff.-NPO}$将当前策略（$p_\theta$）与参考策略（$p_{ref}$）及先前策略（$p_{prev}$）进行对比。
   • 损失函数表述为：
     $$L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$$
     其中 $\delta$ 项表示优选样本（$x^+$）与被拒样本（$x^-$）之间隐式奖励（噪声预测误差）的差异。
   • 超参数 $\gamma = \tau/\eta$ 控制参考策略（DPO 风格，$\gamma=1$）与先前策略（纯自博弈，$\gamma=0$）之间的插值。

与现有方法的关键区别

• 对比 Diffusion-DPO：虽然 Diffusion-DPO 是离线的，且仅将当前策略与固定参考策略进行对比，但 Diff.-NPO 本质上是在线的且面向自博弈，通过评估当前/先前策略生成的样本来进行更新。
• 对比 INPO（迭代纳什策略优化）：与 INPO 不同，INPO 使用由特定总体假设证明的平方损失，而这些假设在实际基于 oracle 的排序中可能不成立；Diff.-NPO 利用成对逻辑损失。据称，当偏好对由 oracle（对生成样本进行排序）确定性排序而非从概率偏好分布中采样时，逻辑损失更为稳定。

主要贡献

1. 理论基础：本文弥合了基于人类反馈的纳什学习（NLHF）与扩散模型对齐之间的鸿沟，将扩散对齐表述为一种避免 Bradley–Terry 假设的通用偏好博弈。
2. 算法提出：引入了Diff.-NPO，一种新颖的在线通用偏好优化算法。它在单一公式中统一了标准 DPO 和自博弈范式，其中正则化系数在这两种机制之间进行插值。
3. 显式建模假设：该框架明确了偏好优化背后的假设，将目标解释为拟合由参考策略、先前策略和偏好信号构建的目标分布。
4. 实证验证：在 Pick-a-Pic、Parti-Prompts 和 HPSV2 数据集上对 Stable Diffusion 1.5（SD1.5）和 SDXL 进行的广泛实验证明了该方法的有效性。

实验结果

作者将 Diff.-NPO 与包括 Online-SFT、Online-DPO、SPIN 和 Seppo 在内的基线进行了评估。

• 胜率：Diff.-NPO 在 SD1.5 和 SDXL 的所有评估数据集（Pick-a-Pic、Parti-Prompts、HPSV2）上均 consistently 取得了最高的平均胜率。
  • 在 SDXL 配合 Parti-Prompts 数据集上，相对于 Online-Diff-DPO，Diff.-NPO 将 ImageReward 胜率提高了 8.6%，将美学评分胜率提高了 10.8%。
  • 在 Pick-a-Pic 和 HPSV2 上，它也优于 Online-DPO。
• 自动指标：与基线相比，该方法在自动指标（PickScore、HPSV2、CLIP、ImageReward、美学评分）上表现出更优越的性能。
• 消融研究：
  • $\tau/\eta$ 比率：研究证实，中间值（具体为 $\tau/\eta = 1/2$）能产生最佳性能，验证了仅依赖参考策略（DPO）或仅依赖先前策略（纯自博弈）并非最优的假设。
  • 损失函数：将成对逻辑目标替换为平方距离目标（如 INPO 中所用）导致性能大幅下降，支持了针对确定性 oracle 排序选择逻辑损失的设计决策。
• 定性分析：视觉比较表明，与基线相比，Diff.-NPO 生成的图像具有更好的语义对齐、解剖学正确性（例如全身肖像）和视觉连贯性。

意义与主张

本文主张，Diff.-NPO 通过带有参考策略正则化的自博弈风格目标直接优化相对偏好概率，提供了一种简单且稳定的在线扩散对齐方法。

作者断言，纳什风格的在线学习是扩散模型对齐中以奖励为中心公式的一种有前途的替代方案。通过摆脱 Bradley–Terry 模型的传递性假设，该方法为偏好对齐提供了更通用的视角。这项工作为未来关于扩散模型纳什风格学习的研究奠定了基础，证明了通过博弈论视角统一 DPO 和自博弈可以产生更优越的对齐质量。

本文谦逊地指出了一项局限性：当前的偏好构建依赖于五个评分模型的平均排名，纳入更广泛的评分模型集合可能会提供更全面的信号。未来的工作计划将该框架扩展到更强的在线数据收集策略以及更广泛的扩散生成和编辑任务。