🤖 machine learning

Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models

本文提出了线性 DPO，这是一个统一的偏好优化框架，通过用线性效用和指数移动平均更新的参考模型替代标准的基于 Sigmoid 的效用函数，为扩散模型和流匹配模型推导出一个通用目标，以克服目标不匹配问题并提升文本到图像生成的对齐效果。

原作者： Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位极具天赋的艺术家，能够根据你的描述作画。这位艺术家通过浏览互联网上数十亿张图像及其文字说明而学会了绘画。他们擅长让作品看起来逼真，但并不总是了解人类真正喜欢什么。有时，他们画出的图片在技术上正确，却略显怪异、丑陋，或完全不符合你的要求。

为了解决这个问题，我们需要教导这位艺术家倾听人类的反馈。本文介绍了一种更聪明的教学方法，称为Linear-DPO。

以下是其工作原理的简明解析，辅以一些日常类比：

1. 问题：“一刀切”的教师

此前，研究人员尝试使用一种称为DPO（直接偏好优化）的方法来教导这些 AI 艺术家。可以将 DPO 想象成一位严厉的教师，他说：“如果你答对了，很好；如果你答错了，立刻停止尝试。”

问题所在：这种“立即停止”的规则在语言模型（如聊天机器人）中行之有效，因为你只需要选出正确的词语。但在图像生成中，这就像试图通过只凿掉大块石头来雕刻一座雕像，一旦形状看起来还行就立刻放弃。你永远无法获得精细的细节，因为教师过早地停止了反馈。
差距：此外，旧方法仅适用于一种特定类型的 AI 艺术家（称为“扩散”模型）。而更新、更快的艺术家（称为“流匹配”模型）则完全被排除在课堂之外。

2. 解决方案：统一的课堂

本文作者意识到，旧的“扩散”艺术家和新的“流匹配”艺术家实际上在做相同的事情，只是方式略有不同。他们构建了一个统一框架。

类比：想象旧方法是一位只与穿蓝色衬衫的学生交谈的教师。而新方法则是一位使用通用语言的教师，无论是“蓝衬衫”学生还是“红衬衫”学生都能完全理解。这使得他们能够首次利用偏好学习来训练最新、最强大的 AI 艺术家（如 SD3）。

3. 秘密武器：“线性”效用

最大的创新在于改变了教师如何给予反馈。

旧方式（Sigmoid）：旧方法使用"Sigmoid"函数。想象一个电灯开关。它要么处于关闭状态（0），要么处于开启状态（1）。一旦学生答得“足够好”，开关就会翻转至开启，教师便停止纠正。这导致学生停留在“足够好”的水平，无法进一步改进。
新方式（Linear-DPO）：作者用电灯开关替换为调光开关（线性函数）。
- 工作原理：即使学生表现良好，教师仍会持续给予微小、温和的推动。这就像一位教练，在画作完成后仍会说：“做得好，但让我们把颜色再调亮一点点。”
- 结果：这使得学习过程平滑且连续。艺术家不会因为达到“好”的分数就停止进步；他们会不断打磨细节，直到画面真正美丽动人。

4. “移动目标”参考

在训练过程中，你通常会将学生的作品与一个“参考”（基线模型）进行比较，以确保他们不会偏离正轨。

旧方式：参考是一个冻结的、静态的雕像。一旦学生超越了这座雕像，比较就失去了意义。
新方式：作者使用**EMA（指数移动平均）*参考。想象参考是一个缓慢跟随学生的影子。随着学生变得更好，影子也随之移动。这确保学生始终被挑战去比当前的自己*做得稍好一些，防止他们变得懒惰或停滞不前。

5. 结果

本文在几位著名的 AI 艺术家（SD1.5、SDXL 以及较新的 SD3）上测试了这一新方法。

结果：经过 Linear-DPO 训练的艺术家生成的图像，在人类评估中得分显著更高。它们看起来更逼真，更严格地遵循了指令，并拥有更丰富的细节。
证明：在直接对比测试中，新方法几乎每次都击败了旧方法（如标准 DPO 或简单的微调），尤其是在最新、最强大的模型上。

总结

可以将Linear-DPO视为从使用电灯开关（开/关，停止过早）的教师升级为使用调光开关（平滑、连续反馈）的教师。他们还确保这位教师能够教导所有类型的 AI 艺术家，而不仅仅是旧有的那些。其结果是，AI 生成的艺术更加符合人类真正想看到的样子。

技术摘要：Linear-DPO

问题陈述

直接偏好优化（DPO）已被证明在使大语言模型（LLM）与人类偏好对齐方面行之有效，但在应用于文本到图像（T2I）生成时面临重大挑战。现有方法（如 Diffusion-DPO）主要受限于以下两个问题：

模型架构局限性：当前的理论分析和实现仅限于基于 U-Net 架构的去噪扩散模型（例如 SD1.5、SDXL）。它们忽视了流匹配模型（例如 SD3-Medium、Qwen-Image），后者利用整流流（Rectified Flow）和 MMDiT 架构，已成为高分辨率合成的最先进方法。
目标不匹配：源自离散语言建模的标准 DPO 目标依赖于基于 Sigmoid 的效用函数，该函数鼓励“边际最大化”。在这种范式下，一旦选中样本与被拒绝样本之间的概率差距足够大，梯度便会迅速消失。这种行为不适合基于回归的生成任务（扩散和流匹配），后者需要长程、稳定、小步长的更新，以持续细化细粒度的视觉细节。标准 DPO 中的快速梯度衰减导致陷入“伪收敛”陷阱，致使模型在训练早期变得僵化并停止细化细节。

方法论

1. 扩散与流匹配的统一 SDE 框架

作者推导出了一个广义的 DPO 目标，在单一随机微分方程（SDE）框架下统一了扩散模型和流匹配模型。

重新诠释流匹配：虽然流匹配通常由确定性常微分方程（ODE）定义，但作者将其重构为基于速度的 SDE。通过引入必要的随机性，他们推导出了流匹配的 conditional probabilities（ $q(x_{t-1}|x_t)$ ），这在数学上等同于扩散模型中的条件概率。
统一损失公式：这使得可以推导出一个适用于两种范式的单一 DPO 损失函数（公式 11）。该损失是策略模型在预测目标（扩散为噪声 $\epsilon$ ，流匹配为速度 $v$ ）上的预测误差平方与参考模型误差平方之差的逻辑函数。

2. 梯度分析与 Linear-DPO

通过梯度视角分析，作者指出标准 DPO 充当了一种加权监督微调（SFT），其权重由 Sigmoid 函数调节。他们认为这对于生成任务并非最优，原因如下：

更新幅度过大：扩散上下文中的缩放因子 $\bar{\beta}$ 远大于自然语言处理（NLP）中的值，导致梯度波动剧烈。
超参数耦合：同一个参数同时控制判别温度和更新幅度。
过早饱和：Sigmoid 函数迅速饱和，在细粒度细化完成之前便停止了学习。

为解决这一问题，提出了 Linear-DPO，包含两个核心修改：

线性效用函数：用持续的线性效用函数（ $u_{linear}(x) = 0.2x + 0.5$ ）取代激进的 Sigmoid 门控，并将其截断至 $[\eta, 1]$ 范围。这确保了即使偏好已分离，模型仍能持续接收微小且持久的梯度以细化细节，从而避免“伪收敛”陷阱。
EMA 更新的参考模型：Linear-DPO 不使用固定的参考模型（一旦策略模型优于参考模型，固定模型可能会阻碍改进）或突变更新，而是维护策略模型的指数移动平均（EMA）作为参考。这鼓励了持续优化并稳定了训练过程。

主要贡献

广义 DPO 目标：建立了统一的 DPO 公式，通过反向时间 SDE 视角桥接了扩散和流匹配生成模型。
梯度分析与 Linear-DPO：理论分析揭示了基于 Sigmoid 的目标对于基于回归的生成任务并非最优，从而提出了具有线性效用函数和 EMA 参考更新的 Linear-DPO。
实证验证：展示了 Linear-DPO 在从标准扩散模型（SD1.5、SDXL）到先进流匹配模型（SD3-Medium）的一系列模型上的有效性和可扩展性。

实验结果

作者在 SD1.5、SDXL 和 SD3-Medium 上评估了 Linear-DPO，使用了 Pick-a-Pic v2 和 HPDv3 的高质量子集等数据集。

定量性能：Linear-DPO 在包括 PickScore、HPSv2/v3、Aesthetics、CLIP 和 Image Reward 在内的多个自动化指标上，始终优于基线方法（SFT、Diffusion-DPO、Diffusion-KTO、DSPO、MaPO、DMPO）。值得注意的是，它在人类偏好对齐和视觉质量方面取得了最先进的结果。
定性改进：视觉比较显示，Linear-DPO 显著减少了 SD1.5 中的结构扭曲，并改善了文本 - 图像对齐。对于高容量的 SD3-M，它进一步提升了美学质量、色彩和谐度以及背景细节。
消融研究：实验证实，线性效用函数优于其他效用形式（Kahneman-Tversky、Loss-Averse、Risk-Seeking）。此外，使用衰减因子为 $\gamma=0.995$ 的 EMA 参考模型取得了最佳性能，避免了与固定或突变更新参考模型相关的不稳定性。

意义

该论文声称，Linear-DPO 为大规模生成模型的偏好学习提供了一条原则性路径。通过弥合扩散与流匹配之间的理论差距，并纠正标准 DPO 中的优化不匹配，该方法提供了一个 versatile 框架，既支持卓越的对齐性能，又具备可扩展性。作者将 Linear-DPO 定位为“伪收敛”问题的解决方案，使模型能够在长训练周期内持续细化，这对于高保真图像生成至关重要。