🤖 machine learning

D2PO: Optimizing Diffusion Samplers via Dynamic Preference

该论文提出了 D2PO，这是一个通过将任务重新表述为基于预训练分数网络导出的能量模型下的动态偏好对齐问题，从而优化扩散采样策略的新型框架，旨在克服传统基于回归的方法在保真度方面的局限性，并在低 NFE 约束下实现卓越的感知质量。

原作者： Jinkyu Kim, Jinyoung Choi, Bohyung Han

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinkyu Kim, Jinyoung Choi, Bohyung Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 D2PO 论文的解释，已将其转化为简单易懂的日常语言，并使用了类比。

核心问题：“复读机”陷阱

想象一下，你正在尝试学习如何画出一幅杰作，但你被限制只能画 4 笔（这被称为“低 NFE”或低计算成本）。而你有一位大师级的画家（“老师”），他需要画 100 笔 才能创作出一幅细节完美的图像。

过去，研究人员试图这样教这位 4 笔画家的学生：“看着大师那幅 100 笔的画，试着让你的 4 笔版本看起来和它一模一样。”

缺陷在于： 由于学生的能力非常有限，他们无法复制那些精细的细节（比如毛发的质感或水面的波纹）。为了让整体形状看起来正确，他们最终不得不模糊掉细节。结果就是，这幅画虽然形状对了，但看起来很模糊且虚假。学生被迫在“把握大局”和“刻画细节”之间做出选择，而他们通常会牺牲细节。

解决方案：D2PO（动态直接偏好优化）

本文的作者 Kim、Choi 和 Han 表示：“不要再试图去模仿一个固定的老师了。相反，要让学生学会超越自我。”

他们创建了一种名为 D2PO 的新训练方法。以下是其工作原理，分为三个简单的概念：

1. “自我提升循环”（动态偏好）

D2PO 使用的是一个动态老师，而不是一个永恒不变的静态老师。

学生： 那个 4 笔画家的学生。
老师： 同一个学生的稍强版本，这个版本被允许画 8 笔（比学生多出两倍）来绘制同样的东西。

每当学生尝试绘画时，系统会将 4 笔的版本与 8 笔的版本进行比较。由于 8 笔的版本拥有更多细节，它总是被“偏好”。学生由此学到：“我需要让我的 4 笔画作尽可能地接近我自己的 8 笔潜力。”

为什么这更好： 学生不是在试图达到一个遥远且不可能实现的目标（即 100 笔的大师），而是在努力触及自身最高水平的化身。随着学生变得越来越好，那个“8 笔老师”也会随之变得更好。这是一个自我提升的循环，随着学生能力的提升，目标线也在不断上升，从而防止他们停滞在低质量水平。

2. “神奇评分卡”（基于分数的能量）

如何告诉计算机哪幅画更好呢？

旧方法： 使用标准的尺子（如 LPIPS 或 FID）。这些工具测量像素之间的接近程度。它们能很好地判断一只狗的“形状”是否正确，但往往会忽略“毛发”是否真实。
D2PO 方法： 使用源自 AI 自身大脑的神奇评分卡。论文使用了“分数网络”（即 AI 理解如何将噪声转化为图像的部分）来评判图像。

把 AI 的大脑想象成一位音乐评论家，他非常清楚一首歌“应该”听起来是什么样子的。如果你弹错了一个音符，评论家会立刻察觉。D2PO 会询问这位评论家：“这幅 4 笔的画作是否遵循了与 8 笔画作相同的‘音乐规则’？”这使得系统能够检测到标准尺子会忽略的微小、高频的细节（如纹理和细线条）。

3. “精炼”游戏

训练过程就像一场“热与冷”的游戏（猜大小游戏）。

学生用 4 笔画出一幅画。
系统通过对同一幅画进行 8 笔的精炼，创造出一个“获胜者”版本。
系统通过轻微模糊或降级那幅 4 笔的画，创造出一个“失败者”版本。
AI 被告知：“8 笔版本是赢家，模糊版本是输家。请调整你的 4 笔技巧，使其看起来更像赢家。”

研究结果

论文在流行的图像生成器（如 Stable Diffusion）上测试了这一方法，发现：

细节更锐利： 在使用极少步数（4 或 5 步）生成图像时，与以往的方法相比，D2PO 生成的图像具有更清晰的纹理，且产生的“模糊”伪影更少。
对齐度更高： 图像更好地符合文本提示词（例如，如果你要求画“红色的巴士”，那么巴士确实是红色的，且看起来像一辆巴士，而不仅仅是一个红色的色块）。
无需额外训练： 该方法不需要重新训练庞大的 AI 模型本身。它只优化“采样调度”（即 AI 绘图的步骤），这就像是在不重建整辆汽车的情况下，仅仅对汽车的引擎进行调优。

总结类比

想象你正在练习跑步比赛。

旧方法： 你试图完全模仿一位能在 9 秒内跑完 100 米的奥运冠军。但你被允许只跑 40 米。你试图模仿他们的步幅，但因为你的腿太短，你摔倒了。
D2PO 方法： 你跑完你的 40 米。然后，你想象自己以完美的姿态跑完 80 米。你将自己的 40 米表现与自己的 80 米潜力进行对比。你调整自己的步幅，以匹配你自身的潜力。随着你跑得越来越快，你的 80 米潜力也会随之变得更快。你在无需成为奥运冠军的情况下，不断超越自我。

简而言之： D2PO 不再让扩散模型试图去模仿一个遥不可及的完美老师，而是教会它们不断精炼自己的作品，从而在计算能力有限的情况下，实现更高质量的图像生成。

技术摘要：D2PO – 通过动态偏好优化扩散采样器

1. 问题陈述

扩散概率模型（DPMs）在图像、文本生成图像及视频生成领域取得了最先进的结果，但由于其采样过程具有迭代性质，需要大量的函数评估（NFE），导致了高昂的计算成本。尽管目前已存在各种加速方法（包括数值求解器和知识蒸馏），但一个根本性的局限仍然存在：学生-教师回归框架。

在这些框架中，低 NFE 的“学生”采样器通过回归损失（如 $\ell_2$ 或 LPIPS）来模仿固定高 NFE “教师”的轨迹或输出。本文识别出了一个关键的结构性瓶颈：随着学生 NFE 与教师 NFE 之间差距的扩大（这是实现激进加速时的常见需求），回归目标会迫使学生优先关注与教师粗糙轨迹的低级对齐。这会导致高频纹理和细粒度细节的抑制，即使在教师模型具有高保真度的情况下，也会导致感知质量下降。现有的方法无法在低 NFE 约束下充分利用高质量教师的潜力，因为它们受限于由教师离散化定义的静态误差底限（error floor）。

2. 方法论：D2PO

为了解决这一问题，作者提出了 D2PO（动态直接偏好优化），该框架将采样器优化从回归任务重新定义为一个基于偏好的对齐问题。

2.1 用于确定性策略的能量基替代模型

将直接偏好优化（DPO）应用于扩散采样器的一个主要挑战在于，采样策略是确定性的（由固定的数值求解器诱导），这使得输出的似然度会发生退化且不可微。D2PO 通过将策略诱导的分布建模为**能量基模型（EBM）**来克服这一问题。

策略 $\pi_\phi$ 被定义为一个平滑的替代模型，其中能量 $E(\mathbf{x})$ 是候选样本 $\mathbf{x}$ 与确定性采样器输出 $\mathbf{x}_\phi$ 之间的距离。
这种公式化方法允许将 DPO 所需的对数概率比表示为能量值的差异，从而使优化变得可处理。

2.2 新型的基于得分的距离度量

D2PO 没有依赖于标准的感知指标（如 LPIPS 或 $\ell_2$ ）——这些指标通常无法捕捉高频纹理误差——而是引入了一种直接源自预训练扩散得分网络 $s_\theta$ 的基于得分的能量度量。

能量被定义为候选样本与采样器输出在多个噪声水平下的得分预测之间的差异。
具体而言，距离 $d_\theta$ 测量了不同时间步下噪声预测（ $\epsilon_\theta$ ）的平方 $\ell_2$ 差异。
通过在特定的权重（ $w(t) = \sigma_t^2$ ）下对噪声调度进行积分，该度量能够同时捕捉粗糙的结构一致性（在高噪声水平下）和细粒度的纹理细节（在低噪声水平下），从而提供比传统指标更丰富的偏好信号。

2.3 动态偏好机制

D2PO 使用一个随学生策略共同演化的动态参考机制取代了静态的教师监督。

学生采样器 ( $\phi$ )： 正在优化的目标策略（参数包括：时间步调度 $S$ 和 CFG 权重 $\omega$ ）。
失败样本 ( $x_l$ )： 由学生使用稀疏、快速的调度生成，然后通过降级处理（例如，通过低通滤波）来模拟较低质量的输出。
获胜样本 ( $x_w$ )： 由一个动态教师 ( $\phi'$ ) 生成，该动态教师源自当前的参数。动态教师使用通过插值学生当前调度而生成的更精细、更密集的步长调度（例如，相对于学生的 $N$ 步，教师使用 $2N$ 步）。
参考策略 ( $\phi_{ref}$ )： 一个追踪学生历史记录的策略（通过对 CFG 权重的 EMA 更新和针对时间步的逐周期复制进行更新），用以锚定优化过程。

这种动态循环鼓励学生与其自身更高保真度的、更密集调度的近似值进行对齐。从理论上讲，这使学生能够最小化自身的离散化误差，而不是收敛到由外部教师施加的固定残差误差底限。

3. 核心贡献

D2PO 框架： 一种用于扩散采样器的基于偏好的优化框架，通过将确定性策略建模为能量基替代模型，建立了一个可处理的对齐目标。
基于得分的能量度量： 一种直接源自预训练得分网络的创新距离度量，能够捕捉多尺度结构和纹理差异，在检测离散化误差方面优于传统的感知损失。
动态偏好循环： 一种自我改进机制，其中的“教师”是当前学生策略的动态精炼版本。这消除了静态蒸馏的固定误差底限，并驱动采样器最小化其自身的离散化误差。
全面的验证： 通过广泛的实验证明，D2PO 学习到了更优的采样策略，在各种求解器和数据集上均优于最先进的基于蒸馏的基准方法（如 LD3、GITS、DMN）。

4. 实验结果

作者在 Stable Diffusion v1.5、ImageNet-256（潜空间）和 InstaFlow 模型上对 D2PO 进行了文本生成图像的评估。

定量性能：
- 低 NFE (4-5 步)： 与基准方法相比，D2PO 实现了最先进的感知质量（HPSv2 和 Aesthetic 分数）以及显著更低的 FID 分数。它有效地纠正了回归类方法引入的基础性缺陷，如模糊和伪影。
- 高 NFE (6-7 步)： D2PO 在感知分数方面保持了显著领先。虽然 FID 分数与基准方法相当（反映了质量与多样性的权衡），但 D2PO 朝向感知质量的优化表现依然更为优越。
- 泛化能力： 该方法可推广到不同的 ODE 求解器（iPNDM、UniPC、DPM-Solver++）和现代骨干网络（Stable Diffusion 3.5-Medium），并始终优于基准方法。
消融研究：
- 移除动态偏好（回归为固定教师）会导致性能下降，证实了自我改进循环的必要性。
- 使用 LPIPS 替换基于得分的能量会导致保真度显著下降，验证了该度量捕捉细粒度误差的能力。
人类评估： 在盲测用户研究中，D2PO 获得了 60.3% 的整体偏好投票，远超 LD3 (27.6%) 和 GITS (12.1%)，证实了度量改进能转化为人类感知的质量提升。
语义对齐： D2PO 也取得了比基准方法更高的 CLIP 分数，这表明针对偏好对齐的优化比僵化的逐点回归能更好地保留提示词的相关性。

5. 重要性与主张

本文声称 D2PO 解决了扩散采样器优化中的一个关键性能瓶颈。通过将范式从“向教师回归”转变为“动态偏好对齐”，D2PO 解锁了高质量教师的全部潜力，而不受其静态离散化误差的限制。

作者断言，由于该方法仅优化低维度的采样策略并保持生成骨干网络冻结，因此其具有轻量化且正交的特性。动态教师机制提供了一个具有理论依据的学习信号，迫使学生最小化其自身的离散化误差，从而产生与真实连续时间过程更加一致且感知质量更优的采样轨迹，尤其是在严格的低 NFE 约束下。