💻 computer science

Explore or Converge? Stage-Guided Per-Step Optimization for Diffusion Models

本文提出了阶段引导的逐步优化（Stage-Guided Per-Step Optimization, SGPO），这是一种根据信噪比和语义变化为扩散模型自适应分配阶段特定目标的新方法，旨在克服强化学习中的奖励稀疏和时间失配问题，从而显著提升生成质量和收敛速度。

原作者： Renye Yan, Jikang Cheng, You Wu, Wei Peng, Zongwei Wang, Ling Liang, Yimao Cai

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Renye Yan, Jikang Cheng, You Wu, Wei Peng, Zongwei Wang, Ling Liang, Yimao Cai

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人艺术家画画。你不仅仅是想让它完美地复制一张照片，而是希望它能根据特定的描述创作出美丽的作品，比如“一只戴着帽子的快乐小狗”。这就是**扩散模型（Diffusion Models）**的世界——一种通过从一片混乱的静态噪声（就像电视雪花一样）开始，通过一步步逐渐清理，直到呈现出一幅清晰图像的类型人工智能。

为了让这些机器人遵循你的特定愿望，科学家们使用了**强化学习（Reinforcement Learning）**技术。把它想象成一场游戏，只有当机器人完成整幅画作且结果看起来很好时，它才会获得“奖励”（比如一颗金星）。问题在于，机器人只有在最后时刻才能得到那颗金星。它并不知道中间的每一笔画到底是好是坏。因此，机器人会尝试猜测哪些动作导致了那颗金星，并将这种“做得好”的信号应用到绘画过程中的每一个步骤，从最初混乱的涂鸦到最后的细节处理。

但问题在于，绘画在每个时刻都是不同的。开始是纯粹的混沌，中间是形状形成的过程，而结束只是添加微小的细节。将混乱的开端与最后的润色完全等同对待会令机器人感到困惑。它会开始走捷径，画出一些虽然能骗过评分系统但人类看起来很糟糕的奇怪图案。这就像是一个学生通过背诵答案解析来应付考试，而不是真正学习数学。

这篇由来自北京大学、南京大学和斯坦福大学的研究人员撰写的论文，题为**《探索还是收敛？用于扩散模型的阶段引导式逐步优化》（Explore or Converge? Stage-Guided Per-Step Optimization for Diffusion Models）**，提出了一种更聪明的教导机器人的方法。他们认为，不应该在整个旅程中给予相同的奖励信号，而是应该根据机器人在绘画过程中所处的“阶段”来改变规则。

问题所在：一种尺寸并不适合所有情况

作者认为，训练这些模型的老方法就像是在教孩子骑自行车时，无论孩子是在辅助轮阶段摇摇晃晃、在下坡路段飞驰，还是在尝试单脚站立，你都用同样的分贝对他大喊“用力蹬踏！”。

在扩散过程的早期，图像仅仅是噪声。机器人基本上是在黑暗中摸索。如果你根据最终图像告诉它“你做得很好！”，它会感到困惑，因为当前的混乱像素与最终结果几乎没有任何关系。这会导致奖励黑客行为（Reward Hacking），即机器人学会了钻系统的空子。它可能会开始重复同样的、安全的、枯燥的模式，或者放大微小的细节，仅仅是为了获得高分，即使画面看起来很怪异或破碎。这就像是一个通过背诵答案来应付考试的学生，而不是在学习数学本身。

解决方案：三幕剧

由 Yan Ren 和 Cheng Jikang 领导的研究人员意识到，生成过程自然地分为三个不同的阶段，且每个阶段都需要不同的老师。他们将这种新方法称为 SGPO（阶段引导式逐步优化）。

第一幕：混沌阶段（脱离噪声）
在最初阶段，图像仅仅是静态噪声。机器人处于“混沌状态”。作者发现，试图在这里针对最终目标进行优化是徒劳的，因为当前的混乱与最终图像之间的联系过于微弱。

SGPO 策略： 与其担心最终的奖励，不如告诉机器人只需“脱离噪声”。目标是尽可能快地远离初始的静态噪声。这就像告诉一个在风暴海洋中游泳的人，先别管游泳姿势，先设法离开混乱的水流，找到坚实的地面。

第二幕：稳定探索阶段（寻找形状并尝试新事物）
一旦噪声消退，图像的主要形状和结构就开始显现。这是“黄金时期”。机器人现在可以看到它正在制作什么，最终的奖励也变得有意义了。

SGPO 策略： 在这里，机器人被鼓励去追求最终的奖励（让画面好看），但同时也要求它进行探索。作者加入了一条特殊的规则，鼓励机器人尝试图像的不同变体。这可以防止机器人陷入死循环，或者一遍又一遍地复制同样枯燥的模式。这就像一位主料已经准备好的厨师，现在被鼓励尝试不同的香料来让菜肴变得独特，而不是仅仅守着一个安全的食谱。

第三幕：收敛阶段（润色并停止）
在最后的时刻，图像几乎完成了。大的形状已经固定，只有微小的细节在变化。如果机器人在此时仍然试图“优化”奖励，它可能会开始过度思考，不断调整像素，直到图像看起来很怪异或失去了自然感。这就是过拟合发生的地方。

SGPO 策略： 机器人被告知要收敛。它应该停止探索，并稳定下来，确保最终的细节是稳定且符合原始计划的。这就像一位雕塑家已经完成了雕像，现在只是在平滑表面，而不是试图改变鼻子的形状。

他们如何证明有效

研究人员并不仅仅是靠直觉，他们建立了一个能够实时观察机器人的系统。他们测量了两件事：还剩多少“噪声”（信噪比）以及图像的含义发生了多少变化（语义变化）。当这些数值达到特定点时，系统会自动将机器人的训练规则从“逃离混沌”切换到“探索”，再切换到“收敛”。

为了测试这是否真的有效，他们进行了 16 项对比实验。他们将自己的方法与 DDPO 和 DPOK 等流行的 AI 训练方法进行了比较。

结果非常令人印象深刻。SGPO 方法不仅创造了更好的图像，而且速度更快。作者报告称，该方法实现了 26.7% 的平均生成质量提升，并且在达到良好结果方面的速度提高了 36.7%。

他们还测试了“奖励黑客行为”。在许多其他方法中，当 AI 试图最大化“美学美感”的分数时，往往会创造出看起来像是由重复模式组成的故障图像。作者展示了通过 SGPO，AI 在保持高美学分数的同时，也能保持图像的多样性和自然感。事实上，他们测量到细节忠实度提升了 41.93%，这意味着细微的纹理和边缘看起来更加真实，而不是被“黑客化”后的样子。

核心启示

这篇论文表明，教 AI 创作艺术的秘诀不仅仅是给它一个更好的目标，而是要理解它实现目标的旅程。通过识别图像创建的开始、中间和结束在本质上是不同的，并根据这些阶段改变训练规则，机器人能够学习创造出更好、更多样化且更可靠的图像。这提醒我们，有时为了获得最好的结果，你必须停止将过程中的每一步都视为完全相同。

技术摘要：用于扩散模型的阶段引导每步优化 (SGPO)

问题陈述

扩散模型在生成任务中表现出色，但难以与特定的用户偏好对齐，因为其标准训练目标侧重于重建数据分布，而非针对特定目标进行优化。虽然强化学习 (RL) 为偏好对齐提供了一条路径，但在该领域面临着重大挑战：

奖励稀疏性： 偏好奖励只能在生成过程完成（最终时间步）时才能被准确评估，这使得中间潜变量状态缺乏直接反馈。
时间目标不匹配： 现有的方法通常将单一的最终奖励反向传播到之前的所有去噪步骤，以缓解稀疏性问题。然而，这种做法假设所有的去噪阶段在优化上是等效的，这与扩散动力学的阶段性特征相矛盾。
奖励黑客行为 (Reward Hacking)： 将统一的最终奖励应用于所有步骤会产生时间上的不匹配。早期阶段具有高度的混沌性和噪声特征，使得动作与最终奖励之间的相关性较弱。这会诱导模型寻找“捷径”（即奖励黑客行为），而非学习有意义的行为，从而导致模式崩溃、重复结构或过度放大的局部模式，进而降低多样性和保真度。

方法论：阶段引导的每步优化 (SGPO)

作者提出了 SGPO，这是一个能够识别扩散生成过程中内在阶段性动态的自适应强化学习框架。SGPO 不采用统一优化，而是通过实时监测语义变化和信噪比 (SNR) 来识别当前的生成阶段，并据此动态切换优化目标。

1. 自适应阶段检测

该方法利用两个指标将生成过程划分为三个不同的阶段：

语义演化率 ( $\Delta E(t)$ )： 相邻潜变量与提示词之间语义对齐程度（如 CLIP 分数）的变化。
信噪比 ( $\gamma(t)$ )： 潜变量状态中信号与噪声的比率。

转换点由这些指标的二阶导数趋近于零来定义：

阶段 I (混沌/噪声阶段)： $0 \le t < t_c^{(1)}$ 。特征是高噪声和不稳定的语义。
阶段 II (稳定偏好阶段)： $t_c^{(1)} \le t < t_c^{(2)}$ 。语义趋于稳定，且动作与最终奖励之间的相关性增强。
阶段 III (稳态收敛阶段)： $t \ge t_c^{(2)}$ 。全局结构已固定；仅剩局部细节对变化敏感。

2. 特定阶段的优化目标

SGPO 为每个阶段分配不同的奖励函数，以符合生成动力学：

阶段 I (混沌阶段)： 目标是快速退出混沌噪声状态。由于此阶段的最终奖励并不可靠，其目标侧重于最大化与初始噪声源的距离。
- 奖励函数： $r_t^{(I)} = \lambda_t \|x_t - x_T\|^2$ ，其中 $\lambda_t$ 随 SNR 缩放。
阶段 II (稳定偏好阶段)： 这是偏好优化的主要阶段。模型在优化最终偏好奖励 ( $r(x_0, z)$ ) 的同时，积极维持多样性以防止过早收敛到单一模式。
- 奖励函数： $r_t^{(II)} = r(x_0, z) + \Delta E(t) \| \hat{x}_0(x_t) - \hat{x}_0(x_{t-1}) \|^2$ 。
- 第二项作为一个探索奖励，受语义演化率 $\Delta E(t)$ 调节，鼓励在不破坏语义对齐的前提下进行受控的偏差，从而增强多样性。
阶段 III (收敛阶段)： 全局结构已基本固定。进一步的偏好优化存在过度拟合和破坏分布稳定性的风险。目标转向向真实分布进行稳定收敛。
- 奖励函数： $r_t^{(III)} = -\frac{1}{2} \| \hat{x}_0(x_t) - x_0^{pre} \|^2$ ，其中 $x_0^{pre}$ 是预训练模型的输出。该函数惩罚了偏离稳定预训练分布的非必要漂移。

核心贡献

阶段感知 RL 框架： 本文引入了一种能够显式建模扩散模型阶段性生成动态的范式，打破了所有时间步进行统一优化的假设。
缓解奖励黑客行为： 通过将训练信号与阶段依赖特性（退出混沌、多样性探索和稳定收敛）相匹配，SGPO 有效地缓解了奖励黑客行为并提升了生成质量。
自适应机制： 该方法利用实时语义和 SNR 监测来动态切换优化策略，确保训练信号与不同生成阶段的需求相匹配。

实验结果

作者在多个数据集（HPSv2, Pick-a-Pic, GenEval, Simple Animals）和多种模型架构（Stable Diffusion v1.4–v2.1, SDXL, SD 3.5, FLUX）上进行了 16 组对比实验。

性能提升： 与基线相比，SGPO 在生成质量（以奖励分数衡量）方面实现了平均 26.7% 的增益，并在收敛速度上提升了 36.7%。
多样性与保真度： 该方法使多样性提升了 8.51%，细节保真度提升了 41.93%，在 LPIPS、IS 和 FID 等指标上显著优于基线。
抗奖励黑客能力： 在训练模型以匹配固定审美得分 (AES) 的评估中，SGPO 在保真度、多样性和丰富度指标上始终保持前两名的水平，而其他方法则表现出过度优化和模式崩溃的迹象。
可控生成： 与 DDPO、DPOK 和 Flow-GRPO 等基线相比，SGPO 在涉及物体数量、颜色和空间关系的复杂提示词中展示了卓越的指令遵循能力。
效率： 尽管存在阶段检测的开销，但由于收敛更快，其整体墙钟时间效率明显优于基线。

重要性与主张

本文声称，在所有去噪步骤中不加区别地应用最终奖励，是扩散 RL 中奖励黑客行为和优化低效的一个根本原因。通过尊重扩散过程的阶段性结构——特别是从混沌噪声到稳定语义，再到最终收敛的转变——SGPO 实现了更鲁棒且更高效的微调。

作者断言，他们的方法为当前扩散模型 RL 实践提供了一次必要的修正，从而能够实现：

在不牺牲多样性的情况下，更好地实现与特定偏好的对齐。
防止模型利用伪相关性的“奖励捷径”现象。
增强复杂生成任务中的可控性。

这项工作表明，未来针对生成模型的 RL 微调必须考虑生成过程的时间动力学，而不是将轨迹视为同质的状态序列。