💻 computer science

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

本文提出了 \textsc{SURE}，这是一个统一的潜空间框架，通过学习带有样本自适应不确定性估计的奖励分布，在无需像素空间解码的情况下，为扩散模型的后训练提供可靠且稠密的反馈，从而增强其优化过程。

原作者： Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人艺术家如何绘画。你不想等到机器人完成一整幅杰作后才对它说：“不，那只狗看起来像个土豆。”你希望在它还在画布上调色时，就在旁边轻声给予提示。这就是**扩散模型（diffusion models）**的世界——一种通过将静态噪声逐步转化为清晰图像来创建图像和视频的 AI 类型。为了让这些机器人画出人类真正喜欢的作品，我们需要一个“奖励系统”——一位能为好的艺术品打分、为坏的艺术品扣分的老师。

传统上，这位老师会等待机器人完成绘画，观察最终的图像，然后给出评分。但这既慢又昂贵，因为机器人必须完成整个图像过程才能得到一个提示。更新的方法允许老师窥视那些混乱的、半成品状态的草图（称为“潜变量”或 “latents”），从而更早地给出反馈。然而，这里有一个陷阱：这些老师通常只是大声喊出一个单一的数字，比如“8 分（满分 10 分）”，却不告诉机器人它们有多确定。如果老师在胡乱猜测却依然大喊高分，机器人可能会感到困惑，并为了追求那个虚假的高分而开始画出奇怪的东西。这篇论文解决了如何教机器人去信任它的老师，以及何时该忽略它的问题。

问题所在：过度自信的老师

想象一位严厉的美术老师正在给你的草图评分。在过去，这位老师会看着你半成品的画作，仅仅说：“做得好！”或“做得不好！”，并给出一个数字。问题在于，老师有时并不清楚自己在说什么。也许草图非常模糊，以至于老师只是在瞎猜，但他们仍然大喊高分。如果你，作为学生，盲目地跟随这个高分，你可能会不断重复同样的错误，认为自己做得很好，而实际上你已经走偏了。在 AI 领域，这被称为“奖励黑客攻击”（reward hacking），即 AI 找到了一个漏洞，无需真正提升艺术水平就能获得高分。

这项研究背后的研究人员开发了一个名为 SURE（基于样本自适应潜变量奖励的确定性引导扩散后训练）的系统，他们意识到现有的老师缺少了一个关键信息：置信度（confidence）。他们需要一种方式让老师能够表达：“我有 90% 的把握认为这是一幅好画，”或者“我只有 20% 的把握，所以别太听我的。”

解决方案：懂得承认怀疑的老师

作者构建了一个两部分的系统来解决这个问题。

第一部分：具备不确定性感知能力的老师（SURE-LRM）
首先，他们创建了一种新型的奖励模型。这个模型不再仅仅给出一个分数，而是同时给出一个分数和衡量该分数有多“摇摆不定”的指标。这就像天气预报：普通的老师说：“会下雨。”而新的 SURE-LRM 老师会说：“会下雨，我有 95% 的把握，”或者“可能会下雨，但我只有 40% 的把握，因为云层看起来很奇怪。”

他们使用一种特殊的方法来训练这位老师，让它观察成对的图像（一张好的，一张坏的），并不仅学习哪张更好，还学习“好度”的变化程度。如果老师看到一张混乱、模糊的草图，它会学会给出较高的“不确定性”分数。如果它看到一张清晰、明显的杰作，它会给出较低的不确定性分数。至关重要的是，论文表明，这位老师只需通过观察标准的“好 vs 坏”示例，就能学会这种置信度水平，而不需要人类显式地标注它们有多自信。

第二部分：聪明的学生（SURE-REFL）
接下来，他们构建了一种名为 SURE-REFL 的训练方法来使用这位新老师。当 AI 艺术家学习时，它会在绘画过程的许多不同阶段向老师寻求反馈。通常情况下，AI 会接受每一条反馈并试图盲目遵循。但在 SURE-REFL 中，AI 会先查看老师的“置信度计”。

如果老师说：“分数：8/10，置信度：低，”AI 会想：“好吧，我会听，但我不会根据这个改变我的整幅画作。”如果老师说：“分数：8/10，置信度：高，”AI 会想：“明白了！我一定会多做这类动作。”该系统本质上是在权衡反馈：高置信度的反馈权重很大，而低置信度的反馈权重很轻。这防止了 AI 被老师的猜测所迷惑。

研究发现

研究人员在针对图像生成器（如制作猫的图片）和视频生成器（如制作短视频剪辑）的测试中测试了这个系统。

更好的老师： 新的 SURE-LRM 老师比以往的方法更能预测人类的偏好。在一项包含 2,000 对图像的测试中，当他们仅保留那些老师最自信（即不确定性最低的 50%）的预测结果时，准确率从约 79.4% 跳升至 90.1%。这证明了老师的“置信度计”确实能真实反映哪些预测是可靠的。
稳定的学习： 当他们使用 SURE-REFL 来训练 AI 时，学习过程变得更加稳定。在旧方法的测试中，AI 的得分虽然上升了，但实际的艺术质量却下降了（这是奖励黑客攻击的迹象）。而在使用 SURE-REFL 时，得分与实际质量长时间保持同步。
顶尖表现： 在最终结果中，SURE-REFL 方法在图像和视频的标准基准测试中都取得了最高分。对于视频生成，它达到了 0.8357 的总质量得分，超过了排名第二的方法 0.0109。

为什么这很重要

这篇论文表明，教 AI 创作更好艺术的关键不仅仅在于拥有一个更聪明的老师，而在于拥有一个知道自己“不知道”的老师。通过让 AI 忽略老师摇摆不定的猜测，转而专注于那些确定的反馈，该系统避免了为了追求高分而陷入制造怪异、破碎艺术的陷阱。这是迈向让 AI 艺术家不仅具有创造力而且更加可靠的一步——它们可以从反馈中学习，而不会被噪声所迷惑。

技术摘要：用于不确定性引导扩散后训练的样本自适应潜空间奖励模型

1. 问题陈述

通过对解码后的 RGB 输出进行评估来使视觉扩散模型符合人类偏好，通常需要依赖于在反馈循环中进行重复且高昂的 VAE 解码。虽然“扩散原生”潜空间奖励模型（LRM）已经出现，能够直接对噪声潜变量进行评分——从而避免了解码成本并实现中间状态监督——但现有方法存在两个关键局限性：

标量输出缺乏不确定性： 当前的潜空间奖励模型仅输出一个标量分数。它们无法估计每次预测的不确定性。因此，生成器无法区分可靠的反馈与不可靠的反馈。
静态不确定性假设： 先前的研究（如 DiNa-LRM）仅根据潜变量的噪声水平（时间步）分配不确定性。它假设同一时间步的所有样本都具有相同的可靠性。然而，本文认为奖励的难度也是取决于内容的；一个具有清晰主体的“嘈杂”样本可能比一个内容模糊的“较干净”样本更具可预测性。
优化风险： 由于缺乏不确定性估计，生成器可能会基于不可靠的局部反馈进行优化，导致“奖励作弊”（即模型利用奖励函数而非提升质量）以及训练动态不稳定。

2. 方法论

作者提出了 SURE（用于不确定性引导扩散后训练的样本自适应潜空间奖励），这是一个由两个组件组成的统一框架：SURE-LRM（奖励模型）和 SURE-REFL（后训练算法）。

2.1 SURE-LRM：样本自适应潜空间奖励模型

SURE-LRM 旨在不仅预测奖励分数，还要为每个噪声潜变量预测一个完整的高斯效用分布，该分布以提示词（prompt）和时间步为条件。

架构： 它复用了目标生成器的扩散 Transformer (DiT) 骨干网络（适用于图像和视频），在不进行 VAE 解码的情况下处理噪声潜变量、提示词和时间步。
预测目标： 对于噪声潜变量 $z_\sigma$ $z_{σ}$ ，模型预测：
- 均值奖励 $\mu_\theta$ 。
- 一个样本自适应的残差方差参数 $a_\theta$ 。
方差建模： 总预测方差 $v_\eta(\sigma)$ 是噪声相关先验 $v_0(\sigma)$ （捕捉随噪声增加而产生的平均信息损失）与学习到的样本特定残差方差 $v_{\eta, res} = \text{softplus}(a_\theta) + \epsilon_v$ 之和。
训练目标： 模型在标准的成对偏好（ $z^+ \succ z^-$ $z^{+} ≻ z^{-}$ ）上进行训练，使用异方差偏好目标：
- 似然损失 ( $L_{pref}$ )： 基于 Thurstone 随机效用模型，优化“偏好样本具有更高效用”的概率。梯度会自然地促使模型在排名错误或模糊时增加方差（不确定性），并在排名正确且自信时降低方差。
- 正则化：
  - 方差正则化 ( $L_{var}$ )： 防止模型通过简单地膨胀不确定性（方差膨胀）来解释所有的排名错误。
  - 间隔正则化 ( $L_{margin}$ )： 确保偏好样本与被拒绝样本之间的最小间距。
  - 锚点损失 ( $L_{anchor}$ )： 稳定整体分数规模。

2.2 SURE-REFL：不确定性引导的密集奖励反馈学习

一旦训练好 SURE-LRM，其参数将被冻结。SURE-REFL 利用该模型在潜空间中引导生成器的后训练过程。

局部反馈机制： SURE-REFL 不再通过整个去噪图进行反向传播，而是在去噪轨迹中的选定转换点 ( $j$ ) 查询冻结的奖励模型。
不确定性引导权重：
1. 模型预测状态 $j$ 处的均值奖励 $\mu$ 和残差方差。
2. 总方差被转换为可靠性权重 $\rho = V^{-1/2}$ （逆标准差）。
3. 该权重是分离的（stop-gradient），这意味着生成器从权重中学习，但在该步骤中不会更新奖励模型的不确定性估计。
4. 权重在同一转换点评估的样本之间进行归一化，以确保公平比较。
优化： 生成器使用加权奖励目标进行更新，其中预测方差较低（可靠性较高）的样本对梯度的贡献更大。这种密集反馈被应用于每个转换点的局部，避免了需要保留完整去噪图或像素空间解码的需求。

3. 核心贡献

提出了样本自适应不确定性的公式化表达： 本文将潜空间中的奖励不确定性表述为从标准成对偏好中导出的可学习分布，而无需额外的专家置信度标注。
SURE-LRM： 一种能够学习样本相关不确定性的潜空间奖励模型，证明了即使在相同时间步，样本也可以根据其内容具有不同的可靠性估计。
SURE-REFL： 一种统一的图像和视频后训练方法，利用分离的不确定性来加权密集局部反馈，消除了对 VAE 解码和完整去噪图保留的需求。
理论洞察： 作者推导了方差梯度，以证明偏好损失如何提供学习不确定性的内在信号。

4. 实验结果

4.1 奖励模型准确度 (SURE-LRM)

图像基准测试： SURE-LRM 在三种不同骨干网络（SD3.5, Z-Image-Turbo, FLUX.1-dev）上的四个基准测试（ImageReward, HPD v2, HPD v3, GenAI-Bench）中实现了最先进的（SOTA）成对偏好准确率，超越了包括 DiNa-LRM 和基于 VLM 的像素奖励在内的强基线模型。
视频基准测试： 在 VisionRewardDB 和 T2V Ranking 上，SURE-LRM 取得了最高准确率，超越了解码视频评估器和视频专用奖励模型。
不确定性诊断： 实验证实，学习到的残差方差与预测误差相关。排名错误的样本其残差方差显著更高（平均高出 24.26%）。通过低预测方差样本进行过滤，可将成对准确率从 79.40% 提升至 90.10%。

4.2 后训练性能 (SURE-REFL)

图像生成： SURE-REFL 在 SD3.5, Z-Image-Turbo, 和 FLUX.1-dev 上的 HPSv2.1, ImageReward, 和 PickScore 指标中表现最佳，优于 Flow-GRPO, ViPO, 和 DiNa-LRM 等基线。
视频生成： 在 VBench 上，SURE-REFL 在质量（Quality）、语义（Semantic）和总分（Total）指标上均取得了最高分，优于 DanceGRPO, ViPO, Video-DPO, 和 HY-PRFL。
稳定性与奖励作弊： 优化动态显示，虽然基线模型（如 DiNa-LRM-REFL）表现出奖励作弊现象（即奖励分数上升，但独立的质量指标如 HPSv3 下降），但 SURE-REFL 能在更长时间内保持优化奖励与独立质量指标之间的一致性，并达到更高的最终得分。

4.3 消融实验

对奖励模型损失组件的消布验证了所有项都是必要的。移除方差正则化 ( $L_{var}$ ) 导致准确率下降最大，验证了控制方差膨胀的必要性。

5. 重要性与主张

本文声称 SURE 提供了一个统一且高效的框架，通过解决潜空间奖励建模中的“可靠性差距”来实现视觉扩散模型的对齐。其重要性在于：

高效性： 通过完全在潜空间运行而不进行 VAE 解码，它降低了反馈循环期间的计算开销。
鲁棒性： 通过显式建模并利用样本自适应不确定性，它防止了生成器过度拟合噪声或模糊的反馈，从而减少了奖励作弊并提高了训练稳定性。
通用性： 该框架是模态无关的，成功地将相同的确定性加权逻辑应用于图像和视频生成任务。

作者总结道，从标准的成对偏好中学习样本相关的不确定性，是提高扩散后训练中密集奖励反馈可靠性的可行且有效的策略。