🤖 machine learning

Learning To Sample From Diffusion Models Via Inverse Reinforcement Learning

本文引入了一种逆强化学习框架，该框架将扩散模型采样建模为一个马尔可夫决策过程，旨在无需重新训练去噪器的情况下自动学习最优采样策略，从而以显著低于传统网格搜索的成本，实现与微调采样器相媲美的性能。

原作者： Constant Bourdrez, Alexandre Vérine, Olivier Cappé

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Constant Bourdrez, Alexandre Vérine, Olivier Cappé

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位大师级厨师（即去噪器/Denoiser），他极其擅长将一碗普通的炒蛋（随机噪声）变成一份完美的顶级牛排（高质量图像）。这位厨师已经经过了多年的训练，深谙烹饪之道。

然而，有一个问题：厨师需要一套具体的烹饪指令。是应该轻轻搅拌锅中的食物？是在一开始加一撮盐，还是在最后时刻加？是在特定时刻调高热量，还是调低热量？

在 AI 图像生成的领域中，这些指令被称为采样策略（sampling strategies）。传统上，寻找这套完美指令的过程就像是在大海捞针。研究人员必须手动测试成千上万种热量、时机和调料的组合（这个过程被称为“网格搜索/grid search”）。这极其昂贵且耗时，消耗的能量甚至可能与训练这位厨师本身一样多。

论文的核心思想
作者提出了一种新的方法，可以在不重新训练厨师或聘请新厨师的情况下，教会厨师如何烹饪。与其手动猜测指令，不如使用一种叫做**逆向强化学习（Inverse Reinforcement Learning, IRL）**的方法。

可以这样理解：

旧方法： 你尝试通过品尝 1,000 种不同版本的菜肴来猜测完美的食谱，并寄希望于其中一个会是好的。
新方法： 你观察厨师烹饪几次。你不需要告诉厨师该做什么；你只需要展示给厨师看最终那块完美的牛排。然后厨师就会明白：“啊，为了得到像这样的结果，我需要在这里搅拌，并在那里加盐。”

它是如何运作的（比喻）
这篇论文将图像生成过程视为一场漫长的旅程或一个电子游戏关卡。

旅程： AI 从纯粹的静态噪声开始，逐步将其转化为图像。这个过程分步进行，就像在游戏中移动过关一样。
玩家： “策略（policy）”就是控制游戏的玩家。在每一步中，玩家可以选择进行操作，例如：
- 增加一点混乱（Stochasticity）： 摇晃一下锅，看看是否有帮助。
- 给予引导（Guidance）： 在特定时刻告诉厨师，“让它看起来更像一只狗”。
- 按下倒带键（Renoising）： 如果图像看起来很奇怪，就退回到前几步重新尝试。
目标： 玩家不会因为每一个动作而获得分数。玩家的唯一目标是确保最终目的地（完成后的图像）看起来与目标数据（真实的图片）完全一致。

AI 通过将其自身的路径与“专家”路径进行比较来学习这些决策。它使用一种数学工具（称为 f-divergence）来衡量自己的路径与专家路径之间的差异，并据此调整策略，以最小化这种差异。

他们的发现
研究人员在著名的图像数据集（如 CIFAR-10、FFHQ 和 ImageNet）上对该方法进行了测试。以下是关键结论：

它比手动调优更聪明： AI 学会了根据过程中的特定时刻来改变指令。例如，它学会了仅在图像模糊时增加“混乱”，而在图像接近完成时变得非常精准。这比在整个过程中使用固定规则要好得多。
它节省了巨大的能量： 在 ImageNet 数据集上，寻找最佳手动设置需要测试数千种组合，消耗了巨大的计算资源。而他们的方法通过单次训练运行就找到了更好的解决方案，节省了高达 9 倍的计算成本。
代价微乎其微： 一旦 AI 学会了这些策略，使用它们生成图像只会增加大约 16% 的额外工作量。为了避免手动测试的巨大成本，这是一个微不足道的代价。
质量与多样性的权衡： 该方法允许用户选择不同的“风味”。用户可以将其调整为非常精准（使图像看起来与训练数据完全一致），或者非常多样化（使图像更加丰富多样，但可能稍微没那么完美）。

总结
这篇论文为 AI 图像生成器引入了一个“聪明的教练”。不再是通过手动调节旋钮和拨盘来寻找完美设置，而是通过观察目标数据并实时调整自身行为，让 AI 自动学习到完美的设置。它比传统的“试错法”更快、更便宜，且能产生更好的结果。

技术摘要：通过逆强化学习学习扩散模型采样

问题陈述

扩散模型已成为高维数据生成的标准，但其采样过程仍然是一个关键瓶颈。虽然去噪神经网络在训练后通常是固定的，但采样算法本身需要对超参数（如噪声调度、引导尺度、随机性剖面）进行仔细调优。目前，这种调优是通过昂贵的经验网格搜索来完成的。对于像在 ImageNet-64 上训练的复杂模型，穷举超参数搜索的计算成本可能接近甚至超过训练去噪器本身的成本。此外，现有的针对扩散模型的强化学习（RL）或控制方法通常需要显式的奖励函数或对去噪器进行微调，这与“在不修改预训练生成器的情况下优化采样器”的目标相违背。

方法论

作者提出将扩散采样建模为一个可以通过逆强化学习 (IRL) 解决的序列决策问题。其核心创新在于学习一种能够匹配目标状态分布的采样策略，而无需访问专家轨迹、显式奖励或重新训练去噪器。

1. MDP 建模

扩散采样过程被形式化为一个有限时界的马尔可夫决策过程 (MDP)：

状态 ( $s_t$ )： 定义为 $(x_t, \sigma_t)$ ，其中 $x_t$ 是当前样本， $\sigma_t$ 是噪声水平。
动作 ( $a_t$ )： 应用于采样动力学的离散控制决策，例如选择引导尺度、噪声注入水平，或决定是否重新加噪（重启）到之前的噪声水平。
动力学： 转移核由离散化的扩散动力学和所选的控制动作诱导。当噪声水平达到 $\Sigma_0$ （一个吸收态）时，过程终止。

2. 仅状态逆强化学习 (State-Only IRL)

与通常假设存在专家动作或轨迹的传统 IRL 不同，该方法在仅状态 (state-only) 机制下运行。这里的“专家”仅由选定噪声水平下的数据样本边缘分布来定义。

目标： 目标是找到一个策略 $\pi_\theta$ ，其状态占用度量 $\mu_\theta$ （所访问状态的边缘分布）与专家占用度量 $\mu_E$ 相匹配。
优化： 该方法不是学习奖励函数，而是直接最小化专家与策略占用度量之间的 $f$ -散度：
$\min_\theta D_f(\mu_E \parallel \mu_\theta)$
论文特别探讨了 Kullback-Leibler (KL) 和 Reverse-KL (rKL) 散度，并指出 $f$ -散度的选择决定了在模式覆盖（多样性）与模式寻求（保真度）之间的权衡。

3. 策略梯度与优化

作者推导出了直接最小化 $f$ -散度的策略梯度定理。梯度表示为：
$\nabla_\theta L_f(\theta) = \mathbb{E}_{s_{1:T} \sim p_\theta} \left[ \frac{1}{T} \sum_{t=1}^T \nabla_\theta \log \pi_\theta(a_t|s_t) \sum_{t' \ge t} h_f\left(\frac{\mu_E(s_{t'})}{\mu_\theta(s_{t'})}\right) \right]$
其中 $h_f$ 是由 $f$ -散度生成器导出的函数。

密度比估计： 由于 $\mu_E$ 和 $\mu_\theta$ 是未知的，通过训练一个判别器来区分专家状态（加噪数据）和策略生成的状态来估计密度比。
稳定性： 为了处理梯度估计中的高方差，该方法采用了类 PPO 的裁剪目标、重要性采样修正以及全局批次均值基准。

4. 评估的采样策略

该框架被应用于三种特定的推理时干预：

自适应分类器自由引导 (Adaptive Classifier-Free Guidance)： 学习状态相关的引导尺度 $\omega(x, \sigma)$ 。
随机性注入 (Stochasticity Injection)： 学习状态相关的噪声注入水平 $\gamma_{EDM}(x, \sigma)$ 。
重采样/重启采样 (Renoising/Restart Sampling)： 学习何时将过程回退到之前的噪声水平，以跳出较差的生成结果。

核心贡献

将采样建模为 MDP： 论文将扩散采样视为一个 MDP，以便在推理时调整采样器，而无需重新训练去噪器。
直接的状态边缘匹配： 它推导出了一个策略梯度目标，用于最小化状态占用度量之间的 $f$ -散度，绕过了对显式奖励建模或专家动作数据的需求。
可解释的权衡： 该框架通过选择 $f$ -散度（KL vs. rKL）展示了可控的多样性（召回率）与保真度（精确度）之间的权衡。
状态相关控制： 学习到的策略作为推理时的控制手段，可以有选择性地进行干预（例如，仅在特定噪声水平或针对特定类型的样本应用高引导），而不是应用固定的全局调度。

实验结果

该方法在 CIFAR-10、FFHQ 和 ImageNet-64 上对预训练的 EDM 模型进行了评估。

性能： 学习到的策略在 FID、精确度 (Precision) 和召回率 (Recall) 指标上达到或超过了通过网格搜索找到的最佳手工调优基准。
- 自适应引导： 与固定引导相比，改善了质量-多样性的权衡。KL 散度提高了召回率（多样性），而 rKL 提高了精确度（保真度）。
- 随机性注入： 学习到的状态相关剖面恢复了最优 EDM 调度的定性模式（在轨迹末端使用低随机性），并在 ImageNet 等复杂数据集上优于固定基准。
- 重采样： 在保持或提高 ImageNet 上 FID 的同时，显著减少了函数调用次数 (NFE)。
计算效率：
- 训练： 单次训练过程取代了详尽的网格搜索。在 ImageNet-64 上，这使得优化预算减少了高达 9 倍（从 3 个超参数网格搜索的约 1437 EFLOPs 降至 IRL 训练的约 161 EFLOPs）。
- 推理： 与仅使用去噪器相比，策略带来的额外 FLOPs 开销仅为 16% 到 40%，考虑到其消除了手动调优的成本，这被认为是微不足道的。
消融研究发现：
- 条件化： 以全状态 $(x, \sigma)$ 为条件的策略明显优于仅以噪声水平 $\sigma$ 为条件的策略，并且表现得几乎与带有显式类别标签 $(x, \sigma, c)$ 的策略一样好，这表明策略从图像内容中隐式学习了类别判别特征。
- 散度选择： 研究表明 KL 和 rKL 在控制精确度-召回率权衡方面最为有效，而对称散度（TV, Hellinger）产生的结果解释性较差。

重要性与主张

该论文声称，该框架提供了一种系统化、自动化的替代方案，用于取代手动调节扩散采样的超参数。通过将采样视为一个 IRL 问题，它允许优化复杂的、与状态相关的采样策略，而这些策略很难通过人工设计。

作者强调，该方法对于大规模模型特别有价值，因为在这些模型中，单次尝试的评估成本极高。该方法并不修改生成模型本身，而是学习推理轨迹的“最优控制策略”，为在不增加重新训练或详尽搜索负担的情况下提高样本质量和多样性提供了一条切实可行的路径。论文保持了谦逊的态度，指出其收益取决于数据集，并且目前的框架依赖于离散动作空间，暗示未来的工作方向在于连续动作空间和更鲁棒的初始化。