⚡ electrical engineering

ART for Diffusion Sampling: Continuous-Time Control and Actor-Critic Learning

本文提出了自适应重参数化时间（ART）及其基于强化学习的求解器 ART-RL，这是一种连续时间控制框架，通过学习扩散采样中的最优自适应步长调度，在不修改底层模型的情况下，显著提升各种预算和流水线下的样本质量与泛化能力。

原作者： Yilie Huang, Wenpin Tang, Xun Yu Zhou

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yilie Huang, Wenpin Tang, Xun Yu Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图创作一幅杰作，但你的时间有限，且拥有的笔触次数也是固定的。这正是 扩散模型（Diffusion Models） 所面临的挑战——这种技术是 DALL·E 和 Stable Diffusion 等工具背后的 AI 技术。这些模型从充满随机静态噪声（噪声）的画布开始，通过一步步“去噪”，直到一幅清晰的图像显现出来。

问题在于：你应该如何分配你有限的笔触？

目前，大多数 AI 艺术家使用一种“均匀”策略：他们从头到尾采取大小相等、步长一致的步骤，就像节拍器以稳定的节奏滴答作响。另一些人则使用“手工设计”的时间表，这就像预先写好的食谱，规定了“在开始时迈大步，在结束时迈小步”。但这些食谱只是猜测。有时它们会在容易的部分浪费时间，而在处理棘手的细节时又过于匆忙，导致生成的图像模糊或扭曲。

本文介绍了一种名为 ART（自适应重参数化时间，Adaptive Reparameterized Time） 的新方法。请不要把 ART 仅仅看作一把新的画笔，而要把它看作 AI 交响乐团中的一位聪明的指挥家。

核心思想：“速度调节旋钮”

想象 AI 的绘画过程是一辆车从 A 点（噪声）行驶到 B 点（最终图像）。

旧方法： 驾驶员被要求以恒定的速度行驶，或者遵循一张基于猜测的固定地图（规定了哪里该减速，哪里该加速）。
ART 方法： 驾驶员拥有一个速度调节旋钮（控制旋钮）。AI 学习实时转动这个旋钮。
- 当路面平坦（容易预测图像）时，AI 会加速，采取大步、快速的移动以节省时间。
- 当路面变得颠簸或复杂（难以预测细节）时，AI 会减速，采取细微、谨慎的步骤以确保准确性。

目标是在使用完全相同的“燃料”（计算能力）的前提下，将其分配到最关键的地方。

它是如何工作的：“赌徒”技巧

在数学上解决这个“速度调节旋钮”问题极其困难，因为 AI 必须同时做出数百万个决策。为了解决这个问题，作者使用了一个巧妙的技巧，称为 ART-RL。

可以这样理解：与其尝试为每一个瞬间计算出完美的速率（这太难了），不如让 AI 扮演一个赌徒的角色。

它对速度做一个猜测。
它在猜测中加入一点“噪声”或随机性（就像掷骰子来决定是稍微加速还是稍微减速）。
它进行尝试，并观察生成的图像效果如何。
如果图像很好，它就会记住这个速度；如果图像很差，它就会学习避开这个速度。

通过重复这个“试错”过程数百万次，AI 就能学会完美的节奏。一旦它掌握了节奏，它就不再“赌博”，而是直接遵循它所发现的那条完美、平滑的路径。

实验结果：更好的画作，同样的投入

作者在各种任务上测试了这个“聪明的指挥家”，从简单的数学问题到生成复杂的面孔和动物图像。

“一维”测试： 他们在一个已知完美答案的简单数学问题上进行了测试。旧方法（Uniform, EDM, DPM）就像是不知何时该刹车的驾驶员，经常偏离目标。而 ART 学会了完美的刹车模式，并且每次都能得到正确答案。
图像测试： 在生成图像（如猫、人脸或汽车）时，即使使用完全相同的计算步骤，ART 生成的图像也始终比标准方法更清晰、更锐利。
“通用型”天赋： 最令人惊讶的发现是，ART 为一个数据集（如 CIFAR-10，一组小型玩具图像集）学到的“节奏”，可以完美地应用在完全不同的数据集（如高分辨率的人脸或动物）上，而无需重新训练。这就像是在停车场学会了开车，然后立刻就能在赛车场上驾驶赛车，而不需要任何额外练习。

为什么这很重要

目前，如果你想要更好的 AI 图像，通常需要等待更长时间（更多步骤）或者使用更强大的计算机。ART 让你可以用同样的时间和计算能力获得更高质量的图像。

它将运行 AI 的“凭直觉猜测”转化为了一种习得的技能。AI 能够找出自己的时间表，确保每一秒的计算能力都精准地用在最需要的地方。

简而言之： ART 教会了 AI 不再仅仅依靠自动驾驶，而是学会了根据自己掌握的地图进行驾驶，从而在不改变底层 AI 模型的情况下，实现更清晰的图像生成和更快的生成速度。

技术摘要：用于扩散采样的自适应重参数化时间 (ART)

问题陈述

扩散模型通过将噪声转化为样本的逆向时间动力学过程来生成数据。虽然得分（或去噪）模型的训练已经非常成熟，但采样阶段依赖于在有限的时间步网格上对逆向过程进行数值离散化。目前的标准做法通常使用均匀网格或人工设计的调度方案（例如 EDM、DPM-Solver）。这些方法通常是启发式的、固定的预设方案，无法根据轨迹的具体数值特性进行调整。因此，它们可能会导致计算资源的分配不合理，从而导致显著的离散化误差（如果步长过粗）或浪费评估次数（如果由于动力学平滑区域步长过细）。核心问题在于如何制定一种系统性的、有原则的方法进行时间步分配，以便在固定的计算预算（函数评估次数）下优化样本质量。

方法论

1. 自适应重参数化时间 (ART)

作者提出了 ART，这是一个连续时间最优控制框架，将时间步选择视为一个控制问题。

时间重参数化： ART 不再在固定的物理时间网格 $\tau \in [0, T]$ 上演化逆向过程，而是引入了一个辅助的“采样时钟” $t \in [0, T]$ 。物理时间是该时钟的函数，即 $\tau = \psi(t)$ 。
控制变量： 物理时间相对于采样时钟的推进速率 $\theta(t) = \dot{\psi}(t)$ 被视为控制变量。
目标： 目标是最大化一个源自一阶欧拉离散化误差的目标泛函。研究表明，欧拉方案的局部误差与 $|Q(x, \psi)| \theta^2$ 成正比，其中 $Q$ 捕捉了概率流向量场的局部刚性（stiffness）。该控制问题旨在满足总时间预算约束 $\int_0^T \theta(t) dt = T$ 的条件下，最小化累积误差。
公式化： 这产生了一个确定性的最优控制问题，其状态包括样本轨迹和累积物理时间，而控制变量 $\theta$ 决定了采样器在物理时间中移动的速度快慢。

2. ART-RL：一种随机化控制公式

由于状态空间（例如图像维度）的高维性，直接通过 Hamilton–Jacobi–Bellman (HJB) 方程求解确定性 ART 问题是难以实现的。为了克服这一点，作者引入了 ART-RL，一个辅助的随机化控制问题。

高斯策略： 确定性控制 $\theta$ 被随机策略 $\pi(\lambda)$ 取代，具体为高斯分布 $N(\mu, \lambda/|Q|)$ 。方差与局部刚性 $|Q|$ 成反比，确保在刚性较大的区域随机性较小。
理论等价性： 论文证明了 ART-RL 公式中的最优高斯策略的均值与原始确定性 ART 问题的最优控制解是完全一致的。因此，求解随机化问题可以恢复确定性问题的解。
演员-评论家学习 (Actor–Critic Learning)： 利用连续时间强化学习 (CTRL) 的最新进展，作者推导出了可实现的演员-评论家更新规则。
- 评论家 (Critic)： 使用基于鞅的矩条件来估计价值函数（策略评估）。
- 演员 (Actor)： 根据评论家的反馈更新策略均值 $\mu$ 以提高价值（策略改进）。
- 拉格朗日乘子： 更新乘子 $\gamma$ 以强制执行总时间预算约束。

3. 实现与蒸馏

学习到的策略是时间、状态和累积时间的反馈函数。然而，实验结果表明，在实践中，最优控制 $\theta$ 主要取决于时间。作者提出了一个蒸馏步骤，将学习到的神经网络策略替换为固定的、确定性的仅依赖时间的调度方案（即控制的经验均值）。这使得学习到的调度可以作为简单的预计算网格进行部署，与人工设计的调度相比，不会增加额外的推理时间开销。

核心贡献

控制论框架： 本文首次将扩散采样中的时间步分配表述为连续时间最优控制问题 (ART)，超越了启发式的网格设计。
理论桥梁 (ART-RL)： 它建立了确定性控制问题与随机化强化学习公式之间的严谨联系。它证明了最优随机化策略的均值即为原确定性问题的解，从而能够使用演员-评论家算法。
算法开发： 作者推导了针对时间重参数化的特定策略评估和改进特征，从而产生了一种实用的、数据驱动的演员-评论家算法（算法 1）用于学习最优调度。
泛化性与迁移性： 该工作展示了在特定数据集（CIFAR-10）上学习到的调度可以在无需重新训练的情况下，迁移到不同的数据集（AFHQv2、FFHQ、ImageNet）、不同的分辨率（64x64 到 512x512）、不同的流水线（EDM 到 EDM2）以及不同的表示空间（像素到潜空间）。

实验结果

作者在多种设置下评估了 ART-RL，保持得分模型、求解器和流水线固定，仅改变时间步网格：

低维解析案例： 使用具有已知得分函数的 1D 扩散模型，ART-RL 在 Wasserstein-2 误差方面始终优于 Uniform、DPM 和 EDM 调度，证明了为图像设计的启发式调度可能在其他领域失效。
CIFAR-10 (EDM 流水线)：
- Heun 采样： 在所有预算下，ART-RL 均取得了最佳的 Fréchet Inception Distance (FID)；在最强配置（NFE=35）下，它优于最先进的 EDM 调度（1.82 vs 1.85）。
- Euler 采样： 观察到了类似的改进，证实了即使使用一阶求解器，学习网格也是有益的。
MNIST (小模型)： 即使使用轻量级、非预训练的得分模型和 RK4 求解器，ART-RL 仍显著优于基准模型，展示了该方法对模型容量的鲁棒性。
迁移学习：
- 跨步数迁移： 在 $K=18$ 时学习的调度可以通过对数线性插值/外推有效地迁移到其他步数。
- 跨数据集迁移： 在 CIFAR-10 上学习的调度在无需重新训练的情况下，提升了 AFHQv2、FFHQ 和 ImageNet-64 的 FID。
- 跨流水线与分辨率： 该调度成功迁移至 ImageNet-512 上的 EDM2 流水线（潜空间，高分辨率），优于 EDM 和 DPM 基准。

意义与主张

论文声称 ART-RL 提供了一种有原则的、数据驱动的替代方案，用以取代现有的、用于扩散采样的启发式固定网格。

可重用性： 其主要的实际意义在于能够学习到一个可重用的时间步调度。一旦在单个数据集（如 CIFAR-10）上完成训练并完成蒸馏，该调度即可应用于广泛的下游任务（不同数据集、分辨率和流水线），从而摊销离线训练成本。
即插即用： 该方法不需要修改得分模型架构、求解器实现或训练协议。它纯粹作为时间步网格的替代品，是一种模块化的改进，可直接应用于现有的扩散流水线。
理论基础： 与以往的启发式方法不同，ART 基于最优控制理论和连续时间强化学习，为解决扩散采样中的离散化误差提供了一种系统化的方法。

作者谦虚地指出，目前的分析仅限于概率流 ODE 采样，且向仅依赖时间的调度进行蒸馏会移除状态依赖性，这留下了“更丰富的状态条件调度是否能带来进一步收益”的问题。然而，目前的结果为生成模型中的系统化时间步设计奠定了坚实的基础。