🤖 machine learning

Optimize Your Sampling: Tuned Diffusion Sampling with Bayesian Optimization

本文介绍了优化你的采样（Optimizing Your Sampling, OYS），这是一种无需训练的方法，它利用贝叶斯优化来直接调节扩散模型的采样时间步，在保持各种任务和采样器高生成质量的同时，显著降低了推理成本。

原作者： Travis Zhang, Christian Belardi, Justin Lovelace, Jin Peng Zhou, Saebyeol Shin, Carla P. Gomes, Kilian Q. Weinberger

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Travis Zhang, Christian Belardi, Justin Lovelace, Jin Peng Zhou, Saebyeol Shin, Carla P. Gomes, Kilian Q. Weinberger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，一种特定的计算机程序最近学会了仅凭一段描述就能创造图像。这些被称为扩散模型（diffusion models）的程序，其工作原理是从充满随机静态噪声的屏幕开始——就像旧电视机上的雪花点一样——然后逐渐清理这些噪声，直到出现清晰的图像。为了将这些噪声转化为一只可辨识的猫、一处风景或一个人，计算机必须进行许多细小的步骤，在每个阶段检查并调整图像。这个过程非常强大，使机器能够创作出令人惊叹的艺术品和实用的设计，但它也很慢。生成单张图像通常需要计算机进行数千次计算，这使得成本高昂且耗时。多年来，研究人员一直试图通过寻找更好的“取步”方式来加速这一过程，希望能在不损失最终图像质量的前提下，用更少的步数达到清晰的图像。

康奈尔大学的一个研究小组发现了一种解决此问题的新方法，即改变计算机决定采取哪些步骤的方式。他们没有遵循标准的、预先写好的计划，而是将步骤的选择视为一个由智能搜索算法解决的谜题。他们开发了一种名为“优化你的采样”（Optimizing Your Sampling，简称 OYS）的方法，该方法会自动测试数千种不同的步骤模式，以找到产生最佳结果的那一种。研究人员发现，最高效的路径并非此前任何人所预料的那样。虽然以往的方法试图将步骤均匀分布，或者遵循严格的数学公式，但这种新方法学会了在过程的早期、即图像仍处于噪声状态的混乱阶段投入更多时间。这一简单的改变使得计算机能够仅使用通常所需步骤的一小部分，就能创造出高质量的图像。

研究人员在几种不同的图像生成模型上测试了他们的想法，其中包括当今最流行的模型。他们要求计算机根据文本提示词生成图片，例如“一幅星舰降落在寺庙旁的绘画”或“一只有着大眼睛的快乐水仙花”。在这些测试中，他们将这种新方法与生成图像的标准方式以及另一种试图利用复杂数学来改进过程的近期技术进行了对比。结果显而易见：新方法始终能产生更好的图像。当计算机被迫仅使用 5 个步骤而不是通常的 50 个步骤时，新方法保留了几乎所有长过程的质量，而标准方法产生的则是模糊或扭曲的结果。事实上，该方法非常有效，即使在计算机使用极少步骤的情况下，它生成的图像在超过 80% 的案例中仍比标准方法更受人类青睐。

这项发现之所以特别有趣，是因为计算机是如何学习解决这个问题的。研究人员并没有教给计算机一条新规则或编写一个新的方程。相反，他们让计算机尝试不同的步骤进度表，为每种进度表生成一张图像，然后根据图像与描述的匹配程度以及视觉效果的好坏进行评分。计算机利用这些评分来引导其搜索，逐渐缩小范围，直到找到最佳的进度表。当研究人员观察获胜的进度表时，他们看到了一个令他们惊讶的模式。计算机决定在图像仍然非常嘈谢时多走几步，而在图像已经基本清晰时少走几步。这与许多专家的假设恰恰相反，因为以往的方法倾向于均匀分配步骤，或者更多地关注最后的清理阶段。新方法证明，在过程的混沌初期投入更多精力，会在最后获得更好的结果。

该团队还将此方法应用于其他任务，例如修复受损的图像部分，或将简单的草图变为写实的照片。在每种情况下，新方法都提升了输出质量。它在那些已经被简化以实现快速运行的模型上也同样有效，这表明收益来自于步骤的选择方式，而非改变模型本身。研究人员指出，寻找这种最优进度表需要在测试阶段生成数千张图像，但这种成本只需支付一次。一旦找到了最佳进度表，就可以永久使用它来使未来的图像生成变得更快、更便宜。这项研究表明，多年来计算机科学界一直在使用一种“一刀切”的方法来清理噪声，而一种能够适应特定任务需求的定制化方法可以释放出显著更强的性能。

该方法最引人注目的发现之一是其高效性。研究人员发现，他们可以调整系统，使其比其他近期的尝试使用更少的计算资源来找到最佳进度表。虽然某些先前的方法需要生成数百万张图像才能找到一个好的进度表，但这种新方法通常在仅生成几千张图像后就能找到解决方案。这种效率意味着该方法可以应用于许多不同类型的图像生成器，而不需要海量的计算能力。研究人员强调，这并不是一个适用于所有问题的通用修复方案，而是一个允许专家更容易为特定需求找到最佳设置的工具。通过将步骤的选择视为一个直接优化的问题，而非基于理论进行猜测，他们为更快、更高质量且易于被广泛用户获取的图像生成开辟了一条路径。

这项工作的意义不仅在于让制作图片变得更快。它改变了我们对计算机投入的努力与结果质量之间关系的思考方式。研究表明，沿用多年的标准做法实际上浪费了很多潜在的质量。通过简单地重新排列计算机关注的时机，我们可以在不改变底层技术的情况下获得更好的结果。这表明在人工智能的许多领域，我们引导过程的方式可能与过程本身同样重要。研究人员希望他们的方法能鼓励他人去寻找其他复杂任务中的类似优化，从而证明有时前进的最佳方式是重新思考我们抵达目标的步骤。

技术摘要：通过贝叶斯优化实现采样优化 (OYS)

问题陈述

扩散模型在文本生成图像、超分辨率和图像修复等生成任务中取得了最先进的性能。然而，这些模型固有的迭代去噪过程需要对大型神经网络进行多次前向传递，使得生成过程在计算上非常昂贵。虽然已有大量研究致力于开发高效的求解器（例如 DPM-Solver++）和少步蒸馏模型（例如一致性模型），但相比之下，对于**采样时间步（sampling timesteps）**本身的选取却鲜有关注。

时间步的选择显著影响样本质量，特别是在低步数预算下，默认调度方案会迅速退化。先前的工作，如 Align Your Steps (AYS)，试图通过最小化一个理论推导的代理指标——即真实生成过程与离散化过程之间的 Kullback-Leibler 散度上界 (KLUB)——来优化时间步选择。然而，最小化该上界并不一定能最小化输出分布之间的差异。因此，AYS 依赖于基于启发式初始化的早期停止，其生成的调度方案仍接近于在 log-SNR 空间中的默认对数线性间距，未能充分利用全局步骤重新分配带来的潜在收益。

方法论：优化你的采样 (OYS)

作者提出了优化你的采样 (Optimizing Your Sampling, OYS)，这是一个将时间步选择视为黑盒优化问题的框架。OYS 不再优化理论代理指标，而是直接使用贝叶斯优化 (Bayesian Optimization) 来优化目标指标（例如人类偏好得分、FID、PSNR）。

核心框架

黑盒公式化： OYS 假设可以访问一个固定的预训练扩散模型 $m$ 、一组调优输入 $X$ 以及一个黑盒评估指标 $e$ 。目标是找到一个采样配置 $p$ ，使得 $e(m(X; p))$ 最小化。
参数化：
- 直接调度优化： 对于没有参数化调度的模型，OYS 直接优化时间步。为了确保单调性（从高噪声到低噪声），作者使用了累积乘积重参数化，其中每个步骤 $k$ 由一个连续参数 $p_k \in [0, 1]$ 定义。对于离散时间模型，时间步会被舍入到最近的整数。
- 参数化调度： 对于像 EDM 系列这样的模型，OYS 会联合优化函数参数（例如 $\sigma_{min}$ 、 $\sigma_{max}$ 、 $\rho$ 、EMA 长度、引导强度），而不仅仅是时间步。
贝叶斯优化循环：
- 初始化： 通过 Sobol 采样选择初始配置。
- 代理模型： 拟合一个高斯过程 (GP) 来近似观测到的评估结果，从而提供均值和不确定性估计。
- 采集函数： 使用 $q$ LogNEI 采集函数来引导对有前景配置的搜索。
- 评估： 每次迭代都涉及生成图像并对这些图像进行评分。此过程重复进行，直到收敛或预算耗尽。

与先前工作的关键区别

与优化代理指标的方法（例如 AYS 优化 KLUB、ART 优化 Euler 离散化误差或 HSO 优化中点误差）不同，OYS 直接优化目标指标本身。虽然这在调优期间会产生生成图像的成本，但它避免了代理指标与感知质量之间的不匹配。此外，OYS 不需要通过采样器的梯度信息，因此适用于非微分操作（如舍入）以及缺乏可处理代理指标的目标（如人类偏好）。

核心贡献

直接指标优化： OYS 是第一个将扩散模型采样参数选择视为黑盒优化问题的框架，它直接优化感知质量指标而非理论边界。
无需重新训练： 该方法不需要对扩散模型进行额外的训练，并且适用于任何预训练模型、采样器或目标。
广泛的适用性： OYS 在多种任务（文本生成图像、图像修复、逆向任务）和多种模型类型（标准模型、蒸馏模型、离散时间模型、连续时间模型）中均提升了性能。
高效性： 调优过程非常高效。对于 SDXL，调优在约 17K 次五步生成（85K 次前向传递）后趋于平缓，这比 AYS 报告的调优成本上限低了一个数量级。

实验结果

作者在多个基准测试中评估了 OYS，并将其与默认调度和 AYS 调度进行了比较。

文本生成图像

指标： 使用 COCO Captions 和 DiffusionDB 上的人类偏好得分 (HPS) 和 FID 进行评估。
性能： OYS 一致地优于默认调度和 AYS 调度，特别是在激进的低步数阶段（5 步）。
- 在 SDXL (5 步) 上，OYS 在人类评估中相对于默认调度实现了 70.70% 的胜率，相对于 AYS 实现了 68.8% 的胜率。
- 在 DeepFloyd 和 Stable Diffusion v1.5 上，OYS 在 5 步时的 HPS 胜率较默认方案显著提升（分别为 83.99% 和 59.29%）。
- OYS 还提升了 SDXL-Turbo（一种蒸馏模型）的性能，证明了调度调优可以与蒸馏相辅相成。

图像修复与逆向任务

图像修复： 在 LPIPS 上针对 5 步调度进行的调优，相比默认方案分别将 PSNR 提高了 6.9 dB (SDXL) 和 2.9 dB (SDv1.5)。人类评估显示，OYS 分别在对比中以 93.4% 和 85.1% 的胜率获胜。至关重要的是，OYS 保留了未遮盖区域，而默认调度往往会损坏这些区域。
逆向任务： 对于 Prompt Diffusion 任务（Inverse HED、Depth、Segmentation），OYS 比默认方案在 HPS 胜率上提高了 57.6%–65.4%。

EDM2 图像生成

OYS 在 ImageNet-512 上优化了 EDM2 系列的参数化调度（ $\sigma_{min}, \sigma_{max}, \rho$ ）和引导强度。
结果显示，与 Karras 等人 (2024) 的网格搜索配置相比，所有模型规模（从 XS 到 XXL）的 FID 均有 3.57% 至 7.00% 的提升。

定性与结构性洞察

调度分析： 对 log-SNR 空间中优化后的调度进行检查，发现了一个一致的模式：OYS 将更多的步骤分配给高噪声（低 log-SNR）区域。这与默认调度和 AYS 调度中近似均匀的 log-SNR 间距形成对比。
人类评估： 一项包含 58 名参与者的用户研究证实，在图像保真度和提示词对齐方面，用户更倾向于 OYS 生成的结果（所有比较的显著性均达到 $p < 0.001$ ）。
泛化能力： 改进效果在未用于调优的指标（例如，在 HPS 上调优提升了 FID）上也同样成立，这表明存在真实的质量提升，而非指标过拟合。

重要性与主张

本文声称 OYS 为跨架构和跨任务的高效采样提供了一条实用的路径。通过将采样参数选择建模为黑盒优化问题，OYS 绕过了无法捕捉感知质量的理论代理指标的局限性。

作者强调，虽然最优噪声调度本质上是依赖于领域的，但 OYS 使这种领域特定调优的过程变得更简单且更便宜。成本在每个模型和任务中仅需支付一次，但可以分摊到后续所有的采样过程中。结果表明，传统的间距和噪声范围启发式方法在低步数预算下浪费了大量的质量潜力，而且值得调优的参数不仅限于时间步，还包括引导强度和噪声范围边界。一个 5 步的 OYS 调度可以保留 50 步调度 89%–94% 的质量，同时将推理成本降低了 10 倍。