🤖 machine learning

Hierarchical Schedule Optimization for Fast and Robust Diffusion Model Sampling

本文提出了分层调度优化器（HSO），这是一种新颖的双层优化框架，通过结合全局最优初始化搜索与由中点误差代理和间距惩罚适应度引导的局部细化，在低于 8 秒的一次性成本内，实现了极低步数（NFE）条件下扩散模型采样的无需训练的最先进加速。

原作者： Aihua Zhu, Rui Su, Qinglin Zhao, Li Feng, Meng Shen, Shibo He

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Aihua Zhu, Rui Su, Qinglin Zhao, Li Feng, Meng Shen, Shibo He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图创作一幅杰作，但只被允许用寥寥几笔笔触来完成整幅画面。如果你只是随意猜测这些笔触该落在何处，结果很可能只是一团杂乱的涂鸦。这正是扩散模型（一种生成图像的 AI）所面临的挑战。这些模型通常需要数千个微小的步骤（笔触）才能将纯粹的静态噪声转化为清晰的照片。让它们在短短几步内完成，就好比要求一位画家在五秒内完成一幅肖像画。

本文介绍了一种名为**HSO（分层调度优化器）**的新方法来解决这一问题。以下是其工作原理，通过简单的类比来说明：

问题所在：“糟糕的地图”

为了快速生成图像，AI 需要一个“调度表”——一份具体的步骤清单。

旧方法使用“一刀切”的地图（就像一本固定的规则手册）。它读取速度快，但无法适用于每种类型的绘画或每位艺术家。
其他方法试图通过测试所有可能的路线来绘制一张完美的地图。这既缓慢又昂贵，好比试图走遍森林里的每一条小路来寻找出口。
结果：当你强迫 AI 以极快的速度工作（使用极少的步骤）时，旧地图会导致生成的图像模糊、破碎或怪异。

解决方案：HSO（智能导航器）

作者创建了 HSO，它就像一个双层导航系统，为 AI 寻找最佳路线。

第一层：“大局”侦察兵（全局搜索）

想象你正在寻找徒步的最佳起点。与其走完全山，不如先查看一张低分辨率地图，找到最佳的起始区域。

HSO 通过搜索最佳的起始策略（几个简单的数字）来实现这一点，而不是试图立即找到完美的逐步列表。
它利用一种智能的“进化”过程（类似自然选择）来推测哪些起始策略具有潜力。

第二层：“细节”优化器（局部优化）

一旦侦察兵选定了一个有潜力的起始区域，优化器就会放大细节。

这是 AI 实际测试步骤的地方。
创新点（MEP）：本文引入了一种测量“错误”的新方法，称为中点误差代理（Midpoint Error Proxy）。这就像一把超精准的尺子，适用于任何类型的画家（求解器），而不仅仅是某个特定品牌。它能告诉 AI 如何精确调整步骤以避免错误，而无需每次都生成完整图像来进行检查。

安全网：“间距惩罚”（SPF）

有时，当你尝试优化路径时，会导致步骤靠得太近（就像在同一个地方迈了两步）。这会浪费你有限的“笔触”，并导致图像崩溃。

HSO 包含一个带间距惩罚的适应度函数。这就像俱乐部的保镖，他会说：“你不能站得离下一个人这么近。”
它迫使 AI 保持步骤均匀分布，确保即使在步骤数极低的情况下，整个过程也能保持稳定而不崩溃。

为何重要（结果）

本文声称 HSO 在速度和质量上是一个游戏规则改变者：

设置快速：在标准计算机上，找到这份完美调度表仅需不到8 秒。它不需要重新训练 AI 模型（这通常需要数天或数周）。
极少步骤即可工作：即使只有5 步（NFE=5），HSO 也能生成看起来极其清晰和逼真的图像。
具备适应性：与僵化的旧规则不同，HSO 会根据具体的 AI 模型以及你允许它执行的步骤数量来调整其策略。

总结：HSO 是一个智能的双层系统，它能迅速为 AI 找出在创纪录时间内绘制图片的完美“配方”，确保结果高质量且不崩溃，而无需教给 AI 任何新东西。

技术摘要：面向快速稳健扩散模型采样的分层调度优化

问题陈述

扩散概率模型已确立了生成保真度的新标准，但其迭代采样过程计算密集。生成高质量图像所需的总函数评估次数（NFE）往往高达数百甚至数千次，成为实时应用的瓶颈。尽管调度优化（在不重新训练模型的情况下，为固定且较小的 NFE 寻找最优的时间步分布）提供了一种免训练的加速策略，但现有范式无法同时满足以下四个核心原则：

自适应性：能够针对特定模型特性和 NFE 预算推导定制化的调度，而非依赖固定、一刀切的规则。
有效性：具备生成高保真样本的能力。
实际稳健性：确保理论目标与实际保真度一致，避免病态解（例如时间步过度聚集）。
计算效率：保持最优调度搜索成本在实际可行范围内。

现有方法难以平衡这些需求：基于规则的方法缺乏自适应性；感知优化牺牲了效率；而基于原理的优化常受非凸景观困扰，导致局部搜索陷入次优极小值或缺乏稳健性。

方法论：分层调度优化器（HSO）

为克服这些局限，作者提出了分层调度优化器（HSO），这是一种新颖的双层优化框架，将全局最优调度的搜索重构为更易处理的问题。HSO 在两个协同层级间迭代交替：

1. 框架架构

上层（全局搜索）：HSO 并非直接在高位 NFE 空间中搜索，而是在低维超参数空间（ $\psi \in \mathbb{R}^3$ ）中搜索最优的初始化策略。该策略生成初始调度 $\Lambda_{init}$ 。搜索采用基于种群的进化算法（如差分进化）来导航非凸景观。
下层（局部优化）：从上层生成的 $\Lambda_{init}$ 开始，该层级执行局部搜索，将调度 refine 为最优 $\Lambda_{opt}$ 。这通过标准约束优化算法（如信赖域法）执行。

2. 关键技术革新

该框架由两项旨在确保上述四个核心原则的具体革新所引导：

中点误差代理（MEP）：作为下层局部优化的目标函数（ $J_{lower}$ ），MEP 是一个与求解器无关且数值稳定的目标。不同于以往绑定特定求解器（如 UniPC）的方法，MEP 通过混合中点法则近似全局生成误差积分而推导得出。它隔离了可解析处理的指数项，同时近似神经网络项，从而产生高阶准确（ $O(h^3)$ ）且计算高效（ $O(N)$ ）的目标。
间距惩罚适应度（SPF）：作为上层全局搜索的适应度函数（ $F_{upper}$ ），SPF 确保实际稳健性。它在理论误差（来自 MEP）的基础上增加了一个动态惩罚项（ $L_{penalty}$ ），以抑制“病态接近”的时间步。该惩罚根据 NFE 预算自适应调整，强制最小步长间距，以防止数值不稳定和“步长坍塌”（即步长在生成过程末端聚集）。

主要贡献

HSO 框架：一种新颖的双层优化框架，成功同时满足自适应性、有效性、实际稳健性和计算效率，克服了现有范式的权衡。
技术革新：引入用于稳健局部优化的MEP目标，以及用于引导全局搜索向稳定、实用调度发展的SPF函数。
最先进性能：展示了在极低 NFE 区间（例如 NFE < 5）无需重新训练即可实现的卓越性能。

实验结果

作者在 Stable Diffusion v2.1 模型上评估了 HSO，使用了 LAION-Aesthetics 6.5+、MS-COCO 和 ImageNet 512x512 基准，将其与最先进的基于原理的优化方法（DM-NonUni）及其他免训练/基于训练的加速器进行了比较。

有效性：HSO 显著优于基线，特别是在极低 NFE 下。在 LAION-Aesthetics 上，当 NFE=5 时，HSO 实现了 11.94 的 FID（DM-NonUni 为 13.91）。当 NFE=4 时，HSO 保持 15.71 的 FID，而基线则显著退化（18.96）。在使用 DDIM 求解器时，优势更为明显，HSO 将 NFE=4 时的 FID 从基线的 68.92 降低至 24.77。
自适应性：实验表明，HSO 为不同的 NFE 预算和不同模型（例如 PixArt-α 与 Stable Diffusion v2.1）发现了不同的最优初始化参数（ $\psi^*$ ），证实了其适应特定约束和模型噪声调度的能力。
实际稳健性：若无 SPF 惩罚，优化会崩溃为不稳定的调度（例如时间步 [999, 70, 9, 9]），导致灾难性的 FID 分数（165.48）。启用 SPF 后恢复了稳定性，平均 FID 为 19.76。
计算效率：HSO 在消费级 CPU 上的一次性优化成本低于 8 秒。这比 AutoDiffusion 等全局搜索方法（约 1.1 天）快几个数量级，并规避了基于训练方法的巨大训练成本（通常为 GPU 日甚至数月）。

意义与主张

本文主张 HSO 为扩散模型加速提供了一种高度实用且高效的范式。通过将全局初始化策略的搜索与局部细化解耦，HSO 有效地导航了非凸优化景观。作者断言，这种方法为极低 NFE 区间的免训练采样树立了新的最先进水平，以可忽略的准备时间实现了卓越的样本质量（例如 NFE=5 时 FID 为 11.94）。该工作强调，此类性能并非通过昂贵的重新训练获得，而是通过尊重实际部署基本约束的稳健一次性优化过程实现的。