💻 computer science

DyWeight: Dynamic Gradient Weighting for Few-Step Diffusion Sampling

本文提出了 DyWeight，一种基于学习的轻量级多步求解器，通过引入流式隐式耦合范式自适应聚合历史梯度并动态校准步长，从而在显著减少函数评估次数的同时实现了扩散模型采样的高质量与高稳定性。

原作者： Tong Zhao, Mingkun Lei, Liangyu Yuan, Yanming Yang, Chenxi Song, Yang Wang, Beier Zhu, Chi Zhang

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Tong Zhao, Mingkun Lei, Liangyu Yuan, Yanming Yang, Chenxi Song, Yang Wang, Beier Zhu, Chi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 DyWeight 的新方法，它的核心目标是让 AI 画图（扩散模型）变得更快、更清晰，而且只需要很少的“思考步骤”。

为了让你轻松理解，我们可以把 AI 画图的过程想象成**“盲人摸象”式的绘画过程**，或者**“蒙眼走迷宫”**。

1. 背景：AI 画图的“慢”与“累”

现状：现在的 AI（比如 Midjourney 或 Stable Diffusion）画一张图，通常需要像走迷宫一样，一步步从一团乱麻（噪音）中慢慢还原出清晰的图像。
问题：为了画得逼真，AI 通常需要走几百步（比如 20 步、30 步甚至更多）。每一步都要停下来“思考”一下（计算一次），这非常耗时，就像让你蒙着眼走迷宫，每走一步都要停下来问路，走完全程可能需要半小时。
现有的加速法：以前的科学家发明了一些“多步求解器”（比如 DPM-Solver），它们试图利用“过去的经验”来加速。这就像是一个老练的向导，告诉你：“刚才那几步我是这么走的，所以接下来你可以直接跳两步。”
- 缺点：这些向导的“经验”是死记硬背的（固定系数）。它们假设每一步的路况都一样。但实际上，AI 画图的“路况”是千变万化的（刚开始是乱麻，后来是轮廓，最后是细节）。死板的向导在路况复杂时就会迷路，导致画出来的图模糊、变形，或者需要走更多步才能修正。

2. DyWeight 的核心创新：聪明的“动态导航”

DyWeight 就像是一个拥有“动态导航系统”的超级向导。它不再死记硬背固定的路线，而是学会了**“看情况走路”**。

核心比喻：动态调整步伐的舞者

想象你在跳一支复杂的舞（AI 去噪过程）：

旧方法（固定系数）：就像是一个只会数"1、2、3、4"的机械舞者。不管音乐节奏怎么变，它都机械地迈同样大小的步子。如果音乐突然变快或变慢，它就会踩错拍子，动作变形。
DyWeight（动态梯度加权）：就像是一个即兴舞蹈大师。
1. 动态加权（Dynamic Weighting）：它会观察刚才的几步动作（历史梯度），决定是主要听刚才那个动作的，还是听再前面那个动作的。它给每个“过去的经验”分配不同的权重（重要性）。
2. 打破规则（Relaxing Constraints）：以前的向导必须严格遵守“总步长=1"的规则。DyWeight 打破了这个规则，它允许总步长动态变化。
  - 比喻：如果前面路况好，它就大步流星（自动放大步长）；如果前面路况复杂，它就小心翼翼（自动缩小步长）。这种“步长”的变化是它通过计算自然产生的，不需要额外去设定。

两个关键魔法

为了让这个“动态导航”更精准，DyWeight 还用了两个小魔法：

隐式时间校准（Implicit Time Shifting）：
- 因为步长变了，AI 可能会在“错误的时间点”去询问模型（比如该问“轮廓”时问了“细节”）。DyWeight 会自动微调它提问的“时间点”，确保它问的问题和当前的画面状态完美匹配。
- 比喻：就像你问路时，不仅知道怎么走，还能自动调整你的“提问时机”，确保问的是当下最准确的路况。
时间缩放（Time Scaling）：
- 它还会微调 AI 模型内部的“噪音感知”，确保模型在接收指令时，感觉到的“混乱程度”是恰到好处的。

3. 它是如何学习的？（蒸馏教学）

DyWeight 自己不会凭空变聪明，它是通过**“师徒教学”**学会的：

老师（Teacher）：一个非常慢但极其精准的 AI（走 35 步或更多），能画出完美的图。
学生（Student）：就是 DyWeight，它只想走很少的步数（比如 3 步、5 步）。
教学方法：
- 以前的方法：老师会盯着学生每一步，说“这一步你必须跟我一模一样”。这导致学生学得很死板，一旦步数少，就学不会。
- DyWeight 的方法（终点监督）：老师只看最终结果。它对学生说：“我不在乎你中间怎么走的，只要你最后画出来的图和我一样清晰就行。”
- 比喻：这就像教人射箭。以前的教练会纠正你拉弓的每一个肌肉动作；DyWeight 的教练只说：“不管你怎么拉弓，只要箭射中靶心，你就是对的。”这给了学生（DyWeight）巨大的自由去探索最高效的捷径。

4. 效果如何？

论文在多个数据集（从简单的 CIFAR-10 到复杂的 FLUX.1 模型）上进行了测试，结果非常惊人：

速度极快：只需要 3 到 7 步（NFEs）就能画出高质量图片，而传统方法可能需要 20 步以上。
质量更高：在极少的步骤下，DyWeight 画出的图更清晰、结构更合理、文字更清晰（比如图 1 中的 "DyWeight" 文字和柯基犬的脸）。
通用性强：无论是画人脸、动物，还是复杂的文字描述，它都能胜任。

总结

DyWeight 就像是给 AI 画家装上了一个**“智能动态导航仪”。它不再死板地按固定路线走，而是根据路况（图像生成的不同阶段）灵活调整步伐大小和方向，并且通过“只看结果”的教学方式，学会了用最少的步数画出最完美的图**。

这意味着，以后我们使用 AI 画图，等待时间将从几十秒缩短到几秒，而且画质依然顶尖！

DyWeight: 用于少步扩散采样的动态梯度加权技术总结

1. 研究背景与问题 (Problem)

扩散模型（Diffusion Models, DMs）在图像、音频和视频生成领域取得了卓越的性能，但其推理过程通常极其缓慢，需要数百甚至数千次函数评估（NFE）才能生成高质量样本。为了加速采样，研究者提出了多步常微分方程（ODE）求解器（如 DPM-Solver++ 和 iPNDM），通过复用历史梯度信息来减少 NFE。

然而，现有的多步求解器存在以下核心局限性：

手工设计的系数（Handcrafted Coefficients）： 传统求解器（如 Adams-Bashforth 方法）依赖基于多项式假设和均匀时间步长推导出的固定系数。
非平稳动力学（Non-stationary Dynamics）： 扩散去噪过程中的梯度统计特性随时间剧烈变化（非平稳），而固定系数无法适应这种动态变化。
大步长下的误差累积： 在少步采样（Few-Step Sampling，如 3-7 步）场景下，时间步长较大，固定系数会导致严重的截断误差和偏差累积，导致图像质量下降（如结构失真、提示词对齐度低）。
现有学习方法的复杂性： 基于学习的求解器通常采用“解耦”优化范式，即独立优化求解器系数和时间调度（Time Schedule）。这导致优化景观复杂，往往需要繁琐的交替优化策略（如双层优化），且难以在保持数值稳定性的同时找到最优轨迹。

2. 方法论 (Methodology)

作者提出了 DyWeight (Dynamic Gradient Weighting)，一种轻量级的、基于学习的多步求解器，其核心思想是通过松弛经典数值约束来实现梯度聚合与时间调整的隐式耦合。

2.1 核心创新：松弛的权重约束

传统多步求解器要求梯度权重之和为 1（ $\sum w_i = 1$ ），这限制了求解器仅能调整梯度组合，而无法调整有效步长。
DyWeight 移除了 $\sum w_i = 1$ 的约束，允许权重自由学习。这一设计带来了双重机制：

归一化部分（Gradient Weighting）： 权重的归一化部分自适应地学习如何聚合历史梯度，以匹配当前去噪阶段的非平稳动力学。
未归一化部分（Implicit Time Shifting）： 权重的未归一化总和（ $\sum w_i$ ）隐式地充当了**时间平移（Time Shifting）**机制。它动态调整宏观的积分边界，使求解器的数值轨迹与模型内部的去噪动力学在大步长下保持一致。

2.2 时间校准机制 (Time Calibration)

为了解决大步长带来的时间错位和暴露偏差（Exposure Bias），DyWeight 引入了两层时间校准：

隐式时间平移 (Implicit Time Shifting)： 利用上述未归一化的权重和，显式计算下一个时间步 $\tilde{t}_{n-1}$ ，使求解器在更准确的噪声水平下查询网络。
时间缩放 (Time Scaling)： 引入一个可学习的标量 $s_n$ ，直接作用于输入到神经网络的原始时间 $t$ （即 $\epsilon_\theta(x_{t_n}, s_n t_n)$ ），以微调微观层面的查询时间，补偿梯度聚合带来的偏差。

2.3 优化框架：端点监督蒸馏

DyWeight 采用**无训练数据（Training-data-free）**的蒸馏框架：

教师 - 学生架构： 使用高 NFE（如 35 步）的求解器（如 iPNDM）作为教师，生成高质量轨迹作为监督信号。学生求解器（DyWeight）使用少量 NFE（如 3-7 步）进行采样。
端点监督 (Endpoint Supervision)： 仅监督最终生成的样本 $x_0$ 与教师轨迹的终点距离，而非中间每一步的路径。这赋予了学生求解器更大的自由度，使其能够探索比教师轨迹更高效的“捷径”，只要最终结果落在数据流形上即可。
单轮优化： 由于解耦了时间参数化，DyWeight 将复杂的联合优化问题转化为高效的单轮学习过程，无需交替优化。

3. 主要贡献 (Key Contributions)

提出 DyWeight 求解器： 用松弛的权重公式替代了复杂的解耦参数化，通过隐式耦合梯度聚合与时间步长调整，解决了传统求解器在少步采样下的适应性差问题。
创新的时间校准策略： 结合了隐式时间平移和显式时间缩放，使求解器能够在少步采样 regime 下保持与扩散模型内部动力学的时间对齐，显著提高了训练稳定性和采样质量。
端到端的高效优化： 证明了仅通过端点监督即可训练出高性能求解器，避免了路径监督带来的过约束，且无需修改底层的扩散模型。
广泛的 SOTA 性能： 在 CIFAR-10, FFHQ, ImageNet, LSUN-Bedroom, Stable Diffusion 以及最新的 FLUX.1-dev 等多个基准测试中，DyWeight 在极少的 NFE 下均取得了最佳的视觉保真度（FID）和提示词对齐度（CLIP Score）。

4. 实验结果 (Results)

像素空间生成： 在 CIFAR-10 上，仅需 3 NFE，DyWeight 的 FID 为 8.16，显著优于次优的可学习求解器 EPD-Solver (10.40) 和手工求解器 iPNDM (24.55)。在 FFHQ 和 AFHQv2 上也表现出类似的优势。
潜在空间生成： 在 Stable Diffusion v1.5 和 LSUN-Bedroom 上，DyWeight 在 5 NFE 下取得了最低的 FID（LSUN 为 4.97）。
前沿模型 FLUX.1-dev： 在 FLUX.1-dev 模型上，DyWeight 在 3、5、7 NFE 下均全面超越了 DPM-Solver++ 和 iPNDM。例如在 7 NFE 下，FID 从 22.18 (DPM-Solver++) 提升至 20.69，CLIP Score 从 26.20 提升至 26.49。
定性分析： 视觉结果显示，DyWeight 生成的图像具有更高的结构连贯性（如清晰的面部特征、可读的文字）和更好的提示词遵循能力。
消融实验： 证明了时间平移（Time Shifting）和时间缩放（Time Scaling）组件缺一不可；且使用 3 阶历史梯度（K=3）效果最佳，使用所有历史梯度反而会导致性能下降。
训练效率： 训练极其高效，仅需约 10k 个样本对，在 CIFAR-10 上仅需约 3 分钟（2x RTX 4090）即可完成优化，且无需额外的推理延迟。

5. 意义与影响 (Significance)

DyWeight 为扩散模型的快速采样提供了一种新的范式。它打破了传统数值求解器依赖手工设计系数的局限，证明了通过学习自适应的、非平稳的梯度权重，可以显著提升少步采样的质量。

理论突破： 揭示了在扩散采样中，放松数值约束（ $\sum w \neq 1$ ）可以将时间步长调整与梯度聚合统一起来，简化了优化过程。
实际应用： 该方法计算开销极低（仅训练求解器参数，不修改模型），且能显著提升 FLUX 等最新大模型的推理速度，使其在保持高质量的同时实现实时或近实时的生成，对交互式应用和实时生成任务具有重大价值。
通用性： 该方法不仅适用于传统的 U-Net 架构，也完美适配基于 Transformer 的 Flow Matching 模型（如 FLUX.1-dev），展示了极强的泛化能力。

综上所述，DyWeight 通过巧妙的数学松弛和隐式耦合机制，在效率与质量之间取得了新的平衡，确立了少步扩散求解器的新 SOTA。