💻 computer science

Few-Step Diffusion Sampling Through Instance-Aware Discretizations

该论文提出了一种实例感知的离散化框架，通过根据输入样本的特定复杂度自适应调整步长分配，解决了现有扩散和流匹配模型中全局共享步长策略的局限性，从而在几乎不增加推理开销的情况下显著提升了生成质量。

原作者： Liangyu Yuan, Ruoyu Wang, Tong Zhao, Dingwen Fu, Mingkun Lei, Beier Zhu, Chi Zhang

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Liangyu Yuan, Ruoyu Wang, Tong Zhao, Dingwen Fu, Mingkun Lei, Beier Zhu, Chi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 INDIS 的新方法，旨在让 AI 画图（生成图像）和视频变得更快、更好。

为了让你轻松理解，我们可以把 AI 生成图像的过程想象成**“从一团迷雾中雕刻出一座精美的雕像”**。

1. 背景：AI 是怎么画图的？

现在的 AI（比如 Midjourney 或 Stable Diffusion）生成图像时，并不是直接“画”出来的，而是像倒放视频一样。

起点：它从一团完全随机的“白噪音”（就像电视雪花屏）开始。
过程：它需要一步步地“去噪”，把模糊的轮廓一点点变清晰，直到变成一张具体的图片。
难点：这个过程通常很慢，需要走很多步（比如 20 步、30 步甚至更多）。如果步数太少，图就糊了；步数太多，又太慢。

2. 现有问题：大家走的都是“同一条路”

为了加速，科学家们设计了一些“导航策略”（也就是论文里说的离散化策略），告诉 AI 每一步该走多远。

以前的做法（全局统一策略）：就像给所有游客发同一张地图。不管你是要去爬陡峭的悬崖（复杂的图像），还是走平坦的公园（简单的图像），大家都按同样的节奏、同样的步长走。
- 结果：对于简单的图，大家走得太慢，浪费时间；对于复杂的图，大家又走得太急，容易迷路（画崩了）。
最近的尝试（全局优化策略）：科学家们发现，与其用固定地图，不如算出一个“平均最优地图”。但这依然是一张通用的地图，无法照顾到每个人的特殊情况。

3. 核心创新：INDIS —— “千人千面”的定制导航

这篇论文提出了一个核心观点：每个样本（每张图）的情况都是独特的，应该为它量身定制走路的节奏。

作者发明了一个叫 INDIS 的小助手，它的工作逻辑是这样的：

观察起点：当 AI 准备开始画图时，INDIS 会先看一眼这团“初始噪音”长什么样，以及用户想要什么（比如“一只猫”还是“一辆车”）。
定制路线：
- 如果这团噪音看起来像是要画一张复杂的图（比如细节繁多的风景），INDIS 就会说：“别急，前面路难走，我们多走几步，慢慢来。”
- 如果这团噪音看起来像是要画一张简单的图（比如纯色背景），INDIS 就会说：“前面很平坦，我们可以大步流星，几步就搞定。”
动态调整：这就像是一个经验丰富的向导，他手里没有死板的地图，而是根据你当下的体力和路况，实时告诉你：“这一步迈大点，下一步迈小点”。

4. 为什么这很厉害？（比喻总结）

想象一下登山：

旧方法：导游拿着一个秒表，规定所有人每 10 分钟必须走 100 米。不管你是登山健将还是体力不支的老人，也不管前面是陡坡还是平路，大家都得按这个节奏走。结果：老人累垮了，健将觉得太慢。
INDIS 方法：导游看着每个人的状态和前面的路况，给每个人发一个智能手环。
- 遇到陡坡，手环震动提示：“慢点走，多歇几脚。”
- 遇到平路，手环提示：“加速跑，省点时间。”
- 结果：每个人都能用最适合自己的节奏，既快又安全地到达山顶。

5. 实际效果

论文在大量的实验中证明了这一点：

画质更好：在步数很少（比如只走 3 步或 5 步）的情况下，画出来的图比以前的方法更清晰、细节更丰富。
成本极低：这个“智能向导”（INDIS 网络）非常轻量级，几乎不占用额外的计算时间，就像给现有的 AI 加了一个小小的“外挂”，不需要重新训练整个庞大的 AI 模型。
通用性强：无论是画简单的卡通图、复杂的照片，还是生成视频，这个方法都有效。

总结

这篇论文的核心思想就是拒绝“一刀切”。它让 AI 在生成图像时，能够根据当前具体的任务难度，动态地调整“走路”的节奏。这让 AI 在少步数的情况下，也能画出高质量的图像，就像给 AI 装上了“自适应导航系统”。

1. 研究背景与问题 (Problem)

背景：
扩散概率模型（DPMs）和流匹配（Flow Matching）模型通过模拟常微分方程（ODE）或随机微分方程（SDE）的轨迹，从简单的先验分布生成高质量数据。为了加速采样过程，研究者提出了基于数值求解器（Solver）的方法，利用高阶多步法减少采样步数（NFE, Number of Function Evaluations）。

核心问题：
现有的离散化策略（即时间步长 $\tau$ 的分配方案）存在显著局限性：

全局共享策略的缺陷： 无论是早期的人工启发式方法（如均匀分布、LogSNR），还是近期的基于优化的方法（如 LD3, DMN），大多采用全局共享的时间步长调度（Global Shared Timestep Schedule）。这意味着所有样本无论其复杂度如何，都使用同一套固定的时间步长。
实例复杂度的差异： 不同的输入噪声（ $x_T$ ）和条件（ $c$ ）会导致截然不同的生成轨迹。某些样本可能包含复杂的细节，需要更密集的采样步；而简单样本则不需要。全局策略无法适应这种实例特定的动态变化（Instance-specific dynamics），导致在少步采样（Few-step sampling）场景下性能次优。
现有优化方法的局限： 虽然已有研究通过优化寻找更好的全局调度，但它们仍然假设存在一个对所有样本都最优的“平均”调度，忽略了单样本层面的最优性。

2. 方法论 (Methodology)

作者提出了 INDIS (Instance-Specific Discretization)，一种实例感知离散化框架。其核心思想是：根据每个样本的初始噪声 $x_T$ 和条件 $c$ ，动态生成专属的时间步长调度。

2.1 核心洞察与合成实验

理论推导： 全局最优调度 $\xi_g$ 的期望损失是实例特定调度 $\xi_i$ 期望损失的上界（ $\epsilon_g \ge \epsilon_i$ ）。即，如果能为每个样本找到最优调度，整体性能必然优于全局平均调度。
合成实验验证： 在二维合成数据上，作者对比了均匀调度、全局优化调度和实例特定调度（过拟合每个样本）。结果显示，实例特定调度在低步数（NFE=3）下显著降低了端点误差（MSE 降低约 50%），证明了实例级调度的巨大潜力。

2.2 模型架构：INDIS

INDIS 包含一个轻量级的先验条件网络（Prior Conditioning Network） $\phi(\cdot)$ ，用于预测实例特定的离散化参数。

输入： 初始噪声 $x_T$ 和条件信息 $c$ （如类别标签、文本提示）。
输出： 实例特定的离散化集合 $\xi_\phi = \{\tau_n, \Delta\tau_n, \gamma_n\}_{n=1}^N$ $ξ_{ϕ} = {τ_{n}, Δ τ_{n}, γ_{n}}_{n = 1}^{N}$ 。
- $\tau_n$ ：时间步长。
- $\Delta\tau_n$ ：时间偏移量（用于缓解暴露偏差）。
- $\gamma_n$ ：缩放因子（用于调整预测噪声的幅度）。
网络设计细节：
- 对输入噪声 $x_T$ 进行奇异值分解（SVD），提取特征向量 $U, V^T$ 和奇异值 $\Sigma$ ，分别通过前馈网络（FFN）处理。
- 对条件 $c$ 进行嵌入（如 CLIP 文本嵌入、类别标签嵌入）。
- 将噪声特征与条件特征拼接，通过多层感知机输出参数。
- 使用 Softmax 和 Tanh 等激活函数确保时间步长的单调性和稳定性。

2.3 训练目标与流程

蒸馏式训练： 采用“教师 - 学生”框架。
- 教师（Teacher）： 使用高阶求解器（如 30 步 iPNDM）配合启发式调度生成高质量的目标轨迹 $x^*_0$ 。
- 学生（Student）： 使用 INDIS 生成的实例调度 $\xi_\phi$ ，配合基础求解器（如 iPNDM）生成学生样本 $x_0$ 。
优化目标： 最小化学生样本与教师样本之间的距离（如 LPIPS 或 MSE）：
$\arg \min_{\phi} \mathbb{E}_{c, x_T} [d(\Psi(x_T, \psi, c), \Psi(x_T, \xi_\phi, c))]$
其中 $\Psi$ 代表 ODE 求解路径。
缓解暴露偏差（Exposure Bias）： 引入可学习的偏移量 $\Delta\tau$ 和缩放因子 $\gamma$ ，修正训练（基于真实数据）与推理（基于迭代生成）之间的分布不匹配问题。

3. 关键贡献 (Key Contributions)

提出实例感知范式： 首次系统性地指出并解决了扩散模型中“全局共享时间步长”的次优问题，提出根据输入动态调整离散化策略的新范式。
可扩展的框架设计： 成功将合成数据上的发现扩展到高分辨率图像和视频生成。设计了处理条件引导（文本/类别）和缓解暴露偏差的机制，使其适用于 Pixel-space 和 Latent-space 模型。
极低的开销： INDIS 是一个即插即用的求解器加速方法。
- 训练成本： 仅需微调一个轻量级网络，无需重新训练庞大的扩散模型。
- 推理成本： 仅增加一次前向传播（Forward Pass）用于生成调度参数，相对于主模型的多次函数调用（NFE），额外开销极小（例如在 FLUX.1-dev 上仅增加约 2.3% 的时间）。
广泛的验证： 在合成数据、像素级扩散（CIFAR-10, ImageNet, FFHQ）、潜在空间扩散（Stable Diffusion, FLUX.1-dev）以及视频流匹配模型（LTX-Video）上均取得了 SOTA 效果。

4. 实验结果 (Results)

实验在多个数据集和模型上进行了广泛评估，主要指标为 FID（Fréchet Inception Distance，越低越好）。

像素级扩散模型 (Pixel-Space DPMs)：
- 在 CIFAR-10, FFHQ, ImageNet 等数据集上，INDIS 在 NFE=3, 5, 7 时均显著优于现有的优化方法（如 DMN, GITS, LD3）和最佳启发式方法。
- 例如在 CIFAR-10 (NFE=3) 上，FID 从基线的 16.52 (LD3) 降低至 9.26，提升显著。
- 优势在少步数（Low NFE）场景下尤为明显。
潜在空间扩散模型 (Latent-Space DPMs)：
- 在 LSUN-Bedroom 和 FLUX.1-dev 上，INDIS 同样取得了最佳性能。
- 在 FLUX.1-dev (NFE=3) 上，FID 从 RDS (基线) 的 64.50 降至 44.35，CLIP 分数也同步提升。
视频生成 (Video Flow Matching)：
- 在 LTX-Video 上，INDIS 在 VBench 和 VMBench 基准测试中，在美学质量、成像质量和主体一致性方面均优于全局优化基线。
消融实验 (Ablation Study)：
- 实例条件（Instance Condition）： 移除实例级条件导致性能大幅下降，证明这是核心组件。
- 偏移与缩放因子（Shift & Scale Factors）： 对 EDM-VE 和 VP 调度模型效果显著，对 Flow Matching 模型效果较小但仍有贡献。
- 求解器选择： INDIS 与多种求解器（UniPC, DPM-Solver++, iPNDM）兼容，且配合 iPNDM 效果最佳。

5. 意义与总结 (Significance)

INDIS 的工作标志着扩散模型采样策略从“一刀切”向“个性化定制”的转变。

理论意义： 揭示了全局最优调度在实例层面的局限性，证明了动态适应样本复杂度的必要性。
实践意义： 提供了一种低成本、高效率的加速方案。它不需要昂贵的模型蒸馏（Distillation），也不需要重新训练基础模型，即可显著提升少步采样的生成质量。这对于实时应用、边缘设备部署以及高成本视频生成任务具有重要的应用价值。
未来方向： 论文指出当前方法依赖梯度检查点（Gradient Checkpointing）带来的计算开销，未来可探索伴随匹配（Adjoint Matching）等技术进一步优化效率。

总结一句话： INDIS 通过让扩散模型“看菜吃饭”（根据每个样本的噪声和条件动态调整采样步长），在几乎不增加计算成本的前提下，显著提升了少步采样的生成质量。