💻 computer science

CAB: Accelerating Flow and Diffusion Sampling via Rectification and Corrected Adams-Bashforth

本文介绍了 CAB（校正的亚当斯 - 巴什福斯），这是一种无需训练的采样器，它通过将采样动力学转换为整流坐标系并应用带有校正项的多步预测器，从而加速流模型和扩散模型，进而在无需额外函数评估的情况下显著提升了低步数情形下的质量与效率权衡。

原作者： Anuska Roy, Pravin Nair

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Anuska Roy, Pravin Nair

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图画出一只完美的猫，但你被蒙上了眼睛。你有一位魔法向导（即 AI 模型），它在你耳边低语指令：“手往左移一点”、“往上走一点”、“停”。

在 AI 图像生成领域，这种“低语”被称为采样。AI 从一个充满静态噪声（如同电视雪花）的画布开始，通过遵循一条数学路径，将其缓慢转化为清晰的图像。

问题：缓慢的行走

通常，为了获得完美的图像，AI 必须迈出许多微小的步伐（通常 50 步或更多），才能从噪声过渡到最终图像。每一步都需要 AI“思考”（运行复杂的计算）。如果你只让它走几步（比如 6 到 10 步），生成的图像往往模糊、扭曲，或充满奇怪的伪影，例如长着三只耳朵的猫，或者融化了的脸。

现有的加速方法类似于两种不同类型的捷径：

“训练”捷径：你教会 AI 一种新的、更快的行走方式。这很有效，但学习过程耗时漫长，且并非适用于所有 AI。
“智能行者”捷径：你给 AI 一张更聪明的地图，使其能迈出更大的步伐而不跌倒。但如果地图过于复杂，AI 会感到困惑，若步数不足，生成的图像就会变得糟糕。

解决方案：CAB（“修正的亚当斯 - 巴什福斯”方法）

本文的作者提出了一种名为CAB的新方法。你可以将 CAB 想象为一个带有“修正”功能的GPS，它适用于任何现有的 AI，而无需重新训练。

以下是 CAB 的工作原理，使用一个简单的类比：

1. 拉直道路（整流）

想象 AI 需要走过的路径是一条蜿蜒曲折的山路。在弯曲的道路上迈大步是危险的；你可能会冲过弯道而跌落。

CAB 的作用：它神奇地将道路拉直。它将蜿蜒的小径转化为笔直的高速公路。
为何有帮助：在笔直的路上，你可以迈出自信的大步，而无需担心错过转弯。这使数学计算对 AI 来说变得容易得多。

2. “向后看”步骤（亚当斯 - 巴什福斯）

既然道路已经变直，CAB 便使用一种称为亚当斯 - 巴什福斯的技术。

类比：想象你正走在一条笔直的小径上。与其只盯着你此刻所在的位置，不如看看你 2 或 3 步之前的位置。你利用这段历史来预测下一步该往哪里走。
好处：这使得 AI 能够仅用几步就能非常准确地预测未来的路径。

3. “安全网”（修正）

这是秘诀所在。有时，即使在笔直的路上，地形也会发生意外变化（也许是风吹，也许是地面移动）。简单的“向后看”猜测可能仍然略有偏差。

CAB 的作用：它添加了一个微小的修正项。它会检查：“我的猜测与上一步的实际情况匹配吗？”如果 AI 的预测略有偏差，CAB 会根据猜测与实际移动之间的差异，施加一个微小的即时修正。
神奇之处：它这样做无需要求 AI 进行任何额外的工作。它利用了 AI 在前几步中已经计算出的信息。这就像副驾驶在司机无需停车的情况下，低声提示一个微小的方向盘调整。

结果：更清晰的图像，更快的速度

该论文在各种 AI 模型（包括图像和视频模型）上测试了这种新方法，发现：

低步数（6–20 步）：这是 CAB 大放异彩的地方。当其他方法被迫快速移动时会产生模糊或充满噪声的图像，而 CAB 则能生成更清晰、更锐利、细节更丰富的图像。
- 示例：在论文的测试中，当被要求在仅 6 步内画出一辆公交车或一名网球运动员时，其他方法会让公交车看起来像一团模糊的色块，或者让运动员的脸部扭曲。而 CAB 保持了细节的锐利和结构的正确。
高步数：当给予更多步数时，CAB 的表现与现有最佳方法一样出色，证明它不会破坏任何效果。
无额外成本：它不需要重新训练 AI，也不会减慢处理速度。相反，由于你能用更少的步数获得更好的结果，它实际上提高了效率。

总结

CAB 就像是给现有的 AI 提供了一条更直的道路和一个聪明的副驾驶，后者能对方向盘进行微小且免费的调整。这使得 AI 能够在通常所需时间的一小部分内生成高质量的图像和视频，而无需学习任何新内容。它通过让旅程变得更聪明（而不仅仅是更快），解决了“匆忙时图像模糊”的问题。

技术摘要：CAB（修正的亚当斯 - 巴什福斯）

问题陈述

流模型和扩散模型已确立为高保真图像与视频合成的主导范式。然而，其实际部署常受限于采样阶段的高计算成本，该阶段需要在多次神经网络评估（NFEs）中对学习到的反向时间常微分方程（ODE）进行数值积分。尽管存在无需训练的加速方法，但它们在低 NFE 区间（通常为 6–20 步）面临关键权衡。一阶方法（如 DDIM）虽稳健，但需要大量步数以保证质量；而现有高阶求解器（如 DPM-Solver++、UniPC、STORK）在步数预算严重受限时，往往出现不稳定、过度平滑或结构失真等问题。此外，许多高阶求解器依赖特定的模型参数化形式（例如扩散模型中的对数信噪比），或需要额外的模型相关统计量，限制了其在流模型和扩散模型架构间的通用性。

方法论

作者提出了CAB（修正的亚当斯 - 巴什福斯），这是一种无需训练的采样器，旨在加速流模型和扩散模型，无需额外训练或特定模型统计量。该方法论包含两个主要组成部分：

1. 反向时间 ODE 的整流

核心理论见解在于，流模型和扩散模型的反向时间动力学均可被转换至一个统一的坐标系中。通过将状态 $x_t$ 重缩放为 $y_t = x_t / s_t$ ，并利用噪声 - 信号比 $\rho_t = \sigma_t / s_t$ 对时间进行重参数化，作者推导出了“整流”后的 ODE。在此 $\rho$ 坐标系中，由特定噪声调度（ $s_t, \sigma_t$ ）引起的线性漂移被消除，动力学简化为由学习到的噪声场 $\epsilon_\theta$ 直接驱动的简单形式：
$\frac{d\hat{y}_\rho}{d\rho} = \epsilon_\theta(s_t(\rho)\hat{y}_\rho, t(\rho))$
该变换将不同模型族（包括 VP、VE 及整流流路径）的采样动力学统一于单一的显式 ODE 公式之下。

2. 修正的亚当斯 - 巴什福斯积分

在诱导生成的非均匀 $\rho$ 网格上，CAB 应用多步亚当斯 - 巴什福斯（AB）预测器。为解决标准 AB 方法在大步长（低 NFE）下的不准确性，CAB 引入了轻量级的修正项。

预测： 显式 AB 预测器（2 阶或 3 阶）基于过去的速度评估估计下一状态。
修正： 该方法计算“外推缺陷”，定义为当前学习到的速度与基于前两步速度进行的线性拉格朗日外推之间的差异。
更新： 最终更新添加一个与该缺陷成比例的加权修正项：
$y_{t_{i+1}} = y^{pred}_{t_{i+1}} + \gamma_i h_i (\epsilon_i - \epsilon^{ext}_i)$
其中 $\epsilon^{ext}_i$ 为外推速度， $\gamma_i$ 为模型特定权重。关键在于，该修正利用了先前步骤中已计算的速度评估，不产生额外的 NFE。

理论分析证明，尽管增加了修正，该方法仍保留了底层亚当斯 - 巴什福斯求解器的形式收敛阶数（CAB-2 具有二阶全局误差；当 $\gamma_i = O(h_i)$ 时，CAB-3 具有三阶全局误差）。

主要贡献

统一框架： CAB 通过将动力学整流至统一的噪声 - 信号坐标系，提供了一个适用于流匹配和扩散模型的单一、无需训练的采样器。
零开销修正： 该方法引入了一种修正机制，在不需额外网络评估的情况下提高了低 NFE 下的稳定性和准确性，使其区别于依赖虚拟步骤或复杂多评估修正的方法。
理论保证： 作者提供了证明，表明修正后的方案保留了基础亚当斯 - 巴什福斯方法的局部截断误差和全局收敛阶数。
实证性能： 广泛的实验表明，CAB 在各种基准测试中，在具有挑战性的 6–20 步区间内改善了质量与 NFE 之间的权衡。

实验结果

作者在无条件图像生成（CIFAR-10、ImageNet）、类条件生成（ImageNet 上的 DiT）、高分辨率文本到图像合成（QWEN-Image）以及文本到视频生成（HunyuanVideo）上评估了 CAB。

低 NFE 区间（6–20 步）： 在 FID（Fréchet Inception Distance）和感知质量方面，CAB 始终优于强大的无需训练基线（DDIM、DPM-Solver++、UniPC、STORK）。例如，在 DiT/ImageNet 上，6 次 NFE 时，CAB-3 的 FID 为 14.81，而 DPM++ 为 26.64，STORK 为 51.52。
定性改进： 视觉对比表明，与低步数设置下的竞争对手相比，CAB 生成的细节更锐利，更好地保持了结构完整性（如面部特征、物体边界），并减少了噪声伪影和过度平滑。
高分辨率与视频： 在 QWEN-Image（1024x1024）上，CAB-3 在 4–10 次 NFE 下取得了最高的 ImageReward 分数。在视频生成（HunyuanVideo）中，CAB-2 在低步数下表现出更优的文本 - 视频对齐和时序一致性。
效率： 运行时和内存开销可忽略不计，与标准 AB 求解器相当，因为修正依赖于存储的过往评估。

意义与主张

本文主张，CAB 为生成建模中的“低 NFE 困境”提供了一种简单而有效的解决方案。通过将 ODE 动力学整流至噪声 - 信号坐标并应用缺陷修正策略，CAB 在准确性、稳定性和通用性之间取得了有利平衡。作者强调，其方法除单个权重 $\gamma$ 外，无需额外训练或特定于模型的超参数调整，使其成为现有采样器的实用即插即用替代品。

该工作表明，将 ODE 整流至噪声 - 信号坐标显著平滑了学习到的向量场，从而促进了更准确的多步积分。虽然该方法提高了鲁棒性，但作者谦逊地承认了局限性：在步数极少（例如 $N=6$ ）且动力学高度弯曲的极端挑战性区间中，仍可能发生几何跟踪失误，这表明修正并未完全消除与刚性或快速变化系统相关的失效模式。尽管如此，CAB 代表了朝着使高保真生成模型在资源受限、对延迟敏感的应用中更具可及性迈出的重要一步。