🤖 machine learning

RBF-Solver: A Multistep Sampler for Diffusion Probabilistic Models via Radial Basis Functions

本文提出了 RBF-Solver，一种利用高斯径向基函数插值模型评估的多步扩散采样器，通过可学习的形状参数显式优化采样轨迹，在保持与现有多项式采样器兼容的同时，显著提升了不同函数评估次数（NFE）下的生成图像保真度。

原作者： Soochul Park, Yeon Ju Lee, SeongJin Yoon, Jiyub Shin, Juhee Lee, Seongwoon Jo

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Soochul Park, Yeon Ju Lee, SeongJin Yoon, Jiyub Shin, Juhee Lee, Seongwoon Jo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 RBF-Solver 的新方法，旨在解决当前人工智能生成图像（如 Midjourney、Stable Diffusion 等）中一个最大的痛点：生成速度太慢。

为了让你轻松理解，我们可以把生成一张高质量图片的过程想象成**“在迷雾中下山”**。

1. 背景：迷雾中的下山之旅

扩散模型（DPMs）：想象你站在山顶（全是噪点的混乱图像），目标是走到山脚（清晰完美的图像）。
去噪过程：下山的过程就是“去噪”。现在的模型非常聪明，能一步步把噪点去掉，但这个过程通常需要走很多很多步（比如 50 步、100 步），每一步都要停下来计算一次，非常耗时。
现有的“快马”：为了加速，以前的方法（如 DPM-Solver, UniPC）就像是在地图上画了一条**“预设的直线”**。它们假设下山的路是平滑的，直接用数学公式（多项式）来预测下一步该往哪走。
- 问题：如果山路突然变得崎岖不平（数据特征复杂），或者你要走得非常快（步数很少），这种“画直线”的方法就会失灵，导致你走到悬崖边或者偏离了正确的路，生成的图片就会模糊或变形。

2. 核心创新：RBF-Solver（智能导航员）

这篇论文提出的 RBF-Solver，就像是一个拥有“可变地形感知能力”的智能导航员。它不再死板地画直线，而是使用了一种叫**“径向基函数（RBF）”**的数学工具。

我们可以用两个生动的比喻来理解它的核心优势：

比喻一：橡皮泥 vs. 直尺

旧方法（多项式/直尺）：就像用一把直尺去测量弯曲的山路。如果路是弯的，直尺只能勉强贴合，误差很大。如果你强行把直尺弯得很厉害（高阶多项式），它反而会折断或乱跳（数值不稳定）。
新方法（RBF/橡皮泥）：RBF-Solver 就像一块智能橡皮泥。它可以根据山路的实际弯曲程度，自动调整自己的形状来完美贴合路面。
- 当山路平缓时，它变平，像直尺一样高效。
- 当山路崎岖时，它变弯，紧紧抓住路面的细节。
- 这种“形状”由一个**“形状参数”控制，这个参数是可以学习的**（就像导航员根据经验调整橡皮泥的软硬）。

比喻二：老式火车 vs. 磁悬浮列车

旧方法：像老式火车，必须沿着固定的铁轨（预设的数学公式）跑。铁轨修得再好，遇到急转弯也只能减速或脱轨。
RBF-Solver：像磁悬浮列车，它没有固定的铁轨，而是根据地面的磁场（数据特征）实时调整悬浮高度和方向。它不仅能跑得快，还能在急转弯时保持平稳。

3. 它是怎么工作的？（简单三步走）

观察过去：它回顾之前几步走过的路（模型之前的预测结果）。
智能拟合：它用“智能橡皮泥”（高斯径向基函数）把这些点连起来。关键在于，它会自动学习这块橡皮泥应该有多“软”或多“硬”（优化形状参数），以便最准确地预测下一步。
无缝切换：
- 如果它发现路很直，它会自动变成最基础的“欧拉法”（就像 DDIM 那样简单直接）。
- 如果它发现路很复杂，它会变成更高级的“亚当斯法”（Adams method）。
- 最厉害的是：即使它把步子迈得很大（高阶采样，比如一步顶别人五步），它依然能保持“橡皮泥”的柔韧性，不会像旧方法那样因为步子太大而摔跟头（数值不稳定）。

4. 实际效果：快且好

论文在多个测试中证明了它的强大：

少步数，高质量：以前需要走 20 步才能画好的图，它可能只需要 5-10 步就能达到同样甚至更好的效果。
高步数，更稳定：当需要走很多步（比如 40 步）追求极致画质时，旧方法走多了容易“晕车”（图像质量下降），而 RBF-Solver 依然稳如泰山。
具体数据：
- 在 CIFAR-10（小图）上，用 15 步就能达到极低的误差（FID 2.87）。
- 在 ImageNet（大图）上，特别是在高难度（高引导尺度）的生成任务中，它能比旧方法减少 16% 到 33% 的误差。

5. 总结

RBF-Solver 就像是给 AI 绘画装上了一个**“自适应导航系统”**。

以前：AI 像是一个拿着固定地图的徒步者，遇到复杂地形容易迷路或走得很慢。
现在：RBF-Solver 让 AI 变成了一个经验丰富的向导，它能根据脚下的路实时调整步伐和方向。无论路是平是陡，它都能用最少的步数、最稳的姿态，带你最快到达山脚（生成完美图像）。

这项技术不需要重新训练庞大的 AI 模型，只需要在生成前花一点点时间“校准”一下导航参数，就能让现有的 AI 绘画工具速度更快、画质更稳。

RBF-Solver：基于径向基函数的扩散概率模型多步采样器技术总结

1. 研究背景与问题 (Problem)

扩散概率模型（Diffusion Probabilistic Models, DPMs）在图像、视频和语音生成任务中展现了卓越的性能，但其核心瓶颈在于推理过程中的计算成本高昂。传统的采样方法需要大量的去噪步骤（即大量的函数评估，NFE），导致生成速度慢。

为了解决这一问题，现有的加速采样器主要采用基于多项式（Polynomial-based）的多步方法（如 DPM-Solver++、UniPC 等）。这些方法利用泰勒展开或拉格朗日插值来近似模型预测，从而加速收敛。然而，这些方法存在以下局限性：

缺乏灵活性：它们遵循预定义的采样轨迹方案，无法根据具体数据特征进行优化。
高阶不稳定性：当采样阶数（Order）提高到 4 阶或更高时，多项式插值容易受到龙格现象（Runge phenomenon）的影响，导致数值不稳定和采样质量急剧下降。
局部特征捕捉能力弱：多项式是全局逼近，难以有效捕捉数据中的局部特征。

2. 方法论 (Methodology)

本文提出了 RBF-Solver，一种基于高斯径向基函数（Gaussian Radial Basis Functions, RBFs） 的多步扩散采样器。其核心思想是利用 RBF 插值的灵活性和局部性来优化采样轨迹。

2.1 核心机制

RBF 插值近似：RBF-Solver 使用高斯 RBF 对最近 $p$ 次模型评估值 $\hat{x}_\theta$ 进行插值，构建采样轨迹的近似函数。
$R(\lambda) = \sum_{j=0}^{p-1} w_{t_i, j} \phi_{t_i, j}(\lambda) + w_{const}^{t_i} \cdot 1$
其中 $\phi$ 是高斯核函数，包含一个可学习的形状参数（Shape Parameter） $\gamma$ ，用于控制高斯函数的宽度。
可学习的形状参数：这是 RBF-Solver 的关键创新。通过优化 $\gamma$ ，采样器可以自适应地调整插值函数的形状，从而更精确地拟合最优采样轨迹，而非像多项式方法那样固定不变。
预测 - 校正（Predictor-Corrector）框架：RBF-Solver 被构建在线性多步法的框架内，包含预测步（Predictor）和校正步（Corrector），分别利用 RBF 插值进行更新。

2.2 理论性质与收敛性

一阶情况：当阶数 $p=1$ 时，RBF-Solver 退化为标准的欧拉方法（即 DDIM）。
高阶收敛性：
- 当形状参数 $\gamma \to \infty$ 时，高斯 RBF 插值收敛于拉格朗日插值，RBF-Solver 退化为Adams 方法（即现有的多项式基采样器）。
- 当 $\gamma \to 0$ 时，收敛于等系数采样器。
系数求和条件：RBF-Solver 满足系数求和条件（Coefficient Summation Condition），保证了在常数函数情况下的数值一致性。
精度保证：理论证明，若模型预测是 Lipschitz 连续的，RBF-Solver 具有 $p$ 阶的全局精度。

2.3 形状参数优化

为了找到最优的 $\gamma$ ，论文提出了一种离线优化策略：

使用现有高性能采样器（如 UniPC，NFE=200）生成高质量的“目标轨迹”（Target Trajectory）。
在采样过程中，通过网格搜索（Grid Search）最小化 RBF-Solver 的预测值与目标轨迹之间的均方误差（MSE），从而确定每一步的最优 $\gamma$ 值。
由于优化过程不需要额外的神经网络评估，计算开销极低。

3. 关键贡献 (Key Contributions)

提出 RBF-Solver：首次将径向基函数插值引入扩散模型的多步采样器中，利用可学习的形状参数实现了比多项式方法更灵活的轨迹拟合。
解决高阶不稳定性：利用高斯 RBF 的局部性（Locality），RBF-Solver 在 4 阶甚至更高阶数下仍能保持数值稳定性和高质量的生成效果，克服了多项式方法在高阶时的性能崩塌问题。
理论完备性：证明了该方法在 $\gamma \to \infty$ 时收敛于经典的 Adams 方法，并提供了严格的精度分析。
广泛的实验验证：在无条件生成（CIFAR-10, ImageNet）和有条件生成（ImageNet, Stable Diffusion）任务上，全面优于现有的 SOTA 采样器（DPM-Solver++, UniPC, DPM-Solver-v3 等）。

4. 实验结果 (Results)

实验在多个数据集和模型架构上进行了评估，主要指标为 FID（Fréchet Inception Distance，越低越好）和 CLIP 相似度。

无条件生成 (Unconditional Generation)：
- CIFAR-10 (Score-SDE)：在 NFE $\ge$ 15 时，RBF-Solver 持续优于基线。在 NFE=15 时达到 FID 2.87，NFE=40 时达到 2.48，优于 UniPC 和 DPM-Solver++。
- ImageNet 64x64：在 NFE $\ge$ 10 的所有设置下，RBF-Solver 均取得了最低的 FID 分数。
- 高阶稳定性：在 NFE=10 时，RBF-Solver (Order=4) 的 FID 为 24.72，而 UniPC (Order=4) 高达 33.60；随着阶数增加到 8，UniPC 的 FID 飙升至 106.09，而 RBF-Solver 保持在 29.26 左右，展现了极强的鲁棒性。
有条件生成 (Conditional Generation)：
- ImageNet 256x256 (Guided Diffusion)：在低 NFE 范围（5-10）和高引导尺度（Guidance Scale 8.0）下，RBF-Solver 相比多项式基采样器实现了 16.12% - 33.73% 的 FID 降低。
- Stable Diffusion v1.4：在 CLIP 余弦相似度指标上，RBF-Solver 在所有引导尺度下均表现最佳，特别是在高引导尺度下优势明显。
消融实验：
- 证明了引入常数项（Constant Basis）和分离预测/校正形状参数（Split-γ）能进一步提升性能。
- 验证了使用“目标轨迹”（Target Trajectory）而非“模型轨迹”（Model Trajectory）进行优化能获得更好的结果。

5. 意义与影响 (Significance)

突破多项式限制：RBF-Solver 打破了传统扩散采样器依赖多项式插值的局限，证明了非线性基函数（RBF）在优化采样轨迹方面的巨大潜力。
高效与高质量的平衡：该方法在保持“训练无关（Training-free）”特性的同时，通过轻量级的离线参数优化，显著提升了采样效率（低 NFE）和生成质量（低 FID）。
高阶采样的可行性：解决了高阶多步采样器不稳定的长期痛点，使得利用高阶方法进一步压缩推理步数成为可能。
应用前景：该加速采样器可显著降低生成高质量视觉、音频和视频内容的计算门槛，适用于实时生成、边缘计算设备等对延迟敏感的场景。

综上所述，RBF-Solver 通过引入可学习的径向基函数插值，为扩散模型的快速采样提供了一种理论严谨、性能优越且具有高稳定性的新范式。