🤖 AI

General and Efficient Steering of Diffusion Models

本文介绍了噪声对齐 RFM 指引（Noise-Aligned RFM Steering, NA-RFM），这是一种通过结合离线计算的噪声对齐与递归特征机（Recursive Feature Machine）激活指引，从而在无需进行高计算成本的每步梯度计算的情况下，实现更快速推理和更高准确度的扩散模型高效指引方法。

原作者： Qingsong Wang, Mikhail Belkin, Yusu Wang

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qingsong Wang, Mikhail Belkin, Yusu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢的大厨，但他只会做一些“随机”的菜肴。他能做出完美的牛排或精美的蛋糕，但他不知道如何制作你特别渴望的那道菜，比如“加了额外香菜的辣豆腐”，因为你从未教过他这个食谱。

通常情况下，为了让这位大厨做出你指定的菜肴，你有两个困难的选择：

重新训练大厨： 花费数周时间从头开始教他你的新食谱（非常缓慢且昂贵）。
事无巨细地微观管理： 站在他身边，每秒钟都去品尝食物，并大声纠正：“加点盐！”或“再多煮一会儿！”（非常累人且缓慢）。

这篇论文介绍了一种聪明的新方法，叫做 NA-RFM（噪声对齐 RFM 引导），它能让你引导大厨做出你特定的菜肴，而无需重新训练他，也无需在每一秒钟都进行微观管理。这就像是在开火之前，给了大厨一张“神奇地图”和一次“秘密提示”。

以下是它的工作原理，分为简单的几个部分：

1. 两部分策略

该方法根据“食材”的“原始”程度使用两种不同的“向导”。你可以将烹饪过程想象成从一个模糊、多噪点的混乱状态（高噪声）逐渐变成清晰、锐利的图像的过程。

A 部分：“大局观”地图（噪声对齐）

何时使用： 在最开始阶段，当图像还只是一个模糊、多噪点的云团时。
类比： 想象你试图在浓雾中寻找一种特定的鸟。你还看不清鸟的羽毛，但你可以看到它栖息的森林的大致轮廓。
工作原理： 系统查看几个关于你的目标（例如“红衣雀”）的示例，并将它们与所有其他鸟类进行比较。它计算出一张关于红衣雀在迷雾中长什么样的“统计地图”。它利用这张地图，在早期阶段轻轻地将模糊的噪声推向正确的大致形状。它不需要看到细节；它只需要把握住大的类别即可。

B 部分：“秘密提示”（RFM 引导）

何时使用： 当雾气消散，图像开始显现轮廓时（中期到后期阶段）。
类比： 现在鸟已经可见了，但可能颜色不对。你不需要重建这只鸟，你只需要给它一个特定的“提示”，让它的羽毛变红。
工作原理： 系统观察大厨在烹饪时的内部“想法”（激活值）。它学习了一个代表“红衣雀属性”的特定“方向”或“向量”。一旦找到了这个方向，它就会在每一步中，向大厨的内部处理过程添加一个微小的、预先计算好的“提示”。这就像是在每一步都轻声耳语：“记得红色的羽毛！”而不需要在每一步都停下来重新计算指令。

2. 为什么这是一个游戏规则的改变者

大多数尝试实现这一目标的其他方法都属于“微观管理”式的方法。它们必须在每一步都停下来，计算一个复杂的数学问题（梯度），以确定如何修正图像。这使得过程比让大厨自然烹饪的速度慢了 16 倍。

NA-RFM 的不同之处在于：

它是“离线”的： 它在要求生成图像之前就完成了所有的复杂数学计算。它利用一些示例图片预先准备好了“地图”和“提示”。
它是“在线”且快速的： 当你实际生成图像时，它只需应用预先做好的地图和提示。在烹饪过程中不需要进行复杂的计算。
它很准确： 在测试中，这种方法在命中目标（例如生成特定的鸟类或特定的面部特征）方面比以往的方法表现得更好，同时也能产生更高质量的图像。

3. 论文中的现实世界案例

作者在几个挑战上测试了这个“神奇地图与提示”：

CIFAR-10（简单图像）： 他们将一个通用的图像生成器转变为一个可以可靠创建特定类别（如“猫”或“卡车”）的机器，准确率达到 96.6%，而旧方法仅为 77%。
ImageNet（复杂图像）： 他们引导模型生成它最初并未专门针对其进行训练的特定动物（如“库瓦兹犬”）。
CelebA（面部）： 他们可以组合属性，比如要求一个“年轻、男性、金发”，即使模型从未见过这种精确的组合。
稀有鸟类： 他们成功引导模型生成了完全陌生于模型的稀有鸟类（如“路西法蜂鸟”），取得了比以往技术好得多的结果。

总结

把 NA-RFM 想象成一个智能、预先规划好的旅游导览行程。与其要求导游从头开始学习一座新城市（重新训练），或者不断地对他大喊方向（梯度引导），不如直接给他一张目的地预制地图，以及一套简单的预写笔记供其随行参考。最终的结果是，这是一场快速、高效且高度精准的旅程，直达你想要到达的精确地点。

技术摘要：扩散模型的通用且高效转向 (NA-RFM)

问题陈述

扩散模型已成为高质量图像合成领域的主导方法。虽然通过分类器自由引导（Classifier-Free Guidance, CFG）将条件（如类别标签或文本提示）内置于训练过程中，可以有效地引导扩散模型，但许多应用场景需要向训练过程中未见或不可用的条件进行转向。例如，新的物体类别、细粒度的物种，或仅由示例定义的特定视觉属性。

现有的转向无条件扩散模型以实现上述未见条件的方法，通常依赖于基于梯度的引导。这些方法要么训练噪声调节的分类器，要么利用现成的分类器在每个去噪步骤中计算梯度。虽然这些方法有效，但由于在推理过程中需要进行每步梯度计算以及对扩散模型或辅助分类器进行反向传播，因此会产生巨大的计算开销。

方法论：噪声对齐 RFM 转向 (NA-RFM)

作者提出了噪声对齐 RFM 转向 (NA-RFM)，这是一种后验（post-hoc）方法，用于转向预训练的无条件扩散模型，且无需在推理时计算梯度。该方法分为两个截然不同的阶段：离线准备阶段和在线无梯度采样阶段。

1. 核心观察

NA-RFM 的设计基于关于扩散模型在不同噪声水平下行为的两个经验观察：

观察 1（高噪声粗糙结构）： 在高噪声水平下，反向轨迹已经包含了能够预测最终生成类别的粗糙信息。在此阶段，扩散模型的线性高斯或 PCA 近似可以提供一个可处理的转向信号。
观察 2（可迁移的激活方向）： 在中等和低噪声水平下，前向过程模型的激活提供了强判别信号。至关重要的是，从这些激活中学习到的方向在中间/后期反向采样时间步窗口内保持对齐，从而允许在采样期间重复使用单个离线学习的方向。

2. 离线阶段

对于目标概念 $c$ （例如特定的类别或视觉属性），NA-RFM 使用标记样本计算两个引导信号：

噪声对齐（PCA 统计量）： 作者计算了目标类别的 PCA 统计量 ( $\mu_c, V_c$ ) 和全数据集的 PCA 统计量 ( $\mu_{all}, V_{all}$ )。这些统计量定义了一个类条件 PCA 去噪器 $D_c$ 和一个无条件去噪器 $D_{all}$ 。这两个去噪器之间的差异为高噪声时间步提供了一个像素空间的引导信号。
RFM 方向学习： 利用被破坏至低噪声参考水平的标记图像的前向过程激活，作者训练了一个递归特征机 (Recursive Feature Machine, RFM)。RFM 在选定 U-Net 模块的激活空间中学习一个目标对背景的判别方向 ( $v_c$ )。该方向源自 RFM 预测器的平均梯度外积 (Average Gradient Outer Product, AGOP)，强调了区分目标与其余部分的功能特征。

3. 在线采样阶段

在推理期间，NA-RFM 在不进行反向传播的情况下转向生成过程：

高噪声窗口 ( $\sigma_t \ge \sigma_{end}$ )： 采样器应用噪声对齐。它计算类条件 PCA 去噪器与无条件 PCA 去噪器之间的差异，并将此修正直接添加到估计的清晰图像 ( $\hat{x}_0$ ) 中。
中间/后期窗口 ( $\sigma_t \in [\sigma_{lo}^R, \sigma_{hi}^R]$ )： 采样器应用 RFM 激活转向。学习到的方向 $v_c$ 被重塑为目标模块的张量形状，并添加到模块的激活张量中。通过将得到的去噪估计值向转向后的估计值进行外推，该编辑会被放大。
效率： 在线过程仅需通过扩散模型的正向传播和简单的矩阵-向量运算。不需要对扩散模型或任何分类器计算梯度。

核心贡献

无梯度后验转向： NA-RFM 实现了对未见条件的受控生成，而无需重新训练扩散模型或在推理时计算梯度，解决了现有基于梯度方法的计算瓶颈问题。
混合引导机制： 本文引入了一种结合了噪声对齐（用于高噪声下的粗糙控制）和 RFM 激活转向（用于中/低噪声下的细粒度控制）的新颖组合，利用了扩散轨迹在不同阶段的独特属性。
方向迁移的理论与经验验证： 作者提供了一个理论模型 (Proposition A.1) 和经验证据 (Figure 3)，证明了在低噪声水平下学习到的判别激活方向在中间/后期采样窗口内保持稳定且具有可迁移性。
样本空间计算： 为了处理具有有限样本的高维激活空间，该方法在 PCA 和 RFM 方向提取中采用了紧凑的样本空间计算，避免了构建大型协方差矩阵。

实验结果

NA-RFM 在四个基准测试上进行了评估：CIFAR-10、ImageNet (256×256)、CelebA-HQ（多属性）以及细粒度鸟类物种（分布外）。

准确率： NA-RFM 显著优于最先进的无训练梯度基准方法（如 TFG）。在 CIFAR-10 上，它实现了 96.6% 的目标准确率，而 TFG-4 为 77.1%。在 ImageNet 上，准确率从 59.8% 提升至 75.8%。对于细粒度鸟类物种，准确率从 2.2% 上升到 14.1%。
图像质量： 该方法保持或提高了图像质量 (FID)。在 CIFAR-10 上，NA-RFM 的 FID 为 41.4，与分类器引导 (41.9) 相当，且明显优于 TFG-4 (73.9)。
效率： NA-RFM 提供了显著的加速。在 CIFAR-10 上，它比 TFG-4 快 16 倍。在 ImageNet 上，生成 1024 张图像的总时间从 22.7 小时 (TFG-4) 降至 2.67 小时 (NA-RFM)，因为离线准备过程在生成的样本中被摊销了。
泛化能力： 该方法扩展到了基于 Transformer 的潜在扩散模型 (SiT-XL/2) 和条件模型 (Stable Diffusion 1.5)，用于控制难以仅通过文本提示指定的视觉属性（如景深）。

意义与主张

本文声称 NA-RFM 为转向无条件扩散模型提供了一套通用且高效的方案。通过将引导信号的构建（离线）与采样过程（在线）解耦，它在消除每步梯度计算计算成本的同时，实现了高目标准确率和高质量图像。

作者强调，我们的方法避免了训练噪声调节分类器或依赖可能提供微弱或失配梯度的现成分类器的需求。相反，NA-RFM 直接从示例数据中构建目标特定的转向方向，从而实现对广泛条件的鲁棒控制，包括稀有类别和细粒度属性。这项工作表明，将粗糙的高噪声修正与稳定的低噪声激活方向相结合，是实现可扩展、可控生成建模的一种可行策略。