📊 statistics

Simple Approximation and Derivative Free Inference-Time Scaling for Diffusion Models via Sequential Monte Carlo on Path Measures

本文介绍了\texttt{URGE}，这是一种针对扩散模型的无导数推理时扩展算法，它利用基于吉萨诺夫的路径重要性重加权与顺序重采样，在无需评分或梯度评估的情况下实现无偏且高质量的生成。

原作者： Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图创作一幅杰作，但你手中只有一幅关于最终图像样貌的粗略草图。这就是现代 AI 图像生成器（称为扩散模型）的工作原理：它们从随机噪声开始，然后缓慢地将其“去噪”成一幅图像。

通常，如果你希望 AI 遵循特定指令（例如“让它看起来更逼真”或“修复光照”），你就必须在绘画过程中进行调整。这被称为推理时扩展（inference-time scaling）。

然而，现有的调整过程的方法，就像试图通过不断检查复杂地图并计算每一秒的风速来掌舵一艘船。它们需要繁重的数学运算（梯度和导数），计算成本高昂，并且由于它们仅仅是近似值，往往还会引入误差。

这篇论文介绍了一种名为URGE（基于吉萨诺夫估计的无偏重采样）的新方法。以下是其工作原理，使用简单的类比来说明：

问题所在：“天真的向导”

想象你正带领一支由 100 名徒步者（粒子）组成的队伍穿过森林，去寻找一处隐藏的宝藏（完美的图像）。

目标： 你希望他们最终正好到达宝藏所在地。
旧方法（引导）： 你给他们一个大致指向宝藏的指南针。但这个指南针并不完美；它存在轻微误差。如果你只是跟随这个指南针，队伍就会偏离航线。
旧修正： 以前的方法试图通过每隔几步就停下来，检查地形的确切数学坡度，并告诉徒步者如何调整来解决这个问题。这需要一张详细的地图（导数），既难以获取，阅读起来又耗时。

URGE 解决方案：“重采样徒步”

URGE 彻底改变了策略。它不再试图为每个徒步者精确计算坡度，而是基于他们的表现采用一种彩票系统。

全员出发： 你让所有 100 名徒步者同时出发，遵循同一个略有缺陷的指南针（引导路径）。
“记分牌”（重加权）： 你不再检查地形地图，而是简单地观察徒步者相对于宝藏的最终位置。
- 如果一名徒步者靠近宝藏，他们获得高分。
- 如果一名徒步者远离宝藏，他们获得低分。
- 关键在于： 你不需要知道他们为何在那里，也不需要知道地面的坡度。你只需看结果。
“重采样”（彩票）：
- 你召集所有徒步者。
- 你要求高分徒步者克隆自己（复制最佳路径）。
- 你要求低分徒步者回家（丢弃糟糕的路径）。
- 现在，你有了一个新的 100 人徒步队伍，他们所有人所走的路径在统计上都更接近宝藏。
重复： 你在整个旅程中反复进行这一过程，而不仅仅是在结束时。

为什么这很特别？

无需微积分： 旧方法需要知道奖励函数的“坡度”（导数）。URGE 不关心坡度；它只关心最终结果。这意味着它可以处理“黑盒”奖励（例如人类偏好分数或复杂的神经网络），在这些情况下，你无法计算出分数背后的数学原理。
无近似： 论文声称这种方法是“无近似”的。在我们的类比中，这意味着彩票系统在数学上保证了：如果你不断克隆最佳路径，队伍最终将正好到达宝藏所在地，而不会因不完美的指南针产生偏差。
路径与粒子： 以前的方法关注单个徒步者（粒子），并试图推动他们。URGE 关注每个徒步者的整个旅程（路径）。这就像评判一名跑步者，不仅仅看他们冲过终点线时的位置，而是看他们跑完全程的质量。

结果

作者在以下方面测试了 URGE：

合成数学问题： 在这些问题上，他们知道确切的答案。URGE 比其他任何方法都更接近真相。
图像修复： 修复模糊或受损的照片。URGE 生成的图像比以前的方法更清晰，甚至不需要复杂的数学计算。
文本到图像生成： 根据文本提示创建图像。URGE 生成的图像与文本描述更匹配，且更具美感，即使在使用较小、功能较弱的 AI 模型时也是如此。

简而言之： URGE 是一种更智能、更简单的方式来引导 AI 图像生成器。它不再通过繁重的数学运算来掌舵这艘船，而是简单地保留最好的水手并淘汰其余的人，从而确保以高精度到达最终目的地，而无需海洋的详细地图。

技术摘要：URGE——基于路径测度序贯蒙特卡洛的扩散模型无近似、无导数推理时扩展

1. 问题陈述

现代扩散模型和基于流的生成方法通常被训练以捕捉数据分布 $p_{\text{data}}$ 。然而，在实际部署中，往往需要在不重新训练的情况下，将生成过程导向特定的下游目标（例如物理有效性、文本 - 图像对齐）。这被形式化为从奖励倾斜的后验分布 $q(x) \propto p_{\text{data}}(x)r(x)$ 中进行采样。

当前的推理时扩展方法，特别是引导（guidance），试图通过修改采样随机微分方程（SDE）的漂移项来实现这一目标，该漂移项包含由引导势函数 $G$ 导出的梯度项。尽管引导在经验上有效，但它引入了一个根本性的数学局限：它不能保证从精确的倾斜分布 $q(x)$ 中采样。精确采样需要 Doob 的 $h$ -变换，这涉及求解反向 Kolmogorov 方程，在高维情况下通常是不可处理的。

现有的替代方案，如FK-Corrector和AFDPS，试图通过序贯蒙特卡洛（SMC）对粒子进行重加权，以校正引导生成的偏差。然而，这些方法依赖于无穷小生成元，这需要访问奖励函数的高阶导数（具体包括得分函数 $\nabla \log p_t$ 、拉普拉斯算子 $\Delta r$ 以及引导的 Hessian 矩阵）。这些要求带来了巨大的计算开销，并使得这些方法无法应用于黑盒奖励模型（例如文本到图像生成中使用的神经奖励模型），因为在这些模型中导数不可用或计算成本高昂。

本工作解决的核心挑战是：我们能否设计一种无近似的推理时扩展程序，在消除次优引导偏差的同时，无需奖励函数的导数信息？

2. 方法论：URGE

作者提出了URGE（基于 Girsanov 估计的无偏重采样），这是一种无导数的推理时扩展算法，它在生成轨迹（路径空间）而非单个生成样本（粒子空间）上执行重采样。

核心机制

URGE 利用Girsanov 定理在扩散过程的路径空间上执行测度变换。

引导生成：使用带有任意引导势函数 $G$ （可能不完美）的引导 SDE 模拟多条轨迹 $\{X^{(i),G}_t\}$ 。
$dX^G_t = (v(X^G_t, t) + V(t)^2 \nabla_x G(X^G_t, t))dt + V(t)dW_t$
逐路径重加权：URGE 不基于需要导数的无穷小生成元计算权重，而是根据目标奖励倾斜路径测度 $Q$ 与引导路径测度 $P_G$ 之间的 Radon-Nikodym 导数，为每条完整轨迹分配乘性权重。
在时间区间 $[s, t]$ 上，轨迹的重要性权重为：
$w^{\text{URGE}}_{s,t} = \exp\left( \int_s^t -V(\tau)\nabla_x G(X^G_\tau, \tau)^\top dW_\tau - \frac{1}{2}\int_s^t V(\tau)^2 \|\nabla_x G(X^G_\tau, \tau)\|^2 d\tau + \int_s^t dr(X^G_\tau, \tau) \right)$
关键在于，该公式不需要 $\nabla r$ 、 $\Delta r$ 或 $\nabla \log p_t$ 。它仅需要奖励函数 $r$ 和引导 $G$ 。
重采样：在离散时间步，根据路径权重对粒子进行重采样。这实现了一种“生死”机制，其中高奖励轨迹被复制，低奖励轨迹被消除，从而推动经验分布向真实后验 $q$ 靠拢。

理论等价性

本文建立了路径空间重采样（URGE）与粒子空间重采样（FK-Corrector/AFDPS）之间的理论等价性。

作者证明，当以终端状态为条件时，URGE 路径空间过程的边缘化生成元恢复了 FK-Corrector 和 AFDPS 所使用的精确无穷小重加权项。
这证实了 URGE 是无近似的：它收敛到与理论最优（但依赖大量导数）的粒子空间方法相同的目标分布，但通过将权重构建提升到路径空间来实现这一目标，从而避免了显式导数计算的需求。

3. 主要贡献

新颖的混合专家框架：作者提出了一种方法，通过在轨迹而非样本上进行重采样，将 SMC 与生成过程相结合。这允许通过 Girsanov 测度变换进行灵活的权重构建，而无需奖励导数。
无导数实现：URGE 消除了对奖励函数的得分函数、Hessian 矩阵或拉普拉斯算子的需求。这使其适用于黑盒奖励模型（例如 CLIP、ImageReward、DPO 微调模型），在这些模型中梯度不可访问。
理论等价性：本文证明，URGE 的逐路径重加权在边缘化后，精确恢复了最先进基于导数方法（FK-Corrector/AFDPS）的加权结构，保证两种方案产生相同的无近似终端律。
实证优越性：URGE 在合成和现实世界任务中始终优于现有基线（包括 FK-Steering 和 AFDPS 变体），同时实现更简单且完全无梯度的实现。

4. 实验结果

作者在三个基准测试中评估了 URGE：

高斯混合模型（合成数据）：
- 与纯引导、AFDPS 和 FK-Steering 相比，URGE 在所有指标（MMD、SWD、平均 L2、协方差 Frob）上实现了最低误差。
- 它展示了卓越的收敛效率，使用比基线更少的粒子即可取得更好的结果。
- URGE 在不同维度和离散化步长下保持鲁棒性，表现出比竞争方法更低的步长敏感性。
逆问题（图像复原）：
- 在 ImageNet-256 和 FFHQ-256 上测试了高斯去模糊、运动去模糊、超分辨率和框内补全。
- URGE 实现了与 AFDPS（需要导数）相当的性能，并在 PSNR 和 LPIPS 方面显著优于其他基线。
- URGE 展示了更好的计算扩展性，在保持高重建质量的同时，实现了比 AFDPS-ODE 更短的推理时间。
文本到图像生成：
- 在 Stable Diffusion v1.5 和 SDXL 及其 DPO 微调变体上进行了测试。
- URGE 在美学质量（ImageReward、HPS）和提示忠实度（GenEval、CLIP-Score）方面优于 FK-Steering 和基础模型。
- 值得注意的是，当使用粒子扩展时，URGE 允许较小的模型（SD v1.5）达到或接近较大模型（SDXL）的性能，而 FK-Steering 则显示出收益递减。
- 与 FK-Steering 不同，URGE 随着粒子数量的增加表现出单调的奖励提升。

5. 意义与主张

本文声称 URGE 提供了一个无训练、无近似的基于集成的后验采样框架。其主要意义在于统一了基于路径和基于状态的加权策略。通过将重采样机制从粒子空间提升到路径空间，URGE：

消除了导数瓶颈：它使得在扩散引导中使用复杂的黑盒奖励模型成为可能，而无需计算高阶导数的计算成本。
确保理论正确性：它保证收敛到真实的奖励倾斜后验分布，校正了标准引导方法的固有偏差。
提供实际效率：它以更简单的实现和具有竞争力的计算开销实现了最先进的生成质量，使其适用于大规模、现实世界的生成任务。

作者强调，虽然先前的工作（FK-Corrector、AFDPS）为校正引导提供了理论见解，但它们受限于对导数信息的依赖。URGE 弥合了这一差距，提供了一种实用的、无导数的解决方案，同时保留了无近似采样的理论保证。