技术摘要：通过漂移进行生成建模

问题陈述

生成建模从根本上是学习一个映射 $f$，使得先验分布 $p_{prior}$（例如高斯噪声）的推前分布（pushforward）与数据分布 $p_{data}$ 相匹配，记作 $f\#p_{prior} \approx p_{data}$。虽然现有的范式（如扩散模型和流匹配）通过在推理阶段迭代地细化样本（将复杂的推前映射分解为一系列可行的变换序列）来实现这一目标，但这种方法在每个样本生成时都需要多次神经网络评估（NFE），导致计算成本高昂。

现有的创建单步生成器的尝试通常依赖于对预训练的多步模型进行蒸馏，或在训练期间近似随机微分方程（SDE）或常微分方程（ODE）的轨迹。作者提出了一种新的范式，从根本上将迭代过程从推理阶段转移到了训练阶段，从而在无需依赖 SDE/ODE 形式的情况下，实现高质量的单次神经网络评估（1-NFE）生成。

方法论：漂移模型

其核心贡献是漂移模型（Drifting Model），它将生成建模表述为训练过程中推前分布的演化。

1. 训练时演化

作者并未将训练仅仅视为通过更新权重来最小化静态损失的过程，而是将迭代优化（如 SGD）产生的模型序列 $\{f_i\}$ 视为一系列推前分布 $\{q_i\}$。在每次迭代中，由于参数更新，样本 $x_i = f_i(\epsilon)$ 会被隐式地“漂移”到 $x_{i+1} = f_{i+1}(\epsilon)$。其目标是定义一种机制，使这种漂移能自然地引导分布 $q$ 向 $p_{data}$ 演化。

2. 漂移场

为了控制这种演化，作者引入了一个漂移场 $V_{p,q}(x)$，该函数根据当前的生成分布 $q$ 和目标数据分布 $p$ 计算样本 $x$ 的位移向量 $\Delta x$。

• 平衡条件： 该场的设计确保当且仅当 $p = q$ 时，$V_{p,q}(x) = 0$。当分布匹配时，样本停止漂移，达到平衡。
• 反对称性： 该场满足 $V_{p,q}(x) = -V_{q,p}(x)$。这一特性确保了如果分布发生交换，漂移方向会反转，从而保证当 $p=q$ 时 $V=0$。

3. 通过吸引与排斥进行实例化

本文所使用的特定漂移场受均值漂移（mean-shift）算法启发，利用来自 $p$ 的正样本和来自 $q$ 的负样本构建而成：
$$V_{p,q}(x) = V^+_p(x) - V^-_q(x)$$
其中：

• $V^+_p(x)$ 是将 $x$ 拉向数据分布 $p$ 的吸引力。
• $V^-_q(x)$ 是将 $x$ 推离生成分布 $q$ 的排斥力。
• 这些力使用核函数 $k(x, y)$（具体为基于 $\ell_2$ 距离的指数核）计算，并通过 softmax 操作进行归一化以确保稳定性。

4. 训练目标

训练目标源于平衡时的不动点关系：$f(\epsilon) = f(\epsilon) + V_{p,q}(f(\epsilon))$。损失函数最小化当前预测值与“冻结目标”（即当前预测加上漂移量）之间的距离：
$$L = \mathbb{E}_{\epsilon} \left[ \| f_\theta(\epsilon) - \text{stopgrad}(f_\theta(\epsilon) + V_{p,q}(f_\theta(\epsilon))) \|^2 \right]$$
这种形式允许优化器通过将样本向其漂移后的版本移动来演化分布。至关重要的是，梯度不会通过分布 $q$ 本身进行反向传播，从而避免了对分布进行求导的复杂性。

5. 特征空间与引导

• 特征空间： 为了处理高维数据，漂移损失在特征空间中计算，使用的是预训练的自监督编码器（例如 ResNet 式的 MAE）。这确保了语义相似的样本保持接近，从而提供更丰富的梯度信号。
• 无分类器引导（CFG）： 该方法通过在训练期间将无条件数据样本混合到负样本分布中，自然地支持 CFG，从而实现可控生成而无需重新训练。

核心贡献

1. 新范式： 引入了“漂移模型”，这是一个将推前分布在训练时间内进行演化的框架，消除了对迭代推理的需求。
2. 漂移场： 提出了一个基于漂移场的创新损失机制，该机制在生成分布与数据分布匹配时达到平衡，并受趋向数据和排斥当前生成的驱动。
3. 最先进的单步生成： 证明了单次前向传播网络可以达到与多步扩散和流模型竞争或更优的性能。
4. 对模式崩塌的鲁棒性： 玩具实验表明该方法对模式崩塌具有鲁棒性；如果生成分布坍缩到某一个模态，来自数据分布中其他模态的吸引力仍会持续驱动漂移，推动分布进行演化。

实验结果

作者在 ImageNet 256×256 的潜空间和像素空间上对漂移模型进行了评估。

• 潜空间： 使用标准的 SD-VAE 分词器，该模型实现了 1-NFE FID 为 1.54（使用较大的 L/2 模型）。这超越了以往所有的单步方法（如 iMeanFlow、AdvFlow），并能与多步扩散模型（如 250 步的 SiT-XL/2，FID 为 2.06）相媲美。
• 像素空间： 在不使用潜空间分词器的情况下，该模型实现了 1-NFE FID 为 1.61，显著优于以往的像素空间单步方法（如 StyleGAN-XL 的 FID 为 2.30），并能与多步像素空间模型竞争。
• 机器人控制： 在扩散策略（Diffusion Policy）设置下，单步漂移模型在各种机器人操控任务上的表现达到或超过了多步扩散策略（100 NFE）的水平。

重要性与主张

本文声称开辟了高质量、高效生成建模的新机遇。通过将迭代神经网络训练重新定义为分布演化的机制，这项工作挑战了生成任务中 SDE/ODE 形式的必要性。

作者强调，其方法具有以下特点：

• 天然支持单步推理（1-NFE），显著降低了部署时的计算成本。
• 不依赖于从预训练的多步模型中进行蒸馏，而是从头开始训练。
• 提供了一个在概念上与扩散和流匹配截然不同的替代方案，侧重于训练期间的更新规则（$x_{i+1} = x_i + \Delta x_i$），而非推理阶段。

作者对于理论保证保持谦逊，指出虽然 $p=q \implies V=0$ 已得到证明，但反向命题（$V \to 0 \implies p \to q$）在经验上成立并在特定的非退化假设下成立，但在任意向量场下并不保证成立。他们将这项工作视为探索其他分布演化机制实现的起点。