💻 computer science

Stable Velocity: A Variance Perspective on Flow Matching

本文提出了“Stable Velocity”，这是一个统一的框架，通过引入方差缩减目标和自适应监督进行训练，以及闭式解采样加速推理，从而在不牺牲样本质量的前提下，显著提高了训练效率和采样速度，缓解了流匹配中固有的高方差训练目标问题。

原作者： Donglin Yang, Yongxing Zhang, Xin Yu, Liang Hou, Xin Tao, Pengfei Wan, Xiaojuan Qi, Renjie Liao

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Donglin Yang, Yongxing Zhang, Xin Yu, Liang Hou, Xin Tao, Pengfei Wan, Xiaojuan Qi, Renjie Liao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人如何画一幅画，过程是从一张充满静态噪声的空白画布开始，并逐渐将其变成一张清晰的图像。这个过程被称为“流匹配”（Flow Matching）。机器人通过学习在每一个微小步骤中，它需要移动像素的方向来进行学习。

这篇名为《稳定速度》（Stable Velocity）的论文指出，我们目前教导这些机器人的方式有点混乱。以下是使用简单类比进行的拆解：

问题所在：“嘈杂的教室”

目前，当机器人尝试学习移动的方向（即“速度”）时，它只观察一个完成后的图像样本来猜测路径。

类比： 想象一下，如果你试图通过只向一个人问路来学习前往目的地的最佳路线。如果那个人心情不好或者给了你一个奇怪的捷径，你可能会迷路。
结果： 在绘画的早期阶段（当图像大部分还是噪声时），只询问一个人会导致高方差。机器人会感到困惑，训练变得不稳定，且学习过程漫长。这就像一个教室里，每个学生都给出了不同、冲突的答案，让老师很难知道正确的教法。

发现：两个不同的区域

作者意识到绘画过程有两个截然不同的区域，就像开车一样：

“高方差”区域（迷雾开始）： 当图像大部分是噪声时，机器人的不确定性很高。只询问一个人问路就像是在赌博。取决于你选择了哪一个“噪声”样本，提供的方向会产生巨大的差异。
“低方差”区域（平坦大道）： 随着图像变得越来越清晰并接近最终图像，机器人变得非常有信心。在这个区域，机器人认为它应该前进的方向几乎与真实的方向完全一致。这就像是在一条笔直、空旷的高速公路上驾驶，每个人对路径的看法都是一致的。

解决方案：“稳定速度”

该论文提出了一个名为稳定速度的新框架，它对这两个区域采取了不同的处理方式。

1. 更聪明的训练（稳定速度匹配）

与其在迷雾区域只向一个人问路，现在的机器人会向一整组人询问，并取他们答案的平均值。

类比： 教师不再是只问一名学生，而是询问 20 名学生，剔除那些奇怪的离群值，然后取其平均值。
益处： 这平滑了噪声。机器人学习得更快、更稳定，因为它不会被单个错误的猜测所干扰。论文证明这种方法在数学上是公平的（无偏的），但波动更小。

2. 更聪明的监督（VA-REPA）

论文还建议，当机器人在迷雾区域时，我们不应该试图教它复杂的“语义”课程（比如“这是一个猫耳朵”）。

类比： 当学生还在盯着一张空白画布时，试图教他绘画细节是徒劳的。你应该等到素描轮廓清晰可见后，才开始教授细节。
益处： 该系统会自动在图像足够清晰、可以理解这些信息时，才开启额外的“有益提示”。这防止了机器人因为试图过早学习过多内容而感到困惑。

3. 更快的绘画（稳定速度采样）

当机器人实际进行图像创作（推理）时，作者发现，在“平坦大道”区域（低方差），由于路径非常可预测，因此可以采取大跨步而不是小碎步。

类比： 如果你在浓雾中行走，你必须小心翼翼地迈出小步。但一旦到达开阔的高速公路，你就可以奔跑。
益处： 新方法允许机器人在清晰区域跳过许多小步骤而不出错。这使得绘画过程快了 2 倍以上，且不会破坏最终图像的质量。

结果

作者在生成图像和视频的著名 AI 模型（如 SD3.5、Flux 和 Wan2.2）上测试了这些方法。

训练： 模型学习得更快，生成的图像质量更好。
速度： 与标准方法相比，它们可以在一半的时间内（或更少的步骤内）生成图像和视频，且没有明显的质量损失。

简而言之： 这篇论文通过在过程的迷雾部分对方向进行平均化处理，并在清晰部分让机器人快速奔跑，解决了“嘈杂的教室”问题，使 AI 图像生成既更稳定又显著更快。

技术总结：Stable Velocity：基于方差视角的流匹配（Flow Matching）

1. 问题陈述

虽然流匹配（Flow Matching, FM）和条件流匹配（Conditional Flow Matching, CFM）通过学习概率流（而不显式模拟前向 SDE 或 PF-ODE）提供了一种优雅的生成模型框架，但它们面临一个根本性的局限：其训练目标的高方差问题。在 CFM 中，训练目标依赖于对真实边缘速度场 $v_t(x_t | x_0)$ 的单样本蒙特卡洛估计，以此来近似边缘速度 $v_t(x_t)$ 。

作者指出，这种单样本估计器表现出显著的方差，尤其是在时间步处于接近先验分布（高方差机制）的阶段。这种高方差导致了：

优化不稳定：噪声梯度导致收敛缓慢。
推理效率低下：无法利用流在特定机制下的确定性特征，导致不得不使用过小的积分步长。
辅助监督失效：现有的表示对齐方法（如 REPA）通常进行统一的监督，未能识别出语义对齐在高方差（噪声）机制下是病态的，而在低方差机制下则非常有效。

2. 方法论

本文提出了 Stable Velocity 框架，该框架通过显式地刻画条件速度目标的方差，并据此调整训练和采样策略来解决上述问题。

2.1 方差分析

作者分析了不同数据分布（GMM、CIFAR-10、ImageNet）下 CFM 目标的方差 $V_{CFM}(t)$ 。他们揭示了一个两阶段结构：

高方差机制 ( $t \in [\xi, 1]$ )：在靠近先验（噪声）时，后验 $p(x_0|x_t)$ 是多峰的，导致条件速度发生剧烈波动。
低方差机制 ( $t \in [0, \xi]$ )：在靠近数据分布时，后验集中在单个参考样本上，使得条件速度 $v_t(x_t | x_0)$ 几乎与真实的边缘速度 $v_t(x_t)$ 重合。

2.2 训练：稳定速度匹配 (Stable Velocity Matching, StableVM)

为了在不引入偏差的情况下降低方差，作者提出了 StableVM。

机制：StableVM 不再使用单个参考样本 $x_0$ ，而是利用一个包含 $n$ 个参考样本 $\{x_0^i\}_{i=1}^n$ 的批次来构建复合条件路径。
目标：训练目标是基于参考批次的条件速度的自归一化重要性加权平均值：
$\hat{v}_{StableVM}(x_t) = \frac{\sum_{k=1}^n p_t(x_t | x_0^k) v_t(x_t | x_0^k)}{\sum_{j=1}^n p_t(x_t | x_0^j)}$
特性：经理论证明，该方法是无偏的（与 CFM 具有相同的全局极小值点），同时能将训练目标的方差严格降低 $O(1/n)$ 倍。
类条件扩展：为了处理类别条件生成中的稀疏性，系统使用了一个记忆库（memory bank）来维护每个类别多样化的参考样本集，确保即使在每批次类别频率较低的情况下，混合机制依然有效。

2.3 训练：方差感知表示对齐 (Variance-Aware Representation Alignment, VA-REPA)

基于两阶段机制的洞察，作者提出了 VA-REPA 以优化辅助语义监督。

洞察：表示对齐（例如，将潜在特征与预训练编码器对齐）仅在语义信息得以保留的低方差机制中才具有信息量。在高方差机制中，信号是嘈杂且病态的。
策略：对对齐损失应用权重函数 $w(t)$ ，将监督限制在低方差机制内（ $t < \xi$ ）。这防止了模型从噪声且无信息的信号中学习。

2.4 推理：稳定速度采样 (Stable Velocity Sampling, StableVS)

作者利用低方差机制在无需微调的情况下加速采样。

洞察：在低方差机制中，流动力学实际上是确定性的，且轨迹近似于速度恒定的直线。
机制：StableVS 为该机制下的反向 SDE 和 PF-ODE 推导出了闭式简化形式。对于线性插值，更新规则简化为：
$x_\tau = x_t + (\tau - t)v_t(x_t)$
实现：采样器在高方差机制中使用标准求解器（如 Euler、DPM-Solver++），但在低方差机制中切换到闭式 StableVS 更新。这允许使用较大的积分步长（减少总步数）而不会降低样本质量。

3. 核心贡献

方差理论视角：论文提供了一个原则性的分析，揭示了随机插值中依赖于维度的两阶段结构（高方差 vs 低方差），该结构支配着训练动力学和推理行为。
StableVM：一种无偏的、方差缩减的训练目标，通过聚合多个参考样本来稳定优化，在收敛速度和样本质量上优于标准 CFM 及现有的方差缩减技术（如 STF）。
VA-REPA：一种方差感知的表示对齐适配方法，选择性地在低方差机制中应用辅助监督，从而提高训练效率和稳定性。
StableVS：一种无需微调的加速策略，利用低方差机制的确定性特征，在最先进模型上实现了 >2 倍的采样加速。

4. 实验结果

该框架在 ImageNet 256×256 以及各种大规模文本生成图像（T2I）和文本生成视频（T2V）模型（SD3.5, Flux, Qwen-Image, Wan2.2）上进行了验证。

训练效率：
- StableVM + VA-REPA 在不同模型规模（从 SiT-B 到 SiT-XL）和训练时长下，一致优于 vanilla REPA 和其他基线（REG, iREPA）。
- 在 ImageNet 上，该方法在比需要端到端微调的基线（如 REPA-E）更少的训练轮数下，达到了具有竞争力的 FID 和 IS 分数。
- 消融研究证实，将对齐限制在低方差机制中比统一应用能获得更好的 FID。
采样速度：
- StableVS 在 SD3.5、Flux 和 Wan2.2 上实现了 >2 倍的推理加速（例如，用约 17-20 个总步数匹配 30 步的基线）。
- 至关重要的是，这种加速并未降低样本质量。参考指标（PSNR, SSIM, LPIPS）以及生成指标（GenEval, T2V-CompBench）与减少步数后的标准求解器相比，保持在同等水平甚至更好。
- 定性结果显示，StableVS 的输出在视觉上与 30 步基线无法区分，而朴素的步数削减会导致明显的伪影。

5. 重要性与主张

论文声称，显式建模生成轨迹中的方差结构，为设计更高效的生成模型提供了原则性的基础。

统一框架：它将训练中的方差缩减和采样中的机制感知加速统一在一个单一的理论视角之下。
实际影响：这些方法具有模块化特征，可与现有架构（如 SiT, DiT）和求解器兼容，无需改变架构或进行昂贵的微调，即可直接提升训练稳定性和推理速度。
理论洞察：这项工作挑战了将扩散/流轨迹视为均匀过程的观点，证明了不同的机制（高方差 vs 低方差）需要不同的优化和采样策略。

作者强调，其方法通过解决由流匹配目标中参考样本随机性引起的特定方差来源，是对现有技术（如降维或改进求解器）的有益补充。