💻 computer science

Drift Flow Matching

本文介绍了漂移流匹配（DFM），这是一种新颖的生成框架，通过同时支持直接生成和多步细化，将一步漂移模型的效率与迭代流匹配的灵活性和质量扩展能力相结合。

原作者： Chenrui Ma, Xi Xiao, Lin Zhao, Tianyang Wang, Ferdinando Fioretto, Yanning Shen

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenrui Ma, Xi Xiao, Lin Zhao, Tianyang Wang, Ferdinando Fioretto, Yanning Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《Drift Flow Matching》的解释。

宏观图景：连接两个世界

想象一下，你正在教一个机器人画出一幅完美的猫图。你有两种主要方法：

“一步到位”的艺术家（Drift 模型）： 这位艺术家看着空白画布，仅凭自信的一笔就瞬间画出了整只猫。它速度极快，但如果第一笔稍有偏差，整幅画就毁了。因为工作已经完成，事后无法“修正”。
“慢工出细活”的雕塑家（Flow Matching/扩散模型）： 这位艺术家从一块粘土（噪声）开始，经过数百个微小的步骤，慢慢雕琢，逐渐完善形状。如果犯了一个错误，他们可以在下一步中将其抚平。花费的时间越多（步骤越多），雕塑就越完美。然而，这种方法速度慢且计算成本高昂。

问题所在： “一步到位”的艺术家速度快但僵化；“慢工出细活”的雕塑家灵活但缓慢。直到目前，你不得不二者选其一。

解决方案： 这篇论文提出了Drift Flow Matching (DFM)。你可以将 DFM 想象为一位混合型艺术家，它既拥有一步到位画家的速度，又具备慢速雕塑家的灵活性。

工作原理："GPS"类比

要理解 DFM 如何运作，想象你要从A 城（随机噪声）开车前往B 城（完美图像）。

旧的 Drift 模型就像一位只拿到一套指令的司机：“直接开往 B 城。”他们走高速，一次到达。如果错过了转弯，就无法纠正。
旧的 Flow Matching就像一位每 10 秒检查一次 GPS 的司机。他们不断进行微调。如果偏离了路线，GPS 会立即纠正他们。这很准确，但需要持续检查（计算）。

Drift Flow Matching (DFM) 改变了规则。它不再只是给出一个目的地或每 10 秒检查一次，而是给司机提供一张适用于任意距离的动态地图。

魔法技巧： 模型学习了一种适用于任意两个时间点的“传输规则”。
- 如果你希望从“现在”到“终点”进行一次巨大的飞跃，模型就会像那位快速的艺术家一样，直接开往目的地。
- 如果你希望从“现在”到“终点”，但在中途停下来喝杯咖啡，模型就会像那位慢速雕塑家一样。它会计算该路段的最佳路径，细化图像，然后进入下一段旅程。

秘密武器：“分组漂移”

模型是如何学会同时做到这两点的？论文使用了一种涉及分组的巧妙训练技巧。

想象一下，你正在训练一个班级将一堆沙子从一个地方移到另一个地方。

在传统方法中，你可能会单独告诉每个学生：“把这粒特定的沙子移到那个特定的位置。”
在DFM中，你告诉全班同学：“看看我们此刻拥有的整堆沙子，并将整堆沙子移动成目标沙堆的样子。”

模型学习的是推动整个分布（整堆沙子）向目标移动，而不仅仅是修正单个点。这种“群体思维”使其具有鲁棒性。

一步： 它瞬间将整堆沙子推向目的地。
多步： 它将沙子推一半，停下来，重新评估沙堆的形状，然后再将其推完剩下的路程。

为何重要（结果）

论文在从绘制简单形状（如字母"F"）到生成高质量人脸（FFHQ）甚至控制机器人等各个方面测试了这种方法。

速度与质量的权衡： 你可以选择愿意花费多少时间。
- 需要快吗？运行1 步。它的效果几乎与最好的单步模型一样好。
- 需要完美吗？运行10 步或 50 步。质量会越来越好，就像那位慢速雕塑家一样。
无需妥协： 你不需要训练两个不同的模型。一个 DFM 模型可以完成这两项工作。
机器人学： 论文表明，机械臂可以使用同一个“大脑”（模型），通过一步操作更快地抓取物体，或通过多步操作更精确地抓取物体。

总结

Drift Flow Matching 就像是 AI 生成领域的瑞士军刀。它将直接捷径的速度与细致、分步旅程的精度结合在一起。它允许用户说：“我现在需要一张不错的图像”（1 步），或者“我需要一张完美的图像，而且我有时间”（多步），所有这些都使用同一个底层系统。

技术摘要：漂移流匹配（DFM）

问题陈述

迭代式生成模型（如流匹配和扩散模型）已展现出强大的“推理时扩展”能力，即增加推理步数可提升生成质量、可控性及分布覆盖度。然而，这些方法需要多次推理步骤，计算成本高昂。相反，漂移模型（Drift Models）通过学习从源分布到目标分布的直接推前映射，实现了高效的一步生成。但其直接生成范式缺乏一种自然机制，无法通过在推理时增加步数来改善结果，从而限制了其灵活性和对不同质量 - 效率需求的适应能力。

方法论：漂移流匹配（DFM）

作者提出了漂移流匹配（DFM），这是一个统一了一步漂移模型的高效性与多步流匹配的可扩展性的框架。DFM 通过学习一个双时输运模型来实现这一目标，该模型能够沿流匹配概率路径，将样本从任意当前时间 $t$ 输运至任意未来时间 $r > t$ 。

核心机制

双时边际构建：
与回归点对点条件速度目标的标准流匹配不同，DFM 在边际分布对 $(p_t, p_r)$ 上运作。它基于源分布（ $X_0$ ）和目标分布（ $X_1$ ）的独立耦合，定义条件路径 $X^Z_t = \alpha(t)X^Z_0 + \beta(t)X^Z_1$ 和 $X^Z_r = \alpha(r)X^Z_0 + \beta(r)X^Z_1$ 。该构建在任意时间步诱导产生边际分布 $p_t$ 和 $p_r$ 。
平均速度参数化：
DFM 参数化一个平均速度场 $u_\theta(x_t, t, r)$ ，用于将当前分布 $p_t$ 输运至未来分布 $p_r$ 。输运映射定义为：
$T^\theta_{t,r}(x_t) = x_t + (r - t)u_\theta(x_t, t, r)$
该公式使模型能够处理任意步长 $(r-t)$ 。当 $r \to t$ 时，平均速度恢复为标准流匹配的瞬时边际速度。
基于漂移的监督：
DFM 不回归速度向量，而是采用基于漂移的目标，将预测分布 $q^\theta_{t,r}$ （由 $T^\theta_{t,r}$ 生成）输运至真实目标边际 $p_r$ 。
- 漂移场：构建一个漂移场 $V_{q^\theta_{t,r}, p_r}$ ，利用核加权吸引项指向目标样本（ $V^+_{p_r}$ ），并包含一个排斥性的自校正项以远离当前模型分布（ $V^-_{q^\theta_{t,r}}$ ）。
- 损失函数：训练目标使用停止梯度（stop-gradient）公式最小化漂移场的幅度：
  $L_{DFM}(\theta) = \frac{1}{2} \mathbb{E}_{(t,r), X_t \sim p_t} \left[ \| \hat{X}^\theta_r - \text{sg}(\hat{X}^\theta_r + V_{q^\theta_{t,r}, p_r}(\hat{X}^\theta_r)) \|^2 \right]$
- 分组估计：关键在于，漂移场和损失必须针对每个采样的时间对 $(t, r)$ 分组计算。混合不同时间对的样本会破坏漂移估计，因为每对的边际目标 $p_r$ 均不相同。

主要贡献

统一框架：DFM 弥合了高效的一步漂移模型与迭代流匹配方法之间的鸿沟，创建了一个同时支持直接生成和迭代细化的单一范式。
推理时扩展：该框架解锁了基于漂移方法的推理时扩展能力。用户可通过调整推理步数（NFE）在采样速度与生成质量之间进行权衡，而无需重新训练。
新颖学习原理：本文引入了一种学习原理，从点对点速度回归（流匹配中的标准做法）转向通过漂移监督进行边际分布输运。这避免了其他一步生成方法中常用的自蒸馏方法所伴随的不稳定性。
理论保证：作者提供了理论分析，表明 DFM 将端点生成分解为由 Wasserstein 距离（ $W_2$ ）控制的短程边际输运问题，并且该方法在无穷小步长极限下可恢复标准流匹配。

实验结果

在合成数据、MNIST、FFHQ、ImageNet-1k 及机器人控制任务上的广泛实验证明了 DFM 的有效性：

合成数据：可视化显示，DFM 可在单步内生成高质量样本，且随着 NFE 增加，分布覆盖度和样本质量得到进一步提升。
条件生成（MNIST 与 FFHQ）：DFM 在一步推理下实现了具有竞争力的性能（与漂移模型基线相当），并且随着 NFE 增加至 2、5 或 10，各项指标（EMD、FID）持续改善。
大规模图像合成（ImageNet-1k）：在 ImageNet-256x256 数据集上，DFM 在 NFE=1 时实现了 1.52 的竞争性 FID。将 NFE 增加至 10 后，FID 进一步降低至 1.31，展示了与迭代流匹配方法相当的推理时扩展效果。
机器人控制：在机器人操作任务（如 Lift、Can、PushT）中，DFM 保留了漂移策略（Drift Policy）的一步推理能力，同时随着推理步数增加表现出明显的性能提升，在特定任务中优于一步漂移策略和多步扩散策略基线。

意义与主张

本文主张，DFM 建立了一个更灵活的生成范式，其中直接生成与迭代细化不再是互斥的设计选择，而是可在单一框架内统一看待。通过将漂移生成建模与基于流的迭代生成相连接，DFM 使得生成过程能够根据不同的质量 - 效率需求自适应调整采样计算量。作者强调，这种方法提供了一种新颖的途径，在实现强一步生成的同时保留迭代方法的可扩展性优势，解决了先前漂移模型的一个关键局限性。