🤖 machine learning

MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

该论文介绍了 MeanFlowNFT，这是一个创新的框架，它通过构建一个诱导瞬时速度预测器，将前向过程强化学习方法 DiffusionNFT 适配到 MeanFlow 生成器上，从而在实现高效奖励优化的同时保留了快速少步采样能力，并在图像和视频生成方面显著超越了现有的少步甚至多步强化学习微调模型。

原作者： Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人艺术家画出一幅“一辆流线型汽车行驶在霓虹闪烁的赛博朋克街道上”的画作。在人工智能的世界里，目前顶尖的艺术家们使用一种叫做**扩散（diffusion）或流（flow）**的技术。你可以把它想象成雕刻家从一块大理石中凿去碎石的过程。他们从一个粗糙的、充满噪声的石块（随机静态噪声）开始，通过一步步细微而谨慎的调整，最终显现出完整的雕像。问题在于，这个过程非常缓慢。为了得到一张真正好的图片，机器人可能需要进行 50 甚至 100 个微小的步骤，每凿一下都要检查一次进度。这就像是通过迈一英寸的小碎步来穿过房间；你最终能到达目的地，但那实在太慢了。

为了让这个过程更快，科学家们最近发明了一个新窍门，叫做 MeanFlow。与其采取细碎的小步，不如让机器人学会预测它在一段完整的时间跨度内需要行驶的“平均速度”。这就像是机器人学会了在房间里大步流星地自信跨越，而不是挪动脚步。这使得它只需很少的几步就能创造出高质量的图像。然而，这里有一个难点：这些快速移动的机器人很难学习人类真正“喜欢”的东西。通常，为了教 AI 变得更有创意或更好地遵循规则，我们会使用一种叫做**强化学习（RL）**的方法。但我们目前拥有的最好的 RL 方法是为那些缓慢、循序渐进的机器人设计的，而不是为这些快速跨越的机器人设计的。尝试用旧的、针对慢速机器人的教训来教这个快速机器人，就像是试图通过给一只猎豹提供专门给乌龟准备的指令来教它奔跑；其中的数学逻辑根本对不上。

这正是新论文 MeanFlowNFT 的切入点。研究人员提出了一个简单但棘手的疑问：我们能否利用我们用于训练慢速机器人的那些高效 RL 方法，在不降低速度的前提下，让这个快速跨越的机器人变得更好？

答案是肯定的，以下是他们的做法。团队意识到，尽管机器人的训练目标是预测“平均速度”（以实现那些大跨步），但在这种“平均速度”与旧版 RL 方法所需的“瞬时速度”（即在任何一个极小瞬间的速度）之间，存在着一种隐藏的数学联系。他们构建了一个巧妙的桥梁，称为诱导瞬时速度预测器（induced instantaneous-velocity predictor）。你可以这样理解：机器人的大脑被训练用来规划一场长途旅行（平均速度）。研究人员创建了一个特殊的“翻译官”，这个翻译官可以观察那份长途旅行计划，并瞬间计算出汽车在任何特定秒数时的时速表读数（瞬时速度）。

随后，他们利用这个翻译官，使用旧有的高效 RL 方法来教导机器人。机器人根据翻译官提供的时速表读数（反馈/奖励）来进行学习，但一旦课程结束，机器人就会回到它原本的“平均速度”大脑模式来生成图像。这意味着机器人变得更聪明、更符合人类偏好，同时又没有失去它的超高速。

结果令人印象深刻。当他们在图像生成器（如 Stable Diffusion 3.5-Medium）和视频生成器（如 Wan2.1）上测试时，新的 MeanFlowNFT 模型始终优于之前的顶级快速模型。事实上，在图像生成方面，它在 8 项不同的质量指标中有 6 项都超越了其他顶尖模型。更令人惊讶的是，在视频生成方面，一个 4 步生成的 MeanFlowNFT 模型在名为 VBench 的质量测试中得分高达 84.33。这甚至超过了一个要慢得多的 50 步模型（LongCat-Video RL），后者的得分仅为 82.57。

这篇论文证明了该方法不仅在理论上可行，在实践中也同样有效。通过使用这个“翻译官”的小窍门，他们成功地保持了训练过程的高效与快速（无需计算复杂的概率），同时又获得了先进强化学习带来的好处。机器人学会了如何进行更好的跨越，从而在极短的时间内创造出更美观、更准确的图像和视频。这有点像是通过给猎豹一份更好的地形地图，让它知道确切地在哪里落下巨大的脚掌，从而教它跑得更快，而不是强迫它走路。

技术摘要：MeanFlowNFT

1. 问题陈述

扩散模型（Diffusion）和流匹配模型（Flow Matching）已成为高质量图像和视频生成领域的主导范式。然而，它们依赖于在许多连续步骤中对瞬时速度进行积分，这导致了推理时间缓慢的问题。MeanFlow 通过预测时间间隔内的平均速度来解决这一瓶颈，从而实现仅需极少数步骤的高质量生成。

同时，强化学习（RL） 已成为使生成模型与人类偏好对齐的标准方法。虽然 DiffusionNFT 引入了一种高效的正向过程 RL 框架，避免了逆向过程轨迹和似然估计，但它优化的是瞬时速度。这里存在一个关键差距：将正向过程 RL 应用于 MeanFlow 是非平凡的，因为 MeanFlow 使用平均速度进行采样，这导致了优化目标（瞬时）与采样机制（平均）之间的不匹配。核心问题在于：一个预训练的 MeanFlow 模型是否可以通过高效的正向过程 RL 进行微调，从而实现卓越的少步生成。

2. 方法论：MeanFlowNFT

本文提出了 MeanFlowNFT，这是首个专门为 MeanFlow 生成器设计的正向过程 RL 框架。其核心创新在于利用 MeanFlow 恒等式 弥合平均速度与瞬时速度之间的差距。

2.1 理论基础

该方法依赖于 MeanFlow 恒等式，该式将瞬时速度 $v(x_t, t)$ 与区间 $[s, t]$ 上的平均速度 $u(x_t, s, t)$ 联系起来：
$v(x_t, t) = u(x_t, s, t) + (t - s) \frac{d}{dt}u(x_t, s, t)$
其中 $\frac{d}{dt}u = \partial_t u + (\partial_x u) v$ 。

2.2 感应瞬时速度预测器

作者并没有修改 MeanFlow 网络来直接预测瞬时速度，而是构建了一个感应瞬时速度预测器，记作 $V_\theta$ ：
$V_\theta(x_t, s, t) \triangleq u_\theta(x_t, s, t) + (t - s) [\partial_t u_\theta + (\partial_x u_\theta) \hat{v}_\theta]$
这里 $u_\theta$ 是可训练的平均速度网络。项 $\hat{v}_\theta$ 作为空间导数的方向，并通过网络在 $s=t$ 时的瞬时速度进行近似。

2.3 优化目标

该框架将 DiffusionNFT 式的目标函数 应用于此感应预测器 $V_\theta$ 。训练过程包括：

隐式参数化： 基于冻结的参考模型 ( $V^{old}$ ) 和可训练模型 ( $V_\theta$ )，根据奖励 $r$ 和引导强度 $\beta$ 构建“正向” ( $V^+_\theta$ ) 和“负向” ( $V^-_\theta$ ) 预测器。
正向过程损失： 最小化这些感应预测器与条件速度 $v_t$ 之间的奖励加权平方误差：
$\mathcal{L}_{MFNFT} = \mathbb{E} [ r \|V^+_\theta - v_t\|^2 + (1-r) \|V^-_\theta - v_t\|^2 ]$
解耦采样： 至关重要的是，虽然优化是在瞬时速度空间（ $V_\theta$ ）中进行的，但推理仍然基于平均速度 $u_\theta$ 。这保留了 MeanFlow 原生的少步采样效率。

2.4 实际实现细节

为了确保训练稳定性和计算效率，作者引入了三个关键设计选择：

有限差分导数： 时间 $t$ 的全导数项 $\frac{d}{dt}u$ 使用时间 $t$ 的中心有限差分进行近似，从而避免了昂贵的雅可比向量积（JVP）。
共享导数项： 为了防止训练崩溃，可训练预测器和参考预测器共享相同的估计导数项 ( $\frac{d}{dt}u^{old}$ )。这消除了原本会使优化不稳定的导数差分项。
条件速度方向： 用于有限差分的方向使用正向过程条件速度 $v_t$ （无需额外成本），而非可训练的瞬时速度 $\hat{v}_\theta$ ，这提高了稳定性。

3. 核心贡献

首个针对 MeanFlow 的正向过程 RL： MeanFlowNFT 是第一个将正向过程 RL 应用于 MeanFlow 生成器的框架。它通过将 DiffusionNFT 式的目标应用于感应瞬时速度预测器，成功优化了底层的平均速度。
理论保证： 作者证明了在理想化设定下，最优感应预测器可以恢复 DiffusionNFT 改进后的策略目标。此外，他们证明这种策略改进可以可靠地转移到平均速度网络，确保 MeanFlow 策略得到严格改进。
效率与性能： 该方法保持了 DiffusionNFT 无似然（likelihood-free）和求解器无关（solver-agnostic）的特性，同时保留了 MeanFlow 的少步采样效率。

4. 实验结果

实验在图像生成（Stable Diffusion 3.5-Medium）和视频生成（Wan2.1 1.3B）上进行了。

图像生成 (SD3.5-M)： MeanFlowNFT（4 步）在少步基线模型（DMD, CDM, AnyFlow）和近期少步 RL 方法（Rdm, RTDMD）中表现出一致的领先优势。值得注意的是，在 6 项指标（如 ImageReward, CLIPScore, OCR）上，它取得了优于或媲美 40 步 DiffusionNFT 基线的结果，而使用的函数评估次数减少了 10 倍。
视频生成 (Wan2.1)： 仅需 4 个采样步骤，MeanFlowNFT 在 7 项指标中的 5 项上达到了少步模型中的最佳效果。它在所有报告的指标上都超越了 50 步 LongCat-Video RL 基线（例如 VBench 分数分别为 84.33 vs. 82.57）。
测试时缩放（Test-Time Scaling）： 该模型表现出随着采样步数增加（从 2 到 32 步）性能持续提升的特性，并在不同步数之间保持了高度的布局和内容一致性，在步数一致性方面优于 AnyFlow 基线。

5. 重要性与主张

本文声称 MeanFlowNFT 成功弥合了平均速度生成器的效率与正向过程 RL 对齐能力之间的鸿沟。通过将优化（瞬时空间）与采样（平均空间）解耦，该方法实现了卓越的少步生成，且未牺牲 MeanFlow 的速度优势。

作者强调，MeanFlowNFT 不仅改进了现有的少步生成器，还挑战了“高性能必须依赖多步 RL 微调模型”的观点。结果表明，通过正确的理论桥接（MeanFlow 恒等式），少步模型可以在质量和效率方面超越多步 RL 微调的扩散模型。这项工作被视为一个基础性的进展，作者指出，其感应预测器构造有望扩展到其他流映射模型（如一致性轨迹模型/Consistency Trajectory Models）以及其他正向过程 RL 目标，尽管这些仍属于未来的研究工作。