⚡ electrical engineering

Reverse Flow Matching: A Unified Framework for Online Reinforcement Learning with Diffusion and Flow Policies

本文提出了反向流匹配（Reverse Flow Matching, RFM），这是一个统一的框架，通过将任务建模为带有零均值控制变量的后验均值估计问题，严谨地连接了现有的用于在线强化学习中训练扩散策略和流策略的噪声及梯度期望方法，从而在不需要直接从目标玻尔兹曼分布中采样的情况下，提高了训练效率和稳定性。

原作者： Zeyang Li, Sunbochen Tang, Navid Azizan

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zeyang Li, Sunbochen Tang, Navid Azizan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人如何在看不见舞蹈的情况下跳舞

想象一下，你正试图教一个机器人跳舞。在一个理想的世界里，你会给机器人看一段专业舞者的视频（即“目标”），并对它说：“模仿这个。”机器人通过观察和模仿来学习。

在在线强化学习（这篇论文所探讨的领域）中，机器人在实时学习如何跳舞。它并没有一段完美舞蹈的视频。相反，它只有一个计分卡（称为 Q 函数），告诉它：“如果你这样移动手臂，你会得到 10 分；如果你那样移动，你会得到 2 分。”

目标是让机器人学会一套能获得最高分的舞蹈动作。从数学上讲，“完美的舞蹈”是一个被称为 玻尔兹曼分布（Boltzmann distribution） 的复杂模式。问题在于？计分卡只能告诉你一个动作有多好，但它并不会给你这个动作本身的视频。你无法仅仅通过“观看”完美的舞蹈来复制它。

旧方法：猜测与尝试

研究人员以前尝试通过两种主要方式来解决这个问题，这两种方法都像是通过在黑暗中摸索来猜测隐藏物体的形状：

“噪声”法（The "Noise" Approach）： 想象机器人从一组随机、混乱的动作（噪声）开始，并尝试将其清理干净。这种方法通过对所有随机噪声进行加权平均来猜测完美的动作，权重取决于计分卡认为结果有多好。
“梯度”法（The "Gradient" Approach）： 这种方法观察计分卡的斜率。如果向左移动时分数上升，它就假设完美的动作在左边。它通过平均这些“斜率”来找到最佳方向。

这两种方法效果尚可，但它们就像是用两张互不关联的地图去寻找同一份宝藏。目前还不清楚它们是否真的在寻找同一个东西，而且它们往往不稳定或速度缓慢。

新方案：逆向流匹配 (Reverse Flow Matching, RFM)

该论文的作者提出了一个统一的框架，称为逆向流匹配 (RFM)。

类比：逆向侦探
想象你是一名侦探，试图弄清楚嫌疑人在戴上伪装之前的样子。

旧方法（正向）： 你试图通过从一张空白的面孔开始并不断添加特征，直到看起来正确为止，从而猜出伪装。但你并没有最终面孔的照片可以用来对比！
RFM 方法（逆向）： 你从当前的状态（你现在看到的戴着伪装的人）开始，并向后推导。你会问：“如果我现在看到了这个人，那么在戴上伪装之前，他看起来是什么样的？”

通过反转逻辑，问题发生了变化。不再需要一段完美的舞蹈视频来模仿，机器人只需要估计在给定当前“后”状态（噪声或原始数据）和计分卡的情况下，“前”状态（噪声或原始数据）可能的平均值。

核心秘诀：“Langevin Stein”技巧

估计那个平均值仍然很难，因为数学过程非常复杂。论文引入了一个巧妙的数学工具，称为 Langevin Stein 算子。

类比：降噪耳机
想象你正试图在嘈杂的房间里听一首特定的歌。你有一个麦克风可以捕捉到这首歌，但其中充满了静电噪声（方差）。

作者意识到，他们可以创建一个特殊的“反向噪声”信号（一个控制变量），能够完美地抵消掉这些静电噪声。
他们利用 Langevin Stein 算子 构建了这个反向噪声信号。这就像是一个数学上的降噪耳机，它监听计分卡和随机猜测，然后从计算中减去“静电噪声”。
结果： 机器人的学习变得更加稳定且高效。它能用更少的尝试学会同样的课程。

为什么这很重要（论文主张）

该论文声称取得了三大突破：

它统一了世界： 它证明了“噪声”法和“梯度”法实际上只是同一个大机器中的两个特定设置。你可以在这两者之间切换，甚至将它们混合在一起，以获得两者的优点。
它适用于“流”模型（Flow Models）： 在此之前，这些技术仅适用于“扩散”（Diffusion）模型（类似于慢慢融化的冰）。作者展示了如何将此应用于“流”模型（类似于通过管道流动的液体）。流模型通常更快且更灵活。
它表现更好： 当他们在连续控制任务（如让机器人手臂平滑移动或让虚拟角色奔跑）上测试时，他们的方法 (RFM) 具有以下优势：
- 更稳定： 它不像旧方法那样容易崩溃或表现异常。
- 更快： 它学习任务所需的步骤更少。
- 更聪明： 与现有的最佳方法相比，它在标准基准测试中获得了更高的分数。

总结

这篇论文解决了一个难题——教机器人如何从计分卡中学习而不看答案——方法是将问题颠倒过来（逆向推理）。然后，他们使用一种数学上的“降噪”技巧来使学习过程变得平滑且高效。其结果是，机器人能够比以前更快、更稳定地学习，并且可以处理更复杂的动作。

技术摘要：逆向流匹配 (Reverse Flow Matching, RFM)

1. 问题陈述

本文探讨了将扩散 (Diffusion) 和 流 (Flow) 策略应用于在线强化学习 (Online RL) 时面临的一个根本性挑战。尽管这些生成模型因其强大的表达能力在离线强化学习和模仿学习中取得了成功，但由于缺乏来自目标策略分布的直接样本，它们在在线强化学习中的部署受到了阻碍。

在最大熵强化学习框架下，最优策略由动作上的 Boltzmann 分布 定义：
$\pi_{\text{new}}(a \mid s) \propto \exp\left(\frac{1}{\lambda} Q(s, a)\right)$
与可以直接获取训练数据的标准生成建模不同，该目标分布是未归一化的，且通常是不可直接采样的。现有的规避此问题的扩散策略方法可分为两个截然不同的家族：

噪声期望 (Noise-Expectation)： 使用噪声样本的加权平均（例如，Q 加权噪声估计）。
梯度期望 (Gradient-Expectation)： 使用 Q 函数梯度的加权平均（例如，迭代去噪能量匹配）。

本文指出，这两类目标之间的正式关系尚不明确，且目前尚不清楚它们是否可以合成到一个更通用的公式中。此外，现有方法往往严格耦合于特定的噪声调度（noise schedules），并且仅限于扩散策略，这使得训练 流策略 (Flow policies) 以从 Boltzmann 分布中进行采样成为了一个悬而未决的问题。

2. 方法论：逆向流匹配 (RFM)

作者提出了 逆向流匹配 (RFM)，这是一个统一的框架，它将无需直接目标样本的扩散和流模型的训练重新定义为一个后验均值估计 (posterior mean estimation) 问题。

2.1. 从前向构建到逆向推理

标准的条件流匹配依赖于前向构建：采样源 $X_0 \sim p_0$ 和目标 $X_1 \sim p_1$ ，然后进行插值得到 $X_t$ 。RFM 反转了这一视角。由于 $X_1$ （来自 Boltzmann 分布的动作）无法直接采样，该框架将中间状态 $X_t$ 视为观测到的证据，并推断生成它的隐变量（ $X_0$ 或 $X_1$ ）。

给定插值 $X_t = \alpha_t X_1 + \beta_t X_0$ ，噪声 $X_0$ 在给定 $X_t$ 下的后验分布为：
$q^*_{0|t}(x_0 \mid x_t) \propto p_0(x_0) p_1\left(\frac{1}{\alpha_t}x_t - \frac{\beta_t}{\alpha_t}x_0\right)$
训练目标被转化为将速度场 $v_\theta$ 回归向速度的后验均值，而该后验均值是 $X_0$ 或 $X_1$ 的后验均值的函数。

2.2. Langevin Stein 算子与控制变量

核心计算挑战在于，当目标密度 $p_1$ 仅已知其归一化常数以外的形式时，如何估计后验均值 $\mathbb{E}[X_0 \mid X_t]$ 。本文引入了 Langevin Stein 算子 来构建零均值控制变量 (zero-mean control variates)，从而降低这些估计器的方差。

控制变量构建： 通过利用这样一个性质，即作用于足够正则函数的 Langevin Stein 算子的期望为零，作者构建了向量值控制变量 $g_{\Phi_t}$ 。
方差缩减： 后验均值估计器被修改为：
$\hat{\mu} = \mathbb{E}_{X_0 \sim \bar{q}} \left[ \frac{w(X_0) (X_0 + g_{\Phi_t}(X_0))}{\sum w(X_0)} \right]$
其中 $w$ 是重要性权重， $g_{\Phi_t}$ 是由 Stein 算子导出的控制变量。
统一估计器： 作者推导出了由测试函数 $\Phi$ $Φ$ 参数化的通用类估计器。
- 设置参数 $\eta = 0$ 可恢复 噪声期望 (Noise-Expectation) 家族。
- 设置 $\eta = 1$ 可恢复 梯度期望 (Gradient-Expectation) 家族。
- 该框架允许将 Q 值和 Q 梯度进行原则性的结合，以形成方差缩减的估计器。

2.3. 在在线 RL 中应用流策略

该框架被实例化用于连续控制任务中的 流策略 (Flow policies)：

隐空间映射： 为了处理动作边界（例如 $a \in [-1, 1]^d$ ），流是在无约束的隐空间 $u$ 中学习的，其中 $a = \tanh(u)$ 。这避免了破坏概率路径的启发式截断。
雅可比修正： 隐空间中的目标密度包含来自变量代换的雅可比因子，从而确保动作空间中正确的 Boltzmann 分布。
训练循环： 通过最小化预测速度与 RFM 目标（通过带有控制变量的自归一化重要性采样估计的后验均值速度）之间的平方误差来训练 Actor。

3. 核心贡献

可处理的 RFM 损失： 本文提出了一种损失函数，将无法获得直接目标样本的难解问题转化为后验均值估计问题，该函数适用于扩散和流模型。
通过 Stein 算子的通用估计器类： 通过引入 Langevin Stein 算子，作者推导出了一个通用的后验均值估计器类。他们证明了现有的噪声期望法和梯度期望法仅仅是这一更广泛类别中的特定实例（ $\eta=0$ 和 $\eta=1$ ）。这使得结合 Q 值和 Q 梯度信息以提高训练稳定性成为可能。
扩展至流策略： 该框架将从扩散模型中针对 Boltzmann 分布进行建模的能力扩展到了 流策略 (Flow policies)。这利用了流模型能够容纳超越标准高斯噪声的一般源分布的灵活性。
实验验证： 作者将 RFM 应用于在线 RL，并在连续控制基准测试中展示了其相对于扩散策略基准的优越性能和稳定性。

4. 实验结果

论文从两个方面评估了 RFM：

玩具示例（2D 两月亮分布）： 将 RFM 与扩散基准（iDEM 和 QNE）进行了比较。尽管使用相同的训练计算预算，RFM 仅需 20 个推理步骤（基准需要 100 步），却实现了最低的分布差异（Sliced Wasserstein, MMD, Sinkhorn）。
连续控制基准（DeepMind Control Suite）： 在八个环境中测试了 RFM，并与五种基准算法（SAC, QSM, MaxEntDP (QNE), DQS, QVPO）进行对比。
- 稳定性： RFM 是唯一能在所有八个环境中表现一致良好的算法。基准算法在特定任务上表现挣扎。
- 效率： RFM 推理仅需 10 个流步骤，而扩散基准需要 20 步。
- 性能： RFM 获得了比所有基准更高的总回报和更高的稳定性。

5. 意义与主张

本文声称，逆向流匹配 (Reverse Flow Matching) 提供了一个统一的理论框架，严谨地连接了以往用于训练在线 RL 生成策略的不同方法。通过采用逆向推理视角，它解决了在没有直接目标样本的情况下进行训练的问题。

其意义在于：

统一性： 它阐明了噪声期望法和梯度期望法并非相互竞争的范式，而是通用的后验均值估计问题中的特定情况。
稳定性和效率： 利用 Langevin Stein 算子进行方差缩减，带来了更稳定的训练，并允许比扩散基准更少的推理步骤（流步骤）。
泛化性： 它成功地将这些能力扩展到了流策略，为通过定制化的源分布引入领域知识，以及在复杂的连续控制任务中部署高性能、高表达能力的策略打开了大门。

作者保持了谦逊的语气，指出虽然该框架统一了现有方法，但特定提议分布（proposal distributions）和控制变量参数的选择仍可进一步优化，且该方法目前是针对带有离策（off-policy）评论员（critics）的在线 RL 进行实例化的。