🤖 machine learning

\textit{Stochastic} MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent

本文介绍了随机均值流策略（SMFP），这是一类单步生成式策略，它将可处理的熵估计与离线策略镜像下降相结合，以有效处理多模态动作分布，同时在 MuJoCo 基准测试中保持推理效率和训练稳定性。

原作者： Zeyuan Wang, Da Li, Yulin Chen, Yuehu Gong, Yanming Guo, Ye Shi, Liang Bai, Tianyuan Yu, Yanwei Fu

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Zeyuan Wang, Da Li, Yulin Chen, Yuehu Gong, Yanming Guo, Ye Shi, Liang Bai, Tianyuan Yu, Yanwei Fu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走路、跑步或跳舞。为此，机器人需要一个“大脑”（即策略），让它能根据所见决定下一步做什么动作。本文介绍了一种构建这种“大脑”的更智能的新方法，称为随机均值流策略（Stochastic MeanFlow Policies, SMFP）。

以下是通过简单类比来解释这种新方法如何运作的故事。

问题所在：“一刀切”与“慢速艺术家”

在机器人学习领域，传统上主要有两类“大脑”，而它们都存在一个重大缺陷：

高斯大脑（快速、简单的思考者）：
- 工作原理： 就像一个总是选择“平均”动作的机器人。如果它需要跳跃，它会计算出完美的高度然后跳起。
- 优点： 计算极其快速且简单。
- 缺点： 过于简单。如果一个任务有多种成功方式（例如向左或向右跳过障碍物），这种大脑就会困惑。它试图将两种选项取平均，结果导致直接撞向障碍物。它一次只能处理一种“行为模式”。
生成式大脑（缓慢、富有创造力的艺术家）：
- 工作原理： 就像一个机器人，它会想象成千上万种可能的动作，将它们勾勒出来，然后选出最好的一个。它能够处理具有多种不同解决方案（多模态）的复杂情况。
- 优点： 表现力极强，能够找到富有创造性的解决方案。
- 缺点： 速度慢。因为它必须经过许多步骤，所以“绘制”每个动作都需要很长时间。此外，很难衡量其“创造力”或“探索性”程度，这使得教导机器人安全地尝试新事物变得困难。

目标：兼得两者之长

研究人员希望结合“简单思考者”的速度与“创意艺术家”的创造力。他们还希望使用两种特定的教学策略：

探索（SAC）： 鼓励机器人尝试随机、有风险的动作，以加快学习速度。
稳定性（镜像下降）： 确保机器人不会过于剧烈地改变其习惯，以免忘记已掌握的知识。

问题在于：当你混合这两种教学策略时，机器人应该瞄准的“完美”动作会变成一个复杂的多峰形状（就像拥有多个山峰的山脉）。简单思考者（高斯）只能看到一个山峰，因此会失败。创意艺术家（生成式）能看到所有山峰，但速度太慢且难以控制。

解决方案：SMFP（“一步”魔法）

作者创造了SMFP，这是一种解决该谜题的新型“大脑”。以下是通过一个富有创意的隐喻来解释其工作原理：

“均值流”（MeanFlow）概念：
想象你试图引导一艘船从平静的湖泊（噪声）驶向特定的目的地（动作）。

旧的生成式方法： 船必须穿过蜿蜒的河流，随着时间的推移做出许多微小的调整才能到达。这很慢。
SMFP： 研究人员意识到，他们可以计算出从湖泊到目的地所需的平均速度和方向，从而一次性跃迁到达。这就像将船直接瞬移到正确的位置，而不是缓慢航行。

“随机”（Stochastic）的转折：
通常，这种“瞬移”方法是确定性的（它总是去往完全相同的位置）。但为了教导机器人进行探索，我们需要它具有一定的不可预测性。

SMFP 添加了一个“模糊”因子。这就像说：“瞬移到目的地，但留有一点回旋余地。”
关键在于，这种“回旋余地”在数学上很容易衡量。这使得机器人能够确切地知道自己在多大程度上进行了探索，而无需进行复杂的计算。

为何这很重要

速度： 因为它只需一步就能决定动作（而不是像旧生成式方法那样需要 20 步），机器人可以几乎瞬间做出思考。它的速度与旧的“简单思考者”一样快。
智能： 因为它使用了“瞬移”逻辑，它能够处理具有多种解决方案的复杂情况（就像创意艺术家一样）。
稳定性： 它成功结合了“尝试新事物”（探索）和“不要改变太快”（稳定性）的教学方法。这创造了一个足够复杂的靶标，让机器人能够学习困难的任务，同时机器人仍能高效地抵达该靶标。

结果

研究人员在七种不同的机器人模拟任务（如机器人跑步、行走或站立）上测试了这种新“大脑”。

性能： SMFP 击败或持平了现有的最佳方法，包括那些缓慢且复杂的方法。
效率： 它在做出决策几乎没有任何延迟的情况下，以极快的速度实现了这些高分。

简而言之： SMFP 是一种教导机器人的新方法，其速度快到足以用于实时场景，又聪明到足以处理复杂的多选项问题，同时在整个学习过程中保持机器人的稳定性和安全性。它弥合了“快但简单”与“聪明但慢”之间的鸿沟。

技术摘要：随机均值流策略（SMFP）

1. 问题陈述

面向高维连续控制任务的在线离线强化学习（RL）面临着策略表达能力与优化可行性之间的根本性权衡。

策略表示：标准高斯策略提供快速的推理和可行的熵估计，但无法建模复杂的多模态动作分布。相反，生成式策略（例如基于扩散或流的策略）提供了丰富的多模态表达能力，但受限于不可行的似然估计、困难的熵估计以及由于迭代采样导致的高推理延迟。
优化方法：熵正则化探索（例如软演员 - 评论家，SAC）与镜像下降（MD）更新之间存在张力。前者促进广泛的探索但可能导致不稳定性，后者通过将更新约束在靠近先前策略的范围内，确保稳定且保守的策略改进。
核心冲突：将 SAC 风格的熵最大化与 MD 约束相结合会产生一个多模态目标分布（由价值诱导的玻尔兹曼分布与先前策略组成的复合体）。标准单模态高斯策略无法表示该目标，从而导致表示不匹配。虽然富有表现力的生成式策略理论上可以弥合这一差距，但它们通常缺乏用于显式熵控制的可行机制，使得熵驱动探索与镜像下降稳定性的结合在实际中不可行。

2. 方法论：随机均值流策略（SMFP）

作者提出了随机均值流策略（SMFP），这是一种单步生成式策略框架，旨在通过将基于均值流的噪声到动作映射与高斯重参数化相结合，解决上述冲突。

2.1 随机重参数化

SMFP 将确定性均值流恒等式重构为随机映射。策略 $g_\theta$ 不再预测纯确定性的速度场，而是预测平均动作和条件标准差：
$g_\theta(a_t, b, t) = \underbrace{a_t - u_\theta(a_t, b, t)}_{\text{均值 } \mu} + \underbrace{\sigma_\theta(a_t, b, t) \odot \epsilon}_{\text{随机性 } \sigma}$
其中 $a_t$ 是噪声与动作之间的插值， $u_\theta$ 是学习到的平均速度， $\epsilon$ 是标准高斯噪声。这种结构允许策略在单次前向传播（单步推理）中输出动作，同时保持条件高斯分布。

2.2 可行的熵代理

一项关键创新是推导出了可行的熵代理。由于生成式策略的边际熵是不可行的，SMFP 最大化基于给定潜在噪声 $e$ 的条件熵的下界。

目标函数使用预测高斯分布的期望对数标准差： $\mathbb{E}[\sum \log \sigma^{(i)}_\theta]$ 。
为了防止方差坍塌同时避免无界熵增长，应用了铰链式熵正则化器。仅当归一化对数标准差低于阈值 $\kappa_\sigma$ 时，该正则化器才会激活，从而确保用于探索的最小噪声尺度。

2.3 离线镜像下降优化

SMFP 将这种熵控制与离线镜像下降相结合。优化目标结合了：

价值最大化：标准的 Q 学习损失。
熵正则化：上述可行的条件熵代理。
镜像下降约束：将更新锚定在先前策略 $\pi_{\theta_{old}}$ 上的 KL 散度项。

由于镜像下降的目标分布是非参数化且未归一化的，SMFP 采用加权回归方法。它从先前策略中采样动作，并根据基于优势项（近似为 $\max(0, Q(s,a) - V(s))$ ）的权重进行加权，从而将生成式策略投影到最优目标上。这避免了对目标进行显式密度评估的需求。

2.4 价值引导的动作选择

为了进一步降低方差，SMFP 利用Best-of-K采样。对于给定状态，并行生成 $K$ 个动作候选（使用 JAX vmap），并选择具有最高 Q 值的动作。这充当了一个轻量级的拒绝过滤器，推理开销可忽略不计。

3. 主要贡献

SMFP 架构：引入了一种单步随机生成式策略，结合了均值流的表达能力与高斯重参数化，实现了单步推理，同时支持显式熵控制。
可行的熵控制：推导出了条件熵下界，首次使得熵正则化镜像下降 RL 在生成式策略中变得切实可行。
统一目标：一个统一损失函数，联合优化熵驱动探索、价值加权镜像下降和单步生成式推理，解决了多模态目标与单模态策略之间的表示不匹配问题。
实证验证：证明了当有富有表现力的生成式策略支持时，结合 SAC 风格探索与镜像下降是有益的，这与仅在纯高斯设置下的发现相反。

4. 实验结果

作者在七个 MuJoCo 连续控制基准测试（Hopper, Walker2D, Ant, HalfCheetah, Humanoid, HumanoidStandup, Swimmer）上，使用 30 个随机种子评估了 SMFP。

性能：SMFP 在所有基准测试中取得了最佳综合性能，优于经典高斯基线（PPO, TD3, SAC）和最先进的生成式基线（基于扩散的如 DIME, QVPO；基于流的如 SAC Flow, FPMD）。
效率：与需要 16–20 步采样的迭代扩散策略不同，SMFP 保持单步推理（NFE=1）。在 NVIDIA RTX 5090 上，SMFP 实现了强大的性能，且推理延迟可忽略不计（0.42 毫秒），与标准高斯策略相当，并显著快于迭代生成式方法。
消融研究：
- 移除熵正则化器会降低性能，证实了随机探索的必要性。
- 移除镜像下降项会降低稳定性，特别是在 Humanoid 等高维任务中。
- 该方法对熵温度（ $\alpha$ ）和镜像下降系数（ $\lambda$ ）的超参数变化表现出鲁棒性。

5. 意义与主张

本文主张，SMFP 代表了在线离线 RL的重要进步，成功弥合了富有表现力的生成式建模与稳定、熵正则化优化之间的鸿沟。

实际有效性：作者指出，SMFP 首次使“熵正则化镜像下降 RL"变得切实可行。由于无法表示多模态目标，先前尝试结合这些目标的工作在高斯参数化下失败了；SMFP 通过其生成式特性克服了这一障碍。
平衡的权衡：这项工作证明，可以在不牺牲实时控制所需的推理速度的情况下，保留生成式策略的多模态表达能力和镜像下降的稳定性。
局限性：作者谦逊地指出，可行的代理具体依赖于均值流的重参数化结构。将其扩展到其他生成类可能需要新的熵界。此外，当前实现使用固定的 $\alpha$ 和 $\lambda$ 超参数，自适应加权方案留作未来工作。

总之，SMFP 提供了一个原则性框架，在其中富有表现力的生成式策略与基于高斯的高效熵控制的互补优势得以保留，从而实现了复杂连续域中稳定且高性能的在线 RL。