技术摘要：基于分数的单步 MeanFlow 策略优化 (SOM)

1. 问题陈述

在连续动作空间中的强化学习 (RL) 越来越多地采用生成模型（如扩散模型和流匹配），以克服单峰高斯策略在表达能力上的局限性。这些模型能够捕捉复杂的多模态动作分布，从而实现更丰富的探索和多样化的最优行为。然而，一个关键的瓶颈依然存在：标准的扩散和流匹配策略需要迭代的多步去噪才能生成单个动作。这引入了巨大的推理计算开销，在在线 RL中尤为有害，因为策略推理与数据收集是持续交织进行的。

尽管MeanFlow已被提出作为一种解决方案，通过学习平均速度场将采样减少为单次网络评估，但其直接应用于在线 RL 受到一个基本要求的阻碍：构建目标速度场通常需要从目标分布（即最优策略）中获取样本。在在线 RL 中，这些真实样本是不可用的，因为智能体必须同时学习目标分布和策略。现有的试图绕过这一限制的方法（例如 Best-of-N 采样）随着动作维度的增加，往往难以扩展。

2. 方法论

作者提出了基于分数的单步 MeanFlow 策略优化 (SOM)，这是一种演员 - 评论家 (actor-critic) 算法，能够在无需显式目标分布样本的情况下，在完全在线的 RL 环境中实现 MeanFlow 训练。其核心创新在于通过分数估计，直接从Q 函数构建目标速度场。

2.1 时间依赖的能量函数

该方法将负 Q 函数视为目标分布的能量。在熵正则化的 RL 框架下，最优策略遵循玻尔兹曼分布：
$$\pi^*(a|s) \propto \exp(\alpha Q(s, a))$$
其中 $\alpha$ 是温度参数。作者定义了一个时间依赖的能量函数 $Q_t(s, a_t)$，该函数在扩散时间步 $t \in [0, 1]$ 上保持这种玻尔兹曼结构。任意时间步 $t$ 处分布的分数推导如下：
$$\nabla_{a_t} \log p_t(a_t|s) = \nabla_{a_t} Q_t(s, a_t)$$
关键在于，虽然以闭式形式计算 $Q_t$ 是不可行的，但该方法仅需要其梯度，而该梯度是可以近似计算的。

2.2 通过 iDEM 适应进行分数估计

为了在没有目标样本的情况下估计分数 $\nabla_{a_t} Q_t(s, a_t)$，SOM 适应了迭代去噪能量匹配 (iDEM) 估计器。该方法不是从真实的目标分布中采样，而是从以当前噪声状态 $a_t$ 为中心的高斯提议分布中采样候选动作。这些候选动作根据其 Q 值进行重加权，以近似后验期望。由此产生的分数估计器为：
$$\nabla_{a_t} Q_t(s, a_t) \approx \nabla_{a_t} \log \sum_{i=1}^K \exp(\alpha Q(s, a^{(i)}_{0|t}))$$
其中 $a^{(i)}_{0|t}$ 是从以 $a_t$ 为条件的高斯分布中抽取的样本。这有效地将动作更新偏向高价值区域，同时通过噪声保持探索。

2.3 速度场构建

估计的分数被整合到概率流常微分方程 (PF-ODE) 中以推导目标速度场。对于方差保持 (VP) SDE，速度场定义为：
$$v_t(a_t|s) = -\frac{1}{2}\beta(t) \left( a_t + \nabla_{a_t} Q_t(s, a_t) \right)$$
该速度场将噪声直接传输到由当前 Q 函数诱导的高价值模式。随后，MeanFlow 策略 $u_\theta$ 被训练以满足使用该构建的目标速度场的 MeanFlow 恒等式，最小化损失：
$$\mathcal{L}(\theta) = \mathbb{E} \left[ \| u_\theta(a_t, r, t, s) - \text{sg}(u^{\text{new}}_{\text{tgt}}) \|^2_2 \right]$$
其中 $u^{\text{new}}_{\text{tgt}}$ 源自 PF-ODE 速度。

2.4 实现细节

• 归一化：分数梯度被归一化为单位范数，并通过可调系数 $w$ 进行重缩放，以在不同奖励尺度下稳定训练。
• 评论家训练：评论家使用分布贝尔曼目标进行更新，并采用双 Q 网络。
• Best-of-N (BoN)：虽然主要贡献是基于分数的速度，但作者在评论家更新过程中结合了 BoN 采样，通过从多个样本中选择最高 Q 值的候选者来加速目标值估计的训练。

3. 主要贡献

1. 瓶颈识别：论文指出，缺乏目标分布样本是将 MeanFlow 应用于在线 RL 的主要障碍。
2. 基于分数的速度构建：提出了一种新颖的方法，直接从 Q 函数梯度构建目标速度场，从而绕过了对显式目标样本的需求。
3. SOM 算法：引入了 SOM，这是一种将 MeanFlow 与在线 RL 集成的演员 - 评论家算法，实现了具有单步动作采样能力的表达性策略学习。
4. 实证验证：证明了 SOM 在运动任务中实现了最先进的性能，同时与迭代扩散和流匹配基线相比，显著减少了训练和推理时间。

4. 实验结果

作者在九个 MuJoCo v4 连续控制任务（包括 Ant、HalfCheetah、Hopper、Humanoid、Walker2d、Swimmer、Pusher、Reacher 和 InvertedDoublePendulum）上评估了 SOM。

• 性能：SOM 在五个运动基准测试中的四个上取得了最高的平均回报，在 Hopper-v4 上取得了第二高的回报。改进在Humanoid-v4（高动作维度）上最为显著，SOM 以明显的优势超越了第二好的方法，表明基于梯度的方法随维度扩展表现良好。
• 效率：如表 2 所示，SOM 在 HalfCheetah-v4 上实现了0.218 毫秒的单步推理时间，而迭代基线（需要 10–100 个去噪步骤）则需要 0.6–1.5 毫秒。训练时间也大幅减少。
• 策略分析：可视化（t-SNE 和 Q 景观）表明，SOM 将动作样本紧密地集中在高 Q 值模式周围，而竞争的单步方法（如 MFP）往往坍缩到单一模式或呈弥散分布。
• 鲁棒性：针对噪声 Q 函数的实验表明，SOM 中的高斯平滑分数估计器保持鲁棒性，有效地平均了粗糙的评论家误差，同时保留了高价值模式附近的局部结构。

5. 意义与主张

论文声称，SOM 解决了生成式策略的表达能力与在线 RL 计算约束之间的紧张关系。通过直接从 Q 函数推导目标速度，SOM 使得MeanFlow 策略能够在完全在线的设置中进行训练，即使目标样本不可用。

作者强调，SOM 以单步生成实现了最先进的性能，为推理延迟至关重要的实时控制应用提供了实用解决方案。他们指出，虽然该方法目前仅限于连续控制任务（MuJoCo）并依赖于学习到的评论家的质量，但它代表了迈向高效、表达性策略优化的重要一步。这项工作表明，未来的方向包括将 SOM 扩展到更高维度或部分可观测的设置（例如视觉控制），以及集成更先进的不确定性感知评论家。