🤖 machine learning

PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning

本文介绍了 PolicyFlow，一种新颖的在策略（on-policy）强化学习算法，它通过利用速度场变化来近似重要性采样比，并采用布朗正则项（Brownian Regularizer）以确保稳定性和多样性，将具有表现力的连续归一化流策略与 PPO 式目标函数相结合，从而通过捕捉比标准高斯基准 PPO 及现有基于流的基准模型更丰富的多模态动作分布，实现了卓越的性能。

原作者： Shunpeng Yang, Ben Liu, Hua Chen

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shunpeng Yang, Ben Liu, Hua Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教机器人跳舞

想象一下，你正在尝试教一个机器人跳舞。你想让它学会最棒的舞步以获得高分（强化学习）。

长期以来，教这个机器人的标准方法是假设它一次只能学习一种简单的舞蹈风格（例如高斯分布）。这就像是在告诉机器人：“当你听到音乐时，只需轻轻扭动一下臀部。”这种方法易于计算且非常稳定，但它限制了机器人。如果音乐需要一段复杂、狂野或包含多个步骤的舞蹈，机器人就无法完成，因为它的“大脑”太简单了。

为了解决这个问题，研究人员希望给机器人一个更具表达力的“大脑”，让它能够学习复杂的、多步骤的舞蹈（使用一种叫做连续归一化流/Continuous Normalizing Flows的技术）。然而，这里有一个难点：计算这些复杂舞蹈的“得分”就像是在马拉松选手还在奔跑时，试图去统计他每一步的动作。这需要消耗过多的计算能力，并且经常会导致数学模型崩溃（报错）。

PolicyFlow 是一种新方法，它能让机器人学习这些复杂且具表达力的舞蹈，而不会让计算机崩溃或耗费过长时间。

两大核心技巧

论文介绍了两个巧妙的技巧来实现这一目标：

1. “捷径”技巧（近似重要性比率）

问题： 在标准方法（PPO）中，为了更新机器人的大脑，你必须将它新的舞蹈计划与旧的舞蹈计划进行比较。对于复杂的舞蹈，这通常需要从头到尾模拟整个舞蹈过程，才能看到得分是如何变化的。这既缓慢又耗费计算资源。

解决方案： PolicyFlow 使用了一个捷径。它不再模拟整个舞蹈过程，而是观察在旧计划和新计划之间的一条简单的直线路径上，“速度和方向”（速度/velocity）是如何变化的。

类比： 想象你想知道按下油门后汽车会快多少。你不需要为了测量差异而把车开 100 英里，你只需要观察你现在踩油门的力度，并以此估算变化。
结果： 这使得机器人能够快速学习复杂的动作，而无需每次都进行沉重的全路径模拟计算。

2. “布朗正则项”（防止机器人陷入僵局）

问题： 当机器人学习复杂的舞蹈时，它们往往会变得“懒惰”。它们会找到一个还凑合的动作并永远重复它，从而忽略所有其他可能性。这被称为“模式崩塌”（mode collapse）。这就像一个机器人学会了一次跳过栅栏，然后就拒绝尝试绕路行走，即使走路更容易。

解决方案： 作者添加了一个特殊的“推动力”，称为布朗正则项（Brownian Regularizer）。

类比： 把布朗运动想象成阳光照射下，悬浮在空气中的微尘那种随机、抖动的运动。它会自然地扩散并充满空间。
运作方式： 论文设计了一种让机器人的学习过程产生“速度”（即它在学习过程中的移动方式）自然倾向于向外扩散的方法，就像那粒尘埃一样。他们并没有强迫机器人去计算一个复杂的“多样性得分”（这很难），而是通过“推动”机器人的内部引擎，使其表现得像是在流体中漂浮一样，从而自然地鼓励它尝试许多不同的动作，而不是困在某一个角落。
结果： 机器人会进行更多的探索，找到更好的解决方案，并且不会因为重复同一个无聊的动作而陷入僵局。

研究发现

研究人员在多个类似视频游戏的场景中测试了 PolicyFlow（例如在迷宫中导航、平衡机器人或伸手抓取目标）。

优于标准方法： 在许多测试中，PolicyFlow 的表现与使用简单舞蹈模型的标准方法（PPO）一样出色，甚至更好。
优于其他复杂方法： 它击败了其他尝试使用复杂舞蹈但却在稳定性或速度上遇到困难的高级方法（如 FPO 和 DPPO）。
“多目标”测试： 在一个特定的测试中，机器人需要到达六个不同的目标，标准的机器人只能选择其中一两个目标。由于有了“布朗推动力”，PolicyFlow 成功学会了以相等的频率到达所有六个目标。它捕捉到了任务的完整“多模态”（multimodal）特性（即意识到答案并不唯一）。

总结

PolicyFlow 是一种教机器人学习复杂行为的新方法。它结合了标准学习方法的稳定性与先进、具表达力模型的强大功能。它通过以下方式实现：

使用数学捷径来节省时间和计算资源。
使用受物理启发驱动的“推动力”（布朗运动）来保持机器人的好奇心，防止其陷入思维定式。

其结果是，机器人可以学习更复杂、更多样且更有效的行为，而不会导致计算机崩溃。

技术摘要：PolicyFlow

问题陈述

近端策略优化（PPO）是一种以稳定性高和简洁性著称的标准同策略（on-policy）强化学习算法。然而，它通常依赖于高斯策略分布，而这类分布在表示复杂、多峰或高度偏斜的动作分布时表现不佳。虽然连续归一化流（CNF）和扩散模型等具有表现力的生成模型可以捕捉此类复杂分布，但将它们集成到 PPO 中面临着重大挑战。

主要的瓶颈在于**似然评估（likelihood evaluation）**的需求，用于计算 PPO 代理目标中的重要性采样比（ $\pi(a|s)/\hat{\pi}(a|s)$ ）。对于 CNF，精确的似然评估需要模拟完整的常微分方程（ODE）轨迹并进行路径式反向传播。这一过程计算成本高昂、内存密集，且由于梯度爆炸或消失，往往存在数值不稳定性。现有的应用 PPO 式更新于流式策略（如 FPO、DPPO）的尝试，要么存在不对称估计偏差，要么需要大批量大小，或者在从头开始训练时性能下降，原因在于离流形探索（off-manifold exploration）的难度较大。此外，由于计算策略熵需要进行昂贵的散度积分，标准的熵正则化技术难以直接应用于基于流的策略。

方法论

作者提出了 PolicyFlow，一种将具有表现力的 CNF 策略与 PPO 式目标相结合的同策略强化学习算法，且无需进行完整的轨迹似然评估。该方法由两个核心组件组成：

1. 通过速度场变化进行重要性比近似

为了避免通过模拟完整的 ODE 轨迹来计算当前策略 $\phi_1$ 与参考策略 $\hat{\phi}_1$ 之间的终端偏移，PolicyFlow 利用沿简单线性插值路径的**速度场变化（velocity field variations）**来近似重要性采样比。

策略表示： 策略通过集成受神经速度场 $v_t$ 控制的流 $\phi_t(z; s)$ 来生成动作，并在终端时间添加高斯噪声： $a = \phi_1(z; s) + n$ 。
近似方法： 终端偏移 $\delta\phi_1 = \phi_1 - \hat{\phi}_1$ 通过沿线性插值路径 $x_t = (1-t)z + t\hat{\phi}_1(z; s)$ 集成速度场之差 $\delta v_t = v_t - \hat{v}_t$ 来进行近似。
代理目标： 重要性采样比 $\rho$ 使用速度场变化的高斯似然比而非完整的流轨迹进行估计。这使得训练目标可以沿着插值路径高效地估计，而无需在更新步骤期间对完整的 ODE 模拟进行反向传播。理论分析表明，这仅引入了一阶对数似然误差，且该误差被 PPO 的裁剪机制自然地限制在一定范围内。

2. 用于熵的布朗正则项（Brownian Regularizer）

为了防止模式崩溃并鼓励多样化探索，同时避免显式计算难以处理的流熵，作者引入了布朗正则项。

概念： 受布朗运动和热方程的启发，该正则项鼓励学习到的速度场遵循熵增过程的动力学特性。
机制： 它利用了修正流（rectified flows）中速度场与得分函数（ $\nabla \log p_t$ ）之间的关系。该正则项惩罚学习到的速度场偏离目标向量场（由参考流的得分导出）的行为。
公式化： 正则项 $J_{Reg}$ 包含一个使学习到的速度场与目标对齐项（源自参考速度场和状态）之间的差异最小化的项，以及一个鼓励注入高斯噪声方差的项。这种方法避免了昂贵的对数似然计算和启发式噪声注入，为维持轨迹多样性提供了一种轻量级且有原则的方法。

核心贡献

高效的 CNF-PPO 集成： PolicyFlow 通过利用速度场变化近似重要性采样比，实现了在同策略 RL 中使用具有表现力的 CNF 策略，消除了对完整路径式 ODE 轨迹反向传播的需求。
布朗正则项： 一种受布朗运动启发的、计算轻量级的创新熵正则项，它能在无需显式计算熵的情况下缓解模式崩溃并鼓励多样化行为。
实验验证： 该方法在 MultiGoal、MuJoCo Playground 和 IsaacLab 基准测试中得到了验证，证明了其相对于高斯 PPO 和最先进的流式基线（FPO、DPPO）具有竞争性或更优越的性能。

实验结果

作者在 MultiGoal、MuJoCo Playground 和 IsaacLab 基准测试中评估了 PolicyFlow：

MultiGoal（模式崩溃测试）： 在一个具有六个对称目标的场景中，标准 PPO（高斯）无法到达所有目标。基线 FPO 和 DPPO 由于缺乏有效的熵正则化，坍缩到了少数几个模式。带有布朗正则项的 PolicyFlow 成功捕捉到了平衡的多模态分布，以大致相等的概率到达所有目标。
MuJoCo Playground： PolicyFlow 在各种任务（如 WalkerWalk、CheetahRun）中实现了与 FPO 和 DPPO 相当或更高的性能。它通常收敛得更快，表明具有更高的样本效率。
IsaacLab： 将 PolicyFlow 与 PPO 在机器人任务（运动、操纵）上进行了对比。它始终能达到或超越 PPO 的渐近性能。
计算效率： 虽然 PolicyFlow 在采样过程中涉及 ODE 模拟，但其训练步骤（避免了完整的 ODE 反向传播）使得单次迭代训练时间相比标准任务下的 PPO 增加不到 50%，且即使在增加嵌入维度的情况下，其成本也保持在两倍以下。

意义与主张

论文声称 PolicyFlow 提供了一个实用且具有表现力的同策略 RL 框架。通过将完整轨迹似然评估的需求与策略更新解耦，它弥合了连续归一化流的表示能力与 PPO 稳定性之间的鸿沟。

作者强调：

重要性采样比的近似是经过理论约束的，并且足以在 PPO 裁剪机制内实现稳定训练。
布朗正则项为维持探索提供了一种有原则的替代方案，优于启发式噪声注入或昂贵的散度积分。
PolicyFlow 解决了现有基于流的 RL 方法（FPO、DPPO）在优化稳定性、计算成本和偏差方面的特定局限性，使得具有表现力的生成式策略在在线强化学习中更加易于应用。

这项工作表明，PolicyFlow 可作为连接生成模型与强化学习的基础，未来的研究方向包括微调流匹配策略、扩展至离线 RL 以及探索与扩散模型的联系。