🤖 machine learning

Proximal Policy Optimization with Evolutionary Mutations

本文介绍了 POEM，一种通过集成由停滞检测触发的自适应进化突变来增强近端策略优化（PPO）的新型强化学习算法，该算法在四个测试的 OpenAI Gym 环境中的三个环境中，实现了相对于标准 PPO 在统计学上显著的性能提升。

原作者： Casimir Czworkowski, Stephen Hornish, Alhassan S. Yasin

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Casimir Czworkowski, Stephen Hornish, Alhassan S. Yasin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人开车、走钢丝或者让太空船着陆。你使用了一种名为 PPO（近端策略优化）的智能学习系统。你可以把 PPO 想象成一个非常谨慎、小心翼翼的学生。它通过对行为进行微小且安全的调整来进行学习。如果它尝试了新事物并得到了糟糕的结果，它会立即退缩回来。

问题：“舒适区”陷阱
论文解释说，虽然 PPO 很稳定，但它有一个缺陷：它会陷入“舒适区”。因为它太害怕犯大错，所以过早地停止了尝试新事物。它满足于一个“足够好”的方案，而从未发现那个“完美”的方案。这就像一个司机学会了在直路上慢速驾驶，但从未学会如何快速过弯，导致每次尝试赛车时都会撞车。

解决方案：POEM（“进化型”学生）
作者创建了一个新版本，叫做 POEM（带有进化突变的近端策略优化）。他们给了这个学生一个特殊的“唤醒机制”，其灵感来源于自然界中物种进化的方式。

以下是 POEM 的工作原理，使用一个简单的类比：

记忆手册： POEM 保留了一本记录了它近期所学一切的“记忆手册”（它过去自我的移动平均值）。
无聊度计： 每隔一段时间，它会检查：“我现在的表现和刚才相比有什么不同吗？”它使用一种叫做 KL 散度 的数学工具来衡量这一点。
- 如果数值很高，意味着机器人在尝试新事物。这很好！
- 如果数值很低，意味着机器人陷入了循环，一直在重复做完全相同的事情。它感到无聊且停滞不前。
“进化式”跳跃： 当机器人卡住时（无聊度计归零），POEM 会触发一次突变。想象一下机器人突然剧烈抖动全身，或者随机调整大脑的设置。它强迫自己去尝试一个完全不同的、略带混乱的动作。
- 如果这次随机跳跃效果更好，机器人就会保留它。
- 如果失败了，机器人就会回到谨慎的状态。

实验：四项挑战
研究人员在四个类似电子游戏的场景中，将这个新的 “POEM” 机器人与旧的 “PPO” 机器人进行了对比测试：

赛车游戏： PPO 机器人在转弯时总是卡住并撞车。而 POEM 机器人凭借其“震荡调整”，学会了平滑地导航赛道，并几乎完成了每一场比赛。
山地车（Mountain Car）： PPO 机器人无法积累足够的动力来冲出山谷。而 POEM 机器人学会了通过前后摇摆来逃离。
双足行走机器人（Bipedal Walker）： PPO 机器人不断摔倒。而 POEM 机器人学会了稳健行走并完成全程。
月球着陆器（Lunar Lander）： 这是一个难点。两个机器人表现都不错，但 POEM 平均而言略胜一筹。有趣的是，POEM 通过提前俯冲并在接近地面时修正航向来实现着陆，而 PPO 则是在高处盘旋，这有时会导致它耗尽燃料并坠毁。

结果
论文声称，在四个游戏中，POEM 以明显的优势赢得了其中的三个。它证明了通过在机器人变得过于舒适时偶尔强迫它“打破常规”，可以帮助它找到更好的解决方案，同时不会失去让 PPO 如此受欢迎的稳定性。

简而言之
POEM 就像一位老师在告诉学生：“你用同样的方法做同一个作业题已经一个小时了。你不再进步了。停下来，深呼吸，尝试用一种完全不同的、奇特的思维方式来解决它。如果奏效了，太棒了；如果不行，就回到你原来的方法。” 这个简单的技巧帮助 AI 逃离了局部陷阱，并学得更快。

技术摘要：带有进化突变的近端策略优化 (POEM)

问题陈述
强化学习 (RL) 算法，特别是近端策略优化 (PPO)，经常面临平衡探索与利用的严峻挑战。虽然 PPO 以其稳定性和样本效率而闻名，但其依赖于微小、增量式策略更新的特性，可能导致过早收敛至局部最优解。在奖励结构无效的环境中，这一问题会进一步加剧——在这些环境中，标准 PPO 使用 Kullback–Leibler (KL) 散度来限制策略变化的机制，可能会无意中抑制必要的探索。其结果是“策略停滞”，即模型陷入次优策略而非积极发现更好的行为。

方法论
为了解决这一问题，作者提出了 POEM（带有进化突变的近端策略优化），这是一种整合了受进化算法启发的自适应探索机制的新型改进方案。其核心创新在于通过监测随时间变化的策略多样性，在策略变得过于可预测时触发探索。

POEM 算法通过以下机制运行：

多样性监测： POEM 维护一个过去策略参数 ( $\hat{\theta}$ ) 的指数移动平均值。它计算当前策略 ( $\pi_\theta$ ) 与该移动平均参考策略 ( $\pi_{\hat{\theta}}$ ) 之间的 KL 散度。
自适应触发器： 算法在标准 PPO 更新后追踪该散度 ( $d_{post}$ )。如果散度低于预设阈值 ( $\delta$ )，则表明策略已发生停滞或变得与其近期历史过于相似。
进化突变： 一旦触发，POEM 会对策略参数进行自适应突变。突变噪声从高斯分布中采样，其标准差 ( $\sigma$ $σ$ ) 与多样性指标成反比（即：多样性越低，突变方差越大）。
- 候选突变策略 ( $\theta'$ ) 会针对总损失函数进行评估，该函数包括标准的 PPO 裁剪代理损失、价值函数损失、熵奖励以及由 $\lambda_{div}$ 加权的多样性奖励项。
- 只有当突变产生的总损失低于当前策略时，该突变才会被接受。
实现： 该系统使用 Stable-Baselines3 框架和 PyTorch 实现。超参数使用 Optuna (树结构集成分布估计) 进行调优，以确保在所有环境中都能与标准 PPO 进行公平比较。

实验设置
作者在四个 OpenAI Gym 环境中将 POEM 与标准 PPO 进行了对比评估：

CarRacing (v0)： 使用堆叠灰度帧的连续控制任务。
MountainCar (v0)： 需要积累动量的稀疏奖励环境。
BipedalWalker (v3)： 具有连续前进奖励的复杂运动任务。
LunarLander (v2)： 经过修改，加入了燃料机制（600 单位）以强制执行具备资源意识的决策。

评估过程包括每个算法在每个环境中进行 10 次独立的训练运行，随后进行 15 个确定性评估回合。统计显著性通过 Welch's t-检验进行评估。

关键结果
POEM 在三个环境中表现出优于标准 PPO 的统计学显著提升：

CarRacing： POEM 实现了 640.01 的平均奖励，而 PPO 为 -610.83。差异高度显著（ $t = -6.3987, p = 0.0002$ ）。POEM 能够可靠地行驶在赛道上，而 PPO 经常无法完成回合。
MountainCar： POEM 实现了 93.52 的平均奖励，对比 PPO 的 -311.75（ $t = -6.2431, p < 0.0001$ ）。POEM 成功逃离了山谷并到达目标点，而 PPO 经常停滞或超时。
BipedalWalker： POEM 表现优于 PPO，平均奖励为 180.58，而 PPO 为 62.43（ $t = -2.0642, p = 0.0495$ ）。POEM 产生了更平滑的轨迹和更高的成功率（12/15 完成 vs. PPO 的 7/15）。
LunarLander： 虽然 POEM 获得了更高的平均奖励（242.10 vs. 210.94），但差异在统计学上并不显著（ $t = -1.8707, p = 0.0778$ ）。作者指出，POEM 采取了一种早期快速下降随后进行微调的策略，而 PPO 则在较高高度盘旋，这种策略偶尔会导致灾难性的燃料耗尽。

意义与主张
论文声称，将进化原理集成到策略梯度方法中，为解决探索与利用的权衡提供了一种可行的解决方案。通过使用 KL 散度作为触发自适应突变的“新颖性”指标，POEM 有效地跳出了局部最优，同时没有牺牲 PPO 固有的稳定性。结果表明，这种由多样性驱动的方法允许智能体在具有稀疏和密集奖励特征的环境中学习到更鲁棒的策略。

作者总结道，虽然 POEM 在 LunarLander 上与 PPO 持平，但其在 CarRacing、MountainCar 和 BipedalWalker 上显著超越 PPO 的能力，验证了“自适应、多样性触发突变可以解锁额外探索”的假设。作者提出的未来工作包括在离散动作空间的环境中测试 POEM、将其扩展到高维现实世界应用，以及与其他当代 PPO 变体（如增强了内在好奇心模块的变体）进行基准测试。

技术摘要：带有进化突变的近端策略优化 (POEM)

类似论文