🤖 machine learning

EMAgnet: Parameter-Space EMA Regularization for Policy Gradient Self-Play in Large Games

本文介绍了 EMAgnet，这是一种新颖的策略梯度自我博弈方法，它通过使用过去策略参数的指数移动平均作为自适应正则化目标，改进了均匀正则化，从而在存在支配策略的大型游戏中实现了更低的被利用率和更好的性能。

原作者： Tristan Maidment, JB Lanier, Chase McDonald, Nathan Tsang, Eugene Vinitsky, Roy Fox, Albert Wang, Wesley N. Kerr

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Tristan Maidment, JB Lanier, Chase McDonald, Nathan Tsang, Eugene Vinitsky, Roy Fox, Albert Wang, Wesley N. Kerr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩一款复杂的卡牌游戏，让它进行自我博弈。目标是找到完美的策略（即“纳什均衡”），让机器人变得无懈可击。

过去，研究人员使用了一种名为 PPO（一种标准的 AI 训练方法）的方法，并配合了一个特定的技巧：他们告诉机器人，“不要对某一个动作感到过于舒适；要平等地尝试所有动作。”他们通过强制机器人将每一个可能的动作都视为等概率发生的来实现这一点。这就像是一个严厉的教练在吼叫：“你必须练习每一个招式，哪怕是那些糟糕透顶的招式，也要练习得一样多！”

这篇论文介绍了一种名为 EMAgnet（指数移动平均磁铁）的新方法。它是如何工作的，我们可以用简单的类比来解释：

旧方法的问题（“均匀磁铁”）

想象机器人正在学习玩石头剪刀布，但其中隐藏着一个陷阱：其中一个动作实际上是一个“认输”按钮，按下它会让你立即输掉比赛。

旧教练（均匀磁铁）： 这个教练坚持要求机器人把“认输”按钮当作石头、剪刀或布一样频繁练习。起初，这很有帮助，因为这能防止机器人完全忽略“认输”这个动作。但随着机器人变得越来越聪明，意识到“认输”是一个很烂的招式时，教练仍然强迫它去练习那个糟糕的动作。这浪费了机器人的时间和精力在那些行不通的策略上。
结果： 机器人变得困惑了。它要么在糟糕的动作上浪费太多时间，要么一旦教练停止强制它练习，机器人就会忘记如何正确地混合它的优秀招式，而是直接随机挑选一个动作死磕到底。

新的解决方案：EMAgnet（“自适应磁铁”）

EMAgnet 改变了教练的方法。它不再强迫机器人平等地练习所有东西，而是使用了一个移动目标。

机器人的“幽灵”： 教练保留了一个机器人大脑的“幽灵”版本。这个幽灵是机器人目前所学到的一切内容的平均值。
磁铁： 教练试图让机器人的当前大脑靠近这个“幽灵”。
神奇之处：
- 如果机器人发现“认输”是个坏主意并停止这样做，那么幽灵也会停止这样做。
- 因为幽灵停止了那个坏动作，所以教练也停止了强迫机器人去练习它。
- 然而，教练会保持压力，要求机器人继续混合它的优秀招式（石头、剪刀、布），以免它只固守于某一个动作。

简而言之： 旧的方法就像一个即便在你写字已经很好了，却依然让你反复练习最差字迹的老师。EMAgnet 则是一个会说：“做得好，不再犯那个坏习惯了！现在，让我们继续练习你优秀的字迹，这样你才不会变得懒散。”

论文的研究发现

研究人员在几种游戏中测试了这种新方法：

标准游戏： 在普通游戏中，EMAgnet 的表现与旧方法一样出色。
带有“陷阱”的游戏（严格劣势策略）： 他们增加了带有陷阱的游戏，其中大部分动作都是糟糕的陷阱（比如“认输”按钮，或者在迷宫中大部分路径都通向死胡同）。
- 旧的方法表现挣扎。它们要么在陷阱上浪费时间，要么无法找到获胜策略。
- EMAgnet 胜出了。 它学习得更快，也找到了更好的策略，因为它能够自然地“忘记”坏动作，同时记住好的动作。

大局观

随着游戏变得更加复杂（如现实世界的策略游戏），坏动作的数量会呈爆炸式增长。旧的方法会在学习坏动作上浪费大量能量。EMAgnet 更聪明：它会根据机器人的当前水平来调整教学风格，只专注于那些真正重要的策略。

论文得出结论：通过使用“移动平均”——即利用机器人过去的自我作为引导——这一简单的微调，可以让 AI 在无需更改核心训练算法的情况下，更好地解决复杂且棘手的游戏。

技术摘要：EMAgnet

问题陈述

解决双人零和非完全信息博弈（IIGs）的最新进展表明，正则化策略梯度方法（如近端策略优化 PPO）在自我博弈中使用时，可以达到甚至超过专门的博弈论算法。该框架中的一个关键设计决策是正则化目标的选取。均匀分布已成为一种标准目标，通过熵奖励来实现。然而，均匀目标在策略上是不可知论的；它对所有动作进行同等的正则化，而不考虑其可行性。

在包含许多严格劣势策略（次优选项）的大规模策略空间博弈中，均匀目标会将正则化预算浪费在无关的策略上。随着博弈复杂度的增加以及具有战略相关性的策略比例的缩小，这一局限性变得愈发显著。此外，现有的使用退火均匀正则化的方法面临着一个困境：早期的强正则化会迫使策略去探索劣势策略，而后期的弱正则化则无法提供足够的压力来鼓励策略混合，从而往往导致收敛到纯策略而非纳什均衡。

方法论

作者引入了 EMAgnet，该方法将“移动磁铁”（moving magnet）正则化目标的概念从表格设置扩展到了深度强化学习。EMAgnet 不再向固定的均匀分布进行正则化，而是向策略自身网络参数的**指数移动平均（EMA）**进行正则化。

核心机制

该方法基于对称自我博弈中的 PPO。标准的 PPO 目标通过增加一个 KL 散度项进行增强，该项将当前策略参数 ( $\theta$ ) 拉向一个“磁铁”策略 ( $\theta_{mag}$ ):

$L_{PPO-EMAg}(\theta) = L_{PPO}(\theta) + \lambda_{KL} \mathbb{E}_{z \sim \mathcal{T}} \left[ D_{KL}(\pi_{\theta_{mag}}(\cdot | z) \parallel \pi_{\theta}(\cdot | z)) \right]$

磁铁参数在每个 PPO 步骤后使用参数空间的算术平均进行更新：
$\theta_{mag} \leftarrow (1 - \tau) \theta_{mag} + \tau \theta$
其中 $\tau \in (0, 1]$ 是步长。磁铁使用与策略相同的随机权重进行初始化。

自适应特性

其核心创新在于目标的自适应性：

遗忘坏策略： 随着策略学习规避严格劣势策略，EMA 磁铁会逐渐停止向这些策略进行正则化，因为策略的权重不再支持这些动作。
记住好策略： EMA 自然地累积了在自我博弈循环过程中遇到的策略的平滑混合。这鼓励策略保持对具有战略相关性选项的覆盖。
恒定强度： 与退火均匀正则化不同，KL 正则化强度 ( $\lambda_{KL}$ ) 保持不变，但目标在不断演化。这避免了“困境”，即强正则化迫使探索坏策略，或弱正则化无法防止向纯策略坍缩。

核心贡献

算法扩展： 本文通过实现作为正则化目标的策略权重的参数空间 EMA，将表格移动磁铁概念（此前由 Sokota 等人探索）扩展到了深度强化学习。
自适应正则化： 该方法提供了一个随智能体改进的策略而演化的自适应正则化目标，这与均匀分布等固定目标区分开来。
实证评估： 作者在三类游戏中评估了 PPO-EMAg 对比使用均匀磁铁正则化（使用线性及幂律退火调度）的 PPO 表现：
- 标准基准（偏置 RPS、Goofspiel-4、Kuhn Poker）。
- 带有单个严格劣势“放弃”动作的修改版基准（FF 变体）。
- 通过网格世界导航任务导致绝大部分策略空间被支配的修改版基准（控制变量）。

结果

评估表明，在包含严格劣势策略的环境中，PPO-EMAg 比均匀基准实现了更低的易被剥削性（exploitability），同时在标准基准中保持了竞争力。

标准游戏： 在 Biased RPS、Goofspiel-4 和 Kuhn Poker 中，PPO-EMAg 与基准方法竞争相当，且 EMA 磁铁策略通常能达到最低的最终易被剥削性。
放弃（FF）游戏： 在增加了严格劣势放弃动作的游戏中，PPO-EMAg 显著优于均匀基准。均匀磁铁在整个训练过程中仍会对放弃动作进行正则化，而 EMA 磁铁则会随着策略学会规避该动作而自动调整，减少对其的正则化。
控制游戏： 在大多数策略因导航失败而属于严格劣势的环境中，PPO-EMAg 展示了卓越的性能和显著更快的收敛速度。
- 在 Control Biased RPS 中，均匀线性退火在约 700 万步内未能学习，直到训练后期才有所下降，而 PPO-EMAg 在 200 万步时便已收敛。
- 在 Control Goofspiel 中，均匀线性退火在 600 万步内几乎没有改进，而 PPO-EMAg 则更早达到了低易被剥削性。
轨迹分析： 策略在策略单纯形中的轨迹可视化显示，均匀退火会导致策略在早期陷入劣势策略，或在后期坍缩至纯策略。PPO-EMAg 通过逐渐减少在劣势动作上的质量，同时保持混合压力，避免了这一问题，从而使策略能够在纳什均衡附近循环。

重要性与主张

本文声称，EMAgnet 提供了一种简单且有效的机制，使正则化目标能够适应智能体不断演进的策略。通过向策略自身权重的参数空间 EMA 进行正则化，该方法避免了在具有大量严格劣势策略的游戏中进行均匀正则化的陷阱。

作者认为，随着游戏复杂度的增加，具有战略相关性的策略空间比例趋于缩小。在这种情况下，将正则化预算分配给次优选项会产生越来越高的成本。EMAgnet 通过“遗忘”坏策略并“记住”好策略解决了这一问题，且除了标准的 PPO 循环外，仅需每步进行一次 EMA 更新。论文总结道，虽然 PPO-EMAg 在标准基准上具有竞争力，但其主要优势在于高密度劣势策略的游戏中，在这些场景下，它比退火均匀正则化能实现更快的收敛和更低的最终易被剥削性。