🤖 AI

Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games

本文从理论和实证两方面证明，在策略优化中结合反向 Kullback-Leibler 散度与熵正则化，能够在双人零和博弈中实现稳定收敛，并相较于现有方法，在五个棋盘游戏环境中显著提升训练效率。

原作者： Kazuki Ota, Takayuki Osa, Motoki Omura, Tatsuya Harada

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Kazuki Ota, Takayuki Osa, Motoki Omura, Tatsuya Harada

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教两个机器人如何像国际象棋或围棋那样，彼此对弈一款复杂的棋盘游戏。目标是让它们学会如何获胜，而无需在每次决策时都动用超级计算机来模拟数百万种未来的走法。

多年来，这方面的“黄金标准”一直是像AlphaZero这样的方法。把 AlphaZero 想象成一个机器人在做出每一步棋之前，都要花数小时在脑海中模拟成千上万种可能的未来（就像一位特级大师向前推演 20 步）。虽然这让它们变得极其强大，但代价也极其高昂。这就像为了你走的每一步，都试图建造一座全尺寸、完美的城市复制品来学习驾驶。它确实有效，但会消耗巨大的燃料（计算能力），并且耗时极长。

这篇论文介绍了一种名为KLENT的新方法。作者问道：我们能否教会这些机器人以同样的水平进行对弈，却无需昂贵的“心理模拟”步骤？

核心理念：“温和的推促”与“硬性重置”

作者重新审视了机器学习中一个旧有的概念，即正则化策略优化（Regularized Policy Optimization）。为了理解他们的创新，不妨将机器人的策略（即其“策略”）想象成一张它认为应该前往何处的地图。

问题所在： 当机器人彼此对弈时，它们往往过快变得过于自信。它们可能会基于一场幸运的胜利，对策略做出巨大而鲁莽的更改，随后却遭遇惨败。这就像一个学生死记硬背了某道考题的特定答案，答对了，便自以为掌握了整个学科，结果却在下一场考试中落败。
解决方案（两大要素）： 作者发现，结合两条特定的“规则”可以保持学习的稳定性和高效性：
- “温和的推促”（反向 KL 正则化）： 这条规则不让机器人完全重写它的地图，而是迫使它只做出微小、渐进的更改。这就像告诉机器人：“你可以改变想法，但不要偏离你昨天的位置太远。”这防止了剧烈的波动，使学习过程保持平稳。
- “好奇的火花”（熵正则化）： 这鼓励机器人继续探索新的、奇特的走法，而不是仅仅固守它已知的内容。这就像告诉机器人：“不要每次都走同一条路；尝试几条不同的道路，看看是否有捷径。”这防止机器人陷入死胡同。

KLENT 如何运作（“无搜索”方法）

在传统方法（如 AlphaZero）中，机器人表现得像一位国际象棋特级大师：

它看到棋盘。
它花费数小时计算每一种可能的未来结果（树搜索）。
它基于该计算选择最佳走法。

KLENT 则表现得像一位经验丰富的街头格斗家：

它看到棋盘。
它立即依赖其“直觉”（一个基于过往经验训练而成的神经网络）。
它无需计算未来，立即做出走法。

论文声称，通过运用“温和的推促”和“好奇的火花”这两条规则，KLENT 学习玩棋盘游戏的速度比基于搜索的方法快4 倍。这是通过完全跳过昂贵的“心理模拟”步骤来实现的。

证据：“棋盘游戏健身房”

为了证明这行之有效，研究人员将他们的机器人置于一个包含五种不同棋盘游戏的“健身房”中进行训练：

动物将棋（将棋的一个小型、简单版本）
加德纳国际象棋（国际象棋的一个较小版本）
9x9 围棋（围棋的一个较小版本）
六边形棋（Hex）（一种连接类游戏）
黑白棋（Othello）（一种翻转圆盘类游戏）

结果：

速度： KLENT 学习战胜强劲对手的速度远快于基于搜索的方法。在某些游戏中，它仅用四分之一的计算能力就达到了相同的技能水平。
理论： 作者并非凭空猜测；他们进行了数学推导。他们证明了，有了这些特定规则，机器人的学习过程保证会收敛并变得稳定，而不会发疯或永远震荡。
大型游戏： 他们甚至将其测试于庞大的19x19 围棋棋盘上。即使在那里，KLENT 也能有效竞争，表明这种“无搜索”方法不仅仅适用于小型游戏。

为何这很重要（根据论文观点）

论文认为，我们并不总是需要建造一台“超级计算机”来解决复杂的棋类游戏。通过仔细调整机器人更新其策略的方式（利用温和的推促和好奇的火花），我们可以以一小部分成本获得稳定、高水平的性能。

简而言之： 这篇论文表明，你无需模拟未来也能下好棋。如果你教会机器人稳步学习并保持好奇，它就能以比以前更快、更廉价的方式独自掌握游戏。

技术摘要：重新审视正则化策略优化以实现双人对弈中稳定且高效的强化学习

问题陈述

双人对弈零和博弈，尤其是棋类游戏，长期以来一直是强化学习（RL）的传统基准。尽管像 AlphaZero（Silver 等人，2018）这样的基于搜索的方法通过将深度神经网络与前向搜索（例如蒙特卡洛树搜索，MCTS）相结合，实现了超越人类的表现，但它们却产生了巨大的计算成本。例如，据报告训练 AlphaZero 需要超过 10 个 GPU 年（Silver 等人，2018；Tian 等人，2019）。这种资源密集性阻碍了其在资源受限环境中的可复现性和实际应用（Zhao 等人，2022）。

尽管最近的研究试图通过限制搜索树深度或 rollout 次数来降低基于搜索方法的计算负担（Hessel 等人，2021；Danihelka 等人，2022），但它们从根本上仍依赖于前向搜索。相反，在机器人技术和连续控制中高效的无模型（model-free）RL 方法，由于被认为在多智能体自我对弈（self-play）设置中存在不稳定性，尚未在棋类游戏中得到充分探索。本研究解决的核心问题是：一种纯粹的无模型 RL 算法能否在双人对弈中，以远少于基于搜索方法的训练资源，实现稳定且具有竞争力的学习？

方法论

作者提出了 KLENT（KL 与熵正则化策略优化），这是一种在训练过程中无需 MCTS 的无模型 RL 算法。该方法基于重新审视正则化策略优化，包含两个特定组件：反向 Kullback-Leibler (KL) 正则化和熵正则化。

1. 策略更新规则

KLENT 的核心是一个正则化策略优化问题，定义如下：
$\max_{\pi'} \mathbb{E}_{A \sim \pi'(\cdot|s)}[Q^\pi(s, A)] - \beta D_{KL}(\pi'(\cdot|s) \parallel \pi(\cdot|s)) + \alpha H(\pi'(\cdot|s))$
其中：

$\pi'$ 是新策略， $\pi$ 是先验策略。
$D_{KL}(\pi' \parallel \pi)$ 是反向 KL 散度，旨在促进渐进式的策略更新，以应对自我对弈中的非平稳性。
$H(\pi')$ 是熵，鼓励持续的探索以防止对智能体自身策略的过拟合。
$\alpha$ 和 $\beta$ 是非负超参数。

鉴于棋类游戏的有限动作空间，最优策略 $\pi'$ 具有闭式解析解：
$\pi'(a|s) = \frac{1}{Z(s)} \exp\left( \frac{Q^\pi(s, a) + \beta \log \pi(a|s)}{\alpha + \beta} \right)$
在 KLENT 中，神经网络 $\pi_\theta$ 被训练以最小化其输出与该解析推导出的目标 $\pi'$ 之间的交叉熵。

2. 价值函数学习

与通过 MCTS 备份估计动作值的基于搜索的方法不同，KLENT 直接使用神经网络参数化动作价值函数 $Q^\pi(s, a)$ 。为了稳定学习并管理偏差 - 方差权衡，该算法使用 $\lambda$ -returns（ $G^\lambda$ ）作为价值函数的学习目标，而不是标准的蒙特卡洛回报（ $\lambda=1$ ）。初步实验表明，中间值的 $\lambda \in (0, 1)$ 比 $\lambda=1$ 更能最小化偏差平方和与方差之和。

3. 算法结构

KLENT 在自我对弈阶段（收集同策略数据）和拟合阶段（更新网络参数）之间交替进行。损失函数同时优化策略网络和动作价值网络：
$L(\theta) = \mathbb{E}_D \left[ -\sum_{a \in A} \pi'(a|S) \log \pi_\theta(a|S) + (Q_\theta(S, A) - G^\lambda)^2 \right]$
关键在于，KLENT 在训练期间不需要树搜索，仅依赖神经网络的预测和解析策略更新。

主要贡献

本文做出了三项主要贡献，侧重于对该特定正则化组合的理论和实证表征，而非提出全新的算法成分：

算法公式化：作者基于反向 KL 和熵正则化的组合，推导出了一个实用的无模型 RL 算法（KLENT），并提供了一个闭式策略更新规则。
理论保证：为两种设置下的策略更新规则提供了新颖的收敛保证：
- 标准型博弈（Normal-Form Games）：在条件 $\alpha(\alpha + 2\beta) > \|R\|_2^2/4$ 下，论文证明了局部线性收敛到唯一不动点。该条件涵盖了比先前结果（例如 Sokota 等人，2022）更广泛的正则化系数范围。
- 有限长度博弈：作者证明了在假设有限博弈视界的情况下，KLENT 策略通过逆向归纳收敛到熵正则化最优策略（Quantal Response Equilibrium）。
实证验证：在五种棋类游戏（动物将棋、加德纳国际象棋、9x9 围棋、Hex 和黑白棋）上的综合实验表明，KLENT 实现了比现有基于搜索和无模型基线显著更高的训练效率。

结果

训练效率

实验表明，KLENT 在所有测试环境中都比现有方法学习得更高效。

性能提升：平均而言，KLENT 的训练效率比 Gumbel AlphaZero（研究中表现最强的基于搜索的基线）高出高达 4 倍。例如，Gumbel AlphaZero 需要 3 亿次模拟器评估才能达到 50% 的胜率，而 KLENT 仅需 7500 万次。
可扩展性：在分支因子较高的游戏中（如 9x9 围棋、Hex），基于搜索的方法需要大量的模拟器预算，效率差距进一步扩大。KLENT 的优势归因于避免了前向搜索并使用了稳定的 $\lambda$ -returns。
大规模性能：在 19x19 围棋中，尽管复杂度增加，KLENT 仍保持了与 AlphaZero 相当的竞争性学习效率。

消融研究

该研究验证了三项关键技术的重要性：

反向 KL 正则化：移除该正则化（设置 $\beta=0$ ）会导致策略更新突变和性能下降，特别是在 9x9 围棋中。
熵正则化：移除该正则化（设置 $\alpha=0$ ）会导致策略变得过于确定（熵降至接近零），从而导致学习不稳定和性能崩溃。
$\lambda$ -Returns：用 1 步备份或蒙特卡洛回报替换 $\lambda$ -returns 会导致性能下降，证实了平衡偏差和方差的重要性。

测试时性能

当配备测试时 MCTS（800 次 rollout）时，KLENT 智能体在基线对抗中取得了高胜率，在 9x9 围棋和 19x19 围棋的正面交锋中击败了 AlphaZero 和 Gumbel AlphaZero。

意义与主张

作者将这项工作定位为一种示范，表明恰当地重新审视现有的正则化技术，可以在长期由基于搜索的方法主导的领域中实现稳定且高效的学习。

适度主张：论文明确指出，其主要贡献并非新的算法成分，而是对双人对弈中正则化策略优化的新理论和实证表征。
局限性：作者承认，虽然 KLENT 实现了高效率，但在拥有无限计算资源的情况下，它并不一定能保证更优越的渐近性能。他们并不排除当可获取海量资源（例如数千个 GPU）时，像 AlphaZero 这样的基于搜索的方法的有效性。
更广泛的影响：作者指出，其基本假设（有限动作 MDP）适用于现实世界问题，如离散优化、算法发现和数学证明，在这些领域中基于搜索的方法目前占主导地位。他们希望这项工作能鼓励将这种高效、无模型的方法扩展到其他领域。

总之，KLENT 为棋类游戏的基于搜索的 RL 提供了一种计算高效的替代方案，通过利用反向 KL 和熵正则化的稳定性，以极少部分的训练资源实现了具有竞争力的性能。