🤖 machine learning

Self-Play Reinforcement Learning under Imperfect Information in Big 2

本文针对非完美信息卡牌游戏“大贰”引入了一种自博弈强化学习框架，证明了在受控条件下 PPO 优于基于价值的方法，并强调了熵正则化与基于当前策略的自博弈在训练鲁棒多智能体方面的优势。

原作者： Aalok Patwa

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Aalok Patwa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正与三位朋友围坐在桌旁，玩一款名为“大老二”的纸牌游戏。你能看到自己手中的 13 张牌，也能看到其他人迄今为止打出的所有牌。但你无法看到朋友们手中隐藏的牌。这就是研究人员所称的“不完全信息”。你必须根据他们打出的牌、他们放弃的牌以及剩余牌的数量来猜测他们手中握着什么。

本文的目标是教导一个计算机程序（AI 智能体）如何利用强化学习（RL） 来出色地玩这款游戏。可以将 RL 想象成一名通过试错学习的学生：AI 进行成千上万次游戏，根据输赢获得“分数”（奖励），并逐渐找出最佳策略。

以下是本文发现的简要概述，辅以简单的类比：

1. 挑战：一场关于隐藏秘密的游戏

大老二之所以棘手，是因为：

你无法知晓一切：你必须猜测对手手中的牌。
规则每回合都在变化：有时你可以打出一张牌，有时是一对，有时则是复杂的“顺子”。合法出牌的选择列表时刻在变。
短期与长期的权衡：有时立即打出你最强的牌感觉很好，但这可能会让你在之后陷入被动。AI 必须学会牺牲今天的小胜，以换取明天的整场胜利。

2. 实验：谁学得最好？

研究人员设立了一个“训练营”，用完全相同的规则、相同的计算资源和相同的时间，教导四种不同类型的 AI 学生。他们想看看哪种学习方式效果最佳。

学生们：
1. PPO（“策略”学生）：这名学生通过尝试不同的策略并调整其关于“该出哪张牌”的“直觉”来学习。这就像教练告诉你：“在这里打一对，感觉是对的。”
2. Q-Learning / SARSA / 蒙特卡洛（“价值”学生）：这些学生试图为每一种可能的情况 memorize 一个分数。他们会问：“如果我打出这张牌，最终能得到的确切分数是多少？”

结果：PPO 学生赢得了训练营。它学得更快，并且比“价值”学生成为了更好的玩家。

原因：在一个信息不透明且玩家众多的游戏中，试图计算每一步的确切未来得分，就像试图完美预测明年的天气一样——噪音太大且耗时过长。PPO 那种“根据结果调整策略”的方法效率更高。

3. 秘诀：熵（不要过于可预测）

研究人员注意到获胜的 PPO 学生有一个有趣的特点。起初，它非常自信，90% 的时间都选择同一个“最佳”出牌。但在对手看不到你牌面的游戏中，100% 的可预测性是危险的。如果你总是以同样的方式出牌，聪明的对手就会识破你。

类比：想象你在玩石头剪刀布。如果你总是出“石头”，因为你觉得那是最佳选择，你的对手很快就会开始出“布”并击败你。你需要稍微混合一下出招。
对策：研究人员在 AI 的训练中加入了一点“熵”（随机性）。他们告诉它：“不要 100% 确定；在你的出牌中保留一点惊喜。”
结果：保持适度随机性的 AI 表现最佳。它变得更难被看穿，也更具适应性。然而，过多的随机性会导致它表现得愚蠢，因此平衡是关键。

4. 训练伙伴：你应该与谁对战？

AI 是通过自我对弈（Self-Play）来学习的。研究人员测试了三种不同的方式来安排这些练习赛：

固定对手：AI 与一个始终采用相同“聪明”策略的电脑对战。
检查点对手：AI 与训练早期保存的旧版本自身对战。
当前策略对手：AI 与当前版本的自身对战，该版本每天都在进步。

结果：与当前策略（即正在同步进步的自身版本）对战是最佳方法。

类比：想象学习游泳。
- 如果你只与一个缓慢、固定的机器人练习，你会擅长击败那个机器人，但可能学不会如何应对快速的游泳者。
- 如果你与“过去的自己”练习，你可能是在打已经赢过的仗。
- 如果你与现在的自己练习，难度提升的速度恰好与你技能提升的速度同步。这就像一位私人教练，根据你当前的力量精确调整杠铃的重量。这让 AI 始终保持受挑战的状态，并学习到最相关的经验。

总结

本文表明，对于像大老二这样复杂的纸牌游戏：

基于策略的学习（PPO） 比试图 memorize 确切分数更有效。
在出牌中保留一点随机性 会让你成为更难对付的对手。
与一个正在同步进步的自身版本进行练习 是学习最快的途径。

作者得出结论，大老二是一个极佳的“试验厨房”，用于教导计算机在缺乏全部事实的情况下如何做出明智决策，这种技能最终可能有助于许多信息不透明的现实世界情境。

技术摘要：大贰中不完美信息下的自博弈强化学习

问题陈述

本文探讨了在不完美信息多人游戏中训练强化学习（RL）智能体所面临的挑战。具体而言，它研究了大贰（Big 2）这一四人出牌游戏，其特点包括：

隐藏信息：玩家仅能观察自己的手牌和公共出牌历史；对手的手牌必须通过行动、过牌和剩余牌数进行推断。
稀疏且延迟的奖励：主要奖励（获胜）仅在终端状态出现，中间奖励为零。
非平稳对手：在自博弈设置中，随着智能体的提升，对手分布会发生变化。
可变动作空间：合法动作是特定于手牌的组合（单张、对子、顺子等），在不同回合间发生剧烈变化，使得固定的动作抽象变得困难。

作者旨在确定在受控的有限计算预算下，策略梯度或基于价值的目标在该设置中哪种学习更有效，以及特定的训练设计选择（熵正则化、对手课程）如何影响稳定性和性能。

方法论

1. 环境与表示

作者开发了一个模拟器，其中观察状态（ $o_i$ ）严格反映可用信息：

输入：行动玩家的私有手牌（填充后）、当前牌局、所有已见牌、对手的剩余牌数、过牌次数以及每位对手的已出牌历史。
动作空间：模拟器枚举玩家手牌中的所有合法组合，并根据当前牌局进行过滤，生成可变长度的合法动作集 $A(o_i)$ 。这避免了无效动作的探索。
神经网络架构：
- 状态编码器：使用共享的牌嵌入表。玩家手牌通过自注意力机制处理并池化。公共信息（牌局、已见牌、对手数量）被嵌入并拼接，形成状态嵌入。
- 动作评分：合法动作被编码为 80 维特征向量。状态嵌入与动作嵌入之间的点积对每个合法候选动作进行评分。
- 区别：与先前使用固定 1695 个动作头并掩码至合法动作的工作不同，该模型仅对合法动作进行评分，允许持牌在池化前进行交互。

2. 学习算法

该研究在相同的架构和训练预算（5,000 个批次，每批次 64 个回合）下比较了四种算法：

PPO（近端策略优化）：一种使用截断代理目标和独立价值头的策略梯度基线。
蒙特卡洛 Q 近似：一种基于价值的方法，使用完整折扣回报（ $y_t = \sum \gamma^{k-t} r_k$ ）作为目标。
SARSA：一种使用单步目标（ $y_t = r_t + \gamma Q(s_{t+1}, a_{t+1})$ ）的在线策略基于价值方法。
Q-Learning：一种使用最大目标（ $y_t = r_t + \gamma \max_a Q(s_{t+1}, a)$ ）的离线策略基于价值方法。

所有基于价值的方法在训练期间使用 $\epsilon$ -greedy 探索，在评估期间使用贪婪选择。

3. 训练课程与评估

自博弈：默认设置使用当前策略自博弈，即当前策略控制所有四个座位。
基线：评估针对三种启发式对手进行：
- 随机：均匀选择合法动作。
- 贪婪：打出最弱的合法非过牌组合。
- 智能：一种基于规则的策略，根据战略特征（出牌、保留组合、避免过早使用"2"）对动作进行评分。
指标：针对每类对手的胜率以及平均游戏得分（输家的剩余牌数之和，输家为负值）。

主要贡献与发现

1. 算法性能

在有限的计算预算下，PPO 在所有对手类别中均优于所有基于价值的方法（蒙特卡洛 Q、SARSA、Q-learning）。

PPO 对随机对手的胜率为 85.4%，对贪婪对手为 58.2%，对智能对手为 37.1%。
基于价值的方法虽然学习到了有用的策略，但未能达到 PPO 的最终性能。作者将此归因于大贰高方差、不完美信息状态空间中价值估计的困难，其中战略上重要的状态很少被访问，且终端回报必须在长序列中分配信用。

2. 熵正则化

作者发现，没有熵正则化的 PPO 会变得过于确定，即使在模糊的战略情境中，采样顶级动作的概率也超过 90%。

发现：适度的熵正则化（ $\beta_{ent} = 0.05$ ）显著提高了所有对手类别的性能（例如，将对智能对手的胜率从 37.1% 提高到 43.5%）。
启示：在不完美信息游戏中，随机策略有利于保持不可预测性并避免过度坚持次优动作偏好。然而，过高的熵会降低性能。

3. 对手课程

该研究比较了当前策略自博弈与检查点自博弈（针对保存的过去策略进行训练）以及固定对手训练（仅针对智能启发式进行训练）。

发现：当前策略自博弈为 PPO 和蒙特卡洛 Q 均产生了最佳结果。
推理：针对固定的确定性对手（仅智能）训练会缩小状态分布并减少探索。检查点自博弈引入了多样性，但通过让智能体接触其已学会击败的“过时”错误，稀释了学习信号。当前策略自博弈充当了自适应课程，使对手难度与智能体当前的技能水平保持一致。

意义与主张

本文声称提供了针对大贰比较 RL 目标和训练设计选择的首个受控实证研究。其意义在于：

建立基线：它为未来关于大贰中的搜索、抽象和对手建模研究提供了一个易于访问的基线，隔离了通常在更大系统中混淆的因素。
展示效率：它表明深度强化学习可以在没有工程化对手模型、树搜索或超越合法过滤的启发式动作剪枝的情况下，学习四人不完美信息游戏中的稳健策略。
识别关键因素：它强调在有限预算设置下，算法选择（PPO > 基于价值）、策略随机性（熵正则化）和课程设计（当前策略自博弈）是成功的关键因素。

作者保持谦逊，指出他们的研究未与反事实遗憾最小化（CFR）、搜索增强型智能体或更大的训练预算进行比较，并且需要未来的工作来确定基于价值的方法是否能在扩展训练后缩小差距，或者交叉博弈是否会揭示新的战略弱点。