技术摘要：GAE 在不完美信息自博弈中表现不足

问题陈述

在不完美信息博弈中进行竞争性多智能体强化学习（MARL），要求智能体在部分可观测条件下对抗对抗性对手，这需要随机策略。尽管使用近端策略优化（PPO）的自博弈强化学习已取得了实证成功，但在均衡学习中面临一个关键瓶颈：优势估计方差。

标准的 PPO 实现依赖广义优势估计（GAE）来聚合多步时序差分（TD）残差。在单智能体设置中，GAE 有效地平衡了偏差和方差。然而，在不完美信息自博弈中，均衡策略本质上是随机的。GAE 从其多步轨迹中未来动作的采样继承了随机性。由于均衡策略对不同动作赋予不同的值，未来动作的采样引入了内在噪声。这种方差在自博弈场景中被放大，并且即使状态价值评论家（$V$-critic）是精确的，该方差依然存在。因此，标准的 GAE 恰恰在最需要稳定学习的区域产生了高方差的梯度估计，阻碍了向高质量均衡的收敛。

方法论

Q-Boosting 估计器

为了解决动作采样引入的方差，作者提出了Q-boosting，一种方差缩减的优势估计器。其核心创新是用基于集中式动作价值评论家（$Q$-critic）计算的多步**期望 SARSA($\lambda$)**轨迹，替换 GAE 中使用的采样多步 TD 轨迹。

• 机制：Q-boosting 不再通过采样的下一步动作进行自举（这会引入噪声），而是在每个备份步骤计算策略期望。它通过对当前策略定义的动作分布取期望，平均掉了随机未来动作带来的噪声。
• 公式：给定集中式 $Q$-critic $Q_i(s, a)$ 和联合策略 $\pi$，状态价值计算为 $V^\pi_i(s) = \sum_a \pi(a|s) Q_i(s, a)$。Q-boosting 优势估计 $\hat{A}^{boost}_{i,\tau}$ 定义为：
  $$\hat{A}^{boost}_{i,\tau} \triangleq Q_i(s_\tau, a_\tau) - V^\pi_i(s_\tau) + \sum_{\tau' \ge \tau} (\lambda\gamma)^{\tau'-\tau} \cdot \delta^+_{i,\tau'}$$
  其中期望 SARSA TD 残差为 $\delta^+_{i,\tau'} \triangleq r_{i}(s_{\tau'}, a_{\tau'}) + \gamma V^\pi_i(s_{\tau'+1}) - Q_i(s_{\tau'}, a_{\tau'})$。
• 理论保证：作者证明，对于同策略轨迹且 $\lambda=1$ 时，Q-boosting 估计器提供了无偏的得分函数策略梯度项估计。此外，如果 $Q$-critic 足够准确，且未来动作的动作值表现出非零方差，则 Q-boosting 估计器的均方误差严格低于具有精确 $V$-critic 的 GAE。

方差缩减策略优化（VRPO）

作者将 Q-boosting 集成到一个名为**方差缩减策略优化（VRPO）**的 PPO 风格算法中。

• 架构：VRPO 遵循集中式训练与分布式执行（CTDE）范式。它利用分布式智能体进行执行，并使用集中式 $Q$-critic 进行训练。
• 目标：该算法保留了 PPO 的截断代理目标和信任域更新，但修改了优势估计和评论家学习过程。
• 训练过程：
  1. 智能体更新：智能体使用 Q-boosting 优势估计进行更新。为了保持同策略属性，在优势计算中，策略期望项使用当前智能体概率重新计算，同时保持评论家值固定。
  2. 评论家更新：集中式 $Q$-critics 通过最小化针对 Q-boosting 目标（多步期望 SARSA 轨迹）的平方回归损失进行训练。
  3. 正则化：在策略目标中添加了一个相对于均匀分布的显式 KL 散度惩罚，以促进探索并鼓励最后一次迭代的收敛。
• 处理大动作空间：对于具有巨大动作集的博弈（例如斗地主），作者将复杂决策分解为多个时间步。这将每一步可用的动作数量减少到可管理的规模，从而允许在 Q-boosting 轨迹中进行策略期望所需的枚举。

主要贡献

1. 方差源识别：该论文指出，GAE 中未来动作的采样在随机自博弈中引入了额外的方差，即使具有精确的价值函数，该方差依然存在。
2. Q-Boosting 估计器：作者推导出了 Q-boosting，这是一种与 PPO 兼容的估计器，它将期望 SARSA($\lambda$) 轨迹应用于集中式 $Q$-critic，以平均掉未来动作采样的噪声。
3. VRPO 算法：提出了 VRPO，这是一种利用 Q-boosting 实现改进稳定性和性能的 PPO 风格算法。
4. 实证验证：证明了减少优势估计方差可以在不同规模的博弈中显著提高均衡质量。

实验结果

中等规模博弈（精确可剥削性）

作者在可以计算精确可剥削性的中等规模博弈上对 VRPO 进行了基准测试：突发幻影井字棋（APTTT）、突发暗 Hex 3（ADH3）以及 2 骰子 5 面骰的吹牛（LiDi 2D5F）。

• 性能：在共享训练计划下，VRPO 始终实现了比各种基于 PPO 的基线（IPPO、MAPPO、MMD、PPG）低 15% 以上的可剥削性。
• 消融实验：实验证实，性能提升在不同轨迹参数（$\lambda$）、正则化系数（$\alpha$）和 PPO 截断系数（$\epsilon$）下均具有鲁棒性。

大规模博弈

作者在精确可剥削性难以计算的大规模领域评估了 VRPO。

• 斗地主：VRPO 与之前的最先进智能体 PerfectDou 进行了对抗训练。在匹配的训练预算（约 $2.65 \times 10^9$ 时间步）下，VRPO 仅用了 40% 的训练步数就超越了 PerfectDou。在超过 100,000 局牌的对抗评估中，VRPO 对 PerfectDou、DouZero 以及自身（在角色互换对抗中）均取得了正向收益，确立了新的最先进水平。
• 单挑无限注德州扑克（HUNL）：VRPO 在 200 个大盲注筹码的 HUNL 上进行了训练。与 IPPO 和 MAPPO 相比，VRPO 显著降低了训练期间优势估计的标准差。面对强大的基线 Slumbot，VRPO 智能体在 1,000,000 手牌中实现了平均每手 $33 \pm 19$ mBB 的收益。值得注意的是，这一性能是在没有在线搜索、子博弈求解或基于蓝图的加注规模的情况下实现的。

意义与范围

该论文声称其主要贡献在于识别出优势估计方差是不完美信息自博弈均衡学习中的瓶颈，并证明了 Q-boosting 能有效缓解这一问题。结果表明，减少优势估计中的方差可以显著提高学习到的均衡质量。

作者在声明方面保持了适度的范围：

• 该方法已通过分解验证适用于具有大型离散动作集的博弈，但未解决高维连续动作空间的问题。
• 实证重点在于带有集中式评论家的随机自博弈；作者并未声称在标准单智能体强化学习基准测试中对 GAE 有广泛的改进。
• 该方法依赖于计算动作上的策略期望的能力，这在测试领域是可行的，但对于极大的动作空间可能需要特定的架构考虑。

总之，VRPO 通过解决随机均衡学习中固有的、此前未被充分识别的特定方差源，代表了将策略梯度方法应用于不完美信息博弈的重要一步。