技術的サマリー：不完全情報自己対戦における GAE の不十分性

問題定義

不完全情報ゲームにおける競争的多エージェント強化学習（MARL）では、エージェントは対立的な相手に対して部分的な観測性のもとで動作する必要があり、確率的方策が要求される。プロキシマル方策最適化（PPO）を用いた自己対戦強化学習は経験的に成功を収めてきたが、均衡学習において重要なボトルネックに直面している：アドバンテージ推定の分散である。

標準的な PPO 実装は、多ステップの時間的差分（TD）残差を集約するために、一般化アドバンテージ推定（GAE）に依存している。単一エージェント環境では、GAE はバイアスと分散を効果的にバランスさせる。しかし、不完全情報自己対戦においては、均衡方策は本質的に確率的である。GAE は、その多ステップ追跡内の将来の行動のサンプリングからランダム性を継承する。均衡方策は異なる行動に異なる値を割り当てるため、将来の行動のサンプリングは本質的なノイズを導入する。この分散は自己対戦シナリオにおいて増幅され、状態価値クリティック（$V$-critic）が正確であっても持続する。その結果、標準的な GAE は、安定した学習が最も重要な領域において、高分散の勾配推定を生み出し、高品質な均衡への収束を妨げる。

手法

Q-ブースティング推定量

行動サンプリングによって導入される分散に対処するため、著者は分散低減型アドバンテージ推定量であるQ-ブースティングを提案する。中核的な革新は、GAE で使用されるサンプリングされた多ステップ TD 追跡を、中央集権型行動価値クリティック（$Q$-critic）から計算された多ステップ**Expected SARSA($\lambda$)**追跡に置き換えることである。

• メカニズム: ノイズを導入するサンプリングされた次の行動によるブートストラップの代わりに、Q-ブースティングは各バックアップステップで方策期待値を計算する。現在の方策によって定義された行動分布全体に対する期待値を取ることで、確率的な将来の行動からのノイズを平均化する。
• 定式化: 中央集権型 $Q$-critic $Q_i(s, a)$ と結合方策 $\pi$ が与えられたとき、状態価値は $V^\pi_i(s) = \sum_a \pi(a|s) Q_i(s, a)$ として計算される。Q-ブースティングアドバンテージ推定 $\hat{A}^{boost}_{i,\tau}$ は以下のように定義される：
  $$\hat{A}^{boost}_{i,\tau} \triangleq Q_i(s_\tau, a_\tau) - V^\pi_i(s_\tau) + \sum_{\tau' \ge \tau} (\lambda\gamma)^{\tau'-\tau} \cdot \delta^+_{i,\tau'}$$
  ここで、Expected SARSA TD 残差は $\delta^+_{i,\tau'} \triangleq r_{i}(s_{\tau'}, a_{\tau'}) + \gamma V^\pi_i(s_{\tau'+1}) - Q_i(s_{\tau'}, a_{\tau'})$ である。
• 理論的保証: 著者は、オンポリシー軌道および $\lambda=1$ において、Q-ブースティング推定量がスコア関数方策勾配項の不偏推定量を提供することを証明している。さらに、$Q$-critic が十分に正確であれば、将来の行動の行動値にゼロ以外の分散が存在する場合、Q-ブースティング推定量の平均二乗誤差は、正確な $V$-critic を用いた GAE のそれよりも厳密に低くなる。

分散低減型方策最適化（VRPO）

著者は、Q-ブースティングを Variance-Reduced Policy Optimization (VRPO) と名付けられた PPO 風アルゴリズムに統合する。

• アーキテクチャ: VRPO は、中央集権的トレーニングと分散的実行（CTDE）のパラダイムに従う。実行には分散的アクターを使用し、トレーニングには中央集権的 $Q$-critic を使用する。
• 目的: このアルゴリズムは、PPO のクリップされた代理目的関数とトラストリージョン更新を維持しつつ、アドバンテージ推定とクリティック学習のプロセスを変更する。
• トレーニング手順:
  1. アクター更新: アクターは Q-ブースティングアドバンテージ推定を使用して更新される。オンポリシーの性質を維持するため、アドバンテージ計算における方策期待値項は、クリティック値を固定したまま、現在のアクター確率を用いて再計算される。
  2. クリティック更新: 中央集権的 $Q$-critic は、Q-ブースティングターゲット（多ステップ Expected SARSA 追跡）に対する二乗回帰損失を最小化することでトレーニングされる。
  3. 正則化: 探索を促進し、最終反復収束を促すために、均一分布に対する明示的な KL 発散ペナルティが方策目的関数に追加される。
• 大規模行動空間への対応: 膨大な行動セットを持つゲーム（例：斗地主）の場合、著者は複雑な意思決定を複数の時間ステップに分解する。これにより、各ステップで利用可能な行動の数を管理可能なサイズに減らし、Q-ブースティング追跡における方策期待値に必要な列挙を可能にする。

主要な貢献

1. 分散源の特定: 本論文は、GAE における将来の行動のサンプリングが、確率的自己対戦において追加的な分散を導入し、正確な価値関数であっても持続することを特定している。
2. Q-ブースティング推定量: 中央集権的 $Q$-critic に Expected SARSA($\lambda$) 追跡を適用して将来の行動サンプリングノイズを平均化する、PPO 互換の推定量である Q-ブースティングを導出した。
3. VRPO アルゴリズム: Q-ブースティングを活用して、改善された安定性と性能を達成する PPO 風アルゴリズムである VRPO を提案した。
4. 経験的検証: 異なる規模のゲームにおいて、アドバンテージ推定分散を低減することが、均衡品質の大幅な向上をもたらすことを実証した。

実験結果

中規模ゲーム（正確なエクスプロイタビリティ）

著者は、正確なエクスプロイタビリティを計算できる中規模ゲームにおいて VRPO をベンチマークした：Abrupt Phantom Tic-Tac-Toe (APTTT)、Abrupt Dark Hex 3 (ADH3)、および 2 個のサイコロと 5 面のリヤーダイス (LiDi 2D5F)。

• 性能: 共有トレーニングスケジュールの下で、VRPO は様々な PPO ベースのベースライン（IPPO, MAPPO, MMD, PPG）と比較して、一貫して15% 以上低いエクスプロイタビリティを達成した。
• アブレーション: 実験により、性能向上が異なる追跡パラメータ（$\lambda$）、正則化係数（$\alpha$）、および PPO クリッピング係数（$\epsilon$）に対して堅牢であることが確認された。

大規模ゲーム

著者は、正確なエクスプロイタビリティが非現実的な大規模ドメインにおいて VRPO を評価した。

• 斗地主: VRPO は、以前の最先端エージェントである PerfectDou に対してトレーニングされた。一致したトレーニング予算（約 $2.65 \times 10^9$ ステップ）の下で、VRPO はトレーニングステップのわずか 40% で PerfectDou を上回った。10 万回の配牌にわたる一対一評価において、VRPO は PerfectDou、DouZero、および自身（役割交換マッチアップ）に対して正の利得を達成し、新たな最先端を確立した。
• ヘッドズアップ・ノーリミット・テキサス・ホールデム (HUNL): VRPO は 200 ビッグブラインドスタックの HUNL でトレーニングされた。IPPO および MAPPO と比較して、VRPO はトレーニング中のアドバンテージ推定の標準偏差を大幅に低減した。強力なベースラインである Slumbot に対して、VRPO エージェントは 100 万ハンドにわたってハンドあたり $33 \pm 19$ mBB の平均利得を達成した。注目すべきは、この性能がオンライン検索、サブゲームソルビング、または青図ベースのレイズサイジングなしで達成されたことである。

意義と範囲

本論文は、主要な貢献として、均衡自己対戦におけるボトルネックとしてのアドバンテージ推定分散の特定と、Q-ブースティングがこの問題を効果的に緩和することを示したことを主張している。結果は、アドバンテージ推定における分散を低減することが、学習された均衡の品質において大幅な向上をもたらす可能性を示唆している。

著者は主張の範囲について慎重である：

• このアプローチは（分解を通じて）大規模な離散行動セットを持つゲームで検証されているが、高次元の連続行動空間には対処していない。
• 経験的焦点は、中央集権的クリティックを用いた確率的自己対戦にある。著者は、標準的な単一エージェント RL ベンチマークにおいて GAE に対して広範な改善を主張するものではない。
• この手法は、行動に対する方策期待値を計算する能力に依存しており、これはテストされたドメインでは可能であるが、極めて大規模な行動空間に対しては特定のアーキテクチャ的考慮を必要とする可能性がある。

結論として、VRPO は、確率的均衡学習に固有の、以前は十分に特定されていなかった分散源に対処することにより、不完全情報ゲームへの方策勾配手法の適用において重要な前進を表している。