テクニカル・サマリー: EMAgnet

問題提起

二人数ゼロ和不完全情報ゲーム（IIG）を解くための近年の進展は、近接方策最適化（PPO）のような正則化方策勾配法が、自己対戦において用いられた際に、特化したゲーム理論的アルゴリズムに匹カブる、あるいはそれを上回る性能を発揮できることを示している。このフレームワークにおける重要な設計上の決定は、正則化のターゲットの選択である。一様分布は標準的なターゲットとして浮上しており、エントロピー・ボーナスを通じて実装されている。しかし、一様ターゲットは戦略に対して無関心である。つまり、そのアクションの生存能力に関わらず、すべての行動に対して等しく正則化を行う。

多くの厳密に支配された戦略（劣劣な選択肢）を含む広大な戦略空間を持つゲームにおいて、一様ターゲットは無関係な戦略に対して正則化の予算を浪費してしまう。この限界は、ゲームの複雑さが増し、戦略的に関連のある戦略の割合が減少するにつれて、ますます重大なものとなる。さらに、アニール（焼きなまし）された一様正則化を用いる既存のアプローチは、ジレンマに直面する。強力な初期段階の正則化は方策に支配された戦略への探索を強いる一方で、弱まった後半段階の正則化は、戦略的な混合を促すための十分な圧力を提供できず、多くの場合、ナッシュ均衡ではなく純粋戦略への収束を招いてしまう。

手法

著者らは、テーブル設定における「ムービング・マグネット（移動する磁石）」正則化ターゲットの概念を、深層強化学習へと拡張した手法であるEMAgnetを導入する。固定された一様分布に向かって正則化するのではなく、EMAgnetは、自身のネットワーク・パラメータの**指数移動平均（EMA）**に向かって正則化を行う。

コア・メカニズム

本手法は、対称的な自己対決におけるPPOに基づいている。標準的なPPOの目的関数は、現在の方策パラメータ（$\theta$）を「マグネット」方策（$\theta_{mag}$）へと引き寄せるKLダイバージェンス項によって拡張される：

$$L_{PPO-EMAg}(\theta) = L_{PPO}(\theta) + \lambda_{KL} \mathbb{E}_{z \sim \mathcal{T}} \left[ D_{KL}(\pi_{\theta_{mag}}(\cdot | z) \parallel \pi_{\theta}(\cdot | z)) \right]$$

マグネット・パラメータは、各PPOステップの後、パラメータ空間における算術平均を用いて更新される：
$$\theta_{mag} \leftarrow (1 - \tau) \theta_{mag} + \tau \theta$$
ここで $\tau \in (0, 1]$ はステップサイズである。マグネットは、方策と同じランダムな重みで初期化される。

適応的特性

本手法の鍵となる革新性は、ターゲットの適応的な性質にある：

1. 悪い戦略の忘却： 方策が厳密に支配された戦略を回避することを学習するにつれ、EMAマグネットは、方策の重みがそれらの行動をサポートしなくなるため、次第にそれらへの正則化を停止する。
2. 良い戦略の記憶： EMAは、自己対決のサイクリング中に遭遇した戦略の平滑化された混合物を自然に蓄積する。これにより、方策が戦略的に関連のある選択肢へのカバレッジを維持することを促進する。
3. 一定の強度： アニールされた一様正則化とは異なり、KL正則化の強度（$\lambda_{KL}$）は一定であるが、ターゲットは進化する。これにより、「強力な正則化が悪い戦略への探索を強制する」、あるいは「弱い正則化が純粋戦略への崩壊を防げない」という「ジレンマ」を回避できる。

主な貢献

1. アルゴリズムの拡張： 本論文は、正則化ターゲットとして方策の重みのパラメータ空間におけるEMAを用いることで、テーブル設定（Sokotaらによって以前に探索されたもの）のムービング・マグネットの概念を深層強化学習へと拡張する。
2. 適応的正則化： 本手法は、エージェントの改善する戦略とともに進化する適応的な正則化ターゲットを提供するものであり、一様分布のような固定されたターゲットとは異なる。
3. 実証的評価： 著者らは、以下の3つのカテゴリのゲームにおいて、PPO-EMAgを、一様マグネット正則化（線形およびべき乗則のアニール・スケジュールを用いたもの）を用いたPPO自己対決と比較して評価している：
   • 標準的なベンチマーク（Biased RPS, Goofspiel-4, Kuhn Poker）。
   • 単一の厳密に支配された「降参（forfeit）」アクションを含む修正ベンチマーク（FFバリアント）。
   • グリッドワールドのナビゲーション・タスクを通じて、戦略空間の大部分が支配されている修正ベンチマーク（Controlバリアント）。

結果

評価の結果、PPO-EMAgは、厳密に支配された戦略を含む環境において、一様ベースラインよりも低い搾取性（exploitability）を達成しつつ、標準的なベンチマークにおいても競争力のある性能を示すことが実証された。

• 標準的なゲーム： Biased RPS、Goofspiel-4、Kuhn Pokerにおいて、PPO-EMAgはベースラインと同等の性能を示し、EMAマグネット方策はしばしば最も低い最終搾越性を達成した。
• 降参（FF）ゲーム： 厳密に支配された降参アクションが付加されたゲームにおいて、PPO-EMAgは一様ベースラインを大幅に上回る。一様マグネットは学習中を通じて降参アクションへの正則化を継続するが、EMAマグネットは、方策がそれを回避することを学習するにつれて、それへの正則化を減らすように適応する。
• 制御（Control）ゲーム： 大部分の戦略が（ナビゲーションの失敗により）厳密に支配されている環境において、PPO-EMAgは優れた性能と大幅に速い収束を示す。
  • Control Biased RPS では、一様線形アニールは学習開始から約700万ステップの間、学習が進まず、学習の終盤にようやく低下するが、PPO-EMAgは200万ステップまでに収束する。
  • Control Goofspiel では、一様線形アニールは600万ステップを超えてもほとんど改善が見られないが、PPO-EMAgははるかに早い段階で低い搾取性に到達する。
• 軌跡分析： 戦略シンプリックスにおける方策の軌跡の可視化により、一様アニールは、初期に支配された戦略に停滞するか、あるいは後半に純粋戦略へと崩壊を引き起こすことが示された。PPO-EMAgは、支配されたアクションへの質量を徐々に減少させつつ、混合の圧力を維持することでこれを回避し、ナッシュ均衡の近くでサイクルすることを可能にする。

意義と主張

本論文は、EMAgnetが、エージェントの進化する戦略に合わせて正則化ターゲットを適応させるための、シンプルかつ効果的なメカニメントを提供すると主張している。方策自身の重みのパラメータ空間におけるEMAに対して正則化を行うことで、本手法は、大規模なゲームにおける一様正則化の落とし穴を回避する。

著者らは、ゲームが複雑になるにつれ、戦略空間の中で戦略的に関連のある領域の割合は減少する傾向にあると仮定している。このようなシナリオでは、劣劣なオプションに正則化予算を割り当てることは、増大するコストとなる。EMAgnetは、悪い戦略を「忘れ」、良い戦略を「覚える」ことで、これに対処する。これは、標準的なPPOループを超えて、1ステップにつき1回のEMA更新のみを必要とする。本論文は、PPO-EMAgが標準的なベンチマークでは競争力がある一方で、その主な利点は、支配された戦略の密度が高いゲームにおいて、アニールされた一様正則化と比較して、より速い収束とより低い最終搾越性を実現できる点にあると結論付けている。