Superhuman AI for Generals.io Using Self-Play Reinforcement Learning

技術要約：自己対戦強化学習を用いたGenerals.ioのための超人的AI

問題提起
本論文は、不完全情報（フォグ・オブ・ウォー）、同時進行の動き、そして長期的な計画と短期的な戦術の両立が求められるリアルタイム戦略ゲーム（RTS）であるGenerals.ioにおいて、超人的なAIエージェントを構築するという課題に取り組んでいる。大規模な計算リソースを必要とし、密な手動の報酬シェーピングや複雑なアウターループの集団管理（例：リーグシステム）に依存することが多い『StarCraft II』や『Dota 2』のような複雑なRTSとは異なり、Generals.ioは「軽量」ながらも戦略的に豊かな環境である。本研究の核心的な問いは、簡略化されたトレーニングパイプライン（具体的には、疎な勝敗報酬を用いた方策勾配による単一の高度に調整されたインナーループ）を用いることで、行動クローニング、報酬シェーピング、あるいは複雑なアウターループのメカニズムを必要とせずに、超人的なパフォーマンスを達成できるかという点にある。

手法
著者らは、自己対戦を伴う**近接方策最適化（PPO）**を中心としたトレーニングパイプラインを提案している。これは高性能なシミュレーション環境によって支えられている。

1. JAXネイティブ・シミュレータ： 本研究の主要な推進力は、JAXで構築されたカスタム製のシミュレータである。観測、報酬、フォグ・オブ・ウォーのマスキング、戦闘解決のすべてを平坦なPyTree上の純粋関数として表現することで、著者らはエンドツーエンドのJITコンパイルを実現した。これにより、シミュレーションは単一のNVIDIA H200 GPU上で、32,768個の並列環境を用いて毎秒5,070万フレームという速度に達し、従来のCPUベースのベースラインに対して約10,000倍の高速化を実現した。
2. エージェント・アーキテクチャ： エージェントにはVision Transformerの方策を採用している。
   • 入力： 観測テンソル（$38 \times H \times W$）は、$3 \times 3$の空間パッチに分割される。さらに、2つの非空間的トークンが、グローバルな時間統計（相手の総軍隊数と土地数のスライディングウィンドウ）をエンコードし、フォグ・オブ・ウォーの背後にある隠された情報を推論するのを助ける。
   • 出力： 方策ヘッドは、各セルにおける9つのアクション（パス、または4方向への全ユニット移動/半分移動）の分布を生成する。
3. 学習目的： エージェントは、疎な終端報酬（勝利で$+1$、敗北で$-1$）を用いたPPOを用いてエンドツーエンドで学習される。目的関数には、戦略の早期崩壊を防ぐためのエントロピーボーナスが含まれるが、ポテンシャルベースの報酬シェーピングや行動クローニングは明示的に回避されている。
4. 主要な学習テクニック：
   • スポーン距離カリキュラム： 学習は、将軍たちが近く（4セル間隔）に配置されることから始まり、頻繁なゲーム終了と学習可能な信号を確保し、徐々にフルゲームのスケール（17セル以上）へと距離を広げていく。
   • パラメータ指数移動平均（EMA）： 最終的な方策パラメータのイテレートをデプロイする代わりに、エージェントは推論時にEMA（$\bar{\theta}_t = \tau \bar{\theta}_{t-1} + (1-\tau)\theta_t$）を使用しており、これが最終イテレートよりも一貫して高い性能を示す。
   • トップ・アドバンテージ・フィルタリング： 学習ループは収集された遷移をフィルタリングし、クリティックが予測したアドバンテージが高い上位25%のサンプルのみを保持する。これにより、実時間（ウォールクロックタイム）の向上とサンプル効率の改善を実現している。

主な貢献

1. JAX環境： 1v1、2v2、およびフリーフォーオール（FFA）モードをサポートし、共通のインターフェースを持つベクトル化されたJAXネイティブのGenerals.io環境を公開した。これにより、高スループットなマルチエージェント研究が可能となった。
2. 超人的エージェント： 自己対戦による疎な報酬のみを用いた単一のトランスフォーマー方策により、公開1v1リーダーボードで1位（5,000人以上の人間プレイヤー）に到達した。
3. アブレーション研究： 学習コンポーネントを系統的に分離し、以下のことを示した：
   • 報酬シェーピングは不要： 高いスループット下では、疎な勝敗報酬で十分であり、報酬シェーピングは学習の終盤で不安定化を招く可能性がある。
   • EMAは不可欠： パラメータのEMAは、最終イテレートよりも一貫して強力なデプロイ方策となる。
   • フィルタリングの効率性： トップ・アドバンテージ・フィルタリングは効率を大幅に向上させる。
   • 堅牢性： 本手法は学習率やエントロピー係数のスケジュールの変動に対して堅牢であり、特定の減衰スケジュールよりも全体的な範囲の方が重要であることを示唆している。

結果
「Average Joe」と名付けられたエージェントは、4枚のNVIDIA H200 GPUを用いて4日間学習された。

• リーダーボードの成績： 118 OpenSkillポイントを獲得し、第2位の人間（101ポイント）を、トップの人間と25位の人間との差に相当する差で引き離した。
• 直接対決の記録：
  • トップランクの人間（shimatetsu）に対し：27–12（勝率69.2%）。
  • 第2位の人間（Mithraaaa）に対し：172–58（勝率74.8%）。
  • 最強の非学習型ボット（Human.exe）および前世代のSOTA学習ボット（zero v3）に対し：100%の勝率（それぞれ20–0）。
• 統計的有意性： トップクラスの人間に対する合計199–70の記録は、公平なコイン投げに対して統計的に有意である（$p < 0.001$）。

意義と主張
本論文は、大規模な不完全情報RTSゲームにおいて、汎用的な方策勾配ループが、以下のものを必要とせずに超人的な性能に到達するのに十分であることを示すと主張している：

• 複雑なアウターループの集団管理（例：リーグ、ダブルオラクル）。
• 人間データからの行動クローニング。
• 手動で調整された密な報酬シェーピング。

著者らは、データボトルネックが高速なシミュレータによって取り除かれれば、成功への「レシピ」は、特定のスタビライザー（EMA）と効率化フィルター（トップ・アドバンテージ）を備えた高度に調整されたインナーループへと簡略化されることを強調している。また、彼らのトランスフォーマーのアテンションヘッドが、相手の一般的な位置に関する一貫した事後信念を学習しているように見えることは、不完全情報に関するエージェントの内部的な推論を垣間見せるものであると述べている。