技術要約: FootsiesGym

問題提起

マルチエージェントおよびゲーム理論的強化学習（RL）の進展は、構造的な複雑さと計算量的な扱いやすさのバランスが取れたベンチマークの欠如によって阻まれている。既存の環境は、以下の2つの極端な傾向にある：

1. 小規模な理論的ベンチマーク（例：クーン・ポーカー、グーフスピーエル）：これらは循環的かつ混合戦略的な構造を捉え、正確な搾取性（exploitability）の計算を可能にするが、豊かなゲームに見られる長いホライゾン、空間的ダイナミクス、および探索要件を欠いている。
2. 大規模なリアルタイム環境（例：StarCraft II、Dota 2）：これらは深い複雑性と長いホライゾンを持つが、膨大な計算リソースと時間を必要とするため、迅速な反復試行や分析を困難にしている。

格闘ゲームは、そのリアルタイムかつ空間的な性質と、非推移的な戦略的相互作用（しばしば「三すくみ」のダイナミクスとして記述される）への依存性から、潜在的な「中間領域」を提示している。しかし、標準的な格闘ゲームは、長いコンボシーケンスなどの過剰な複雑さを導入しており、それによって戦略の焦点が、循環的なニュートラル・プレイから、推移的な実行能力の競い合いへとシフトしてしまう。本研究では、ニュートラル・プレイ（どちらのプレイヤーも優位性を持たず、戦略的な駆け引きが行われるフェーズ）を分離しつつ、標準的なハードウェアでの効率的な分析と学習が可能なほど単純化された環境が必要とされている。

メソドロジー

著者らは、HiFightによるミニマリストな2D格闘ゲーム『Footsies』に基づいたオープンソース環境であるFootsiesGymを導入する。この環境は、格闘ゲームのニュートラル・プレイにおける循環的かつ非推移的な戦略的相互作用を抽出するように設計されている。

環境設計

• コアメカニクス: ゲームからは体力ゲージとコンボが削除されている。ラウンドは、プレイヤーがスペシャルアタックを受けた場合にのみ失われる。プレイヤーは、ガードブレイク（ガード崩し）を受ける前に最大3回までブロックできる。
• 行動空間: デフォルトの行動空間のサイズは $|A|=6$（NONE, BACK, FORWARD, ATTACK, BACK+ATTACK, FORWARD+ATTACK）である。「スペシャルチャージ」モードでは、スペシャルムーブに必要なチャージ状態を切り替えるための離散的なアクションが追加され、行動空間が $|A|=9$ に拡張される。これは、ランダムな探索を通じてこれらの技を発見することの難しさを解決するためである。
• 観測: エージェントは、両プレイヤーの状態を記述する85次元（スペシャルチャージ使用時は88次元）のベクトル化された観測値を受け取る。決定的なのは、相手には公開されない特権的な自己特徴（例：ダッシュの可用性、チャージの進行状況）をエージェントが観測することであり、これにより情報の非対称性を再現している。
• 報酬: ゲームはゼロサムである（$r_i = -r_{-i}$）。終了時の勝敗には $\pm 10$ の報酬が付与される。タイムアウト時は0となる。密な報酬（dense rewards）はオプションである。
• アクション遅延: 環境は、設定可能なアクション遅延（選択から実行までのフレーム数）をサポートしている。このパラメータは、反応的なプレイ（低遅延）と予測的なプレイ（高遅延）のバランスを制御し、純粋に反応的な退化戦略を防ぐ役割を果たす。

実装

FootsiesGymは、Unityエンジン内のC#で構築されたベクトル化されたシミュレータを利用しており、レンダリングループから切り離されたヘッドレスでの学習が可能である。

• ベクトル化: 単一のヘッドレスプロセスが、$K$ 個の独立したゲームインスタンスを並列にステップ実行し、gRPCポートを介して公開される。
• スループット: 標準的な24コアのワークステーションにおいて、システムは最大で約52,500ステップ/秒（4つの同時実行プロセスと128のインプロセス環境を使用）を達成し、標準的なハードウェアでもアクセス可能な高スループットの学習を可能にしている。
• API: PythonクライアントはPettingZoo APIを介して相互作用する。

実験的ベースライン

著者らは、いくつかのアルゴリズムを訓練して環境をベンチマークした。なお、これらはナイーブにチューニングされたものであり、決定的な実装ではないことに注意が必要である：

1. PPO (Proximal Policy Optimization): 固定エントロピー係数を用いたものと、アニーリングスケジュールを用いたものの2つのバリアントをテストした。
2. EMAgnet: 自身の重みの指数移動平均に向かって正則化を行う方策勾配法。
3. PFSP (Prioritized Fictitious Self-Play): 過去のチェックポイントのリザーバーを保持し、現在のポリシーが負けた相手を優先的にサンプリングする集団ベースのアプローチ。

すべてのエージェントは、観測空間に対する2層のMLPを使用し、5つのランダムシードにわたって $2.5 \times 10^7$ ステップの訓練を行った。

主要な結果

ヒューリスティックに対する性能

一様ランダムおよび「ノーオプ（攻撃しない）」の対戦相手に対して、すべてのポリシーは85〜95%の勝率を達成した。しかし、ポリシーが向上するにつれ、エージェントはますます反応的になり、静止している相手に対して攻撃を開始することが稀になった。これは、勝利率を最大化することと、魅力的なAI行動を生み出すことの間に、潜在的な乖離があることを示唆している。

近似的な搾取性

正確な搾取性の計算が困難であるため、著者らはベースライン・ポリシーの固定チェックポイントに対して近似的なベストレスポンス（PPOを使用）を訓練した。

• PFSPは最も高い堅牢性を示し、他のすべてのアルゴリズムに対して正のリターンを達成し、ベストレスポンスに対する損失率が最も低かった。
• EMAgnetは乖離を示した。PPOバリアントに対しては正の対戦リターンを得ていたが、専用のベストレスポンスによって最も一貫して搾取された。
• PPOバリアント: 搾取性の観点からは、互いにほぼ同等の性能を示した。

スペシャルアタックの発見

重要な発見は、ランダムな探索を通じてスペシャルアタックを発見することの難しさであった。標準的な構成では、方向指定のスペシャルアタックを実行するには、15ステップ連続の特定のシーケンスが必要であり、その確率は一様ランダムポリシーの下では $\approx 0.001\%$ である。

• すべてのアルゴリズムにおいて、スペシャルアタックの平均使用率は訓練期間中ほぼゼロのまま推移した。
• 固定エントロピーのPPOポリシーは、一時的にその技を学習したが、その後放棄した。これは、小さなベンチマークでは有益なことが多い高いエントロピー正則化が、この環境においては複雑で価値の高い戦略の発見を妨げる可能性があることを示唆している。

意義と貢献

本論文は、FootsiesGymをマルチエージェントRLおよびゲーム理論における生産的な中間領域として位置づけている。その意義は以下の領域にある：

1. ニュートラル・プレイの隔離: コンボや体力ゲージを排除することで、格闘ゲームのニュートラル・プレイに固有の循環的かつ混合戦略的なダイナミクスを抽出し、非推移的な相互作用の研究に適した環境としている。
2. アクセシビリティと再現性: 独自のゲーム（例：FightingICE、DIAMRA）をラップするプラットフォームとは異なり、FootsiesGymはベクトル化されたシミュレータを備えた完全なオープンソースであり、ライセンスの摩擦なしに標準的なワークステーションでの高スループットな訓練が可能である。
3. 新しい研究方向:
   • ゲーム理論的訓練: この環境は、集団ベースの訓練（PS层面、PFSP）や正則化手法のテストベッドとして機能し、特に標準的な正則化によって抑制されがちな、発見が困難だが価値の高い戦略（スペシャルアタックなど）を保持できるかという課題を突きつける。
   • プレイスタイル vs スキル: 結果は、生のスキル（搾取性の最小化）と「魅力的な」プレイの間のギャップを浮き彫りにしている。勝利率を最大化するポリシーは、過度に受動的になり、核となるメカニクスを利用したり、積極的に相手に仕掛けたりすることを怠る可能性がある。
   • 近似的な搾取性: この環境は、正確な計算が不可能な一方で規模が管理可能な、近似的な手法（ベストレスポンス訓練など）をテストするためのバランスの取れた複雑さを提供する。
   • 人間による評価: WebGLへの書き出し機能により、人間対AIの実験や、AIの挙動が「楽しい」あるいは「魅力的」であるかを評価するための模倣学習データの収集が可能となる。

著者らは、FootsiesGymが小規模なベンチマークよりも複雑であり、かつ商業的な格闘ゲームよりも単純であることから、戦略の発見、スキルとエンゲージメントのトレードオフ、および搾取性推定のスケールアップに関する未解決の問いに取り組むための、ユニークでリソース効率の高いプラットフォームを提供すると結論付けている。