Superhuman AI for Generals.io Using Self-Play Reinforcement Learning

Sintesi Tecnica: IA Superumana per Generals.io tramite Reinforcement Learning con Self-Play

Problema
Il paper affronta la sfida di creare un agente IA superumano per Generals.io, un gioco di strategia in tempo reale (RTS) caratterizzato da una forte informazione imperfetta (fog of war), mosse simultanee e la necessità di una pianificazione a lungo termine e tattiche a breve termine. A differenza di complessi giochi RTS come StarCraft II o Dota 2, che richiedono enormi risorse computazionali e spesso si affidano a una densa modellazione delle ricompense (reward shaping) calibrata manualmente o a complessi sistemi di gestione della popolazione nell'outer-loop (es. sistemi a leghe), Generals.io presenta un ambiente "leggero" ma strategicamente ricco. La domanda di ricerca centrale è se un pipeline di addestramento semplificato — nello specifico un singolo inner loop ben calibrato utilizzando i gradienti di policy con ricompense sparse di vittoria/sconfitta — possa raggiungere prestazioni superumane senza la necessità di behavior cloning, reward shaping o complessi meccanismi di outer-loop.

Metodologia
Gli autori propongono una pipeline di addestramento centrata su Proximal Policy Optimization (PPO) con self-play, supportata da un ambiente di simulazione ad alte prestazioni.

1. Simulatore Nativo in JAX: Un abilitatore primario di questo lavoro è un simulatore personalizzato scritto in JAX. Esprimendo l'intero pipeline (osservazioni, ricompense, masking della fog-of-war, risoluzione del combattimento) come funzioni pure su un PyTree piatto, gli autori hanno ottenuto la compilazione end-to-end JIT. Ciò consente al simulatore di girare su una singola GPU NVIDIA H200 a velocità che raggiungono i 50,7 milioni di frame al secondo (con 32.768 ambienti paralleli), rappresentando un incremento di circa 10.000× rispetto ai precedenti baseline basati su CPU.
2. Architettura dell'Agente: L'agente utilizza una policy basata su Vision Transformer.
   • Input: Il tensore di osservazione ($38 \times H \times W$) viene suddiviso in patch spaziali $3 \times 3$. Inoltre, due token non spaziali codificano statistiche temporali globali (finestre scorrevoli del totale dell'esercito e del conteggio delle terre dell'avversario) per aiutare a inferire l'informazione nascosta dietro la fog of war.
   • Output: Una testa di policy produce una distribuzione su 9 azioni per cella (pass o movimento di tutto/metà delle unità in 4 direzioni cardinali).
3. Obiettivo di Addestramento: L'agente è addestrato end-to-end usando PPO con una ricompensa terminale sparsa ($+1$ per la vittoria, $-1$ per la sconfitta). L'obiettivo include un bonus di entropia per prevenire il collasso prematuro della strategia, ma evita esplicitamente il reward shaping basato su potenziali o il behavior cloning.
4. Tecniche Chiave di Addestramento:
   • Curriculum di Distanza di Spawn: L'addestramento inizia con i generali posizionati vicini (4 celle di distanza) per garantire conclusioni di gioco frequenti e segnali apprendibili, aumentando gradualmente la distanza fino alla scala completa del gioco (17+ celle).
   • Media Mobile Esponenziale dei Parametri (EMA): Invece di distribuire l'ultima iterazione dei parametri della policy, l'agente utilizza un EMA ($\bar{\theta}_t = \tau \bar{\theta}_{t-1} + (1-\tau)\theta_t$) durante l'inferenza, che supera costantemente l'ultima iterazione.
   • Top-Advantage Filtering: Il ciclo di addestramento filtra le transizioni raccolte, mantenendo solo il top 25% dei campioni classificati in base all'advantage predetto dal critic. Ciò migliora sia il tempo di esecuzione (wall-clock time) che l'efficienza campionaria.

Contributi Chiave

1. Ambiente JAX: Il rilascio di un ambiente Generals.io vettorizzato e nativo in JAX che supporta modalità 1v1, 2v2 e free-for-all con un'interfaccia condivisa, abilitando la ricerca multi-agente ad alto throughput.
2. Agente Superumano: Una singola policy transformer addestrata puramente tramite self-play con ricompense sparse che raggiunge il #1 sulla classifica pubblica 1v1 (oltre 5.000 giocatori umani).
3. Studio di Ablazione: Un isolamento sistematico dei componenti di addestramento che dimostra come:
   • Il Reward Shaping è Inutile: Ad alto throughput, le ricompense sparse di vittoria/sconfitta sono sufficienti, mentre il reward shaping può destabilizzare la fase finale dell'addestramento.
   • L'EMA è Critico: L'EMA dei parametri è una policy di distribuzione costantemente più forte rispetto all'ultima iterazione.
   • Efficienza del Filtraggio: Il top-advantage filtering aumenta significativamente l'efficienza.
   • Robustezza: Il metodo è robusto alle variazioni degli schemi di learning rate e del coefficiente di entropia, suggerendo che gli schemi di annealing specifici sono meno critici rispetto all'intervallo complessivo.

Risultati
L'agente, chiamato "Average Joe", è stato addestrato per quattro giorni su 4× GPU NVIDIA H200.

• Prestazioni in Classifica: Ha raggiunto un rating di 118 punti OpenSkill, superando il secondo classificato umano (101 punti) con un margine pari al divario tra il primo umano e il 25° classificato.
• Record Testa a Testa:
  • Contro il miglior umano classificato (shimatetsu): 27–12 (69,2% di win rate).
  • Contro il secondo miglior umano (Mithraaaa): 172–58 (74,8% di win rate).
  • Contro il più forte bot non-learning precedente (Human.exe) e il precedente stato dell'arte dei bot learning (zero v3): 100% di win rate (20–0 contro ciascuno).
• Significatività Statistica: Il record combinato di 199–70 contro i migliori umani è statisticamente significativo ($p < 0,001$) rispetto a una moneta equa.

Significatività e Rivendicazioni
Il paper sostiene di dimostrare che, per un gioco RTS a informazione imperfetta su larga scala, un generico ciclo di policy-gradient è sufficiente per raggiungere prestazioni superumane senza la necessità di:

• Complessi sistemi di gestione della popolazione nell'outer-loop (es. leghe, double-oracle).
• Behavior cloning da dati umani.
• Reward shaping denso e calibrato manualmente.

Gli autori sottolineano che una volta rimosso il collo di bottiglia dei dati tramite un simulatore veloce, la "ricetta" per il successo si semplifica in un inner loop ben calibrato con specifici stabilizzatori (EMA) e filtri di efficienza (top-advantage). Il lavoro funge da punto di riferimento per la scalabilità dei metodi di policy-gradient nei sistemi multi-agente, suggerendo che la complessità degli outer-loop possa essere meno essenziale di quanto precedentemente ipotizzato per certe classi di giochi. Gli autori notano inoltre che la testa di attenzione specifica del loro transformer sembra apprendere una credenza posteriore coerente sulla posizione generale dell'avversario, offrendo uno sguardo sul ragionamento interno dell'agente riguardo all'informazione imperfetta.