Superhuman AI for Generals.io Using Self-Play Reinforcement Learning

Resumen Técnico: IA Superhumana para Generals.io mediante Aprendizaje por Refuerzo de Auto-juego

Planteamiento del Problema
El artículo aborda el desafío de crear un agente de IA superhumano para Generals.io, un juego de estrategia en tiempo real (RTS) caracterizado por una fuerte información imperfecta (niebla de guerra), movimientos simultáneos y la necesidad de tanto planificación a largo plazo como tácticas a corto plazo. A diferencia de los juegos RTS complejos como StarCraft II o Dota 2, que requieren recursos computacionales masivos y a menudo dependen de un modelado de recompensas denso y ajustado manualmente o de una gestión compleja de poblaciones en el bucle externo (por ejemplo, sistemas de ligas), Generals.io presenta un entorno "ligero" pero estratégicamente rico. La pregunta de investigación central es si un flujo de entrenamiento simplificado —específicamente un único bucle interno bien ajustado utilizando gradientes de política con recompensas dispersas de victoria/derrota— puede alcanzar un rendimiento superhumano sin la necesidad de clonación de comportamiento, modelado de recompensas o mecanismos complejos de bucle externo.

Metodología
Los autores proponen un flujo de entrenamiento centrado en la Optimización de Política Próxima (PPO) con auto-juego, apoyado por un entorno de simulación de alto rendimiento.

1. Simulador Nativo de JAX: Un habilitador principal de este trabajo es un simulador personalizado construido en JAX. Al expresar todo el flujo (observaciones, recompensas, enmascaramiento de la niebla de guerra, resolución de combate) como funciones puras sobre un PyTree plano, los autores lograron la compilación JIT de extremo a extremo. Esto permite que la simulación se ejecute en una sola GPU NVIDIA H200 a velocidades que alcanzan los 50.7 millones de fotogramas por segundo (con 32,768 entornos paralelos), lo que representa una aceleración de aproximadamente 10,000× respecto a las líneas base previas basadas en CPU.
2. Arquitectura del Agente: El agente utiliza una política de Transformer de Visión (Vision Transformer).
   • Entrada: El tensor de observación ($38 \times H \times W$) se divide en parches espaciales de $3 \times 3$. Adicionalmente, dos tokens no espaciales codifican estadísticas temporales globales (ventanas deslizantes del conteo total de ejército y de tierras del oponente) para ayudar a inferir la información oculta detrás de la niebla de guerra.
   • Salida: Una cabeza de política produce una distribución sobre 9 acciones por celda (pasar, o mover todo/la mitad de las unidades en 4 direcciones cardinales).
3. Objetivo de Entrenamiento: El agente se entrena de extremo a extremo usando PPO con una recompensa terminal dispersa ($+1$ por victoria, $-1$ por derrota). El objetivo incluye un bono de entropía para evitar el colapso prematuro de la estrategia, pero evita explícitamente el modelado de recompensas basado en potencial o la clonación de comportamiento.
4. Técnicas Clave de Entrenamiento:
   • Currículo de Distancia de Aparición (Spawn-Distance Curriculum): El entrenamiento comienza con generales colocados cerca entre sí (4 celdas de distancia) para asegurar finales de juego frecuentes y señales aprendibles, aumentando gradualmente la distancia hasta la escala completa del juego (17+ celdas).
   • Promedio Móvil Exponencial de Parámetros (EMA): En lugar de desplegar la última iteración de los parámetros de la política, el agente utiliza un EMA ($\bar{\theta}_t = \tau \bar{\theta}_{t-1} + (1-\tau)\theta_t$) durante la inferencia, lo cual supera consistentemente a la última iteración.
   • Filtrado de Ventaja Superior (Top-Advantage Filtering): El bucle de entrenamiento filtra las transiciones recolectadas, reteniendo solo el 25% superior de las muestras clasificadas por la ventaja predicha del crítico. Esto mejora tanto el tiempo de ejecución como la eficiencia de muestreo.

Contribuciones Clave

1. Entorno JAX: El lanzamiento de un entorno de Generals.io vectorizado y nativo de JAX que soporta modos 1v1, 2v2 y todos contra todos, con una interfaz compartida, permitiendo la investigación de múltiples agentes de alto rendimiento.
2. Agente Superhumano: Una política de transformer única entrenada puramente mediante auto-juego con recompensas dispersas que alcanza el #1 en la tabla de clasificación pública 1v1 (más de 5,000 jugadores humanos).
3. Estudio de Ablación: Un aislamiento sistemático de los componentes de entrenamiento demostrando que:
   • El Modelado de Recompensas es Innecesario: Con un alto rendimiento, las recompensas dispersas de victoria/derrota son suficientes, mientras que el modelado de recompensas puede desestabilizar la etapa final del entrenamiento.
   • El EMA es Crítico: El EMA de los parámetros es una política de despliegue consistentemente más fuerte que la última iteración.
   • Eficiencia de Filtrado: El filtrado de ventaja superior aumenta significamente la eficiencia.
   • Robustez: El método es robusto a las variaciones en los esquemas de tasa de aprendizaje y coeficiente de entropía, sugiriendo que los esquemas de atenuación específicos son menos críticos que el rango general.

Resultados
El agente, llamado "Average Joe", fue entrenado durante cuatro días en 4× GPUs NVIDIA H200.

• Rendimiento en la Tabla de Clasificación: Logró una calificación de 118 puntos OpenSkill, liderando al segundo humano (101 puntos) por un margen igual al de la brecha entre el mejor humano y el 25.º humano clasificado.
• Registros Cara a Cara:
  • Contra el mejor humano (shimatetsu): 27–12 (69.2% de tasa de victoria).
  • Contra el segundo mejor humano (Mithraaaa): 172–58 (74.8% de tasa de victoria).
  • Contra el bot no basado en aprendizaje más fuerte previo (Human.exe) y el anterior estado del arte de bots de aprendizaje (zero v3): 100% de tasa de victoria (20–0 contra cada uno).
• Significancia Estadística: El registro combinado de 199–70 contra humanos de élite es estadísticamente significativo ($p < 0.001$) frente a una moneda justa.

Significancia y Reivindicaciones
El artículo afirma demostrar que, para un juego RTS de información imperfecta a gran escala, un bucle genérico de gradiente de política es suficiente para alcanzar un rendimiento superhumano sin la necesidad de:

• Gestión compleja de poblaciones en el bucle externo (ej. ligas, doble oráculo).
• Clonación de comportamiento a partir de datos humanos.
• Modelado de recompensas denso y ajustado manualmente.

Los autores destacan que una vez que se elimina el cuello de botella de los datos mediante un simulador rápido, la "receta" para el éxito se simplifica a un bucle interno bien ajustado con estabilizadores específicos (EMA) y filtros de eficiencia (top-advantage). El trabajo sirve como punto de referencia para la escalabilidad de los métodos de gradiente de política en sistemas multi-agente, sugiriendo que la complejidad de los bucles externos puede ser menos esencial de lo que se pensaba para ciertas clases de juegos. Los autores también señalan que la cabeza de atención específica en su transformer parece aprender una creencia posterior coherente sobre la ubicación general del oponente, ofreciendo un vistazo al razonamiento interno del agente respecto a la información imperfecta.