Superhuman AI for Generals.io Using Self-Play Reinforcement Learning

Resumo Técnico: IA Superumana para Generals.io Usando Aprendizado por Reforço via Self-Play

Definição do Problema
O artigo aborda o desafio de criar um agente de IA superumano para o Generals.io, um jogo de estratégia em tempo real (RTS) caracterizado por forte informação imperfeita (névoa de guerra), movimentos simultâneos e a necessidade tanto de planejamento de longo horizonte quanto de táticas de curto prazo. Diferente de jogos RTS complexos como StarCraft II ou Dota 2, que exigem recursos computacionais massivos e frequentemente dependem de recompensas densas ajustadas manualmente ou de uma gestão de população de loop externo complexa (ex: sistemas de ligas), o Generals.io apresenta um ambiente "leve", porém estrategicamente rico. A questão central de pesquisa é se um pipeline de treinamento simplificado — especificamente um único loop interno bem ajustado usando gradientes de política com recompensas esparsas de vitória/derrota — pode alcançar desempenho superumano sem a necessidade de clonagem de comportamento, modelagem de recompensa (reward shaping) ou mecanismos complexos de loop externo.

Metodologia
Os autores propõem um pipeline de treinamento centrado em Otimização de Política Próxima (PPO) com self-play, suportado por um ambiente de simulação de alto desempenho.

1. Simulador Nativo em JAX: Um principal facilitador deste trabalho é um simulador customizado construído em JAX. Ao expressar todo o pipeline (observações, recompensas, máscara de névoa de guerra, resolução de combate) como funções puras sobre um PyTree plano, os autores alcançaram a compilação end-to-end via JIT. Isso permite que a simulação rode em uma única GPU NVIDIA H200 a velocidades atingindo 50,7 milhões de frames por segundo (com 32.768 ambientes paralelos), representando um aumento de aproximadamente 10.000× em relação às bases anteriores baseadas em CPU.
2. Arquitetura do Agente: O agente utiliza uma política de Vision Transformer.
   • Entrada: O tensor de observação ($38 \times H \times W$) é dividido em patches espaciais de $3 \times 3$. Adicionalmente, dois tokens não espaciais codificam estatísticas temporais globais (janelas deslizantes do total de exército e contagem de terras do oponente) para ajudar a inferir informações ocultas por trás da névoa de guerra.
   • Saída: Uma cabeça de política produz uma distribuição sobre 9 ações por célula (passar ou mover todo/metade das unidades em 4 direções cardinais).
3. Objetivo de Treinamento: O agente é treinado de ponta a ponta usando PPO com uma recompensa terminal esparsa ($+1$ para vitória, $-1$ para derrota). O objetivo inclui um bônus de entropia para evitar o colapso estratégico prematuro, mas evita explicitamente a modelagem de recompensa baseada em potencial ou a clonagem de comportamento.
4. Principais Técnicas de Treinamento:
   • Currículo de Distância de Spawn: O treinamento começa com generais posicionados próximos (4 células de distância) para garantir finais de jogo frequentes e sinais aprendíveis, aumentando gradualmente a distância para a escala total do jogo (17+ células).
   • Média Móvel Exponencial de Parâmetros (EMA): Em vez de implantar a última iteração dos parâmetros da política, o agente utiliza uma EMA ($\bar{\theta}_t = \tau \bar{\theta}_{t-1} + (1-\tau)\theta_t$) durante a inferência, o que supera consistentemente a última iteração.
   • Filtragem de Top-Advantage: O loop de treinamento filtra as transições coletadas, retendo apenas os 25% superiores de amostras classificadas pelo valor de vantagem previsto pelo crítico. Isso melhora tanto o tempo de execução (wall-clock time) quanto a eficiência de amostragem.

Principais Contribuições

1. Ambiente JAX: O lançamento de um ambiente de Generals.io vetorizado e nativo em JAX, suportando modos 1v1, 2v2 e free-for-all, com uma interface compartilhada, permitindo pesquisa de alto rendimento multi-agente.
2. Agente Superumano: Uma política de transformer única treinada puramente via self-play com recompensas esparsas que alcança o #1 no leaderboard público 1v1 (mais de 5.000 jogadores humanos).
3. Estudo de Ablação: Uma isolação sistemática dos componentes de treinamento demonstrando que:
   • Modelagem de Recompensa é Desnecessária: Com alto rendimento, recompensas esparsas de vitória/derrota são suficientes, enquanto a modelagem de recompensa pode desestabilizar o treinamento tardio.
   • EMA é Crítico: A EMA dos parâmetros é uma política de implantação consistentemente mais forte do que a última iteração.
   • Eficiência de Filtragem: A filtragem de top-advantage aumenta significativamente a eficiência.
   • Robustez: O método é robusto a variações nos cronogramas de taxa de aprendizado e coeficiente de entropia, sugerindo que cronogramas de amortecimento (annealing) específicos são menos críticos do que o intervalo geral.

Resultados
O agente, nomeado "Average Joe", foi treinado por quatro dias em 4 GPUs NVIDIA H200.

• Desempenho no Leaderboard: Alcançou um rating de 118 pontos OpenSkill, liderando o segundo humano classificado (101 pontos) por uma margem igual à diferença entre o melhor humano e o 25º colocado.
• Registros Face a Face:
  • Contra o melhor humano classificado (shimatetsu): 27–12 (69,2% de taxa de vitória).
  • Contra o segundo melhor humano (Mithraaaa): 172–58 (74,8% de taxa de vitória).
  • Contra o mais forte bot não-aprendiz anterior (Human.exe) e o anterior estado da arte em bots de aprendizado (zero v3): 100% de taxa de vitória (20–0 contra cada um).
• Significância Estatística: O registro combinado de 199–70 contra os melhores humanos é estatisticamente significativo ($p < 0,001$) contra uma moeda justa.

Significância e Alegações
O artigo afirma demonstrar que, para um jogo RTS de grande escala com informação imperfeita, um loop genérico de gradiente de política é suficiente para alcançar desempenho superumano sem a necessidade de:

• Gestão complexa de população de loop externo (ex: ligas, double-oracle).
• Clonagem de comportamento a partir de dados humanos.
• Modelagem de recompensa densa e ajustada manualmente.

Os autores destacam que, uma vez removido o gargalo de dados através de um simulador rápido, a "receita" para o sucesso simplifica-se para um loop interno bem ajustado com estabilizadores específicos (EMA) e filtros de eficiência (top-advantage). O trabalho serve como um ponto de referência para a escalabilidade de métodos de gradiente de política em sistemas multi-agente, sugerindo que a complexidade de loops externos pode ser menos essencial do que se pensava anteriormente para certas classes de jogos. Os autores também observam que a cabeça de atenção específica em seu transformer parece aprender uma crença posterior coerente sobre a localização geral do oponente, oferecendo um vislumbre do raciocínio interno do agente em relação à informação imperfeita.