🤖 AI

FootsiesGym: A Fighting Game Benchmark for Two-Player Zero-Sum Imperfect-Information Games

Este artigo apresenta o FootsiesGym, um ambiente de benchmark vetorizado e de código aberto baseado no jogo de luta minimalista Footsies, projetado para facilitar a pesquisa e o treinamento eficientes de algoritmos de aprendizado por reforço para jogos de informação imperfeita de soma zero entre dois jogadores.

Autores originais: Chase McDonald, Nathan Tsang, Wesley N. Kerr

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chase McDonald, Nathan Tsang, Wesley N. Kerr

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer ensinar um robô a ser um lutador mestre. Você tem duas opções ruins para o treinamento:

O Tabuleiro de Xadrez: É simples demais. As regras são claras, os movimentos são curtos e não há o "sentimento" real de uma luta. É como ensinar alguém a nadar fazendo-a caminhar em uma esteira.
As Olimpíadas Reais: É difícil demais. Jogos como Street Fighter ou Dota 2 são tão massivos e complexos que você precisaria de um supercomputador apenas para rodar uma única sessão de prática. É como tentar aprender a nadar pulando no meio de um furacão.

FootsiesGym é a solução "Goldilocks" (o ponto ideal). É um campo de treinamento novo e de código aberto construído sobre um jogo de luta minúsculo e simplificado chamado Footsies. É simples o suficiente para rodar em um computador normal, mas complexo o suficiente para ensinar ao robô a psicologia profunda e astuta do combate.

Aqui está como o artigo detalha isso, usando algumas metáforas cotidianas:

1. O Jogo: Um jogo de "Pedra, Papel e Tesoura" com um toque especial

Em um jogo de luta real, existem combos longos e movimentos exuberantes. Em Footsies, eles removeram tudo isso para focar no Neutral Game (Jogo Neutro).

Pense no Jogo Neutro como o momento em que dois boxeadores circulam um ao outro, esperando por uma abertura. É um jogo constante de Pedra, Papel e Tesoura:

Se você atacar, eu posso bloquear.
Se eu bloquear, você pode se aproximar.
Se eu me aproximar, você pode esquivar.

Não existe um único "melhor movimento". Se você sempre socar, será bloqueado. Se sempre correr, será atingido. Você tem que misturar seus movimentos aleatoriamente, como um jogador de pôquer blefando, para que seu oponente não possa te prever. Isso é chamado de uma estratégia "não-transitiva" (onde A vence B, B vence C, mas C vence A).

2. A Academia de Treinamento: Um Simulador de Alta Velocidade

Os pesquisadores construíram um "simulador vetorizado". Imagine que um videogame comum é como uma única pessoa correndo em uma esteira. O FootsiesGym é como uma academia enorme com 128 esteiras rodando ao mesmo tempo, todas controladas por um único cérebro.

Velocidade: Ele roda tão rápido que um computador padrão pode simular 52.500 etapas de jogo por segundo. Isso é como jogar um milhão de partidas no tempo que se leva para beber uma xícara de café.
O Fator "Cego": Assim como na vida real, você não consegue ver os pensamentos do seu oponente. A IA vê apenas o que está na tela, não o que o outro jogador está planejando. Isso torna o teste de previsão real, não apenas de reação.

3. O Problema do "Movimento Secreto"

Uma das descobertas mais interessantes do artigo é sobre um "Ataque Especial". Neste jogo, você pode carregar um movimento poderoso segurando um botão por um tempo específico (60 frames).

A Analogia: Imagine tentar ensinar um cachorro a latir sob comando. Se você apenas jogar petiscos aleatoriamente, o cachorro pode até latir por acaso uma vez, mas não entenderá o padrão.
O Resultado: Os pesquisadores descobriram que os métodos padrão de treinamento de IA eram terríveis em descobrir esse movimento especial. Como o movimento exige uma sequência muito específica de ações (segurar por 60 frames, depois soltar), a exploração aleatória é como procurar uma agulha em um palheiro. A IA ignorou o movimento na maior parte do tempo, mantendo-se nos socos e bloqueios simples. Isso mostra que, mesmo em um jogo "simples", algumas estratégias inteligentes são difíceis demais para serem encontradas pela IA padrão por conta própria.

4. Os Resultados: Inteligentes, mas Entediantes?

Os pesquisadores testaram vários algoritmos de IA para ver quem aprendia melhor.

Os Vencedores: As IAs ficaram muito boas em vencer oponentes "bobos" (como um robô que apenas fica parado). Elas aprenderam a vencer cerca de 90% das vezes.
O Problema: À medida que as IAs ficavam mais espertas, elas se tornavam excessivamente cautelosas. Elas aprenderam que a maneira mais segura de vencer era apenas esperar e reagir, em vez de assumir riscos ou usar os movimentos especiais legais. Elas se tornaram lutadoras "entediantes" que nunca iniciavam um ataque.
A Lição: Ser o "melhor" em vencer nem sempre significa ser o oponente mais divertido ou envolvente. O artigo sugere que precisamos de novas formas de ensinar a IA a ser não apenas forte, mas também proativa e interessante.

Por que isso importa

O artigo argumenta que o FootsiesGym é um "laboratório de testes" perfeito para pesquisadores. É rápido o suficiente para rodar milhares de experimentos, mas complexo o suficiente para nos mostrar onde os métodos atuais de IA falham (como descobrir estratégias ocultas ou equilibrar agressividade com defesa). Ele faz a ponte entre enigmas matemáticos simples e a realidade caótica dos videogames reais.

Em resumo: O FootsiesGym é uma arena de luta minúscula, rápida e de código aberto, projetada para nos ajudar a entender como ensinar a IA a pensar como um lutador humano, e não apenas como um robô que segue um roteiro.

Resumo Técnico: FootsiesGym

Definição do Problema

O progresso no aprendizado por reforço (RL) multiagente e de teoria dos jogos é atualmente dificultado pela falta de benchmarks que equilibrem complexidade estrutural com tratabilidade computacional. Os ambientes existentes tendem a cair em dois extremos:

Benchmarks teóricos de pequena escala (ex: Kuhn Poker, Goofspiel): Estes capturam estruturas de estratégias mistas e cíclicas e permitem cálculos exatos de explorabilidade, mas carecem dos longos horizontes, dinâmicas espaciais e requisitos de exploração de jogos mais ricos.
Ambientes de tempo real de grande escala (ex: StarCraft II, Dota 2): Estes possuem complexidade profunda e longos horizontos temporais, mas exigem recursos computacionais e tempo substanciais para treinamento, dificultando a iteração rápida e a análise.

Jogos de luta representam um potencial "meio termo" devido à sua natureza espacial e de tempo real, além da dependência de interações estratégicas não transitivas (frequentemente descritas como uma dinâmica de "pedra-papel-tesoura"). No entanto, os jogos de luta padrão introduzem uma complexidade excessiva, como sequências longas de combos, que deslocam o foco estratégico do jogo neutro cíclico para competições de execução transitiva. Há uma necessidade de um ambiente que isole o jogo neutro — a fase em que nenhum jogador tem vantagem e ocorre a manobra estratégica — mantendo-se simples o suficiente para uma análise eficiente e treinamento em hardware padrão.

Metodologia

Os autores introduzem o FootsiesGym, um ambiente de código aberto construído sobre o jogo de luta 2D minimalista de HiFight, Footsies. O ambiente foi projetado para isolar as interações estratégicas cíclicas e não transitivas do jogo neutro de jogos de luta.

Design do Ambiente

Mecânicas Principres: O jogo remove barras de vida e combos. Uma rodada é perdida apenas quando um jogador é atingido por um ataque especial. Os jogadores podem bloquear até três vezes antes de sofrer um "guard break" (quebra de guarda).
Espaço de Ação: O espaço de ação padrão tem tamanho $|A|=6$ (NENHUM, TRÁS, FRENTE, ATACAR, TRÁS+ATACAR, FRENTE+ATACAR). Um modo de "carga especial" expande isso para $|A|=9$ ao adicionar ações discretas para alternar o estado de carga necessário para movimentos especiais, abordando a dificuldade de descobrir esses movimentos através de exploração aleatória.
Observações: Os agentes recebem uma observação vetorizada de 85 dimensões (ou 88 dimensões com carga especial) descrevendo o estado de ambos os jogadores. Crucialmente, os agentes observam características próprias privilegiadas (ex: disponibilidade de dash, progresso de carga) que não são expostas ao oponente, espelhando a assimetria de informação.
Recompensas: O jogo é soma zero ( $r_i = -r_{-i}$ ). Uma vitória/derrota terminal gera uma recompensa de $\pm 10$ ; tempos esgotados (timeouts) geram 0. Recompensas densas são opcionais.
Atraso de Ação (Action Delay): O ambiente suporta atrasos de ação configuráveis (frames entre a seleção e a execução). Este parâmetro controla o equilíbrio entre o jogo reativo (baixo atraso) e o jogo preditivo (alto atraso), evitando estratégias puramente reativas degeneradas.

Implementação

O FootsiesGym utiliza um simulador vetorizado construído em C# dentro do motor Unity, desacoplado do loop de renderização para treinamento em modo headless.

Vetorização: Um único processo headless executa $K$ instâncias de jogo independentes em paralelo, expostas via porta gRPC.
Throughput: Em uma estação de trabalho padrão de 24 núcleos, o sistema atinge até ~52.500 passos de ambiente por segundo (com 4 processos simultâneos e 128 ambientes in-process), permitindo um treinamento de alto rendimento acessível em hardware padrão.
API: Clientes Python interagem via API PettingZoo.

Baselines Experimentais

Os autores treinaram diversos algoritmos para testar o ambiente, observando que estes são ajustes ingênuos e não implementações definitivas:

PPO (Proximal Policy Optimization): Duas variantes foram testadas — uma com um coeficiente de entropia fixo e outra com um cronograma de amortecimento (PPO Sched.).
EMAgnet: Um método de gradiente de política que regulariza em direção a uma média móvel exponencial de seus próprios pesos.
PFSP (Prioritized Fictitious Self-Play): Uma abordagem baseada em população que mantém um reservatório de checkpoints passados e amostra preferencialmente oponentes contra os quais a política atual perde.

Todos os agentes utilizaram um MLP de 2 camadas sobre o espaço de observação e foram treinados por $2,5 \times 10^7$ passos através de cinco sementes aleatórias.

Resultados Principais

Desempenho Contra Heurísticas

Contra oponentes de escolha uniforme-aleatória e "no-op" (não atacantes), todas as políticas alcançaram taxas de vitória de 85–95%. No entanto, conforme as políticas melhoravam, tornavam-se cada vez mais reativas, raramente iniciando o combate contra oponentes estacionários. Isso sugere um potencial desalinhamento entre maximizar taxas de vitória e criar um comportamento de IA envolvente.

Explorabilidade Aproximada

Como a explorabilidade exata é intratável, os autores treinaram respostas ótimas aproximadas (usando PPO) contra os checkpoints fixos das políticas de base.

O PFSP demonstrou a maior robustez, alcançando um retorno positivo contra todos os outros algoritmos e a menor taxa de perda contra respostas ótimas (best responses).
O EMAgnet mostrou um descompasso: alcançou retornos positivos em confrontos diretos contra variantes de PPO, mas foi o mais consistentemente explorado por respostas ótimas dedicadas.
Variantes de PPO: Desempenharam-se aproximadamente de forma equivalente entre si em termos de explorabilidade.

Descoberta de Ataques Especiais

Uma descoberta crítica foi a dificuldade de descobrir ataques especiais através de exploração aleatória. Na configuração padrão, executar um ataque especial direcional requer uma sequência específica de 15 passos consecutivos, uma sequência com uma probabilidade de $\approx 0,001\%$ sob uma política de escolha uniforme aleatória.

Em todos os algoritmos, o uso médio de ataques especiais permaneceu próximo de zero durante todo o treinamento.
A política PPO de entropia fixa aprendeu brevemente o movimento antes de abandoná-lo, sugerindo que a regularização de alta entropia (frequentemente benéfica em benchmarks pequenos) pode impedir a descoberta de estratégias complexas e de alto valor neste ambiente.

Significância e Contribuições

O artigo posiciona o FootsiesGym como um meio termo produtivo para pesquisa em RL multiagente e teoria dos jogos. Sua significância reside em várias áreas:

Isolamento do Jogo Neutro: Ao remover combos e barras de vida, o ambiente isola as dinâmicas cíclicas e de estratégia mista inerentes ao jogo neutro de luta, tornando-o adequado para estudar interações não transitivas.
Acessibilidade e Reprodutibilidade: Diferente de plataformas que envolvem jogos proprietários (ex: FightingICE, DIAMNA), o FootsiesGym é totalmente de código aberto com um simulador vetorizado, permitindo treinamento de alto rendimento em estações de trabalho padrão sem fricção de licenciamento.
Novas Direções de Pesquisa:
- Treinamento de Teoria dos Jogos: O ambiente serve como um banco de testes para treinamento baseado em população (PSRO, PFSP) e métodos de regularização, desafiando-os especificamente a reter estratégias valiosas, porém difíceis de descobrir (como ataques especiais) que a regularização padrão poderia suprimir.
- Estilo de Jogo vs. Habilidade: Os resultados destacam uma lacuna entre habilidade bruta (minimização de explorabilidade) e jogo "envolvente". Políticas que maximizam taxas de vitória podem tornar-se excessivamente passivas, falhando em utilizar mecânicas centrais ou em engajar oponentes proativamente.
- Explorabilidade Aproximada: O ambiente oferece uma complexidade equilibrada para testar métodos aproximados (como treinamento de resposta ótima), onde o cálculo exato é impossível, mas a escala é gerenciável.
- Avaliação Humana: A capacidade de exportar para WebGL facilita experimentos de humano-contra-IA e coleta de dados de aprendizado por imitação para avaliar se o comportamento da IA é percebido como divertido ou envolvente.

Os autores concluem que, embora o FootsiesGym seja mais complexo que benchmarks de pequena escala e menos complexo que lutadores comerciais, ele fornece uma plataforma única e eficiente em recursos para abordar questões abertas sobre descoberta de estratégia, o equilíbrio entre habilidade e engajamento, e a escalabilidade da estimativa de explorabilidade.