RTSGameBench: An RTS Benchmark for Strategic Reasoning by Vision-Language Models

Resumo Técnico: RTSGameBench

Declaração do Problema

Os modelos de Visão-Linguagem (VLMs) modernos demonstraram sucesso em diversas tarefas, mas têm dificuldade com o raciocínio estratégico, definido como a capacidade de antecipar e influenciar as ações de outros agentes sob incerteza em ambientes competitivos e cooperativos. Embora os jogos de Estratégia em Tempo Real (RTS) sejam um campo de teste natural para essa capacidade devido às suas exigências de planejamento de longo horizonte, observabilidade parcial e coordenação multiagente, os benchmarks existentes sofrem de três limitações críticas:

1. Escopo de Avaliação Limitado: A maioria dos benchmarks (por exemplo, baseados em StarCraft II) foca primariamente em cenários 1v1, negligenciando a dinâmica cooperativa e multiagente essencial para o raciocínio estratégico.
2. Falta de Diagnóstico Sistemático: Avaliações de jogo completo frequentemente confundem competências estratégicas distintas, tornando difícil atribuir o sucesso ou fracasso a capacidades específicas (ex: gestão de recursos vs. modelagem de oponente).
3. Cobertura de Cenários Fixos: Os benchmarks existentes dependem de cenários estáticos e pré-projetados, impedindo a avaliação da generalização e limitando a capacidade de expandir a cobertura diagnóstica sob demanda.

Além disso, operar em ambientes RTS de grande escala apresenta um desafio técnico para os VLMs: o enorme número de unidades e as longas durações de jogo exigem coordenação escalável e coerência sustentada, o que as interfaces padrão de controle por unidade não conseguem gerenciar eficientemente.

Metodologia

Os autores propõem o RTSGameBench, um benchmark abrangente e uma plataforma de avaliação construída sobre o Beyond All Reason (BAR), um jogo RTS de código aberto e grande escala. O BAR oferece uma escala significativamente expandida em comparação ao StarCraft II, suportando até 100 jogadores, 554 unidades únicas e um limite de unidades por jogador de 2.000, ampliando assim o espaço estratégico e exigindo planejamento de longo horizonte.

A metodologia integra três componentes principais:

1. Avaliação de Jogo Completo

O benchmark avalia agentes através de diversas estruturas de confronto para expor demandas estratégicas distintas:

• Duelo (1v1): Testa a tomada de decisão individual.
• Equipe Simétrica (2v2, 3v3): Introduz a coordenação aliada.
• Equipe Assimétrica (3v4): Exige coordenação sob desvantagem numérica.
• Free-for-All (1v1v1v1): Requer a priorização de ameaças multipolares.

2. Mini-jogos Diagnósticos

Para permitir uma avaliação granular, os autores introduzem cinco mini-jogos, cada um visando uma competência estratégica específica identificada em taxonomias anteriores de IA para RTS:

• Gestão de Recursos (TCP): Produção com restrição de tempo sob ataques inimigos.
• Raciocínio Espacial e Temporal (MFD): Defender múltiplos objetivos contra ataques escalonados com forças fixas.
• Modelagem de Oponente (FS-F): Skirmish de todos contra todos que exige a previsão dos alvos do oponente.
• Colaboração (FS-T): Skirmish baseado em equipe que exige coordenação sem comunicação explícita.
• Planejamento Adversário (SP): Romper uma fortificação estática dentro de um limite de tempo.
• Nota: A névoa de guerra (fog-of-war) é aplicada seletivamente dependendo se a observabilidade parcial é integrante da competência específica sendo testada.

3. Estrutura de Geração de Jogos Autoevolutiva

Para abordar a limitação de cenários fixos, os autores propõem uma estrutura que converte consultas de usuários em linguagem livre em novos mini-jogos diagnósticos. Este pipeline utiliza agentes especializados baseados em VLM (Gerente de Projeto, Designer, Desenvolvedor, Analista) para orquestrar o planejamento de cenários, geração de Documento de Design de Jogo (GDD), construção de conjunto de regras e implementação. A estrutura emprega um mecanismo de autoevolução onde um banco de dados de conhecimento compartilhado armazena artefatos validados, e um Gerente de Projeto realiza análises retrospectivas para refinar as rubricas de avaliação, permitindo que o benchmark melhore e se expanda ao longo de ciclos sucessivos.

4. RTSGameAgent (Agente de Linha de Base)

Para tornar o RTS de grande escala tratável para VLMs, os autores projetam o RTSGameAgent, um agente de linha de base que combina:

• Gestão de Grupo baseada em FSM: Substitui comandos de movimento por unidade por atribuições de nível de grupo (esquadrões) e comandos de Máquina de Estados Finitos (FSM) (mover, mover_força, parar). Isso delega a execução tática (ex: engajar inimigos) ao motor do jogo enquanto o VLM lida com a coordenação estratégica do grupo.
• Memória Agêntica: Um sistema de memória dupla (logs de eventos de curto prazo e resumos de experiência de longo prazo) gerenciado por um LLM para manter o contexto entre os passos de decisão, mitigando a perda de informações entre os passos.

Principais Resultados

Os autores avaliaram múltiplos VLMs de última geração (incluindo GPT-5.2, Gemini-3-Flash, Claude-4.5-Sonnet e vários modelos de código aberto) utilizando o RTSGameAgent.

• Degradação de Desempenho com a Escala: Todos os modelos exibiram uma degradação consistente de desempenho conforme a escala da tarefa aumentava (tamanhos de mapa maiores e contagem de unidades mais alta). Por exemplo, nos modos Free-for-All, os melhores modelos como o Gemini-3-Flash alcançaram um Rank Score de 0,66, mas o desempenho caiu significativamente nos modos de Equipe Assimétrica (WR ~0,20).
• Desafios de Coordenação: Os modelos tiveram dificuldades significativas em cenários que exigiam coordenação estreita. Nos modos de Equipe Simétrica, as taxas de vitória caíram em relação ao 1v1 (ex: Gemini-3-Flash caiu de 0,87 em 1v1 para 0,50 em 2v2). Nos modos de Equipe Assimétrica, mesmo os melhores modelos falharam em manter a coordenação sustentada sob desvantagem numérica.
• Lacunas de Competência: Os mini-jogos diagnósticos revelaram fraquezas específicas. Enquanto alguns modelos se aproximaram do desempenho humano em Gestão de Recursos (TCP), eles mostraram grandes lacunas em Raciocínio Espacial e Temporal (MFD) e Modelagem de Oponente (FS-F). Por exemplo, no MFD, o melhor VLM alcançou uma Eficiência de Dano (DE) de 1,82, muito abaixo da linha de base humana de 3,46.
• Análise de Componentes: Estudos de ablação confirmaram que tanto a gestão de grupo baseada em FSM quanto a memória agêntica são críticas. Remover ambos os componentes fez com que as taxas de vitória em 1v1 despencassem de 0,87 para 0,10. A gestão de grupo foi identificada como o principal gargalo para a escalabilidade.
• Estrutura Autoevolutiva: A estrutura gerou com sucesso mini-jogos jogáveis a partir de consultas em linguagem livre. Ao longo de lotes sucessivos, a estrutura melhorou a jogabilidade e as pontuações de preferência humana, demonstrando que o mecanismo de autoevolução refina efetivamente a qualidade de geração e expande a cobertura.

Significância e Alegações

O artigo afirma que o RTSGameBench fornece o primeiro benchmark holístico, diagnóstico e extensível para avaliar o raciocínio estratégico em VLMs dentro de ambientes RTS de grande escala. Sua significância reside em:

1. Diagnóstico Sistemático: Ao isolar competências estratégicas específicas através de mini-jogos, ele permite que pesquisadores identifiquem modos exatos de falha (ex: má modelagem de oponente vs. má gestão de recursos) em vez de depender apenas de taxas de vitória agregadas.
2. Escalabilidade: Ao alavancar o BAR e a arquitetura RTSGameAgent, ele permite a avaliação de VLMs em ambientes com ordens de magnitude a mais de unidades e complexidade do que os benchmarks anteriores, revelando que os modelos atuais lutam para escalar suas capacidades de raciocínio.
3. Extensibilidade: A estrutura de geração autoevolutiva aborda o problema de saturação de benchmarks fixos, oferecendo um caminho para expandir continuamente a cobertura de avaliação com base nas necessidades dos pesquisadores sem o design manual de cenários.

Os autores concluem que, embora os VLMs mostrem promessa, eles atualmente carecem da robustez necessária para o raciocínio estratégico multiagente complexo, particularmente em cenários que exigem coordenação estreita e planejamento de longo horizonte sob incerteza. O benchmark serve como uma ferramenta rigorosa para acompanhar o progresso neste domínio.