Resumo Técnico: RuleSmith – LLMs Multiagentes para Equilíbrio Automatizado de Jogos

Definição do Problema

Equilibrar jogos de estratégia assimétricos é um desafio persistente no design de jogos e no aprendizado multiagente. Abordagens tradicionais dependem de especialistas humanos que iteram através de ciclos de ajuste manual, ajustes heurísticos e testes de jogabilidade subjetivos. Esse processo é lento, caro e difícil de escalar, particularmente à medida que os jogos modernos apresentam espaços de ação combinatórios, objetivos de longo horizonte e sistemas de regras ricamente parametrizados. Além disso, o problema se estende além do entretenimento para domínios como simulações econômicas, design de políticas e cibersegurança, onde avaliar como pequenas mudanças de parâmetros se propagam através de interações de múltiplas etapas é crítico. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado a capacidade de atuar como simuladores "zero-shot" para sistemas multiagentes, aproveitar o potencial deles para otimizar as regras desses ambientes permanece amplamente inexplorado.

Metodologia

Os autores introduzem o RuleSmith, um framework que automatiza o equilíbrio de jogos acoplando um motor de jogo, autoatendimento (self-play) de LLM multiagente e otimização bayesiana sobre um espaço de regras multidimensional.

1. O Banco de Testes: CivMini

Para validar o framework, os autores construíram o CivMini, um jogo de estratégia assimétrico baseado em turnos, simplificado e parametrizado, inspirado em mecânicas 4X.

• Facções: Duas facções assimétricas, Império (Empire) e Nômades (Nomads).
  • Império: Especialização econômica com unidades distintas de Fazendeiro (coleta de recursos apenas) e Soldado (combate apenas).
  • Nômades: Unidades de Cavalaria versáteis com maior mobilidade que obtêm recursos ao matar unidades inimigas, o que exige um estilo de jogo agressivo.
• Parâmetros: O jogo expõe 1s parâmetros ajustáveis ($\theta$) que regem a economia (recursos iniciais, eficiência de coleta), combate (dano, HP), produção (custos de unidades) e pontuação (pesos para recursos, batalhas, unidades sobreviventes).
• Objetivo: Otimizar $\theta$ para minimizar uma função de perda de equilíbrio $L(\theta) = |w_E - 0.5| + |w_N - 0.5| + 0.5 \cdot w_D$, onde $w_E$ e $w_N$ são taxas de vitória e $w_D$ é a taxa de empate.

2. Autoatendimento (Self-Play) de LLM como Avaliador

O RuleSmith utiliza dois agentes de LLM (um por facção) para jogar o jogo com base em manuais de regras em linguagem natural e estados de jogo estruturados.

• Entrada: Os agentes recebem um índice de turno, resumos das facções, posições inimigas, guias de estratégia e uma lista de ações legais.
• Saída: Os agentes geram um objeto JSON estruturado contendo ações simultâneas para todas as unidades.
• Mecanismos de Confiabilidade:
  • RAG (Geração Aumentada por Recuperação): Um sistema leve recupera regras relevantes do manual de regras com base no contexto do jogo para reduzir alucinações.
  • Saída Estruturada: A imposição de saída JSON com exemplos explícitos reduz erros de parsing e a carga de detecção de movimentos ilegais.
• Avaliação: Para um determinado conjunto de parâmetros $\theta$, $N$ jogos de autoatendimento são executados para estimar as taxas de vitória empíricas e métricas de equilíbrio.

3. Otimização Bayesiana com Amostragem Adaptativa

A busca direta no espaço de regras discreto é intratável devido à explosão combinatória. O RuleSmith emprega Otimização Bayesiana (BO) sobre uma relaxação contínua do espaço de regras.

• Modelo de Substituição (Surrogate Model): Um Processo Gaussiano modela a perda de equilíbrio $L(\theta)$.
• Projeção Discreta: Candidatos contínuos propostos pelo otimizador são deterministicamente projetados para configurações de jogo discretas válidas (por exemplo, arredondando o HP para inteiros).
• Amostragem Adaptativa Baseada em Aquisição: Para lidar com o alto custo computacional e o ruído das avaliações de LLM, o framework aloca dinamicamente o orçamento de avaliação ($N_t$).
  • Candidatos com alto Melhoria Esperada (EI) (pontos promissores) recebem mais jogos ($N_{max}$) para uma avaliação precisa.
  • Candidatos exploratórios com baixo EI recebem menos jogos ($N_{min}$).
  • Esta estratégia concentra recursos em configurações críticas enquanto mantém uma exploração eficiente.

Principais Contribuições

1. Autoatendimento Zero-Shot Executável: Demonstrou que LLMs multiagentes podem realizar autoatendimento zero-shot em um jogo de estratégia assimétrico executável usando apenas manuais de regras em linguagem natural e estados estruturados, produzindo ações legais e verificáveis sem treinamento.
2. Pipeline de Equilíbrio Automatizado: Apresentou um framework geral integrando autoatendimento de LLM multiagente com otimização bayesiana e amostragem adaptativa baseada em aquisição. Este pipeline ajusta automaticamente os parâmetros das regras para alcançar resultados equilibrados, melhorando a eficiência de amostragem ao alocar mais orçamento para candidatos promissores.
3. Validação Empírica Abrangente: Validou o RuleSmith no CivMini através de diferentes tamanhos de modelo (2B e 8B parâmetros) e configurações de facção. O sistema convergiu consistentemente para resultados quase equilibrados (taxas de vitória dentro de $50\% \pm 5\%$) e demonstrou que parâmetros equilibrados são transferíveis entre configurações de avaliação quando as capacidades dos modelos coincidem.

Resultados Experimentais

• Convergência: O RuleSmith convergiu com sucesso para configurações altamente equilibradas, reduzindo as disparidades de taxa de vitória para 0%, mesmo a partir de inicializações intencionalmente desequilibradas.
• Efeitos da Capacidade do Modelo: Experimentos mostraram que aumentar o tamanho do modelo de uma facção desloca a distribuição de vitórias a seu favor. Notavelmente, as lacunas de desempenho foram mais significativas quando um modelo maior era avaliado contra um contraparte menor usando parâmetros otimizados para um modelo menor, destacando a capacidade do agente "mais inteligente" de explorar vantagens estratégicas.
• Estudos de Ablação:
  • Métodos de Otimização: Comparado com Busca Aleatória (Random Search) e Estratégia Evolutiva (1+1), a Otimização Bayesiana do RuleSmith com amostragem adaptativa foi o único método que convergiu consistentemente para taxas de vitória quase iguais (51%|49%). A BO de amostragem fixa e outros baselines falharam em alcançar o equilíbrio.
  • Designs de Jogo: O framework manteve resultados equilibrados através de variações de tamanho de mapa (5×5 a 11×11) e limites de turnos, demonstrando robustez a mudanças de configuração espacial e temporal.
• Interpretabilidade: Os parâmetros descobertos forneceram insights interpretáveis sobre como o escalonamento de vida, eficiência de recursos e tempo de produção determinam conjuntamente a justiça. O sistema encontrou diversas parametrizações que alcançavam o equilíbrio, em vez de convergir para uma única configuração canônica.

Significância e Alegações

O artigo afirma que o RuleSmith representa uma mudança no uso de LLMs, deixando de serem meras ferramentas de teste de jogabilidade para se tornarem mecanismos eficazes de otimização de ambientes multiagentes complexos e regidos por regras. Ao tratar o próprio jogo como um ambiente assimétrico parametrizado e otimizar diretamente o espaço de regras, o framework oferece uma abordagem escalável e interpretável para o equilíbrio.

Os autores postulam que este paradigma tem aplicabilidade ampla além do design de jogos, abrangendo domínios como design de políticas, modelagem econômica, cibersegurança e tomada de decisão médica, onde interações assimétricas regidas por regras são a norma. Eles enfatizam que o framework foi projetado como uma ferramenta de análise offline e de design, destinada a apoiar o design de sistemas regidos por regras de forma mais segura, transparente e sistemática, em vez de servir como um sistema de execução de decisão em tempo real. O trabalho reconhece limitações, observando que o autoatendimento de LLM em ambientes simplificados pode não capturar totalmente o comportamento humano ou fornecer garantias formais sob mudanças de distribuição.