Resumo Técnico: GENSTRAT

Declaração do Problema

Modelos de linguagem grandes (LLMs) estão sendo cada vez mais implantados como agentes econômicos em mercados, leilões e cenários de licitação. No entanto, antecipar seu comportamento em implantações específicas é difícil. Benchmarks existentes de raciocínio estratégico dependem de jogos canônicos fixos (por exemplo, variantes de Poker, Diplomacia, Avalon). Esses benchmarks enfrentam duas limitações primárias:

1. Saturação e Contaminação: À medida que as capacidades dos modelos melhoram, o desempenho em suítes fixas pode saturar. Além disso, a proximidade desses jogos canônicos com os dados de treinamento torna difícil descartar a contaminação do corpus.
2. Generalização Limitada: Reduzir a competência estratégica ao desempenho em um pequeno conjunto de jogos fixos limita a capacidade de um implantador de generalizar para ambientes estratégicos novos e complexos, onde estruturas de informação e variações diferem significativamente do benchmark.

Metodologia

Os autores introduzem o GENSTRAT, um framework de benchmarking baseado em ambientes estratégicos gerados proceduralmente para abordar essas limitações.

1. Geração Procedural de Jogos

O GENSTRAT utiliza um gerador para Jogos de Aposta Generalizados (GBGs), definidos como jogos de forma extensiva de soma zero com dois jogadores e informação imperfeita.

• Estrutura: Os jogos consistem em baralhos, mãos privadas, pilhas de cartas, fases estruturadas (apostas, movimentos simultâneos, leilões, observação) e ramificações condicionais.
• Randomização: O motor randomiza tanto a composição estrutural (grafos de fases) quanto as características superficiais (ranks, naipes, tamanhos de mão, ordens de aposta).
• Controle de Qualidade: Os jogos gerados passam por simulações de Monte Carlo com agentes que jogam aleatoriamente para garantir a jogabilidade. Os critérios de aceitação incluem limites no número médio de movimentos por jogador, taxas de ativação de fases e eliminação de ramificações mortas.
• Pool: De 12.351 sementes candidatas, um pool de 2.000 jogos aceitos foi gerado.

2. Eixos de Complexidade e Construção do Benchmark

Para caracterizar a complexidade do jogo e o desempenho do modelo, os autores definem seis eixos derivados de simulações de Monte Carlo:

1. Espaço de Estados: Logaritmo dos estados de informação observáveis distintos.
2. Profundidade Temporal: A extensão na qual decisões iniciais afetam pagamentos posteriores.
3. Sensibilidade à Informação: Quão fortemente a ação ótima depende da informação privada.
4. Modelagem do Oponente: O grau em que a melhor resposta se desloca com mudanças na política do oponente.
5. Risco: O tradeoff entre valor esperado e risco de desvantagem.
6. Fragilidade (Brittleness): A sensibilidade dos pagamentos a pequenas perturbações na política.

Do pool de 2.000 jogos, um benchmark de 50 jogos foi selecionado usando Amostragem do Ponto Mais Distante (FPS) no espaço de incorporação de seis eixos para garantir uma ampla cobertura do panorama de complexidade.

3. Protocolo de Avaliação

• Modelos: Nove LLMs de fronteira e de peso aberto foram avaliados, incluindo gpt-5-4-high, gemini-3.1-pro-preview, claude-sonnet-4-6-max e outros.
• Design do Torneio: Um torneio frente a frente envolvendo mais de 36.000 partidas. Para cada triplet (Modelo A, Modelo B, Jogo), 40 partidas foram jogadas, com cada modelo ocupando cada assento (Alice/Bob) 20 vezes para controlar a assimetria de assento.
• Estimativa de Força: A força do modelo ($\hat{\alpha}$) é estimada usando um modelo aditivo de comparação pareada em margens de vitória assinadas (fichas por jogo), restringido a somar zero entre os modelos.

4. Métricas Diagnósticas

Além de um único leaderboard, o framework introduz:

• Perfis de Capacidade: Regressões OLS por modelo da força por jogo contra os seis eixos de complexidade. Isso decompõe a força geral em competências estratégicas específicas (por exemplo, desempenho em jogos de alto risco vs. jogos de alta fragilidade).
• Irregularidade Local ($J_m$): Uma medida da suavidade da superfície de desempenho de um modelo. Ela quantifica o quanto a margem de vitória de um modelo flutua entre jogos estrategicamente semelhantes (vizinhos mais próximos no espaço de eixos). Alta irregularidade indica desempenho imprevisível em jogos ligeiramente diferentes do benchmark.

Principais Resultados

• Leaderboard Geral: Modelos mais novos, maiores e com capacidade de raciocínio geralmente obtiveram pontuações mais altas. Os três principais modelos foram gpt-5-4-high (+0,85 fichas/jogo), gemini-3.1-pro-preview (+0,83) e claude-sonnet-4-6-max (+0,64). A classificação foi estável em divisões leave-one-game-out e por tercis de complexidade.
• Perfis de Capacidade Divergentes: Modelos com força geral quase idêntica exibiram perfis qualitativamente diferentes:
  • gemini-3.1-pro-preview ganhou terreno no conjunto mais amplo de eixos, incluindo espaço de estados e modelagem do oponente.
  • claude-sonnet-4-6-max derivou a maior parte de sua vantagem especificamente da fragilidade, mostrando uma inclinação íngreme em jogos de alta fragilidade, mas desempenho mais plano em outros lugares.
  • gpt-5-4-high mostrou desempenho forte em espaço de estados e sensibilidade à informação, mas foi notavelmente localmente irregular (alta $J_m$), sugerindo volatilidade em contextos de jogo semelhantes.
• Descobertas sobre Irregularidade: llama-3.3-70b-together foi o modelo mais localmente irregular (menor suavidade), enquanto deepseek-v3.1-together foi o mais suave. Alta irregularidade foi observada mesmo em modelos de ponta, indicando que a força média não garante desempenho consistente através da distribuição procedural.
• Ablação de Raciocínio: O aumento do orçamento de raciocínio (modo de pensamento) produziu estimativas pontuais positivas para retornos de margem de fichas em todas as quatro famílias de modelos testadas (gpt-5, claude, gemini-3.1-pro, gemini-2.5-pro). Duas famílias mostraram ganhos estatisticamente significativos, enquanto as outras foram subdimensionadas pelo tamanho da amostra, em vez de mostrar efeitos nulos.

Significância e Alegações

O artigo argumenta que o ranking geral sozinho é insuficiente para decisões de implantação. A capacidade estratégica de um modelo é melhor entendida como um perfil completo de desempenho em diferentes regiões do espaço de jogos procedurais, combinado com seu nível de suavidade local (irregularidade).

• Relevância para Implantação: O perfil de capacidade e a medida de irregularidade fornecem um diagnóstico que o ranking geral não pode. Por exemplo, um modelo com alta força geral, mas alta irregularidade, pode ser menos confiável em um ambiente de implantação que reside logo fora da distribuição do benchmark.
• Avaliação Perene: Como o gerador pode extrair jogos frescos sob demanda da mesma distribuição, o benchmark resiste à saturação e contaminação. Ele pode escalar com a fronteira de modelos ao relaxar os limites de complexidade.
• Generalização: O framework vai além de jogos canônicos fixos para avaliar como os modelos generalizam para novos ambientes estratégicos, abordando a "complexidade" das implantações reais de agentes econômicos.

Os autores concluem que o GENSTRAT reformula a avaliação de raciocínio estratégico em torno de uma distribuição gerada proceduralmente e de uma decomposição multi-eixo, permitindo uma compreensão mais matizada das forças, fraquezas e estabilidade dos modelos.