Resumo Técnico: Age of LLM

Declaração do Problema

Os benchmarks atuais de Large Language Models (LLM) avaliam predominantemente a competência de turno único em tarefas com observabilidade total e respostas inequívocas (ex: MATH, HumanEval, MMLU). Esses benchmarks falham em avaliar competências exigidas para a tomada de decisão adversária do mundo real: planejamento sob incerteza, raciocínio sobre oponentes ocultos, compromisso temporal e a confiabilidade de saída estruturada ao longo de turnos sequenciais. Além disso, os benchmarks públicos sofrem de contaminação de dados, onde modelos de fronteira treinados em corpora extraídos da web podem ter memorizado itens de benchmark, inflando pontuações sem refletir uma capacidade genuína de raciocínio.

Age of LLM aborda essas lacunas introduzindo um benchmark de 1v1 baseado em turnos, onde dois LLMs competem em uma grade de 13×7 para destruir uma base inimiga. O ambiente é projetado para testar modelos sob três condições específicas:

1. Fog of War (Névoa de Guerra): Observabilidade parcial onde unidades inimigas, recursos e localizações são ocultos até serem explorados.
2. Diplomacia Total: Os modelos podem trocar mensagens de texto livre, propor cessar-fogos, emitir ultimatos ou negociar a paz, sem restrições vinculativas além das regras do jogo.
3. Restrições de Confiabilidade: Cada turno exige a adesão estrita a um esquema JSON. Ações ilegais (ex: agir em células ocultas pela névoa ou referenciar unidades destruídas) são descartadas silenciosamente, desperdiçando uma parte do orçamento de ação do modelo, enquanto JSONs malformados disparam tentativas de reprocessamento (retries).

Metodologia

Design do Jogo

O jogo ocorre em um tabuleiro simétrico de 13×7 dividido por uma barreira de montanha.

• Recursos: Jogadores gerenciam créditos (para unidades/edificações) e urânio (para armas nucleares). Minas devem ser construídas para extrair recursos, que reaparecem após o esgotamento.
• Unidades & Combate: Existe um triângulo tático: Caças (Fighters) neutralizam SAMs, SAMs neutralizam Tanques (Tanks), e Tanques neutralizam Caças. Apenas Tanques podem danificar edificações (HP da Base: 4).
• Condições de Vitória:
  • Nuclear: Lançar uma bomba (requer silo operacional, urânio suficiente e exploração prévia da base inimiga). O lançamento é secreto até a detonação e resolve-se simultaneamente ao final do turno.
  • Militar: Reduzir a base inimiga a 0 HP usando Tanques.
  • Diplomática: Ultimato aceito (rendição) ou paz aceita (empate).
• Prompting: Os modelos recebem um prompt de sistema de "regras quase puras". Ele define as regras e o esquema JSON, mas não fornece conselhos de ordem de construção, estratégias de tempo ou táticas recomendadas. (Nota: Duas frases semente táticas estavam presentes no prompt de coleta de dados, mas foram removidas na versão final; o artigo aponta isso como uma limitação que afeta as estatísticas de exploração e produção de tanques).

Configuração Experimental

• Modelos: 15 modelos de raciocínio foram avaliados (incluindo GPT-5.5, Claude Opus 4.8, Gemini Pro/Flash, DeepSeek V4 Pro, variantes Kimi, etc.) via endpoints compatíveis com OpenAI.
• Configuração: Todos os modelos foram invocados com reasoning_effort=high (roteados de forma diferente entre provedores) e uma temperatura de amostragem de 0.7.
• Corpus: Foram geradas 54 partidas completas. Cada partida utiliza uma semente de mapa aleatória fresca e um oponente aleatório do pool.
• Anti-Contaminação: O código-fonte do motor é privado e os mapas são re-semeados, impedindo a memorização rotineira de estados de tabuleiro ou soluções específicas.
• Limitações: O tamanho da amostra é modesto (3–15 partidas por modelo), os emparelhamentos não são round-robins equilibrados e a troca de lados não foi sistemática. Portanto, os rankings são apresentados como visões descritivas preliminares, não como classificações definitivas de confronto direto.

Resultados Principais

1. Canais de Vitória e Estratégia

• Dominância Nuclear: O ataque nuclear é a estratégia dominante, respondendo por 78% dos resultados no sub-corpus coerente com as regras v0.11+ (85% em todo o corpus).
• Conquista Militar: Rara (11% em v0.11+), mas significativamente mais rápida quando bem-sucedida (média de 12.3 turnos vs. 18.9 para nuclear).
• Diplomacia: Embora prolífica (1.804 mensagens livres, 59 ultimatos, 46 cessar-fogos), os acordos diplomáticos raramente são consumados. Apenas 1 paz foi aceita, 3 cessar-fogos e 3 ultimatos (que resultaram em vitória).
• Assinatura de Lançamento: Em todas as 46 partidas nucleares, o vencedor foi o único lançador, disparando exatamente uma vez. Não houve destruição mútua. O artigo atribui isso à natureza mecânica das regras de lançamento secreto-simultâneo (o perdedor não tinha informação para realizar um contra-lançamento) em vez de uma falha cognitiva de dissuasão.

2. Confiabilidade e Rastreamento de Crenças

• Ações Ilegais: Das 5.258 ações totais, 5,6% foram rejeitadas como ilegais.
• Erros de Névoa/Estado: Aproximadamente 58% das ações ilegais foram causadas por falhas de névoa de guerra ou rastreamento de estado (ex: agir em uma célula fora de visão, referenciar uma unidade destruída). Isso redefine a taxa de ações ilegais como uma medida de rastreamento de crença sob observabilidade parcial, em vez de simples seguimento de instruções.
• Correlação com a Vitória: A taxa de ações ilegais mostra a correlação mais forte (negativa) com a vitória ($r = -0.35$), superando o tempo de deliberação e a contagem de tokens, embora a correlação não seja estatisticamente significativa em $n=15$ após correção.

3. Comunicação Emergente e Decepção

• Bluffing (Blefe): Modelos que estão perdendo praticam blefe em taxas estatisticamente indistinguíveis de modelos vencedores (aprox. 28% das mensagens de fim de jogo de perdedores continham ameaças/exaltações).
• Calma Deceptiva: Modelos ocultam sistematicamente preparações estratégicas. A construção de silos é anunciada em apenas 14% dos casos, comparado a 41% para produção de tanques e 22% para ataques. Por outro outro lado, o próprio lançamento é anunciado 48% das vezes.
• Personas: Surgiram traços estilísticos estáveis, como abridores "corteses" (modelos Gemini) vs. estilos "taticamente concisos" (Claude/Kimi), que tiveram correlação fraca com a habilidade.
• Ausência de GG: Modelos raramente concedem a derrota com elegância; o vocabulário competitivo foi importado, mas a etiqueta de encerramento foi ausente.

4. Leaderboard

• GPT-5.5 foi invicto (7V–0D) com 3.00 pontos por partida (ppm), embora o intervalo de confiança seja amplo.
• Gemini Flash 3.5 e MiniMax M3 formaram um nível intermediário denso.
• Variantes Kimi e Grok 4.3 tiveram desempenho insatisfatório, frequentemente devido a altas taxas de ações ilegais ou instabilidade de API.
• Deliberação vs. Confiabilidade: Alto tempo de deliberação (ex: GPT-5.5) não garantiu a vitória, enquanto modelos com altas taxas de ações ilegais consistentemente perdiam.

Significância e Alegações

O artigo posiciona o Age of LLM não meramente como uma ferramenta de ranking, mas como uma lente para estudar a cognição de LLMs sob incerteza adversária. Suas principais contribuições são:

1. Metodológica: Fornece um conjunto de dados de traços turno a turno (ações + mensagens) que permite aos pesquisadores analisar rastreamento de crença, decepção espontânea e personas cognitivas de uma forma que benchmarks de turno único não conseguem.
2. Confiabilidade como Restrição: Demonstra que, em ambientes sequenciais e parcialmente observáveis, a capacidade de emitir ações legais e em conformidade com as regras (confiabilidade) é uma restrição vinculante que pode ser mais crítica para o sucesso do que o volume bruto de deliberação.
3. Anti-Contaminação: Oferece um framework para benchmarking que mitiga a contaminação de dados através de lógica de motor privada e randomização, reconhecendo o custo de chamadas de API pagas como um trade-off necessário para a validade.
4. Insights Cognitivos: As descobertas sugerem que os LLMs podem desenvolver espontaneamente segurança operacional (ocultar construções de silos) e estratégias de blefe sem instrução explícita, enquanto simultaneamente lutam para manter crenças internas precisas sobre estados ocultos do jogo.

Os autores declaram explicitamente que o ranking atual é uma "visão descritiva preliminar" e não uma contribuição definitiva, chamando para trabalhos futuros com conjuntos de dados maiores, com troca de lados e corpora de regra única para estabilizar essas descobertas.