💬 NLP

Reasoning Capabilities of Large Language Models. Lessons Learned from General Game Playing

Este artigo avalia as capacidades de raciocínio de quatro Grandes Modelos de Linguagem em ambientes de Jogos Gerais (GGP), demonstrando que, embora apresentem bom desempenho geral e progressos claros, sofrem degradação à medida que aumenta o horizonte de passos e cometem erros específicos como alucinação de regras e falhas sintáticas.

Autores originais: Maciej Świechowski, Adam Żychowski, Jacek Mańdziuk

Publicado 2026-02-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maciej Świechowski, Adam Żychowski, Jacek Mańdziuk

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🎲 O Grande Teste de Xadrez dos Robôs: O que os "Cérebros" de IA realmente entendem?

Imagine que você tem um grupo de robôs superinteligentes (chamados de Modelos de Linguagem Grandes ou IAs, como o Gemini, o Llama e o GPT). Eles são ótimos em escrever poemas, traduzir textos e conversar como humanos. Mas uma pergunta incomoda os cientistas: Esses robôs realmente "pensam" e entendem regras, ou eles apenas estão chutando palavras bonitas baseadas no que leram na internet?

Para descobrir a verdade, os autores deste artigo (Maciej, Adam e Jacek) decidiram não pedir para os robôs escreverem um poema. Em vez disso, eles os colocaram em uma arena de jogos de tabuleiro.

1. O Cenário: A Sala de Jogos Misteriosa

Pense no experimento como uma sala de jogos onde as regras não são explicadas em português, mas sim em um código secreto (uma linguagem chamada GDL).

O Desafio: Os robôs recebem um manual de regras escrito nesse código e uma situação atual do jogo (ex: "O peão está aqui, o cavalo ali").
A Tarefa: Eles precisam prever o que acontece no próximo turno. "Se eu mover o peão para cá, onde o cavalo vai ficar?"
O Teste: Eles tiveram que fazer isso em 4 níveis de dificuldade:
1. Um passo à frente: "Se eu fizer X, o que acontece?"
2. Descobrir as jogadas: "O que eu posso fazer agora?"
3. Vários passos à frente: "Se eu fizer X, depois Y, depois Z, onde estaremos?"
4. Jogar o jogo todo: Escolher as jogadas e prever o resultado final.

2. A Grande Revelação: Eles são bons, mas não perfeitos

Os resultados foram como um termômetro de inteligência:

Os "Estrelas" (Gemini 2.5 Pro): Eles foram incríveis. Conseguiram seguir as regras do código quase perfeitamente em jogos simples e de um passo. É como se eles tivessem lido o manual e entendido a lógica imediatamente.
O Efeito "Cascata": Aqui está o problema. Quando o jogo exigia pensar muitos passos à frente (como um xadrez de 10 lances), os robôs começaram a errar.
- A Analogia: Imagine que você está tentando lembrar uma lista de compras. Se a lista tem 3 itens, você lembra de tudo. Se a lista tem 20 itens e você precisa lembrar a ordem exata, você começa a esquecer o primeiro item para focar no último. Com os robôs, um pequeno erro no passo 1 faz com que o passo 2 esteja errado, o passo 3 desastre, e no final, o jogo inteiro está bagunçado.

3. O Truque do "Disfarce" (O Experimento Secreto)

Os cientistas queriam saber: "Será que o robô está pensando na lógica ou apenas reconhecendo palavras que ele viu antes?"

O Cenário Original: As regras usavam palavras normais como "peão", "tabuleiro", "capturar".
O Cenário Disfarçado: Eles trocaram todas as palavras por códigos sem sentido, como term1, term2 ou até palavras aleatórias como "cadeira" e "floresta" que não tinham nada a ver com o jogo.

O Resultado Surpreendente: Mesmo com as palavras trocadas e sem sentido, os robôs mais inteligentes (como o Gemini Pro) ainda conseguiram jogar bem!

O que isso significa? Isso prova que eles não estavam apenas "decorando" jogos de xadrez da internet. Eles estavam realmente lendo a lógica das regras, como um matemático lendo uma equação, independentemente das palavras usadas. Eles viram a estrutura, não apenas o rótulo.

4. Onde eles falham? (Os "Alucinações")

Mesmo os melhores robôs cometeram erros específicos:

Regras Fantasmas: Às vezes, eles inventavam uma regra que não existia no manual. "Ah, o peão pode voar!" (Mas a regra não dizia isso).
Detalhes Extras: Eles mantinham informações que deveriam ter sumido. Exemplo: Em um jogo de damas, se uma peça é comida, ela some. O robô, às vezes, continuava dizendo que a peça comida ainda estava no tabuleiro.
Confusão de Formato: Às vezes, a lógica estava certa, mas eles escreviam a resposta de um jeito que o computador não entendia (como usar parênteses errados).

5. Conclusão: O que aprendemos?

Este estudo nos dá duas lições importantes:

Progresso Real: As IAs de hoje são muito melhores em raciocínio lógico do que eram há dois anos. Elas conseguem seguir regras complexas e "jogar" jogos novos sem ter treinado especificamente para eles.
Cuidado ao Delegar: Se você pedir para uma IA resolver um problema de lógica simples, ela provavelmente acertará. Mas se você pedir para ela planejar uma sequência longa e complexa (como gerenciar uma cadeia de suprimentos ou um plano de emergência), você precisa verificar o trabalho dela. Elas tendem a cometer pequenos erros que se acumulam e estragam o resultado final.

Resumo em uma frase:
As IAs atuais são como estudantes brilhantes que leem o manual de instruções e entendem a lógica, mas que, quando o problema fica muito longo, começam a se distrair e precisam de um professor (um humano) para checar se não estão inventando regras novas.

Resumo Técnico: Capacidades de Raciocínio de LLMs Aprendidas com Jogos Gerais

1. Problema e Motivação

O artigo investiga a capacidade de modelos de linguagem grandes (LLMs) de realizar raciocínio lógico formal e estruturado em ambientes governados por regras. Embora os LLMs tenham avançado em tarefas de linguagem natural, sua confiabilidade em cenários de raciocínio simbólico estrito (onde a precisão lógica é crítica e não há espaço para ambiguidade) permanece uma questão aberta.

O problema central é determinar até que ponto os LLMs podem simular corretamente a dinâmica de um sistema formal, seguindo regras lógicas para inferir estados futuros e ações válidas, sem depender de conhecimento prévio de domínio ou apenas de correlações linguísticas superficiais. A motivação surge da crescente tendência de delegar tarefas de raciocínio iterativo a LLMs, onde erros podem levar a falhas críticas em sistemas de suporte à decisão.

2. Metodologia

Os autores utilizaram o framework de General Game Playing (GGP) como ambiente experimental. Diferente de benchmarks tradicionais de raciocínio lógico (como ProofWriter ou LogiQA) que frequentemente usam cadeias de raciocínio curtas e linguagem natural, o GGP oferece:

Descrição Formal: Jogos definidos em Game Description Language (GDL), uma linguagem de programação lógica baseada em Datalog/Prolog.
Verdade Terrena (Ground Truth): Um simulador GDL exato que gera a resposta correta, permitindo uma avaliação objetiva e absoluta (não baseada em comparação relativa).
Diversidade: Um conjunto de 35 jogos selecionados de um repositório público de 86 jogos, cobrindo diferentes complexidades estruturais.

Tarefas Experimentais:
Foram definidas quatro tarefas de complexidade crescente:

Geração do Próximo Estado: Dado um estado atual e uma jogada conjunta, prever o estado resultante.
Geração de Ações Legais: Enumerar todas as ações permitidas para os jogadores no estado atual.
Geração de Estado Multietapa: Simular uma sequência de $n$ jogadas a partir do estado inicial.
Geração de Ação-Estado Multietapa: Gerar uma sequência válida de $n$ jogadas legais e o estado final resultante.

Modelos Avaliados:
Quatro modelos de ponta foram testados:

Proprietários: Gemini 2.5 Pro e Gemini 2.5 Flash.
Open-Weights: Llama 3.3 70B e GPT-OSS 120B.

Variáveis de Controle e Obfuscation:
Para distinguir entre raciocínio simbólico puro e dependência de semântica linguística (memorização de termos como "peão" ou "xadrez"), os autores realizaram experimentos de ofuscação:

Original: Nomes de predicados e constantes legíveis (ex: cell, capture).
Ofuscado: Substituição de símbolos por:
1. Termos genéricos (term1, term2).
2. Palavras de dicionário sem relação com o jogo (ex: cadeira, floresta).
3. Strings aleatórias (ex: AoinIj6).

Métricas de Desempenho:

Índice Jaccard (JI): Mede a sobreposição entre o conjunto de fatos gerado pelo modelo e o conjunto correto.
Taxa de Sucesso Estrita (%S): Métrica binária que conta apenas se a saída foi 100% correta (sem erros de formatação, fatos extras ou faltantes).

3. Principais Contribuições

Adaptação do GGP como Benchmark: Estabelecimento de um novo padrão para avaliar raciocínio lógico em LLMs usando descrições formais e não traduzidas para linguagem natural.
Avaliação Comparativa Abrangente: Análise detalhada de quatro modelos contemporâneos em tarefas de simulação forward e geração de ações.
Análise de Correlação Estrutural: Investigação de como propriedades dos jogos (profundidade de regras, número de condições, complexidade composicional) correlacionam-se com o desempenho de cada modelo.
Isolamento de Semântica vs. Símbolo: Demonstração empírica de que os modelos podem raciocinar logicamente mesmo quando os símbolos não possuem significado linguístico, embora a semântica ajude em horizontes longos.
Identificação de Padrões de Erro: Catalogação de falhas comuns, como "alucinação" de regras, fatos redundantes e violação de restrições de movimento.

4. Resultados Chave

Desempenho Geral:

O Gemini 2.5 Pro consistentemente alcançou o melhor desempenho, seguido pelo Gemini 2.5 Flash, GPT-OSS 120B e Llama 3.3 70B.
Tarefa 1 (Próximo Estado): Alta precisão. O Gemini 2.5 Pro atingiu >95% de acertos estritos (%S) em média, demonstrando capacidade de aplicar regras simbólicas de um passo com alta confiabilidade.
Tarefa 2 (Ações Legais): Mais difícil que a Tarefa 1. Embora o JI permaneça alto, a %S cai significativamente (ex: <50% para o Pro em jogos complexos como Xadrez), indicando que os modelos identificam muitas ações corretas, mas falham em gerar o conjunto completo e exato.
Tarefas Multietapa (3 e 4): O desempenho degrada-se conforme o horizonte de raciocínio aumenta. Erros locais acumulam-se rapidamente, levando a estados finais incorretos. O Gemini 2.5 Pro manteve a liderança, mas com %S caindo para ~73% (n=5) e ~65% na tarefa mais complexa.

Efeito da Obfuscation:

Os modelos mantiveram desempenho razoável mesmo com símbolos ofuscados, sugerindo que não dependem exclusivamente de memorização de descrições de jogos durante o treinamento.
Strings Aleatórias funcionaram melhor que "palavras de dicionário" (que causam confusão semântica) e "termos genéricos" (que podem criar ambiguidade por similaridade lexical).
A lacuna de desempenho entre o modo original e o ofuscado aumentou com o número de passos, indicando que a semântica ajuda a manter o contexto em cadeias de raciocínio longas.

Correlações com Propriedades do Jogo:

Gemini 2.5 Pro: Sensível à profundidade recursiva das regras (correlação negativa forte com Max rule depth).
Gemini 2.5 Flash e GPT-OSS: Mais limitados pelo tamanho total do conjunto de regras (correlação negativa com Total rules), sugerindo dificuldade em navegar em grandes espaços de busca lógica.
Llama 3.3 70B: Seu desempenho correlacionou-se fortemente com a propriedade "Converging" (fatos que nunca são deletados), sugerindo limitações fundamentais na dinâmica do jogo em vez de apenas complexidade lógica.

Erros Comuns Identificados:

Correção Silenciosa de Regras: O modelo assume regras de senso comum que não estão na descrição GDL (ex: assumir que peças são perdidas em um jogo de fazendeiros, mesmo que a regra não diga).
Fatos Extranhos: Manter fatos de estados anteriores que deveriam ter sido descartados (violação da suposição de mundo fechado).
Violação de Restrições: Sugerir movimentos ilegais (ex: movimentos diagonais em jogos restritos a direções cardinais).
Erros de Formatação: Falhas sintáticas na saída JSON ou GDL, mesmo em modelos fortes.

5. Significado e Conclusões

O estudo conclui que os LLMs modernos (especialmente a família Gemini 2.5) demonstraram progressos substanciais no raciocínio simbólico formal, superando conclusões de literatura anterior. Eles conseguem atuar como interpretadores simbólicos aproximados em cenários controlados.

No entanto, limitações fundamentais persistem:

Acúmulo de Erros: Em simulações de longo prazo, pequenos erros locais tornam o estado final incorreto.
Fragilidade em Estruturas Complexas: Jogos com regras profundamente aninhadas ou muitos predicados interconectados ainda desafiam a consistência dos modelos.
Não são Simuladores Fieis: Para aplicações críticas, não se deve confiar cegamente na saída do LLM. Recomenda-se uma abordagem iterativa, com verificação explícita de regras, validação de estados intermediários ou uso de solucionadores simbólicos externos para corrigir a saída do modelo.

O trabalho estabelece que o GGP/GDL é uma ferramenta robusta e necessária para diagnosticar as capacidades e limites do raciocínio lógico em IA, indo além da mera avaliação de precisão final para analisar o processo de inferência passo a passo.