Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning

1. Problema e Motivação

O artigo investiga a natureza dos erros de raciocínio lógico em Grandes Modelos de Linguagem (LLMs). A questão central é: quando os LLMs falham em problemas de raciocínio controlados, seus erros seguem os padrões de falácias humanas estabelecidos?

Embora os LLMs tenham demonstrado capacidades crescentes em diversas tarefas, a literatura psicológica (ex: Tversky & Kahneman) mostra que o raciocínio humano é sistematicamente vulnerável a falácias previsíveis, não sendo erros aleatórios. O objetivo do estudo é determinar se existe uma sobreposição entre os padrões de erro dos modelos e as falácias humanas, independentemente dos mecanismos cognitivos subjacentes.

2. Metodologia

Os autores utilizaram uma abordagem rigorosa baseada em teoria cognitiva formal para gerar e avaliar dados, evitando contaminação de dados e viés de conteúdo.

• Teoria de Base: O estudo fundamenta-se na Teoria Erotética do Raciocínio (ETR - Erotetic Theory of Reasoning). A ETR postula que o raciocínio humano opera mantendo alternativas disjuntivas e filtrando-as com novas informações. Esse processo de filtragem pode levar a erros sistemáticos (falácias) quando alternativas relevantes são descartadas prematuramente.
• Ferramenta de Geração (PyETR): Utilizaram o PyETR, uma implementação de código aberto da ETR, para gerar programaticamente problemas de raciocínio.
  • Geração de Dados: Foram criados 383 problemas de raciocínio formalmente especificados. O pipeline gera problemas que, segundo a ETR, devem induzir falácias específicas.
  • Robustez: Para evitar contaminação (memorização de dados de treino), os problemas foram gerados sinteticamente e mapeados para 12 temas naturais distintos (ex: alquimia, criaturas mágicas, partículas quânticas, planetas), garantindo que o conteúdo fosse agnóstico e improvável de estar nos dados de treinamento.
• Avaliação de Modelos:
  • Foram avaliados 38 modelos de linguagem, variando de modelos menores (ex: Mistral 7B) a sistemas avançados (ex: GPT-4.5, Claude 3.7).
  • Métrica de Capacidade: A capacidade dos modelos foi medida principalmente pelo Elo do Chatbot Arena, além de métricas secundárias como computação de treinamento (Epoch AI) e pontuações no benchmark HELM.
  • Processo: Para cada resposta, os autores verificaram: (i) a correção lógica (usando o solver PySMT) e (ii) se a resposta incorreta correspondia a uma falácia prevista pela ETR.

3. Contribuições Principais

1. Correlação Estatística Significativa: A descoberta mais impactante é que, à medida que a capacidade do modelo aumenta (medida pelo Elo), a proporção de respostas incorretas que correspondem a falácias humanas previstas pela ETR também aumenta.
   • Correlação de Spearman: $\rho = 0.360$ ($p = 0.0265$).
   • Isso sugere que modelos mais capazes não apenas erram menos, mas quando erram, seus erros tornam-se mais "humanos" e estruturalmente semelhantes às falácias cognitivas humanas.
2. Falta de Correlação com Precisão Global: Curiosamente, o aumento da capacidade (Elo) não se correlacionou com uma maior taxa de acerto global neste conjunto de dados específico. Modelos mais fortes não foram necessariamente mais corretos logicamente neste domínio, apenas mais propensos a cometer erros do tipo humano.
3. Pipeline de Avaliação Aberto: A aplicação substancial do PyETR para gerar testes de raciocínio sintéticos, ilimitados e resistentes à contaminação, oferecendo uma nova métrica de avaliação focada na composição do erro em vez de apenas na taxa de erro.
4. Efeito de Ordem (Premissas): O estudo demonstrou que reverter a ordem das premissas reduz significativamente a produção de falácias em muitos modelos, espelhando o "efeito de ordem" observado em seres humanos.

4. Resultados Chave

• Composição do Erro: Existe uma tendência linear positiva entre a força do modelo e a probabilidade de que um erro seja uma falácia ETR-preditiva. Modelos mais fortes tendem a "pensar" de forma mais humana, inclusive em seus erros.
• Análise de Intervenção: Ao inverter a ordem das premissas, a taxa de falácias diminuiu drasticamente para a maioria dos modelos (ex: o modelo gemma-2-9b-it evitou a falácia quando a ordem foi invertida). Isso confirma que os modelos são sensíveis a efeitos de superfície (como a ordem de apresentação) de maneira análoga aos humanos.
• Outras Métricas: A correlação com a capacidade também foi observada usando estimativas de computação de treinamento ($\rho = 0.489$) e pontuações HELM ($r = 0.796$), reforçando a robustez do achado.

5. Significado e Implicações

• Desafio ao "Scaling Law" Puro: Os resultados desafiam a suposição de que o simples aumento de escala (tamanho do modelo) leva inevitavelmente a sistemas de raciocínio normativamente mais corretos. Em vez disso, o aumento da escala pode levar a uma convergência nos padrões de falha com a cognição humana.
• Novo Eixo de Avaliação: O trabalho propõe que a avaliação de LLMs deve considerar não apenas a precisão, mas a composição dos erros. Entender como um modelo erra (se segue padrões humanos) é tão importante quanto saber se ele erra.
• Alinhamento e Segurança: Para aplicações de alto risco (diagnóstico médico, análise legal), é crucial mitigar não apenas erros aleatórios, mas falácias sistemáticas que podem levar a conclusões perigosas, especialmente em modelos mais capazes que replicam vieses humanos.
• Direções Futuras: A metodologia oferece um framework para testar intervenções (como engenharia de prompt ou modificações arquiteturais) especificamente para reduzir a suscetibilidade a falácias humanas, visando criar sistemas que combinem a compreensão humana com um raciocínio mais robusto.

Em resumo, o artigo demonstra que, paradoxalmente, à medida que os LLMs se tornam mais inteligentes, eles também se tornam mais propensos a cometer os mesmos erros lógicos sistemáticos que os humanos, sugerindo uma convergência nos mecanismos de falha entre inteligência artificial e cognição humana.