Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning

Título: O Raciocínio como Correspondência de Padrões: Mecanismos Compartilhados no Raciocínio Cotidiano Humano e de LLMs

Problema
A visão predominante na ciência cognitiva e na segurança de IA postula que o raciocínio humano baseia-se em "modelos de mundo" abstratos e estruturados que preservam a estrutura causal, a composicionalidade e a independência entre papel e preenchimento. Em contraste, os Grandes Modelos de Linguagem (LLMs) são frequentemente criticados por falharem na generalização ou por cometerem erros assistemáticos, levando à conclusão de que eles meramente realizam uma "correspondência de padrões" superficial baseada em associações estatísticas, em vez de um raciocínio verdadeiro. No entanto, sabe-se que o raciocínio humano também é altamente sensível ao conteúdo e propenso a erros que violam a composicionalidade lógica estrita (ex: a tarefa de seleção de Wason, ou o fenômeno "798 é menos par"). Este artigo investiga se as falhas de raciocínio observadas em LLMs são exclusivas de sua arquitetura ou se refletem um mecanismo cognitivo compartilhado com os humanos. Especificamente, os autores questionam: o raciocínio causal cotidiano em humanos e LLMs é melhor explicado por modelos de mundo abstratos ou por uma forma de correspondência de padrões dependente de contexto?

Metodologia
O estudo emprega uma abordagem multifacetada combinando experimentos comportamentais com humanos e LLMs, seguidos de análise de interpretabilidade mecanística.

1. Avaliação Comportamental:

   • Participantes: 142 participantes humanos e 25 LLMs (incluindo modelos de pesos abertos como Gemma e Llama, e modelos proprietários como GPT-4.1 e DeepSeek-R1).
   • Tarefa: Uma tarefa de raciocínio causal modular envolvendo 11 categorias de cenários cotidianos (ex: geocêntrico-próximo, egocêntrico-distante, estado-segue, ação-não segue).
   • Design: Os prompts foram apresentados em duas molduras: alvo (inferir um resultado dado uma causa) e contexto (inferir uma causa dado um resultado). Crucialmente, o estudo incluiu pares de diferença mínima onde apenas palavras de conteúdo ostensivamente irrelevantes mudavam (ex: "A sopa está sobre a mesa" vs. "O ensopado está sobre a mesa") enquanto o resultado causal da verdade fundamental permanecia idêntico.
   • Métricas: A precisão humana foi medida por escolha binária. A precisão do LLM foi medida via diferenças de logit entre tokens corretos e incorretos (para modelos de pesos abertos) ou correção binária (para modelos de API).

2. Interpretabilidade Mecanística:

   • Modelo: O foco foi colocado no gemma-2-27b-it devido ao seu forte alinhamento com os padrões comportamentais humanos.
   • Identificação Causal: Os autores realizaram experimentos de ablação para identificar os cabeças de atenção (attention heads) top-$k$ causalmente responsáveis pelos outputs do modelo (ou seja, cabeças cuja remoção causou a maior mudança nas diferenças de logit).
   • Patching de Ativação: Para determinar quais informações esses cabeças atendem, os autores realizaram o patching de ativações de prompts "críticos" (onde o conteúdo altera o resultado causal) e prompts "não críticos" (onde o conteúdo muda mas o resultado permanece o mesmo) para dentro do prompt base.
   • Predição: A entropia desses cabeças de atenção causalmente críticos foi usada como uma característica para prever a precisão humana em prompts e cenários não utilizados no treinamento (held-out).

Resultados Principais

1. Perfis de Falha Compartilhados: Tanto humanos quanto LLMs exibiram "precisão graduada", onde o desempenho foi altamente sensível a pequenas mudanças superficiais no conteúdo do prompt.

   • Humanos e LLMs foram mais precisos em relações geocêntricas envolvendo referências distantes (ex: cidades) do que objetos próximos (ex: pinturas), e mais precisos em relações egocêntricas para objetos próximos do que para distantes.
   • Alterações menores nos prompts (ex: mudar "sopa" para "ensopado" em um cenário onde o fogão está ligado) induziram estados de falha semelhantes em ambos os grupos, mesmo quando o resultado lógico era inalterado.
   • LLMs com maior precisão geral (ex: DeepSeek-R1) não eram necessariamente mais semelhantes aos humanos; em alguns casos, modelos menores (como o Gemma-3-27b-it) alinharam-se melhor com os padrões de erro humanos.

2. Mecanismo de Respostas dos LLMs:

   • Sensibilidade ao Conteúdo: O patching de ativação revelou que os cabeças de atenção top-$k$ causalmente importantes eram significativamente mais sensíveis a substituições de conteúdo não críticas (ex: mudar "pintura" para "estátua") do que a mudanças estruturais críticas (ex: mudar "Norte" para "Sul"). Isso apoia a hipótese de que esses cabeças implementam uma forma de correspondência de padrões baseada no conteúdo superficial, em vez de uma estrutura causal abstrata.
   • Predição de Erros Humanos: A entropia desses cabeças de atenção específicos previu com sucesso a precisão humana. Um modelo linear usando essas ativações de cabeças explicou uma variação significativa nas respostas humanas ($R^2 \approx 0,65$ para prompts held-out), mesmo após controlar por categoria, formato de prompt e frequência de n-gramas.
   • Cenários de Diferença Mínima: Em uma avaliação de acompanhamento com 96 prompts que diferiam apenas por uma única palavra de conteúdo, as ativações desses cabeças de correspondência de padrões previram a precisão humana com alta fidelidade, explicando até 76% da variância.

Contribuições Principais

• Alinhamento Empírico: O artigo fornece evidências robustas de que as falhas de raciocínio humano e de LLM não são fenômenos distintos, mas compartilham um perfil comum de sensibilidade ao conteúdo e fragilidade.
• Explicação Mecanística: O trabalho vai além da correlação comportamental para identificar o circuito interno específico (um subconjunto de cabeças de atenção) em LLMs que impulsiona esses comportamentos.
• Reenquadramento do Raciocínio: Os autores demonstram que o mecanismo de "correspondência de padrões", frequentemente descartado como uma falha dos LLMs, é na verdade o mesmo mecanismo que permite aos modelos prever erros humanos. Isso sugere que o próprio raciocínio humano pode depender fortemente da correspondência de padrões, em vez de modelos de mundo puramente abstratos.

Significância e Alegações
O artigo argumenta que a distinção entre "raciocínio" (modelos de mundo abstratos) e "correspondência de padrões" (associações rasas) pode ser uma falsa dicotomia para o raciocínio causal cotidiano. Os autores afirmam que:

1. O Raciocínio Humano é Dependente de Contexto: O raciocínio humano não é totalmente composicional ou abstrato; é profundamente influenciado pelo conteúdo e contexto específicos de um problema. Os "estados de falha" vistos em LLMs não são evidência de falta de inteligência, mas sim um reflexo de como a cognição humana realmente opera.
2. LLMs como Ferramenta para a Ciência Cognitiva: Como os LLMs permitem a manipulação causal de seus mecanismos internos (ao contrário dos humanos), eles servem como uma ferramenta única para a engenharia reversa da cognição humana. O fato de as ativações de atenção dos LLMs poderem prever erros humanos sugere que a "desordem" do raciocínio humano é uma característica, não um erro, provavelmente evoluída para lidar com a natureza aberta e rica em contexto dos problemas do mundo real.
3. Correspondência de Padrões como um Mecanismo Válido: O estudo postula que a correspondência de padrões não é meramente um recurso de reserva ou uma heurística rasa, mas uma forma fundamental pela qual redes neurais (tanto biológicas quanto artificiais) resolvem problemas. A capacidade de rastrear detalhes "ostensivamente irrelevantes" pode ser adaptativa em ambientes naturalistas, onde entidades específicas (ex: um tipo específico de comida ou uma cidade específica) carregam informações contextuais implícitas que modelos abstratos rígidos poderiam descartar.

Os autores concluem que o raciocínio sobre cenários causais cotidianos é, tanto para humanos quanto para LLMs, uma forma de correspondência de padrões que é altamente sensível ao conteúdo total de um prompt, em vez de um processo impulsionado unicamente por modelos de mundo abstratos que preservam a estrutura.