Resumo Técnico: Pensar Rápido, Pensar Errado

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado alta precisão em tarefas de raciocínio causal sintético e cenários de senso comum, sua confiabilidade na avaliação de políticas do mundo real permanece pouco explorada. A avaliação de políticas frequentemente envolve achados empíricos "desordenados", contestados e frequentemente contra-intuitivos, onde os dados contradizem expectativas prévias comuns. Os benchmarks existentes dependem de grafos causais sintéticos ou problemas lógicos abstratos, falhando em capturar o desafio de sobrepor priores intuitivos ao analisar evidências empíricas estabelecidas da economia e das ciências sociais.

Metodologia

Construção do Benchmark

Os autores construíram um benchmark de 40 casos de avaliação empírica de políticas extraídos da literatura revisada por pares de economia e ciências sociais. Cada caso satisfaz três critérios:

1. Efeitos causais estabelecidos por meio de estratégias de identificação credíveis (por exemplo, diferenças-em-diferenças, RCTs).
2. Achados direcionais inequívocos (aumento, diminuição ou nenhuma mudança significativa).
3. Proeminência suficiente para provavelmente existir nos dados de treinamento dos LLMs.

Os casos são classificados por intuitividade:

• Óbvio: Alinha-se com expectativas prévias comuns (por exemplo, a expansão do Medicaid aumenta a utilização).
• Ambíguo: Múltiplas direções razoáveis existem.
• Contra-intuitivo: Contradiz expectativas ingênuas (por exemplo, multas por retirada tardia de creche aumentam o atraso).

O benchmark inclui 14 testes unilaterais (SIM/NÃO) e 26 testes bilaterais (previsão direcional), cobrindo 11 países e 10 domínios de políticas.

Desenho Experimental

• Modelos: Quatro LLMs de ponta foram avaliados: GPT-5.2, Claude Sonnet 4.5, Claude Opus 4.6 e GPT-4.1.
• Estratégias de Promptagem: Cinco estratégias foram testadas em 10 repetições por condição, resultando em 8.000 ensaios experimentais:
  1. Ingênuo: Pergunta direta (linha de base do Sistema 1).
  2. Persona de Especialista: Enquadrando o modelo como um "economista metricista experiente".
  3. Cadeia de Pensamento (CoT): "Pense passo a passo" para listar mecanismos e confundidores.
  4. Raciocínio Estruturado: Modelo detalhado exigindo enumeração explícita de canais causais.
  5. Enquadramento Adversarial: Introdução de um consenso fictício sugerindo "nenhum efeito" para testar o viés de ancoragem.
• Análise Estatística: Os resultados foram analisados usando regressão logística de efeitos mistos para levar em conta estruturas de dados aninhadas. O modelo incluiu efeitos fixos para identidade do modelo, estratégia de prompt, intuitividade e suas interações, com interceptos aleatórios para heterogeneidade ao nível do caso.

Principais Resultados

1. O Paradoxo do CoT

A promptagem de Cadeia de Pensamento (CoT) melhora significativamente o desempenho em casos óbvios (OR de efeito principal = 17,3), mas esse benefício é substancialmente atenuado em casos contra-intuitivos (OR de interação = 0,278, $p < 0,001$).

• Em casos óbvios, o CoT melhorou a precisão em +26,7 pontos percentuais.
• Em casos contra-intuitivos, o ganho caiu para +13,8 pontos percentuais.
• Isso sugere que, embora o CoT engaje o "pensamento lento", ele falha em inibir completamente o prior intuitivo inicial que ancora a cadeia de raciocínio.

2. Intuitividade como Fator Dominante

A variância ao nível do caso excedeu a da escolha do modelo ou da estratégia de promptagem. O Coeficiente de Correlação Intraclasse (ICC) para interceptos aleatórios ao nível do caso foi 0,671, indicando que a natureza específica do caso de política (sua intuitividade e complexidade) é o determinante primário da dificuldade, e não o modelo ou prompt específicos utilizados.

3. Dissociação Conhecimento–Raciocínio

A familiaridade baseada em citações (um proxy para exposição aos dados de treinamento) mostrou nenhuma relação significativa com a precisão ($p = 0,84$).

• Estudos altamente citados, como o experimento da multa de creche (Gneezy & Rustichini, 2000), renderam baixa precisão (39%).
• Isso refuta a hipótese do "papagaio causal" de que os modelos simplesmente recitam fatos memorizados; em vez disso, os modelos possuem o conhecimento, mas falham em raciocinar corretamente com ele quando os achados contradizem a intuição.

4. Disparidades no Desempenho dos Modelos

• GPT-5.2 superou substancialmente os outros modelos, mantendo 94,5% de precisão em casos contra-intuitivos bilaterais.
• Claude Sonnet 4.5 superou o maior Claude Opus 4.6 em casos contra-intuitivos (73,5% vs. 64,8%), sugerindo que a escala do modelo sozinha não determina a suscetibilidade a priores intuitivos.
• GPT-4.1 lutou significativamente em casos bilaterais contra-intuitivos, caindo para 43,2% (apenas 10 pontos acima do acaso).

5. Padrões de Erro

Os erros foram sistemáticos, e não estocásticos. Quando a verdade fundamental era um "aumento", 72% dos erros previram uma "diminuição" (reversão direcional), consistente com modelos aplicando um modelo causal intuitivo que prevê a direção oposta. A auto-consistência (votação majoritária) forneceu melhoria mínima em casos contra-intuitivos, confirmando crenças causais estáveis, mas incorretas.

Significado e Alegações

O artigo argumenta que os LLMs atuais exibem um fenômeno de "falar devagar, não pensar devagar". Através da lente da teoria dos processos duplos (Sistema 1 vs. Sistema 2), os autores afirmam que os processos deliberativos dos LLMs (Sistema 2) alcançam apenas inibição parcial de priores intuitivos. Eles produzem a forma do raciocínio deliberativo sem entregar plenamente sua substância quando a resposta correta contradiz o senso comum.

Implicações Principais:

• Risco de Avaliação de Políticas: Uma precisão agregada de ~80% mascara falhas críticas exatamente onde o raciocínio contrafactual é mais valioso (casos contra-intuitivos). Formuladores de políticas que dependem de LLMs podem receber orientação confiante, mas incorreta, sobre efeitos de políticas complexas e não óbvias.
• Limitações do Raciocínio Atual: Os achados sugerem que simplesmente solicitar raciocínio "passo a passo" é insuficiente para tarefas que exigem a sobreposição de priores intuitivos fortes.
• Direções Futuras: Melhorar o raciocínio contrafactual pode exigir inovações que permitam um controle inibitório mais robusto — a capacidade de reconhecer quando um primeiro instinto está errado e sustentar o raciocínio além da âncora inicial.

O estudo conclui que, embora os LLMs possam recuperar conhecimento causal, seus mecanismos deliberativos atuais são insuficientes para sobrepor completamente priores intuitivos fortes em contextos de políticas do mundo real.