Resumo Técnico: EconCausal

Declaração do Problema

Os efeitos causais socioeconômicos são inerentemente dependentes do contexto; a mesma intervenção pode produzir resultados divergentes ou até opostos, dependendo de regimes regulatórios, condições de mercado, períodos de tempo ou características populacionais. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado promessa no raciocínio geral, sua aplicação ao suporte à decisão econômica é impedida por uma lacuna crítica: a incapacidade de inferir com fiabilidade direções causais sob contextos específicos e de alta dimensão, e de revisar esses julgamentos quando o contexto muda. Os benchmarks existentes falham em abordar isso porque geralmente se concentram em relações genéricas e pouco contextuais, omitem o contexto institucional e empírico necessário para a interpretação, ou raramente testam a robustez sob mudanças de contexto. Consequentemente, os modelos atuais correm o risco de produzir julgamentos causais superficiais ou enganosos em cenários socioeconômicos.

Metodologia

Construção do Conjunto de Dados: EconCausal

Os autores introduzem o EconCausal, um benchmark de grande escala composto por 10.490 tripletas causais anotadas com contexto, derivadas de 2.595 estudos empíricos de alta qualidade publicados em periódicos de economia e finanças de primeiro escalão (por exemplo, American Economic Review, Journal of Finance). A construção do conjunto de dados segue um pipeline rigoroso de quatro etapas:

1. Extração de Tripletas com Consenso de Múltiplas Execuções: Usando o GPT-5 mini, o sistema extrai pares de tratamento–resultado dos artigos três vezes independentemente. Pares que aparecem em pelo menos duas execuções são mantidos. Variações menores de redação são mescladas via similaridade de cosseno (limiar $\ge$ 0,8) em incorporações de texto. Sinais ($+, -, \text{Nenhum}, \text{Misto}$) são atribuídos por votação majoritária, com parágrafos de evidência de suporte armazenados para rastreabilidade.
2. Metadados e Contexto Global: Metadados em nível de artigo (empírico vs. teórico), resumos de contexto global (tempo, localização, unidade de análise) e métodos de identificação (por exemplo, DiD, IV, RCT) são extraídos para servir como padrões.
3. Refinamento Específico da Tripla: Para artigos empíricos, o sistema verifica se o contexto global se aplica a tripletas específicas. Se uma tripla exigir um contexto mais específico ou um método de identificação, uma edição mínima é aplicada; caso contrário, os padrões globais são mantidos.
4. Avaliação por Múltiplos Críticos e Filtragem: Três críticos independentes de LLM (Gemini, Grok, Qwen) avaliam cada tripla em seis dimensões (extração de variáveis, direção, sinal, causalidade, afirmação principal, adequação do contexto) usando uma rubrica de 0 a 3. Triplas que falham em limiares conservadores (pontuação média $\ge$ 2,0 por critério e soma total $\ge$ 15) são filtradas, removendo 27,3% dos candidatos.

O conjunto de dados foi validado por três professores de economia, que aprovaram 86,6% das tripletas retidas, confirmando o conservadorismo da regra de filtragem.

Tarefas do Benchmark

O EconCausal avalia os LLMs por meio de três tarefas progressivamente complexas:

• Tarefa 1 (Identificação de Sinal Causal): Dado um contexto específico $c$ e um par tratamento–resultado $(T, O)$, prever o sinal causal. Isso testa se os modelos internalizaram causalidades econômicas estabelecidas.
• Tarefa 2 (Previsão de Sinal Dependente do Contexto): Dado um sinal conhecido para $(T, O)$ sob o contexto $c_1$, prever o sinal sob um contexto diferente $c_2$. Isso testa a capacidade de reconhecer que os sinais causais mudam com o contexto.
• Tarefa 3 (Previsão de Sinal Robusta à Desinformação): Similar à Tarefa 2, mas o exemplo fornecido para $c_1$ contém um sinal deliberadamente incorreto. Isso testa a robustez contra evidências enganosas.

Principais Resultados

Visão Geral de Desempenho

Experimentos em diversos modelos proprietários (Gemini, GPT, Grok) e de código aberto (Llama, Qwen) revelam uma lacuna significativa de desempenho entre o raciocínio em contexto fixo e a transferência dependente de contexto:

• Contexto Fixo (Tarefa 1): Os principais modelos alcançam alta precisão ($\sim$88% para o Gemini 3 Flash), indicando forte internalização de fatos causais em configurações explícitas.
• Mudança de Contexto (Tarefa 2): A precisão cai significativamente quando os modelos devem revisar julgamentos entre contextos. Para modelos de código fechado, a precisão geral cai de 73,9% para 41,3% em casos de "incompatibilidade de sinal" (onde os contextos de origem e destino implicam sinais opostos).
• Robustez à Desinformação (Tarefa 3): O desempenho degrada-se ainda mais quando evidências enganosas são introduzidas, com as médias de código fechado e código aberto caindo para 49,3% e 44,3%, respectivamente.

Falhas Sistemáticas

• Transferência Excessiva de Sinais de Origem: Na Tarefa 2, os modelos exibem um forte viés de "transferência excessiva" do sinal do exemplo de origem, mesmo quando contradiz o contexto de destino. Adicionar um exemplo de origem com sinal reduziu as previsões corretas em 15,08 pontos percentuais, enquanto aumentou as previsões correspondentes ao sinal de origem em 21,95 pontos percentuais.
• Viés em Direção a Sinais Direcionais: Os modelos comprometem-se sistematicamente com sinais binários ($+$ ou $-$), lutando para identificar efeitos nulos ($\text{Nenhum}$) ou heterogêneos ($\text{Misto}$). A precisão em casos $\text{Nenhum}$ é de apenas 13,8%, e em casos $\text{Misto}$ é de 22,8%, comparado a 74,8% e 61,1% para sinais positivos e negativos, respectivamente.
• Má Calibração: Os modelos exibem "comprometimento excessivo", atribuindo alta confiança a previsões incorretas, particularmente para as categorias $\text{Nenhum}$ e $\text{Misto}$. O Erro de Calibração Esperado (ECE) é severo para essas categorias ambíguas (por exemplo, 0,839 para $\text{Nenhum}$ em Finanças), e os modelos raramente selecionam "Desconhecido", mesmo quando a informação contextual é totalmente removida.

Significado e Afirmações

O artigo afirma que o EconCausal fornece uma base rigorosa para avaliar como os LLMs integram restrições institucionais e ambientais em julgamentos econômicos. Os autores argumentam que os sistemas atuais ainda não são robustos o suficiente para análises econômicas de alto risco ou sensíveis a políticas, pois confundem "plausibilidade" com "portabilidade". Embora os modelos possam gerar sinais causais plausíveis, eles falham em determinar se esses sinais se aplicam a um contexto-alvo específico, frequentemente ancorando-se em sinais empiricamente válidos de contextos de origem onde já não se sustentam.

O benchmark destaca que o raciocínio socioeconômico exige mais do que reconhecimento de padrões; demanda a capacidade de condicionar julgamentos a contextos de alta dimensão, parcialmente observados e potencialmente endógenos. Os autores posicionam o EconCausal como um passo necessário para desenvolver sistemas que possam julgar não apenas se um sinal causal é plausível, mas se ele se transfere para o contexto em questão.

Limitações

Os autores reconhecem várias limitações:

• Dependência de Extração: O pipeline depende de LLMs para extração e filtragem, o que pode introduzir vieses sistemáticos ou omitir detalhes sutis de identificação, apesar do consenso de múltiplas execuções e validação por especialistas.
• Viés do Corpus: O conjunto de dados é retirado de periódicos de primeiro escalão e em língua inglesa, potencialmente superrepresentando pesquisas influentes enquanto subrepresenta outras alegações socioeconômicas.
• Granularidade do Rótulo: O espaço de rótulos direcionais ($+, -, \text{Nenhum}, \text{Misto}$) comprime achados empíricos complexos, omitindo tamanhos de efeito, magnitudes e intervalos de confiança.
• Escopo do Contexto: Os contextos estão ligados a configurações empíricas específicas, limitando a avaliação direta da validade externa em recursos não anotados, como estrutura de mercado ou ambientes de aplicação.
• Escopo Comportamental: A avaliação é comportamental e não investiga representações internas do modelo ou mecanismos de atenção.