Causal Claims in Economics

Resumo Técnico: Reivindicações Causais na Economia

1. O Problema

À medida que a produção de pesquisa econômica escala (com milhares de artigos e working papers), surge um gargalo crítico: a dificuldade de representar, comparar e agregar o conteúdo das reivindicações científicas de forma padronizada.

• Limitação Atual: A unidade fundamental da comunicação acadêmica é a prosa narrativa, que é heterogênea e dispersa. Isso torna a síntese manual de grandes literaturas inviável e dificulta a identificação sistemática do que um artigo afirma, como as afirmações se conectam em mecanismos e o que é genuinamente novo.
• Desafio Específico: A "Revolução da Credibilidade" na economia (a mudança para designs de inferência causal) criou uma necessidade de medir não apenas se um artigo usa métodos causais, mas quais relações específicas dentro do argumento são suportadas por evidências causais versus correlacionais ou teóricas.

2. Metodologia: Grafos de Reivindicação Anotados com Evidência

Os autores propõem uma nova representação estruturada e legível por máquina chamada Grafos de Reivindicação (Claim Graphs).

• Corpus: O estudo analisa 44.852 working papers do NBER e CEPR publicados entre 1980 e 2023.
• Estrutura do Grafo:
  • Nós ($V_p$): Conceitos econômicos padronizados, mapeados para códigos JEL (Journal of Economic Literature).
  • Arestas ($E_p$): Relações direcionadas (reivindicações) de um conceito fonte para um conceito sumidouro, conforme declarado pelos autores.
  • Anotação de Evidência: Cada aresta é rotulada com sua base evidencial. O foco principal é distinguir entre:
    • Arestas Causais: Suportadas por designs de identificação credíveis (Diferença-em-Diferenças, Variáveis Instrumentais, Ensaios Controlados Aleatórios, Regressão de Descontinuidade, Controle Sintético).
    • Arestas Não Causais: Baseadas em raciocínio teórico, evidência descritiva ou análise correlacional.
• Pipeline de Extração (IA/LLM):
  • Utiliza um modelo de Linguagem (GPT-4o-mini) em um fluxo de trabalho multiestágio estruturado, não como um gerador aberto, mas como um motor de recuperação de informações.
  • Estágio 1: Extração de resumos estruturados das primeiras 30 páginas do artigo (onde as reivindicações centrais e estratégias de identificação são declaradas).
  • Estágio 2: Extração de arestas candidatas (conceitos fonte/sumidouro e método de suporte) a partir dos resumos.
  • Estágio 3: Mapeamento de entidades de texto livre para códigos JEL padronizados usando embeddings semânticos (similaridade de cosseno).
• Robustez e Validação:
  • Agregação por Sobreposição de Arestas (Edge-Overlap - EO): O sistema executa 9 passagens independentes (3 resumos $\times$ 3 extrações de arestas). Uma aresta é incluída no grafo final apenas se aparecer em pelo menos 4 das 9 passagens ($EO \ge 4$). Isso cria um compromisso transparente entre precisão e recall.
  • Validação: O método foi validado contra conjuntos de dados externos (Brodeur et al., 2024; Plausibly Exogenous Galore) e verificações de consistência interna (snippets), demonstrando alta estabilidade para métodos comuns como DiD e IV.

3. Contribuições Principais

1. Infraestrutura de Dados: Criação de um conjunto de dados público e reprodutível de grafos de reivindicação para quase 45.000 artigos econômicos.
2. Medição em Nível de Relação: Diferente de estudos anteriores que classificam artigos inteiros por método, esta abordagem mede a causalidade no nível das relações específicas dentro de um único artigo.
3. Métricas Estruturais: Desenvolvimento de métricas para complexidade narrativa (número de arestas, caminhos), novidade (novas arestas, preenchimento de lacunas) e posicionamento conceitual (centralidade no grafo cumulativo da literatura).
4. Análise da Revolução da Credibilidade: Quantificação precisa de como a adoção de designs causais evoluiu não apenas na frequência, mas na estrutura dos argumentos econômicos.

4. Resultados Chave

• Ascensão das Reivindicações Causais:

  • A proporção média de arestas causais por artigo aumentou drasticamente: de 7,7% em 1990 para 31,7% em 2020.
  • Há heterogeneidade significativa entre campos: áreas como Saúde, Desenvolvimento e Comportamental adotaram métodos causais mais rapidamente do que Macroeconomia e Finanças, embora a lacuna esteja se estreitando.
  • Métodos como DiD e IV tornaram-se predominantes, enquanto trabalhos puramente teóricos ou de simulação declinaram em proporção.

• Recompensas de Publicação e Citações:

  • Estrutura Causal é Recompensada: Aumentar o volume de arestas causais e a novidade causal está fortemente associado a uma maior probabilidade de publicação em revistas de topo (Top 5) e a mais citações de longo prazo.
    • Exemplo: Dobrar o volume de novas arestas causais está associado a um aumento de ~1,71 pontos percentuais na probabilidade de publicação no Top 5 (+15% relativo).
  • Estrutura Não Causal é Fraca ou Negativa: A expansão de arestas não causais (teóricas ou correlacionais) tem uma relação fraca ou negativa com publicação em revistas de topo e citações.
  • Novidade vs. Posicionamento:
    • A novidade causal (criar novos links com designs credíveis) é o principal motor para publicação em revistas de elite.
    • A difusão ampla (citações) ainda é fortemente impulsionada pelo posicionamento conceitual: artigos ancorados em conceitos centrais e amplamente reconhecidos tendem a receber mais citações, independentemente da estrutura causal. Isso revela uma "fenda" entre o que os editores valorizam (credibilidade/novidade causal) e o que a comunidade lê amplamente (temas centrais).

• Preenchimento de Lacunas (Gap Filling):

  • Revistas de topo tendem a recompensar artigos que conectam pares de conceitos subexplorados, mas essa recompensa é significativamente maior quando a conexão é suportada por métodos causais.

5. Significado e Implicações

• Para a Ciência Econômica: O estudo fornece evidência empírica de que a "Revolução da Credibilidade" alterou fundamentalmente a arquitetura dos argumentos econômicos, não apenas a metodologia. A disciplina está recompensando explicitamente a profundidade causal e a novidade baseada em evidências.
• Para a Metaciência: Demonstra como a Inteligência Artificial (LLMs) pode ser usada para sintetizar grandes literaturas de forma estruturada, movendo-se além da contagem de palavras ou citações para a análise do conteúdo argumentativo.
• Incentivos de Pesquisa: Sugere que os incentivos atuais (publicação e citação) favorecem a inovação metodológica causal, mas que a difusão do conhecimento ainda depende fortemente de se conectar a temas já estabelecidos e centrais.
• Futuro: A infraestrutura de "grafos de reivindicação" pode ser expandida para outras disciplinas, permitindo a síntese de evidências, rastreamento de como as descobertas são reframadas na mídia e políticas públicas, e a criação de uma ciência cumulativa mais queryável e comparável.

Em suma, o artigo oferece uma lente quantitativa poderosa para entender a evolução da economia, mostrando que a credibilidade causal se tornou a moeda principal para o reconhecimento acadêmico de elite, enquanto a centralidade temática continua a governar a influência geral.