Resumo Técnico: CausalReasoningBenchmark

Declaração do Problema

As atuais benchmarks para sistemas automatizados de inferência causal, particularmente aqueles que utilizam Modelos de Linguagem de Grande Escala (LLMs), sofrem de uma falha crítica de avaliação: eles confundem identificação e estimação. A maioria das benchmarks existentes avalia o desempenho com base exclusivamente em uma única saída numérica, como um Efeito Médio do Tratamento (ATE). Essa abordagem falha em distinguir entre duas fases distintas da análise causal:

1. Identificação: O exercício conceitual de determinar se uma quantidade causal é recuperável a partir dos dados sob suposições específicas, exigindo a formulação de um desenho de pesquisa válido (por exemplo, Variáveis Instrumentais, Descontinuidade de Regressão) e a especificação de todos os componentes necessários (tratamento, desfecho, controles, instrumentos, pontos de corte).
2. Estimação: A implementação numérica do desenho identificado em dados finitos para calcular estimativas pontuais e erros padrão.

Ao colapsar essas etapas em uma única pontuação, as avaliações existentes não conseguem diagnosticar se um modelo falhou devido a raciocínio causal defeituoso (desenho inválido) ou erros na execução numérica (erros de codificação). Além disso, muitas benchmarks dependem de dados sintéticos ou simplificados que carecem das complexidades da pesquisa empírica do mundo real, como definições de variáveis ambíguas e dados ausentes.

Metodologia

Os autores introduzem o CausalReasoningBenchmark, um conjunto abrangente de avaliação projetado para desvendar a identificação da estimação.

Construção do Conjunto de Dados

O benchmark compreende 173 consultas em 132 conjuntos de dados reais únicos, curados a partir de:

• 79 artigos de pesquisa revisados por pares (principalmente de periódicos de ciência política como The Journal of Politics e American Political Science Review), incluindo estudos de reanálise em grande escala de desenhos de Variável Instrumental (IV), Descontinuidade de Regressão (RDD) e Diferença-em-Diferenças (DiD).
• Três livros didáticos de inferência causal (The Mixtape, The Effect e Causal Inference: What If), fornecendo exemplos pedagógicos e cobrindo desenhos de Exogeneidade Condicional.

Cada consulta inclui uma pergunta causal em linguagem natural, um conjunto de dados CSV, metadados descrevendo variáveis e contexto do estudo, e uma solução padrão-ouro.

Estrutura de Avaliação

O sistema é obrigado a produzir duas saídas distintas para cada consulta:

1. Especificação Estruturada de Identificação: Um objeto JSON detalhando a estratégia de desenho de pesquisa e campos específicos (por exemplo, nomes de instrumentos para IV, variáveis de execução e pontos de corte para RDD, variáveis de tempo/grupo para DiD).
2. Saída de Estimação: Uma estimativa pontual e erro padrão, gerados via código executável (Python/R).

Mecanismo de Pontuação:

• Métricas de Identificação: A especificação é avaliada campo a campo contra o padrão-ouro. As verificações incluem correspondências exatas para rótulos de estratégia e estimando, correspondências baseadas em conjuntos para variáveis de tratamento/desfecho e lógica estrita para variáveis de controle (devem incluir o conjunto de ajuste mínimo suficiente e excluir "controles ruins", como variáveis pós-tratamento ou mediadores).
• Métricas de Estimação: O efeito previsto e os intervalos de confiança são comparados aos valores padrão-ouro usando métricas como erro de estimativa pontual, sobreposição Jaccard de intervalos de confiança e concordância de hipótese nula. O avaliador inclui um recurso de redimensionamento automático para mitigar erros causados por incompatibilidade de unidades (por exemplo, porcentagens vs. proporções).

Contribuições Principais

1. Benchmark do Mundo Real: Uma coleção curada de 173 consultas derivadas de literatura revisada por pares e livros didáticos, garantindo que os dados reflitam a complexidade da pesquisa empírica real.
2. Esquema de Identificação Estruturado: Uma exigência para que agentes produzam especificações detalhadas e estruturadas para cinco desenhos canônicos: IV, RDD, DiD, Exogeneidade Condicional e Ensaios Controlados Randomizados (RCT).
3. Avaliação Desvendada: A primeira benchmark a pontuar separadamente a correção do desenho de pesquisa e a precisão da estimação numérica, permitindo um diagnóstico granular dos modos de falha.
4. Scripts Padrão-Espelho Padronizados: Fornecimento de código de estimação de referência para cada consulta para isolar falhas de identificação de erros de implementação.

Resultados de Linha de Base

Os autores avaliaram um LLM de última geração (GPT-5.3 com capacidades de raciocínio) no benchmark. Os resultados destacam uma lacuna significativa entre o reconhecimento de estratégia de alto nível e a especificação detalhada:

• Reconhecimento de Estratégia: O modelo identificou corretamente a estratégia de pesquisa de alto nível (por exemplo, "Variável Instrumental") em 79,2% dos casos.
• Correção Total de Identificação: A taxa de especificações de identificação totalmente corretas (incluindo todos os campos específicos do desenho e variáveis de controle) caiu para apenas 34,1%.
• Estimação: Embora os erros de estimação não fossem triviais (erro relativo mediano de 18,1%), eles foram secundários aos erros de identificação. Em muitos casos, o modelo produziu estimativas razoáveis mesmo quando a especificação de identificação era defeituosa, frequentemente usando uma abordagem plausível, mas não padrão-ouro.

Análise de Erros:

• Variáveis de Controle: O tipo de erro mais frequente (39 casos de controles necessários ausentes; 18 casos de inclusão de controles ruins/pós-tratamento).
• Confusão de Estratégia: Um padrão notável envolveu a classificação equivocada de estudos observacionais que exigem ajuste de covariáveis (Exogeneidade Condicional) como Ensaios Controlados Randomizados (24 casos), provavelmente devido ao modelo interpretar mal a palavra "atribuição" nos metadados.
• Confusão de Estimando: Em consultas RDD, o modelo frequentemente confundiu Efeitos Médios do Tratamento Condicionais (CATE) com Efeitos Médios do Tratamento Locais (LATE) (29 de 44 casos).
• Nuances Específicas do Desenho: Consultas IV mostraram a maior lacuna entre o reconhecimento de estratégia e a especificação completa, indicando dificuldade em identificar instrumentos válidos e distingui-los de valores ajustados do primeiro estágio.

Significado e Alegações

O artigo afirma que o CausalReasoningBenchmark fornece uma estrutura de avaliação mais rigorosa e realista para sistemas automatizados de inferência causal. Ao separar a identificação da estimação, o benchmark revela que o principal gargalo no raciocínio causal baseado em LLMs atuais não é a capacidade de reconhecer categorias amplas de desenho ou realizar cálculos, mas sim os detalhes sutis da especificação do desenho de pesquisa.

Os autores argumentam que uma avaliação de pontuação única baseada em estimativas finais de efeito obscureceria essas distinções críticas, potencialmente mascarando falhas fundamentais de raciocínio. O benchmark destina-se a fomentar o desenvolvimento de sistemas mais robustos capazes de lidar com o rigor intelectual exigido para inferência causal válida em cenários do mundo real. O conjunto de dados e o código de avaliação estão publicamente disponíveis no Hugging Face para apoiar contribuições da comunidade e pesquisas futuras.