Resumo Técnico: CausalDS – Avaliando o Raciocínio Causal em Agentes de Ciência de Dados

1. Definição do Problema

Os benchmarks atuais para Grandes Modelos de Linguagem (LLMs) em ciência de dados e raciocínio causal sofrem de uma fragmentação que falha em capturar a complexidade da análise causal do mundo real. As avaliações existentes tipicamente isolam capacidades específicas:

• Benchmarks de ciência de dados (ex: DS-1000, MLE-bench) enfatizam codificação, uso de ferramentas e análise aberta, mas carecem de uma estrutura geradora de dados causal oculta e fundamentada.
• Benchmarks de raciocínio causal (ex: CLadder, CausalGraph2LLM) testam raciocínio gráfico simbólico, intervenção e lógica contrafactual, mas frequentemente operam em níveis puramente simbólicos ou utilizam exemplos curados da literatura existente.

Essa separação cria uma lacuna onde os modelos podem depender de "inferência causal amortizada" (memorizando padrões de conjuntos de dados existentes) em vez de um raciocínio genuinamente sensível à estrutura, um modo de falha denominado "papagaio causal". Além disso, a ciência de dados causal realista exige que um agente não apenas responda a perguntas causais, mas também interprete descrições de domínio, inspecione dados observacionais, determine a identificabilidade, estime quantidades, quantifique a incerteza e reconheça quando uma pergunta é impossível de responder (abstenção). Nenhum benchmark existente avalia conjuntamente o raciocínio simbólico, a execução de ciência de dados, a quantificação de incerteza, a abstenção epistêmica e o uso de ferramentas dentro de um único framework sintético, porém realista.

2. Metodologia: O Framework CausalDS

O CausalDS aborda essa lacuna gerando cenas de ciência de dados causais sintéticas que servem como a unidade de benchmark. Cada cena consiste em um Modelo Causal Estrutural (SCM) oculto, uma história em linguagem natural, dados tabulares observacionais e um conjunto de tarefas que abrangem a hierarquia de três níveis de Pearl.

2.1 Pipeline de Geração de Cenas

O processo de geração segue um pipeline rigoroso para garantir que a verdade fundamental (ground truth) seja conhecida, mantendo a coerência narrativa:

1. Amostragem de Grafos: Grafos Acíclicos Dirigidos (DAGs) são amostrados de motivos canônicos (cadeias, bifurcações, confundidores, colisores, etc.) e podem ser expandidos via "enxerto baseado em âncoras", onde motivos auxiliares são anexados através de nós compartilhados para aumentar a complexidade preservando o fluxo narrativo.
2. Instanciação do SCM: Cada grafo é instanciado com um Modelo Causal Estrutural usando perfis de mecanismos tipados (contínuos e booleanos) extraídos de registros que misturam regras bioquímicas/booleanas empíricas com regimes sintéticos.
3. Camada de Observação: Uma escolha de design crítica distingue o SCM conceitual dos dados liberados ao agente. Variáveis conceituais podem ser substituídas por conjuntos de medições ruidosas (proxies). Esta camada aumenta a dificuldade da análise de dados sem alterar o status de identificabilidade causal subjacente.
4. Verbalização: Nós abstratos são mapeados para nomes de variáveis relevantes ao domínio (opcionalmente semeados a partir do CauseNet) e verificados por um auditor para garantir que a história gerada em linguagem natural reflita fielmente o grafo oculto sem introduzir "arestas acidentais".
5. Derivação de Tarefas: De cada cena, derivam-se tarefas através do Nível 1 (associacional/predição), Nível 2 (intervencional/identificação/estimativa) e Nível 3 (contrafactual/mediação).

2.2 Harness de Avaliação

Os agentes interagem com um ambiente de sandbox (usando mini-swe-agent) onde devem:

• Ler arquivos fornecidos (histórias, esquemas de dados, dados observacionais).
• Executar código (Python/bash) para realizar análises.
• Escrever arquivos de resposta em um formato específico.
• Lidar com observações imperfeitas e decidir se devem se abster quando um estimando é não-identificável.

2.3 Pontuação e Métricas

A avaliação é totalmente determinística e pontua cinco eixos distintos:

• Raciocínio Causal Simbólico: Recuperação de grafos e lógica de identificação.
• Execução de Ciência de Dados: Precisão de estimativas e predições.
• Quantificação de Incerteza: Calibração de intervalos de confiança.
• Abstenção Epistêmica: Identificação correta de consultas não-identificáveis e recusa em responder.
• Uso de Ferramentas/Eficiência: Uso de tokens e contagem de chamadas de ferramentas.

Uma pontuação composta (CausalDSScore) agrega o desempenho, penalizando tanto erros de conteúdo quanto falhas de abstenção em tarefas não-identificáveis.

3. Principais Contribuições

• Cenas Sintéticas Fundamentadas em SCM: O primeiro benchmark a gerar SCMs ocultos, sintetizar dados observacionais e computar a verdade fundamental privada para avaliação, enquanto ancora os eixos de composição (tipos de variáveis, estruturas de grafos) a distribuições empíricas de conjuntos de dados do mundo real para garantir realismo.
• Verbalização de Forma Livre Fiel ao Grafo: Um pipeline que mapeia nós de grafos abstratos para variáveis de domínio coerentes e gera histórias em linguagem natural, auditadas para garantir que a narrativa não se desvie da estrutura causal subjacente.
• Camada de Observação Separada: Um mecanismo para variar a dificuldade da ciência de dados (via proxies ruidosos) independentemente da identificabilidade causal, permitindo que o benchmark teste habilidades de estimativa sem alterar a questão causal.
• Conjunto Abrangente de Tarefas: Um conjunto abrangente de tarefas cobrindo todos os três níveis da hierarquia de Pearl, incluindo predição, associação, recuperação de grafo, identificação, estimativa de efeito, diagnósticos de viés e raciocínio contrafactual.
• Avaliação Determinística Consciente da Abstenção: Um sistema de pontuação que trata a abstenção em estimandos não-identificáveis como um resultado de primeira classe, impedindo que os modelos sejam recompensados por alucinar respostas para perguntas impossíveis de responder.

4. Resultados Experimentais

Os autores avaliaram seis modelos (três modelos fechados de fronteira: Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5; e três modelos de pesos abertos: Qwen 3.6 35B, Kimi K2.6, Gemma 4 26B) em um exame de composição realista de 100 cenas.

• Dissociação de Desempenho: Os cinco eixos de avaliação não colapsam em uma única capacidade. Os modelos diferem significamente em correção de conteúdo, quantificação de incerteza, reconhecimento de abstenção e eficiência de uso de ferramentas.
• Leaderboard: O Claude Opus 4.8 alcançou o melhor CausalDSScore geral (0.278), liderando em taxa de aprovação, erro normalizado e razão sinal-ruído (SNR). Foi o único modelo a atingir correção de conteúdo perfeita (100%) em tarefas binárias, mantendo um forte desempenho de abstenção.
• Abstenção como Diferenciador: A capacidade de reconhecer consultas não-identificáveis foi um grande diferencial. Modelos de fronteira (especialmente GPT-5.5 e Claude) mostraram taxas de aprovação de abstenção significativamente mais altas (até 75%) em comparação com modelos de pesos abertos (tão baixas quanto 18.8% para o Gemma 4 26B).
• Quantificação de Incerteza: Todos os modelos exibiram excesso de confiança. A cobertura empírica dos intervalos nominais de 95% do ATE colapsou para entre 20.0% e 71.4%, com o Claude Opus 4.8 performando melhor (71.4%).
• Uso de Ferramentas e Eficiência: Modelos de fronteira (Claude, GPT-5.5) utilizaram uma estratégia de "quase um único passo" (near one-shot) com menos chamadas de ferramentas (2.1–3.4 por tarefa) e menor uso de tokens, enquanto modelos de pesos abertos iteraram pesadamente (11–18 chamadas/tarefa) e consumiram significativamente mais tokens.
• Dificuldade de Observação: Sob as variantes de observação mais difíceis (proxies ruidosos), o desempenho degradou, particularmente para modelos de pesos abertos. O GPT-5.5 mostrou a maior queda na calibração de estimativa contínua (erro normalizado médio subindo para 3.10), enquanto o Claude Opus 4.8 manteve o erro controlado.

5. Significância e Alegações

O artigo afirma que o CausalDS proporciona uma evolução necessária na definição de benchmarks ao integrar raciocínio simbólico, estimativa quantitativa e uso de ferramentas agênticas em um único cenário realista. A principal descoberta empírica é que a competência em ciência de dados causal se decompõe: os modelos podem dominar as partes (ler a estrutura, produzir estimativas), mas falham no todo (saber a qualidade da estimativa ou se uma resposta é licenciada).

Os autores afirmam que um agente competente de ciência de dados causal deve superar todos os cinco eixos simultaneamente. O benchmark expõe que os modelos de fronteira atuais estão se aproximando dessa capacidade, com o Claude Opus 4.8 emergindo como o mais próximo de um "agente de ciência de dados causal completo", enquanto modelos de pesos abertos e modelos menores lutam significativamente com os eixos epistêmicos (abstenção e incerteza) e eficiência de uso de ferramentas. O trabalho destaca que "saber quando se abster" é uma habilidade distinta e avançada que diferencia agentes robustos daqueles propensos à alucinação.