NoisyCausal: A Benchmark for Evaluating Causal Reasoning Under Structured Noise

Resumo Técnico: NoisyCausal

Declaração do Problema
O raciocínio causal em linguagem natural requer a identificação de variáveis, a compreensão de suas interações e o raciocínio sobre efeitos e intervenções, frequentemente sob condições de ruído ou ambiguidade. Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem fortes capacidades de raciocínio geral, eles frequentemente lutam para distinguir correlação de causalidade, particularmente quando as observações são parcialmente incorretas ou contêm informações irrelevantes. Os benchmarks existentes (por exemplo, COPA, CausalQA, Cladder) dependem principalmente de cenários limpos e idealizados com estruturas causais simples ou implícitas. Esses conjuntos de dados frequentemente falham em refletir condições do mundo real onde os dados são ruidosos, incompletos ou confundidos por variáveis espúrias. Consequentemente, os modelos atuais frequentemente têm sucesso por meio de correspondência de padrões ou heurísticas superficiais, em vez de uma compreensão causal genuína, limitando sua robustez e interpretabilidade.

Metodologia
O artigo apresenta o NoisyCausal, um benchmark sintético projetado para avaliar o raciocínio causal sob ruído estruturado, juntamente com um framework de raciocínio modular guiado por grafos.

1. Construção do Benchmark NoisyCausal:

   • Pipeline: O conjunto de dados é gerado através de um pipeline de cinco etapas: (1) amostragem de um Grafo Acíclico Direcionado (DAG) com motivos topológicos diversos (cadeias, forks, coliders); (2) fundamentação semântica atribuindo rótulos do mundo real (por exemplo, medicina, infecção) e metadados; (3) amostragem de valores de variáveis a partir de um Modelo Causal Estrutural (SCM) para garantir consistência causal; (4) injeção de ruído estruturado; e (5) montagem de perguntas em linguagem natural.
   • Tipos de Ruído: O benchmark introduz seis categorias de ruído controláveis para simular imperfeições do mundo real:
     • Perturbação de Valor (VP): Inversão de valores de variáveis.
     • Injeção de Variável Irrelevante (IV): Adição de variáveis espúrias não causais.
     • Mascaramento Parcial (PM): Ocultação de valores de variáveis observadas.
     • Troca Causal (CS): Troca de valores de nós ligados para quebrar a lógica condicional.
     • Confounders Latentes (CI): Simulação de variáveis ocultas influenciando múltiplos nós.
     • Perturbação da Pergunta (QP): Modificação de perguntas para contradizer o SCM subjacente.
   • Escala: O conjunto de dados contém 10.617 pares de pergunta-resposta cobrindo várias combinações de ruído e níveis de dificuldade.

2. Framework de Raciocínio Guiado por Grafos:

   • Em vez de inferência de caixa-preta de ponta a ponta, o método proposto decompõe o raciocínio em três etapas:
     1. Extração de Variáveis: O LLM identifica entidades-chave e fatores latentes do contexto.
     2. Construção de Grafo Causal: O LLM constrói um DAG específico para a tarefa, prevendo a direcionalidade causal entre pares de variáveis.
     3. Inferência Estruturada: O contexto de fundo, os valores observados e o grafo construído são formatados em um prompt estruturado. O LLM então realiza a inferência fundamentada nessa estrutura simbólica explícita, em vez de depender apenas de padrões estatísticos.

Principais Contribuições

• Benchmark NoisyCausal: Um novo conjunto de avaliação apresentando grafos causais explícitos, cenários em linguagem natural e ruído estruturado controlável, projetado para testar a robustez contra distratores, confundidores e observabilidade parcial.
• Framework Modular: Uma arquitetura de raciocínio que integra LLMs com abstrações causais explícitas. Utiliza o grafo causal como um intermediário interpretável para guiar o LLM, separando a extração de estrutura da inferência.
• Validação Empírica: Demonstração de que combinar estrutura causal com raciocínio de LLM melhora significativamente o desempenho e a robustez em comparação com prompts padrão e baselines de Cadeia de Pensamento (CoT).

Resultados Experimentais

• Desempenho no NoisyCausal: O método guiado por grafos alcançou 80,7% de precisão em dados limpos, superando o GPT-4 (62,8%) e o Causal CoT (73,4%). Sob ruído estruturado, o método proposto manteve alta estabilidade (por exemplo, 77,3% em Perturbação de Valor, 73,5% em Confounders Latentes), enquanto LLMs padrão e baselines CoT mostraram degradação significativa (por exemplo, o GPT-3.5 caiu para 43,8% em Perturbação de Pergunta).
• Generalização: O modelo generalizou para o benchmark externo Cladder sem ajuste específico para a tarefa, alcançando 82,3% de precisão, superando todas as baselines.
• Estudos de Ablação:
  • Remover o grafo causal ou usar um grafo reconfigurado aleatoriamente causou quedas significativas de desempenho (aproximadamente 15–20%), confirmando a necessidade de orientação estrutural correta.
  • O desempenho declinou gradualmente à medida que os tipos de ruído eram combinados, caindo de 73,47% (1 tipo de ruído) para 57,98% (todos os 6 tipos de ruído).
  • O framework mostrou-se mais sensível à direcionalidade causal incorreta (Reversão de Direção) do que à exclusão de arestas.
• Descoberta de Estrutura: O GPT-4 alcançou altas pontuações F1 (>85%) na extração de grafos causais a partir de texto limpo, embora o desempenho tenha degradado com ruído. Prompts estruturados produziram melhor qualidade de extração do que instruções em linguagem natural.
• Perturbação Inconsistente com Crenças (BIP): Quando expostos a prompts contendo equívocos comuns que contradizem o grafo causal, os modelos padrão sofreram quedas de precisão (até 6%), enquanto o modelo guiado por grafos permaneceu robusto (caindo apenas 1,2%).
• Transferibilidade: O ajuste fino do LLaMA-7B no NoisyCausal melhorou seu desempenho no benchmark CausalQA de autoria humana em 5,1 pontos percentuais, sugerindo que as habilidades aprendidas transferem-se para tarefas do mundo real.

Significado e Alegações
O artigo argumenta que os LLMs atuais frequentemente falham no raciocínio causal porque dependem de associações estatísticas de corpora de pré-treinamento em vez de dependências mecânicas. Os autores afirmam que o NoisyCausal serve como uma ferramenta diagnóstica crítica para isolar modos de falha específicos (por exemplo, sensibilidade a distratores, confusão) que são difíceis de separar em corpora naturais.

O significado principal reside em demonstrar que combinar abstrações causais com raciocínio orientado por linguagem produz inferências mais fiéis e robustas. Ao guiar LLMs com estruturas simbólicas explícitas, o framework proposto mitiga a tendência de confundir correlação com causalidade, mesmo sob condições ruidosas. Os autores posicionam essa abordagem como um passo em direção a LLMs "conscientes de causalidade", enfatizando que a fundamentação estrutural é essencial para alcançar IA robusta em ambientes incertos.

Limitações
Os autores reconhecem que o framework depende da extração de variáveis e construção de grafos baseada em LLM, o que pode introduzir erros em cascata. O design atual carece de otimização de ponta a ponta e, embora o benchmark seja diversificado, a generalização para o mundo real em discurso multimodal ou de domínio aberto permanece não testada. Sugere-se trabalho futuro para incluir estimativa de confiança, treinamento conjunto e avaliação em dados multimodais do mundo real.