Resumo Técnico: Aproveitando Modelos de Linguagem de Grande Escala para Descoberta Causal

Declaração do Problema

A descoberta causal visa reconstruir grafos causais a partir de dados observacionais para permitir análise de predição e intervenção. Embora existam métodos estatísticos (baseados em restrições e baseados em escores), eles dependem fortemente de suposições (ex: fidelidade, suficiência causal) e do tamanho da amostra, frequentemente resultando em classes de equivalência em vez de Grafos Acíclicos Dirigidos (DAGs) únicos. A incorporação do conhecimento de especialistas do domínio pode refinar esses resultados, mas codificar restrições manualmente é trabalhoso e frequentemente trata a entrada do especialista como "verdade absoluta" (ground truth), oferecendo mecanismos limitados para resolver conflitos entre a intuição do especialista e a evidência estatística.

Abordagens recentes utilizam Modelos de Linguagem de Grande Escala (LLMs) para extrair restrições causais de metadados de variáveis. No entanto, os LLMs são especialistas imperfeitos, propensos a alucinações e à memorização de benchmarks públicos. Um desafio crítico é distinguir o raciocínio causal genuíno da recuperação literal de grafos memorizados, particularmente quando benchmarks padrão (ex: Asia, Sachs) estão presentes nos corpora de pré-treinamento dos LLMs.

Metodologia

O artigo propõe o ABAPC-LLM, um framework híbrido que integra restrições semânticas derivadas de LLM com evidência estatística usando Argumentação Baseada em Suposições Causais (Causal ABA).

1. O Framework de Argumentação (Causal ABA)

Em vez de tratar as restrições como regras rígidas, o framework modela a descoberta causal como um problema de argumentação:

• Suposições: Candidatos a arestas causais e declarações de independência condicional (CI) são tratados como suposições defeitos (defeasible assumptions).
• Regras: Regras lógicas codificam a aciclicidade e princípios de d-separação.
• Ataques: Restrições incompatíveis (ex: uma declaração de CI que implica independência vs. uma restrição que implica uma aresta direta) atacam umas às outras.
• Resolução: O sistema computa "extensões estáveis", retendo apenas o maior subconjunto de suposições que sejam conjuntamente defensáveis. Isso permite que o framework exponha e resolva de forma transparente os conflitos entre os dados e o conhecimento do especialista (ou do LLM), em vez de aplicar cegamente uma das fontes.

2. Pipeline de Integração de LLM

O método trata os LLMs como especialistas imperfeitos para elicitar restrições estruturais:

• Elicitação: Um LLM é instigado (prompted) com nomes e descrições de variáveis para gerar listas de Direções Obrigatórias (arestas que devem existir) e Direções Proibidas (arestas que não podem existir).
• Filtragem de Consenso: Para mitigar a estocasticidade e a alucinação, o LLM é consultado cinco vezes. Apenas as restrições que aparecem na interseção de todas as cinco execuções (consenso unânime) são retidas. Esta abordagem conservadora prioriza a precisão sobre a revocação (recall).
• Integração: Essas restrições de consenso são codificadas como fatos dentro do framework Causal ABA. Crucialmente, elas são usadas para orientar as arestas existentes identificadas por testes estatísticos, não para introduzir novas arestas. Se um teste estatístico remove uma aresta (redução de esqueleto), o LLM não pode forçá-la de volta.

3. Protocolo de Avaliação: Benchmarks Sintéticos CauseNet

Para enfrentar o risco de memorização de LLM, os autores introduzem um novo protocolo de avaliação usando o CauseNet, um grande grafo de conhecimento de relações de causa e efeito:

1. Escafolamento Estrutural: DAGs aleatórios são gerados usando topologias de Erdős-Rényi, Scale-Free ou de Triângulo Inferior.
2. Fundamentação Semântica: A estrutura do DAG aleatório é mapeada para um subgrafo dentro do CauseNet via isomorfismo de subgrafo induzido.
3. Seleção Heurística: Os mapeamentos candidatos são classificados por compactação semântica, especificidade de nó e correlação estrutural-semântica para garantir que o DAG resultante seja semanticamente coerente, porém estruturalmente novo.
4. Geração de Dados: Dados observacionais são amostrados dos DAGs fundamentados. Isso garante que o LLM seja testado em combinações semânticas inéditas, em vez de grafos de benchmarks memorizados.

Principais Contribuições

1. Framework ABAPC-LLM: Uma abordagem principista e conservadora de descoberta causal híbrida que utiliza a argumentação para integrar restrições derivadas de LLM com evidências de CI baseadas em dados. Trata o conhecimento do LLM como defeível, permitindo que a evidência estatística sobreponha as restrições semânticas quando conflitos ocorrem.
2. Elicitação Baseada em Consenso: Um pipeline que utiliza filtragem de unanimidade de múltiplas execuções para extrair restrições direcionais de alta precisão de LLMs, reduzendo o risco de incorporar elos causais espúrios.
3. Mitigação do Viés de Memorização: A introdução do protocolo de benchmark sintético baseado em CauseNet, que fundamenta DAGs aleatórios em conceitos do mundo real para avaliar a generalização do LLM além de conjuntos de dados públicos memorizados.
4. Validação Empírica: Avaliação abrangente mostrando desempenho competitivo em benchmarks padrão e desempenho superior nos novos benchmarks sintéticos, particularmente em métricas de recuperação estrutural (SHD, F1-score).

Resultados Experimentais

• Benchmarks Sintéticos (CauseNet): O ABAPC-LLM alcançou a menor Distância de Hamming Estrutural (SHD) e a maior revocação (recall) em todos os números de nós (5, 10, 15). Ele superou consistentemente as linhas de base padrão (MPC, FGS, NOTEARS) e a variante de apenas argumentação (ABAPC), demonstrando que as restrições semânticas melhoram a precisão estrutural quando os conflitos são resolvidos via argumentação.
• Benchmarks Padrão (bnlearn): O método apresentou desempenho competitivo em conjuntos de dados padrão (ex: sachs, child, asia). Em alguns casos (ex: earthquake), os métodos padrão performaram bem, mas o ABAPC-LLM manteve um desempenho forte, particularmente em grafos maiores e mais complexos.
• Análise da Qualidade das Restrições: O estudo revelou um efeito de "sinergia": quando as restrições do LLM eram de alta qualidade, elas aumentavam significamente a precisão do grafo final. No entanto, restrições de baixa qualidade do LLM poderiam degradar o desempenho se forçassem a relaxação de evidências estatísticas fortes, destacando a importância da camada de argumentação no filtro de ruído.
• Tempo de Execução: A abordagem adiciona um overhead para resolver o framework de argumentação, mas permanece tratável para grafos de até ~20 variáveis, com tempos de execução em segundos para conjuntos de dados menores.

Significância e Alegações

O artigo afirma que o ABAPC-LLM oferece um método conservador e auditável para aproveitar LLMs na descoberta causal. Ao tratar o conhecimento do LLM como suposições defeíveis em vez de verdade absoluta, o framework evita as armadilhas de alucinação e memorização, enquanto capitaliza o sinal semântico que os LLMs fornecem.

Os autores enfatizam que seu método não pretende dizer que os LLMs são raciocinadores causais perfeitos. Em vez disso, posicionam os LLMs como uma fonte de priores semânticos estruturados que podem ser rigorosamente testados contra os dados. O uso do protocolo CauseNet é apresentado como um passo necessário para avaliar a generalização, argumentando que o alto desempenho em benchmarks padrão pode ser apenas reflexo de contaminação de dados. O trabalho defende um futuro onde os LLMs servem como "fontes auditáveis de direções causais", mediadas por verificações de consistência formal, em vez de decisores autônomos.