Evaluating Bivariate Causal Statements Based on Mutual Compatibility

Resumo Técnico: Avaliando Declarações Causais Bivariadas Baseadas em Compatibilidade Mútua

Definição do Problema
Em muitos domínios do mundo real, como a medicina e a economia, estabelecer a verdade causal fundamental por meio de experimentação é frequentemente inviável ou proibitivamente caro. Consequentemente, a inferência causal depende fortemente do conhecimento de especialistas ou, cada vez mais, de saídas de Modelos de Linguagem de Grande Escala (LLMs). Essas fontes tipicamente fornecem declarações causais bivariadas (relações par a par de causa-efeito) em vez de grafos causais multivariados completos. Embora humanos e LLMs tenham facilidade em avaliar relações par a par, agregar essas declarações em um modelo global coerente é um desafio. Métodos existentes para avaliar alegações causais sem uma verdade fundamental (ground truth) dependem da consistência com dados ou de algoritmos de descoberta específicos. Este artigo aborda a questão fundamental de como avaliar a confiabilidade de coleções de declarações causais bivariadas quando não há uma verdade fundamental disponível, especificamente avaliando sua compatibilidade mútua.

Metodologia
Os autores propõem dois frameworks distintos para avaliar declarações causais bivariadas, dependendo da natureza da informação fornecida: quantitativa (coeficientes lineares) ou qualitativa (existência/direção gráfica).

1. Compatibilidade para Declarações Causais Bivariais Lineares
Esta abordagem visa declarações que quantificam efeitos causais totais par a par via coeficientes lineares ($\alpha_{ij}$).

• Fundamentação Teórica: Os autores demonstram que, para qualquer lista acíclica de declarações bivariais lineares, existe um Modelo de Equação Estrutural (SEM) linear multivariado único cujas marginais par a par correspondem exatamente às declarações fornecidas. Como um modelo único sempre existe, restrições de compatibilidade "rígidas" (além da aciclicidade) não se aplicam.
• O Postulado do Confundimento: Para avaliar a plausibilidade, os autores introduzem um postulado: um modelo causal multivariado genérico não deve exibir mais confundimento do que seus modelos marginais bivariados. A intuição é que a marginalização de um modelo multivariado reduz os caminhos causais observados, aumentando o confundimento não observado nos marginais. Se o modelo multivariado induzido exigir menos confundimento do que os marginais para explicar os dados, isso implica um cancelamento específico e improvável de caminhos causais (violando o postulado).
• Mecanismo de Pontuação:
  • Medida de Confundimento: Eles definem uma pontuação de confundimento baseada no resíduo quadrático das covariâncias não explicadas pelos caminhos causais observados. Para um modelo bivariado, isso é $(\Sigma_{ij} - \alpha_{ij}\Sigma_{ii})^2$. Para o modelo multivariado, é o resíduo quadrático após considerar todos os caminhos direcionados e caminhos de porta traseira (back-door) totalmente observados.
  • Pontuação de Compatibilidade: A pontuação é definida como a soma sobre todos os pares da diferença entre o confundimento bivariado e o confundimento multivariado:
    $$\text{comp}(\Sigma, A) = \sum_{i<j} (C^{\text{biv}}_{ij} - C^{\text{mult}}_{ij})$$
  • Interpretação: Uma pontuação negativa indica uma violação do postulado do confundimento, servindo como evidência para falsificar as declarações. Uma pontuação positiva não garante correção, mas indica que as declarações induzem um modelo plausível.
• Garantias Teóricas: O artigo prova que, para modelos causais aleatórios que satisfazem a ausência de viés e a independência de mecanismos, a pontuação de compatibilidade esperada é positiva. Também fornece limites de concentração de amostra finita mostrando que as estimativas empíricas da pontuação convergem para a pontuação real com complexidade de amostra polinomial.

2. Incompatibilidade para Declarações Causais Bivariais Gráficas
Esta abordagem visa declarações qualitativas que indicam a presença/ausência de efeitos causais e de confundimento, modeladas como Grafos Mistos Direcionados Acíclicos (ADMGs).

• Compatibilidade Gráfica: Sob a suposição de fidelidade (faithfulness), uma coleção de ADMGs bivariados é compatível se, e somente se, eles forem as marginalizações de um único ADMG global. Isso requer três condições:
  1. A parte direcionada do grafo de união é acíclica.
  2. A parte direcionada é transitoriamente fechada.
  3. Se um caminho de confundimento existe entre dois nós, um arco bidirecionado deve existir entre eles.
• Pontuação de Incompatibilidade: Como encontrar o grafo mais próximo compatível é um problema NP-difícil (relacionado ao problema de Edição de Transitividade Acíclica), os autores propõem um algoritmo heurístico para aproximar o número mínimo de edições de arestas (adições/exclusões) necessárias para satisfazer as três condições. A pontuação é a soma das edições necessárias para:
  1. Quebrar ciclos (Conjunto de Arcos de Feedback).
  2. Impor o fechamento transitivo.
  3. Impor a propriedade de fechamento do caminho de confundimento.
• Propriedades: A pontuação heurística é um limite superior para a verdadeira incompatibilidade. Se a pontuação for zero, as declarações são perfeitamente compatíveis; se for grande, indica inconsistência significativa.

Resultados Principais

• Experimentos Sintéticos:
  • Caso Linear: A pontuação de compatibilidade distingue com sucesso declarações corretas de incorretas. À medida que o ruído (erro) é adicionado aos coeficientes da verdade fundamental, a fração de declarações com pontuações positivas diminui. A pontuação é robusta a variáveis ocultas e melhora com o número de variáveis observadas e a densidade do modelo.
  • Caso Gráfico: A pontuação de incompatibilidade aumenta monotonicamente com o número de erros injetados em grafos sintéticos. Para grafos esparsos, ela aproxima de perto a contagem real de erros; para grafos densos, serve como um limite superior confiável.
• Avaliação de LLMs:
  • Os autores aplicaram esses métodos a alegações causais geradas por vários LLMs (ex: Claude, GPT, Gemma, Qwen) em relação a indicadores socioeconômicos (densidade populacional, alfabetização, renda, etc.).
  • Resultados Lineares: As pontuações de compatibilidade variaram significamente entre os modelos, com modelos de maior capacidade geralmente alcançando pontuações mais altas (mais plausíveis). Muitos LLMs receberam pontuações negativas, indicando que suas declarações geradas eram internamente inconsistentes.
  • Resultados Gráficos: A maioria das saídas dos LLMs resultou em pontuações de incompatibilidade não nulas. Curiosamente, alguns modelos de baixa pontuação produziram grafos extremamente densos (alegando confundimento em toda parte), o que satisfaz trivialmente as condições de compatibilidade, mas carece de informatividade. Ao filtrar por grafos informativos (menor densidade de arestas), surgiu uma correlação entre pontuações de incompatibilidade menores e maior capacidade do modelo.

Significância e Alegações
O artigo afirma fornecer um método fundamental para avaliar a confiabilidade da informação causal derivada de especialistas humanos ou IA na ausência de uma verdade fundamental.

• Falsificação vs. Verificação: Os autores enfatizam que seus métodos são primariamente ferramentas para falsificação. Uma pontuação de compatibilidade negativa ou uma alta pontuação de incompatibilidade fornece evidência de que um conjunto de declarações é incorreto ou inconsistente. Uma pontuação positiva não prova a correção, mas indica que as declarações passaram por um "teste de sanidade" quanto à plausibilidade mútua.
• Independência de Fidelidade (Caso Linear): Uma contribuição chave é a capacidade do framework linear de avaliar declarações sem depender da suposição de fidelidade, que é frequentemente violada na prática.
• Aplicação Prática: O trabalho demonstra que essas métricas podem diferenciar a qualidade do raciocínio causal em diferentes LLMs, sugerindo utilidade para filtragem pós-treinamento, pipelines de validação ou avaliação automatizada de alegações causais geradas por IA.

Os autores mantêm-se modestos, observando que pontuações altas não garantem a verdade e que trabalhos futuros podem estender esses frameworks para listas incompletas de declarações ou incorporar declarações sobre pequenos subconjuntos de variáveis.