📊 statistics

PAIR-CI: Calibrated Conditional Independence Testing for Causal Discovery with Incomplete Data

Este artigo apresenta o PAIR-CI, um teste de independência condicional não paramétrico que integra múltipla imputação diretamente no procedimento inferencial por meio de um desenho de permutação emparelhada para eliminar dependências espúrias causadas por erros de imputação, restaurando assim a calibração estatística e melhorando significativamente a precisão da descoberta causal em conjuntos de dados com valores ausentes, particularmente sob condições não lineares e de ausência não aleatória.

Autores originais: Thomas S. Robinson, Ranjit Lall

Publicado 2026-05-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thomas S. Robinson, Ranjit Lall

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O "Quebra-Cabeça Quebrado"

Imagine que você está tentando descobrir como uma máquina complexa funciona (como um motor de carro) observando suas partes. Você quer saber: A vela de ignição faz o motor girar, ou é apenas a bateria?

Na ciência de dados, isso é chamado de Descoberta Causal. Para resolver isso, os pesquisadores usam um método que verifica se duas partes são independentes uma da outra, uma vez que se leva em conta uma terceira parte. Isso é chamado de teste de Independência Condicional (IC).

O Pulo do Gato: Os dados do mundo real são bagunçados. Frequentemente, partes do quebra-cabeça estão faltando (como uma engrenagem faltando no seu diagrama).

O Jeito Antigo: A abordagem padrão é "adivinhar" (imputar) como são as partes faltantes primeiro e, depois, executar o teste.
O Defeito: O artigo argumenta que esse método de "adivinhar-então-testar" é como tentar resolver um quebra-cabeça usando óculos embaçados. Se a sua suposição sobre a peça faltante estiver levemente errada, isso cria uma conexão falsa entre partes que não estão realmente conectadas. Isso leva os pesquisadores a traçar linhas em seu mapa onde não deveriam existir linhas, criando um mapa falso de como a máquina funciona.

A Solução: PAIR-CI (A Abordagem "Emparelhada")

Os autores, Thomas Robinson e Ranjit Lall, introduzem um novo método chamado PAIR-CI. Em vez de adivinhar as peças faltantes e depois testar, eles mudam o jogo completamente.

Pense nisso como uma degustação em uma competição de culinária:

A Montagem: Você tem uma sopa (seus dados) com alguns ingredientes faltando. Você cria várias versões da sopa onde os ingredientes faltantes são preenchidos com suposições (isso é chamado de "Imputação Múltipla").
O Emparelhamento: Para cada versão única da sopa, você executa dois testes de degustação lado a lado:
- Teste A: Um chef prova a sopa com o ingrediente candidato (por exemplo: "Adicionar sal muda o sabor?").
- Teste B: Um chef prova a sopa sem o ingrediente candidato (por exemplo: "A sopa tem o mesmo sabor se fingirmos que o sal não estava lá?").
O Truque de Mágica: Crucialmente, ambos os chefs estão provando a exata mesma versão da sopa com os exatos mesmos ingredientes supostos.
- Se a "suposição" para o ingrediente faltante foi ruim (óculos embaçados), ela afeta ambos os chefs igualmente.
- Quando você compara os dois resultados, a "suposição ruim" se cancela. É como se ambos os chefs estivessem usando os mesmos óculos embaçados; ambos achariam que a sopa tem um gosto estranho, mas ao compararem suas observações, perceberiam: "Ei, a estranheza é a mesma para nós dois, então deve ser os óculos, não a sopa."

Ao comparar os dois modelos diretamente, o PAIR-CI remove o erro causado pelas suposições sobre dados faltantes, deixando apenas o sinal verdadeiro.

Por Que Isso Importa: O Problema do "Falso Alarme"

O artigo executou milhares de simulações para ver o quão bem isso funciona.

O Jeito Antigo: Quando os dados faltavam de maneiras complicadas (não apenas aleatórias, mas sistemáticas), os métodos antigos disparavam o "falso alarme" (achando que havia uma conexão quando não havia) 28% a 45% das vezes. É como um detector de fumaça disparando toda vez que você torra uma fatia de pão.
PAIR-CI: Este novo método manteve a taxa de falso alarme abaixo de 5%, que é a meta padrão para testes científicos. Ele permaneceu calmo e preciso mesmo quando os dados estavam bagunçados.

O "Motor" Atrás das Cenas

Para fazer isso funcionar, os autores tiveram que resolver um problema matemático que ninguém mais havia resolvido antes.

O Desafio: Seu método envolve dois tipos de "ruído": o ruído de adivinhar os dados faltantes e o ruído de dividir os dados em pedaços para testá-los (validação cruzada).
A Correção: Eles construíram uma nova "régua" matemática (um estimador de variância) que mede ambos os tipos de ruído ao mesmo tempo. É como ter uma única balança que pode pesar tanto a fruta quanto a cesta em que ela está sentada, dando-lhe o peso verdadeiro apenas da fruta.

Resultados do Mundo Real

Os autores testaram isso em mapas de diferentes tamanhos:

Mapas Pequenos (10 variáveis): Funcionou bem, ligeiramente melhor do que os métodos antigos.
Mapas Médios (30 variáveis): A vantagem cresceu. Os métodos antigos começaram a cometer muitos erros, enquanto o PAIR-CI permaneceu preciso.
Mapas Grandes (56 variáveis - A rede climática "HAILFINDER"): É aqui que o novo método brilhou. Os métodos antigos estavam tão confusos pelos dados faltantes que seus mapas eram quase inúteis. O PAIR-CI reduziu os erros em 44%.

A Conclusão

O PAIR-CI é uma nova ferramenta para cientistas tentando descobrir relações de causa e efeito quando seus dados têm buracos.

Ferramenta Antiga: Adivinhe os buracos, depois teste. (Propenso a ver fantasmas/conexões que não existem).
Nova Ferramenta (PAIR-CI): Teste dois cenários lado a lado usando as mesmas suposições. Os erros se cancelam, revelando a verdade verdadeira.

O artigo afirma que este método é mais confiável, especialmente quando os dados faltam de maneiras complexas e não aleatórias, e funciona melhor quando as relações entre as variáveis são complexas (não lineares) em vez de linhas retas simples. Ele não afirma corrigir todos os problemas de dados faltantes, mas corrige o problema específico de "conexões falsas" causadas por más suposições na descoberta causal.

Resumo Técnico: PAIR-CI: Teste de Independência Condicional Calibrado para Descoberta Causal com Dados Incompletos

1. Declaração do Problema

A descoberta causal via métodos baseados em restrições (por exemplo, o algoritmo PC) fundamenta-se essencialmente numa sequência de testes de independência condicional (IC) para determinar o esqueleto e a orientação de um grafo causal. Um gargalo crítico surge quando os dados estão incompletos. As abordagens padrão geralmente seguem um paradigma de "imputar primeiro, testar depois": os valores ausentes são imputados e os testes de IC padrão são aplicados aos dados completados.

Os autores identificam um defeito fundamental neste paradigma: a miscalibração. Quando os modelos de imputação estão mal especificados (por exemplo, sob condições de Ausente Não Aleatoriamente (MNAR) ou quando as formas funcionais estão incorretas), o erro de imputação induz dependência condicional espúria entre as variáveis do teste. A Proposição 1 formaliza que, sob estas condições, qualquer teste de IC consistente rejeitará assintoticamente a verdadeira hipótese nula com probabilidade tendendo a 1. Isso leva a grafos causais populados com arestas espúrias, que propagam erros através das regras de orientação de arestas (regras de Meek), comprometendo a inferência a jusante. Remédios existentes, como a exclusão específica ao teste (sacrificando dados e induzindo viés de seleção) ou a imputação múltipla padrão combinada com as regras de Rubin (que falha em corrigir o viés que entra através do conjunto de condicionamento), não resolvem esta questão estrutural.

2. Metodologia: PAIR-CI

O artigo introduz o PAIR-CI, um teste de IC não paramétrico projetado para restaurar a calibração integrando a imputação múltipla diretamente no procedimento inferencial através de um desenho de permutação pareada.

Mecanismo Central

O teste compara dois modelos validados cruzadamente que preveem uma variável alvo $Z$ dado um conjunto de condicionamento $X$ :

Modelo Completo: Prevê $Z$ usando $(X, Y)$ .
Modelo Parcial: Prevê $Z$ usando $(\hat{X}, U)$ , onde $\hat{X}$ é o conjunto de condicionamento imputado e $U$ é uma variável "placebo".

Características Principais de Design:

Imputação Pareada: Ambos os modelos recebem o exatamente mesmo conjunto de condicionamento imputado $\hat{X}$ derivado do mesmo processo de imputação múltipla (MICE). Isso garante que qualquer viés ou distorção introduzido pelo erro de imputação afete ambos os modelos de forma idêntica.
Permutação Condicional: O placebo $U$ é construído permutando condicionalmente $Y$ entre seus $k$ -vizinhos mais próximos no espaço $\hat{X}$ . Isso quebra o vínculo entre $Y$ e $Z$ dado $X$ , preservando a dependência marginal de $Y$ em relação a $X$ .
Diferença de Perda: A estatística de teste é a diferença na perda fora da amostra (por exemplo, entropia cruzada binária ou MSE) entre os modelos completo e parcial. Como ambos os modelos compartilham o mesmo $\hat{X}$ imputado, o viés induzido pela imputação cancela-se na diferença de perda, impedindo que contamine a estatística de teste.
Estimação Unificada de Variância: A estatística de teste agrega diferenças de perda através de $K$ dobras de validação cruzada e $M$ conjuntos de dados imputados. Os autores propõem um estimador de variância inovador que aninha o estimador de variância de validação cruzada dentro da imputação, comprovadamente consistente (Bayle et al., 2020), dentro das regras de Rubin para a variação entre imputações. Isso contabiliza a dependência decorrente tanto da sobreposição de dobras quanto da variação de imputação simultaneamente.

Garantias Teóricas

Calibração: Sob quatro suposições de regularidade brandas (consistência de imputação, perda limitada, imputação adequada e estabilidade do aprendiz), o PAIR-CI alcança tamanho assintótico exato para a hipótese nula interna ( $Z \perp\!\!\perp Y \mid \hat{X}$ ).
Robustez a MNAR: O desenho pareado estende a calibração para a hipótese nula científica ( $Z \perp\!\!\perp Y \mid X$ ) mesmo sob MNAR, desde que o erro de imputação varie aleatoriamente entre as observações em vez de ser sistemático.
Consistência: O teste é consistente sob a hipótese alternativa ( $H_1$ ), com potência convergindo para 1 à medida que o tamanho da amostra aumenta.
Consistência do PC: Quando usado como um oráculo dentro do algoritmo PC, o PAIR-CI garante a recuperação do verdadeiro Grafo Acíclico Direcionado Parcialmente Completado (CPDAG) sob suposições padrão de fidelidade.

3. Contribuições Principais

O artigo delineia três contribuições principais:

Um Teste de IC Não Paramétrico Calibrado: O PAIR-CI é o primeiro método a integrar imputação múltipla, validação cruzada e permutação condicional num único quadro que mantém a calibração sob má especificação. Alcança uma taxa média de falsos positivos $\le 4\%$ através de diversos processos geradores de dados (DGPs) e mecanismos de ausência, enquanto métodos existentes exibem taxas de 28–45% sob MNAR.
Estimação Unificada de Variância: Os autores fornecem a primeira unificação formal da validação cruzada e da estimação de variância de imputação múltipla. Ao incorporar o estimador de Bayle et al. (2020) dentro das regras de Rubin, derivam um estimador assintoticamente exato que melhora a potência estatística em 9–10 pontos percentuais em tamanhos de efeito intermediários e permite $K=10$ dobras sem sacrificar a calibração.
Descoberta Causal Robusta: Resultados empíricos demonstram que o PAIR-CI supera significativamente as linhas de base na recuperação de grafos, particularmente em configurações não lineares e à medida que o tamanho do grafo aumenta.

4. Resultados Experimentais

Os autores validam o PAIR-CI através de três estágios de experimentação:

A. Performance Isolada

Em simulações através de DGPs Gaussianos lineares, pós-não lineares e com confundidores latentes com tamanhos de amostra $n \in \{500, 5000\}$ :

Taxas de Falsos Positivos: O PAIR-CI mantém uma taxa média de FPR $\le 4\%$ através de todas as condições de ausência (Completo, MAR, MNAR). Em contraste, linhas de base como FZ-Rubin, GCM e KCI exibem FPRs de 28–45% sob MNAR.
Potência: O PAIR-CI alcança $>80\%$ de potência em intensidades de sinal $\ge 0.6$ e $n \ge 2000$ . Embora seja menos potente do que testes paramétricos (por exemplo, Z de Fisher) quando as suposições são perfeitamente atendidas, evita as rejeições não informativas de testes miscalibrados.

B. Recuperação de Grafos Sintéticos

Usando o algoritmo PC em DAGs Erdős–Rényi ( $p=10, 20, 30$ ):

Arestas Não Lineares: O PAIR-CI reduz significativamente a Distância Hamming Estrutural (SHD) em comparação com as linhas de base. A lacuna de SHD alarga com o tamanho do grafo: redução de 8% em $p=10$ , 15% em $p=30$ , e até 44% na rede HAILFINDER de 56 variáveis.
Arestas Lineares: O PAIR-CI iguala ou supera as linhas de base à medida que os conjuntos de condicionamento crescem, onde correlações parciais se tornam menos confiáveis.
Precisão-Revocação: O PAIR-CI exibe alta precisão (frequentemente 1.0) ao custo de uma revocação ligeiramente menor, evitando a propagação de arestas espúrias que aflige outros métodos.

C. Benchmarks do Mundo Real

Rede ALARM ( $p=37$ ): O PAIR-CI alcança SHD 22.5–24 (linear) e 31–33.5 (não linear), superando todas as linhas de base baseadas em restrições (SHD 30–62).
Rede HAILFINDER ( $p=56$ ): O PAIR-CI alcança SHD 62.5–65.5, comparado a 103.5–128 para as linhas de base. Notavelmente, a análise de casos completos alcança um SHD similar (66) mas com um escore F1 de 0.0 (esqueleto vazio), ilustrando o artefato de "vencer desistindo" da exclusão agressiva de dados.

5. Significado e Alegações

O artigo alega que o PAIR-CI aborda uma lacuna crítica na inferência científica automatizada ao fornecer uma abordagem calibrada para descoberta causal com dados incompletos.

Motivação: Os autores argumentam que o paradigma "imputar e depois testar" é estruturalmente falho sob condições comuns do mundo real (MNAR, má especificação funcional), levando a grafos causais não confiáveis.
Escopo: O método assume suficiência causal (sem confundidores não observados) mas é agnóstico quanto ao algoritmo de descoberta específico, servindo como um oráculo plug-and-play para PC ou FCI.
Limitações: Os autores reconhecem que o PAIR-CI troca alguma potência por calibração, particularmente em amostras pequenas com sinais fracos ou quando as relações são estritamente lineares e a ausência é MCAR/MAR (onde testes paramétricos se destacam). Eles também notam que o método depende da suposição de que o erro de imputação varia aleatoriamente; erros sistemáticos (por exemplo, de imputação pela média) ainda podem causar miscalibração.
Conclusão: O PAIR-CI oferece uma solução não paramétrica e principial que restaura a confiabilidade à descoberta causal baseada em restrições na presença de dados ausentes, com ganhos de desempenho que escalam com a complexidade do grafo e a não linearidade.