Riepilogo Tecnico: PAIR-CI: Test di Indipendenza Condizionale Calibrato per la Scoperta Causale con Dati Incompleti

1. Enunciato del Problema

La scoperta causale tramite metodi basati su vincoli (ad esempio, l'algoritmo PC) si fonda fondamentalmente su una sequenza di test di indipendenza condizionale (CI) per determinare lo scheletro e l'orientamento di un grafo causale. Un collo di bottiglia critico sorge quando i dati sono incompleti. Gli approcci standard seguono tipicamente un paradigma "imputare prima, testare dopo": i valori mancanti vengono imputati e i test CI standard vengono applicati ai dati completati.

Gli autori identificano un difetto fondamentale in questo paradigma: la mancanza di calibrazione. Quando i modelli di imputazione sono specificati in modo errato (ad esempio, in condizioni di Missing Not At Random (MNAR) o quando le forme funzionali sono errate), l'errore di imputazione induce una dipendenza condizionale spuria tra le variabili del test. La Proposizione 1 formalizza che, in queste condizioni, qualsiasi test CI coerente rifiuterà asintoticamente l'ipotesi nulla vera con una probabilità che tende a 1. Ciò porta a grafi causali popolati da spigoli spurii, che propagano errori attraverso le regole di orientamento degli spigoli (regole di Meek), compromettendo l'inferenza a valle. I rimedi esistenti, come la cancellazione specifica per il test (che sacrifica i dati e induce un bias di selezione) o l'imputazione multipla standard combinata con le regole di Rubin (che non riesce a correggere il bias introdotto attraverso l'insieme di condizionamento), non risolvono questo problema strutturale.

2. Metodologia: PAIR-CI

Il documento introduce PAIR-CI, un test CI non parametrico progettato per ripristinare la calibrazione integrando l'imputazione multipla direttamente nella procedura inferenziale tramite un disegno di permutazione accoppiata.

Meccanismo Principale

Il test confronta due modelli convalidati incrociatamente che prevedono una variabile target $Z$ dato un insieme di condizionamento $X$:

1. Modello Completo: Prevede $Z$ utilizzando $(X, Y)$.
2. Modello Parziale: Prevede $Z$ utilizzando $(\hat{X}, U)$, dove $\hat{X}$ è l'insieme di condizionamento imputato e $U$ è una variabile "placebo".

Caratteristiche Chiave del Design:

• Imputazione Accoppiata: Entrambi i modelli ricevono lo stesso identico insieme di condizionamento imputato $\hat{X}$ derivato dallo stesso processo di imputazione multipla (MICE). Ciò garantisce che qualsiasi bias o distorsione introdotta dall'errore di imputazione influenzi entrambi i modelli in modo identico.
• Permutazione Condizionale: Il placebo $U$ è costruito permutando condizionalmente $Y$ tra i suoi $k$-vicini più prossimi nello spazio $\hat{X}$. Questo rompe il legame tra $Y$ e $Z$ dato $X$, preservando al contempo la dipendenza marginale di $Y$ su $X$.
• Differenza di Perdita: La statistica del test è la differenza nella perdita fuori campione (ad esempio, entropia incrociata binaria o MSE) tra il modello completo e quello parziale. Poiché entrambi i modelli condividono lo stesso $\hat{X}$ imputato, il bias indotto dall'imputazione si annulla nella differenza di perdita, impedendo che contamini la statistica del test.
• Stima Unificata della Varianza: La statistica del test aggrega le differenze di perdita attraverso $K$ fold di convalida incrociata e $M$ dataset imputati. Gli autori propongono un nuovo stimatore di varianza che annida lo stimatore di varianza di convalida incrociata all'interno dell'imputazione, provatamente coerente (Bayle et al., 2020), all'interno delle regole di Rubin per la variazione tra le imputazioni. Ciò tiene conto della dipendenza derivante sia dalla sovrapposizione dei fold che dalla variazione dell'imputazione simultaneamente.

Garanzie Teoriche

• Calibrazione: Sotto quattro ipotesi di regolarità lievi (coerenza dell'imputazione, perdita limitata, imputazione corretta e stabilità dell'apprenditore), PAIR-CI raggiunge una dimensione asintotica esatta per l'ipotesi nulla interna ($Z \perp\!\!\perp Y \mid \hat{X}$).
• Robustezza al MNAR: Il disegno accoppiato estende la calibrazione all'ipotesi nulla scientifica ($Z \perp\!\!\perp Y \mid X$) anche sotto MNAR, a condizione che l'errore di imputazione vari casualmente tra le osservazioni anziché essere sistematico.
• Coerenza: Il test è coerente sotto l'ipotesi alternativa ($H_1$), con una potenza che converge a 1 all'aumentare della dimensione del campione.
• Coerenza PC: Quando utilizzato come oracolo all'interno dell'algoritmo PC, PAIR-CI garantisce il recupero del vero Grafo Aciclico Diretto Parzialmente Completato (CPDAG) sotto le ipotesi standard di fedeltà.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Un Test CI Non Parametrico Calibrato: PAIR-CI è il primo metodo a integrare imputazione multipla, convalida incrociata e permutazione condizionale in un unico framework che mantiene la calibrazione in caso di specificazione errata. Raggiunge un tasso medio di falsi positivi $\le 4\%$ attraverso processi di generazione dati (DGP) e meccanismi di missingness diversificati, mentre i metodi esistenti mostrano tassi del 28–45% sotto MNAR.
2. Stima Unificata della Varianza: Gli autori forniscono la prima unificazione formale della stima della varianza della convalida incrociata e dell'imputazione multipla. Incorporando lo stimatore di Bayle et al. (2020) all'interno delle regole di Rubin, derivano uno stimatore asintoticamente esatto che migliora la potenza statistica di 9–10 punti percentuali a dimensioni di effetto intermedie e permette l'uso di $K=10$ fold senza sacrificare la calibrazione.
3. Scoperta Causale Robusta: I risultati empirici dimostrano che PAIR-CI supera significativamente i baseline nel recupero del grafo, in particolare in contesti non lineari e all'aumentare della dimensione del grafo.

4. Risultati Sperimentali

Gli autori validano PAIR-CI attraverso tre fasi di sperimentazione:

A. Prestazioni Standalone

Nelle simulazioni su DGP lineari Gaussiani, post-non lineari e con confonditori latenti con dimensioni del campione $n \in \{500, 5000\}$:

• Tassi di Falsi Positivi: PAIR-CI mantiene un FPR medio $\le 4\%$ attraverso tutte le condizioni di missingness (Completo, MAR, MNAR). Al contrario, i baseline come FZ-Rubin, GCM e KCI mostrano FPR del 28–45% sotto MNAR.
• Potenza: PAIR-CI raggiunge una potenza $>80\%$ per intensità del segnale $\ge 0.6$ e $n \ge 2000$. Sebbene sia meno potente dei test parametrici (ad esempio, Z di Fisher) quando le ipotesi sono perfettamente soddisfatte, evita i rigetti non informativi dei test non calibrati.

B. Recupero di Grafi Sintetici

Utilizzando l'algoritmo PC su DAG Erdős–Rényi ($p=10, 20, 30$):

• Spigoli Non Lineari: PAIR-CI riduce significativamente la Distanza di Hamming Strutturale (SHD) rispetto ai baseline. Il divario SHD si allarga con la dimensione del grafo: riduzione dell'8% a $p=10$, 15% a $p=30$, e fino al 44% sulla rete HAILFINDER a 56 variabili.
• Spigoli Lineari: PAIR-CI eguaglia o supera i baseline all'aumentare degli insiemi di condizionamento, dove le correlazioni parziali diventano meno affidabili.
• Precisione-Recall: PAIR-CI mostra un'alta precisione (spesso 1.0) a scapito di un recall leggermente inferiore, evitando la propagazione di spigoli spurii che affligge altri metodi.

C. Benchmark del Mondo Reale

• Rete ALARM ($p=37$): PAIR-CI raggiunge SHD 22.5–24 (lineare) e 31–33.5 (non lineare), superando tutti i baseline basati su vincoli (SHD 30–62).
• Rete HAILFINDER ($p=56$): PAIR-CI raggiunge SHD 62.5–65.5, rispetto a 103.5–128 per i baseline. Notevolmente, l'analisi caso completo raggiunge un SHD simile (66) ma con un punteggio F1 di 0.0 (scheletro vuoto), illustrando l'artefatto della "vittoria arrendendosi" della cancellazione aggressiva dei dati.

5. Significato e Affermazioni

Il documento afferma che PAIR-CI colma una lacuna critica nell'inferenza scientifica automatizzata fornendo un approccio calibrato alla scoperta causale con dati incompleti.

• Motivazione: Gli autori sostengono che il paradigma "imputare poi testare" è strutturalmente difettoso in condizioni comuni del mondo reale (MNAR, specificazione errata funzionale), portando a grafi causali inaffidabili.
• Ambito: Il metodo assume la sufficienza causale (nessun confonditore non osservato) ma è agnostico rispetto al specifico algoritmo di scoperta, fungendo da oracolo plug-in per PC o FCI.
• Limitazioni: Gli autori riconoscono che PAIR-CI scambia parte della potenza per la calibrazione, in particolare in campioni piccoli con segnali deboli o quando le relazioni sono strettamente lineari e il missingness è MCAR/MAR (dove eccellono i test parametrici). Notano inoltre che il metodo si basa sull'assunzione che l'errore di imputazione vari casualmente; errori sistematici (ad esempio, da imputazione con la media) possono ancora causare miscalibrazione.
• Conclusione: PAIR-CI offre una soluzione non parametrica e fondata su principi che ripristina l'affidabilità alla scoperta causale basata su vincoli in presenza di dati mancanti, con guadagni di prestazioni che scalano con la complessità del grafo e la non linearità.