Sintesi Tecnica: FoundCause

Definizione del Problema

La scoperta causale da dati osservazionali rimane una sfida fondamentale nel machine learning e nella statistica. La difficoltà principale risiede nel recuperare strutture causali dirette e nell'identificare il confondimento latente senza l'accesso a interventi controllati. Sebbene i metodi classici (ad esempio, PC basato su vincoli, GES basato su punteggio e approcci di ottimizzazione continua come NOTEARS) siano ben fondati, essi soffrono di limitazioni significative: richiedono un'ottimizzazione costosa per ogni dataset, sono sensibili agli iperparametri e alle assunzioni distribuzionali, e spesso non riescono a scalare verso regimi di dati ad alta dimensionalità o eterogenei. Inoltre, la scoperta causale generalmente non è identificabile senza assunzioni forti (ad esempio, linearità, rumore additivo o faithfulness), che vengono frequentemente violate negli scenari del mondo reale.

Recenti approcci amortizzati hanno tentato di affrontare la scalabilità addestrando modelli su dati sintetici per mappare direttamente i dataset verso grafi. Tuttavia, i metodi neurali esistenti spesso mancano di un'incorporazione esplicita di bias induttivi causali specifici del dominio, come l'asimmetria nelle relazioni causa-effetto o pattern strutturali di ordine superiore (catene, collider), e tipicamente non riescono a modellare esplicitamente il confondimento latente.

Metodologia: FoundCause

FoundCause è un modello di scoperta causale amortizzato progettato per mappare direttamente i dataset osservazionali in grafi causali (sia bordi diretti che matrici di confondimento latente) in un singolo passaggio in avanti (forward pass). Il modello è addestrato interamente su Modelli Strutturali Causali (SCM) sintetici e generalizza a dati del mondo reale senza tuning per singolo dataset.

Architettura

L'architettura è un design ibrido che combina un transformer invariante per permutazione con espliciti bias induttivi statistici:

1. Rappresentazione dell'Input: Il modello accetta una matrice di dati $X \in \mathbb{R}^{N \times D}$ e una maschera di osservazione binaria opzionale $M$. Ogni voce è rappresentata come un vettore a 2 canali contenente il valore normalizzato e lo stato di osservazione, garantendo che il modello gestisca nativamente i dati mancanti senza imputazione.
2. Encoder Fattorizzato per Assi: Il core encoder utilizza un transformer con blocchi di attenzione alternati su campioni ($N$) e variabili ($D$).
   • Attenzione sulle Variabili (Variable-Attention): Incorpora token globali apprendibili e un bias condizionato statisticamente. Questo bias inietta caratteristiche statistiche a coppia derivate da misure di asimmetria classiche (ad esempio, correlazione, asimmetria della varianza residua, indicatori di struttura a V) direttamente nel meccanismo di attenzione, guidando il modello verso segnali causali noti.
   • Attenzione sui Campioni (Sample-Attention): Aggrega informazioni attraverso i campioni per catturare proprietà distribuzionali.
3. Pooling (PMA): Un meccanismo di Pooling by Multihead Attention (PMA) aggrega le rappresentazioni dei livelli di campione in rappresentazioni per variabile, combinato con il max-pooling per catturare proprietà distribuzionali di ordine superiore come la multimodalità.
4. Decoder di Bordi Fattorizzato: La testa di predizione separa l'esistenza del bordo dalla sua direzione:
   • Testa di Esistenza: Utilizza caratteristiche simmetriche (somma delle embedding, prodotto elemento per elemento e punteggi di confondimento) per predire se esiste un bordo.
   • Testa di Direzione: Utilizza caratteristiche antisimmetriche (differenza delle embedding e statistiche asimmetriche mediate) per predire l'orientamento.
5. Raffinamento Triangolare: Ispirato ad AlphaFold2, un modulo di raffinamento esegue $R$ round di aggiornamenti su triple di variabili $(i, k, j)$. Ciò consente di ragionare su motivi causali di ordine superiore (catene, fork, collider) per risolvere le classi di equivalenza di Markov.
6. Modulo di Confondimento: Un modulo dedicato utilizza token latenti apprendibili per modellare le cause comuni nascoste. Esso calcola le probabilità di confondimento a coppia tramite un'aggregazione noisy-OR dei carichi dei token delle variabili, producendo una matrice di confondimento simmetrica $\hat{C}$.

Addestramento e Loss

Il modello è addestrato su migliaia di SCM sintetici generati tramite DoWhy e generatori custom, coprendo diverse topologie di grafi, meccanismi non lineari e distribuzioni di rumore. Le strategie chiave di addestramento includono:

• Rigenerazione Continua: I dati sintetici vengono rigenerati ad ogni epoca per prevenire l'overfitting su un corpus fisso.
• Augmentation Anti-Shortcut: La permutazione casuale degli indici delle variabili e il mixing di sottopopolazioni sono utilizzati per evitare che il modello si affidi a correlazioni spurie (ad esempio, l'ordine delle variabili).
• Funzione di Perdita (Loss): L'obiettivo combina una cross-entropy binaria bilanciata per classe per gli archi diretti con diversi termini ausiliari:
  • Calibrazione della Direzione ($L_{cal}$): Limita i gap estremi dei logit tra direzioni opposte.
  • Supervisione dello Skeleton ($L_{skel}$): Fornisce supervisione indipendente dalla direzione per l'adiacenza.
  • Perdita di Confondimento ($L_{conf}$): Supervisiona il modulo di confondimento latente.
  • Sparsità e Regolarizzazione: Penalità per grafi eccessivamente densi e regolarizzazione per i meccanismi di pooling/gating.

Contributi Chiave

1. Modellazione Esplicita del Confondimento Latente: FoundCause è il primo approccio di scoperta causale amortizzato che modella esplicitamente il confondimento latente utilizzando token apprendibili dedicati, restituendo sia un grafo aciclico diretto (DAG) che una matrice di confondimento simmetrica.
2. Bias Induttivi Statistici: A differenza delle architetture neurali generiche, FoundCause inietta caratteristiche statistiche a coppia classiche (asimmetria, strutture a V) direttamente nel meccanismo di attenzione e nel processo di decoding, unendo i principi della scoperta causale classica con il deep learning.
3. Raffinamento Triangolare: L'introduzione di un modulo di raffinamento basato su triangoli permette al modello di ragionare su motivi causali di ordine superiore, migliorando la risoluzione delle strutture di equivalenza di Markov.
4. Gestione Nativa dei Dati Mancanti: L'architettura elabora nativamente input mascherati, evitando il bias introdotto dai metodi di imputazione utilizzati nei baseline classici.
5. Generalizzazione Zero-Shot: Il modello dimostra una robusta generalizzazione al numero di variabili ($D$) e alle dimensioni dei campioni ($N$) oltre il loro range di addestramento ($D \in [2, 50]$), mantenendo le prestazioni su dataset con $D=100$.

Risultati Sperimentali

FoundCause è stato valutato su 15 benchmark del mondo reale e semi-realistici (inclusi ASIA, CHILD, SACHS e PETSHOP) e sul benchmark di coppie causa-effetto di Tübingen.

• Performance: FoundCause supera 11 metodi classici non-amortizzati (ad esempio, PC, GES, NOTEARS) e 4 metodi amortizzati (ad esempio, AVICI, CSIvA, SEA).
  • Ottiene un miglioramento del +9,6% nell'F1 e del +1,2% nell'AUROC rispetto ai più forti metodi non-amortizzati.
  • Riduce la Distanza di Hamming Strutturale (SHD/d) del 18,9% rispetto al miglior baseline classico.
  • È l'unico metodo a raggiungere il top rank in F1, AUROC e SHD/d pur completando con successo l'inferenza su tutti i 15/15 dataset (alcuni metodi classici vanno in timeout o falliscono su grafi densi).
• Direzione Bivariata: Sul benchmark di Tübingen, FoundCause si avvicina alle performance di metodi bivariati specializzati (SLOPPY, HECI) e supera significativamente i baseline classici come ICA-LiNGAM.
• Robustezza: Sotto una corruzione MAR (Missing At Random) del 30%, FoundCause mantiene il 92% dell'F1 dei dati puliti, mentre i metodi classici che si affidano all'imputazione della media degradano significativamente.
• Efficienza: L'inferenza viene eseguita in meno di 2 secondi in media, in un singolo passaggio in avanti, rispetto alle ore richieste dai metodi basati su ottimizzazione.

Significato e Claim

L'articolo sostiene che FoundCause rappresenti un passo significativo verso una scoperta causale scalabile e pratica. Combinando l'inferenza amortizzata con bias induttivi strutturati, affronta il compromesso tra le garanzie teoriche dei metodi classici e la scalabilità degli approcci neurali.

Gli autori sottolineano che FoundCause non si basa su nuove garanzie di identificabilità, ma apprende procedure di inferenza pratiche che funzionano bene attraverso un ampio spettro di processi di generazione dei dati. La modellazione esplicita del confondimento latente e la capacità di gestire nativamente i dati mancanti sono evidenziate come avanzamenti critici per l'applicabilità nel mondo reale. Il lavoro posiziona FoundCause sia come uno strumento pratico per l'analisi causale applicata che come una base per futuri modelli che incorporino nativamente il ragionamento causale. Gli autori prevedono di rendere il modello open-source per supportare la riproducibilità.