Riepilogo Tecnico: DAG-FM

Problema

La scoperta causale da dati tabulari osservazionali affronta due sfide fondamentali: l'eterogeneità dei meccanismi causali sottostanti e l'alto spazio di ricerca combinatorio dei Grafi Aciclici Diretti (DAG). I metodi tradizionali, inclusi quelli basati su vincoli, sul punteggio (score-based) e sull'ottimizzazione, spesso faticano in assenza di assunzioni forti. Nello specifico, i metodi basati sui Modelli Funzionali Causali (FCM) tipicamente assumono meccanismi omogenei (ad esempio, tutte le relazioni sono lineari o tutte sono con rumore additivo), limitandone la generalizzabilità a scenari del mondo reale dove i meccanismi variano tra le variabili. Al contrario, gli emergenti modelli ammortizzati (foundation models) spesso mancano di garanzie teoriche per produrre DAG strettamente identificabili e falliscono frequentemente nel gestire meccanismi eterogenei, poiché le loro prestazioni sono altamente sensibili alla progettazione dello spazio del prior utilizzato per il pre-training.

Metodologia

Il documento propone DAG-FM, un'architettura di foundation model progettata per ammortizzare la scoperta causale garantendo intrinsecamente l'output di un DAG unico e identificabile da dati osservazionali.

1. Fondamento Teorico: Identificabilità Eterogenea

Gli autori stabiliscono una condizione di progettazione per lo spazio del prior che consente meccanismi causali eterogenei. A differenza dei metodi FCM tradizionali che impongono un singolo tipo di meccanismo, lo spazio del prior di DAG-FM permette a un Modello Causale Strutturale (SCM) di essere un mix composito di quattro distinte famiglie di meccanismi:

• LiNGAM: Relazioni lineari con rumore non gaussiano.
• ANM: Relazioni non lineari con rumore additivo.
• HNM: Modelli di rumore eteroscedastico.
• PNL: Modelli post-non lineari.

I risultati teorici (Teoremi 4.4 e 4.5) dimostrano che, in queste condizioni (assumendo sufficienza causale e fedeltà/faithfulness), il vero DAG è quasi certamente identificabile dalla distribuzione osservazionale. Ciò assicura che il modello ammortizzato converga a un DAG unico e reale all'aumentare della dimensione del campione.

2. Architettura: Predizione Decomposta

Per affrontare i problemi di scalabilità della predizione diretta delle matrici di adiacenza (che scala quadraticamente e manca di vincoli DAG), DAG-FM decompone il processo di scoperta in due stadi sequenziali auto-regressivi utilizzando sottomoduli specializzati basati su Transformer:

• Leaf-Node Predictor ($Q_{\theta_1}$): Identifica l'ordinamento causale predicendo ricorsivamente i nodi foglia (nodi senza figli) nel sotto-grafo corrente.
• Parent-Node Predictor ($Q_{\theta_2}$): Dato un nodo foglia confermato, questo modulo identifica i suoi genitori, effettuando efficacemente il pruning del grafo verso una struttura triangolare superiore basata sull'ordinamento stabilito.

3. Mixture-of-Leaf-Experts (MoLE)

Per gestire le diverse famiglie di meccanismi all'interno dello spazio del prior, la testa di predizione dei nodi foglia integra un framework Mixture-of-Leaf-Experts (MoLE).

• Il modello impiega $m+1$ teste bilineari, ciascuna corrispondente a una specifica famiglia di meccanismi (più un esperto per il meccanismo generale e un esperto dummy).
• Un router top-k seleziona dinamicamente l'esperto appropriato in base alle caratteristiche dei dati in input.
• Questo design permette al modello di adattarsi dinamicamente alle famiglie di meccanismi identificabili, colmando il divario tra le assunzioni dei FCM teorici e l'eterogeneità dei dati pratici.

4. Costruzione dello Spazio del Prior

Il modello viene pre-addestrato su un dataset sintetico su larga scala generato da uno spazio del prior $\Phi$ che include:

• Grafi Casuali: Modelli Erdős–Rényi, Barabási–Albert e Watts–Strogatz con densità variabili.
• Meccanismi Casuali: Una libreria diversificata di funzioni (MLP, GP, Random Forest, ecc.) campionate dalle quattro famiglie definite.
• Rumore Casuale: Una libreria completa di distribuzioni (Normale, Laplace, Student's t, ecc.) con rapporti segnale-rumore (SNR) controllati.
• Data Augmentation: Warping non lineare e discretizzazione per simulare le caratteristiche dei dati reali, imponendo al contempo una rigorosa normalizzazione della distribuzione per prevenire artefatti statistici spurii.

5. Inferenza

L'inferenza viene eseguita iterativamente (Algoritmo 1). Il modello identifica ripetutamente un nodo foglia, determina i suoi genitori, rimuove il nodo dall'insieme e aggiorna l'ordinamento causale finché tutte le variabili non sono state elaborate. Questo processo garantisce una struttura DAG valida senza necessità di correzione dei cicli post-hoc.

Contributi Chiave

1. Garanzia Teorica: Il documento fornisce una condizione di progettazione per lo spazio del prior che supporta meccanismi causali eterogenei, garantendo teoricamente che il modello ammortizzato converga a un DAG unico e identificabile.
2. Architettura DAG-FM: Lo sviluppo di un foundation model che decompone l'identificazione del DAG in compiti di predizione dei nodi foglia e dei nodi genitori, utilizzando sottomoduli basati su Transformer e il framework MoLE per gestire l'eterogeneità dei meccanismi.
3. Prestazioni Empiriche: Esperimenti estesi dimostrano che DAG-FM raggiunge prestazioni allo stato dell'arte sia su benchmark sintetici con meccanismi eterogenei che su complessi dataset del mondo reale, superando significativamente gli algoritmi tradizionali e i recenti foundation models in termini di accuratezza e scalabilità.

Risultati Sperimentali

• Benchmark Sintetici: Su dataset con $n=1000$ campioni e $d=20$ variabili caratterizzati da meccanismi eterogenei, DAG-FM ha ottenuto il punteggio F1 più alto (0.64) e la più bassa Structural Hamming Distance normalizzata (nSHD) (0.19), superando i baseline come Direct-LiNGAM, AVICI e TabCausal.
• Sottospazi Omogenei: Anche in contesti strettamente omogenei (ad esempio, puro LiNGAM), DAG-FM è rimasto competitivo, raggiungendo un Order Divergence Rate (ODR) di 0.12, comparabile agli algoritmi specializzati.
• Benchmark del Mondo Reale:
  • Dataset Sachs (Segnalazione Proteica): DAG-FM ha raggiunto un F1 di 0.53 e un nSHD di 0.25, superando significativamente tutti gli altri metodi (es. FoundCause: F1 0.33; GES: F1 0.31).
  • Causal Chamber: DAG-FM ha ottenuto un F1 di 0.53 e un nSHD di 0.14, superando tutti i baseline.
• Scalabilità: DAG-FM ha dimostrato una robusta scalabilità, gestendo fino a 50.000 campioni o 500 variabili entro un vincolo di 24GB di VRAM, mentre molti baseline (es. AVICI, CauScale) hanno incontrato errori di out-of-memory su dataset di grandi dimensioni.
• Robustezza: Il modello ha mostrato resilienza a variazioni di densità del grafo, warping dei dati e discretizzazione, mantenendo forti prestazioni in scenari Out-of-Distribution (OOD) riguardanti strutture di grafi, meccanismi e distribuzioni di rumore non visti precedentemente.

Significato

Il documento sostiene che DAG-FM rappresenti un avanzamento significativo poiché integra le garanzie teoriche dell'identificabilità basata su FCM con la scalabilità dei foundation model ammortizzati. Allontanandosi dalla predizione diretta della matrice di adiacenza e decomponendo invece il compito in sotto-compiti sequenziali e teoricamente fondati, DAG-FM supera i limiti sia dei metodi tradizionali (mancanza di generalizzabilità ai meccanismi eterogenei) sia degli approcci ammortizzati esistenti (mancanza di garanzie strutturali e sensibilità alla progettazione del prior). Il lavoro stabilisce un nuovo paradigma per la scoperta causale che è al contempo rigoroso dal punto di vista teorico e applicabile nella pratica ai dati ad alta dimensionalità del mondo reale.