Riassunto Tecnico: CDFM: Verso un Modello di Fondazione per la Scoperta Causale di Uso Generale

Definizione del Problema

La scoperta causale, ovvero il processo di recupero delle strutture causali sottostanti da dati osservazionali, si è tradizionalmente basata su un paradigma frammentato e guidato da test statistici. Gli algoritmi esistenti sono meticolosamente progettati per specifici meccanismi causali (ad esempio, non-gaussianità lineare, rumore additivo o vincoli di indipendenza specifici). Di conseguenza, questi metodi eccellono solo quando i loro presupposti sottostanti sono rigorosamente rispettati. Negli scenari del mondo reale, caratterizzati da dati eterogenei e processi generativi ignoti, i professionisti affrontano un ciclo estenuante di selezione manuale degli algoritmi, verifica dei presupposti e rivalutazione dei test statistici. Questo approccio specifico per ogni dataset non riesce a scalare per soddisfare le richieste della moderna scoperta scientifica e fatica a generalizzare attraverso diversi e ignoti meccanismi causali.

Metodologia

Gli autori propongono il Causal Discovery Foundation Model (CDFM), un framework unificato progettato per l'inferenza strutturale zero-shot attraverso meccanismi causali eterogenei e inizialmente ignoti. La metodologia si fonda su un framework variazionale rigoroso che unisce la teoria dell'identificabilità causale al design dell'architettura di deep learning.

1. Fondamento Teorico: Decomposizione Variazionale

L'intuizione teorica centrale è che la scoperta causale sotto meccanismi ignoti sia un problema di selezione del modello bayesiano. Poiché il vero meccanismo $M^*$ è ignoto, il modello deve marginalizzare su un vasto spazio di ipotesi di meccanismi $\mathcal{M}$.

• Confini di Identificabilità: Il documento stabilisce che, senza vincoli, la direzione causale è matematicamente impossibile da identificare (Teorema 1). Tuttavia, se lo spazio dei meccanismi $\mathcal{M}$ soddisfa una proprietà di "identificabilità dello spazio stretto", la verosimiglianza marginale esatta identifica univocamente il grafo vero (Teorema 3).
• Inferenza Variazionale: Il calcolo diretto della verosimiglianza marginale è intrattabile. CDFM formula il problema utilizzando l'inferenza variazionale, introducendo una distribuzione parametrizzata $Q(M|X)$ per approssimare la distribuzione a posteriori sui meccanismi. Ciò produce un Evidence Lower Bound (ELBO) che scompone l'obiettivo di apprendimento in tre componenti trattabili:
  1. Inferenza del Meccanismo: $Q(M|X)$, che estrae le impronte statistiche (proprietà del rumore, non-linearità) per inferire le codifiche del meccanismo latente.
  2. Ricostruzione dei Dati: $\log P(X|G, M)$, garantendo che il meccanismo e il grafo inferiti spieghino i dati osservati (segnale auto-supervisionato).
  3. Inferenza del Grafo: $\log P(G|M)$, che decodifica il grafo strutturale condizionato dal meccanismo codificato.

2. Design dell'Architettura

L'architettura di CDFM rispecchia esplicitamente la decomposizione variazionale:

• Embedding per Colonna e Attenzione Alternata: I dati di input (che gestiscono i valori mancanti tramite un canale indicatore binario) vengono incorporati utilizzando un Set Transformer per catturare le distribuzioni marginali. Uno stack di blocchi di attenzione alternati per righe e colonne integra le dipendenze congiunte per parametrizzare la distribuzione del meccanismo latente $Q(M|X)$.
• Ricostruzione dei Dati (Imputazione): Un blocco residuo predice i valori quantili condizionali per le voci mascherate. Questo funge da compito auto-supervisionato per soddisfare il termine di ricostruzione dei dati. Durante l'attenzione viene utilizzata una "maschera causale morbida" (soft causal mask), che penalizza il flusso di informazioni da variabili non causali in base alle attuali ipotesi sul peso degli archi, creando un ciclo interno non supervisionato per il raffinamento della struttura.
• Inferenza del Grafo: L'auto-attenzione indotta estrae vettori riassuntivi di "causa" ed "effetto" per ogni variabile. Una testa bilineare Mixture-of-Experts (MoE) decodifica questi vettori in logit degli archi, accogliendo naturalmente archi diretti e archi bidirezionali (per il confondimento latente). Un calibratore di soglia adattivo leggero converte le probabilità continue in un grafo binario.

3. Strategia di Pretraining

CDFM è preaddestrato su uno spazio massiccio e altamente diversificato di Modelli Causali Strutturali (SCM) sintetici. Il generatore di dati spazia tra:

• Strutture di Grafo: Sei modelli di grafo casuali (ER, Scale-Free, WS, SBM, ecc.) con diversa sparsità e dimensioni ($D \in [2, 100]$).
• Diversità dei Meccanismi: Modelli lineari e non lineari (Additive Noise, Post-Nonlinear, Random Fourier Features), meccanismi discreti e di tipo misto, e modelli ispirati alla fisica.
• Rumore e Confondimento: Diverse distribazioni di rumore (Gaussiana, Laplace, Cauchy, ecc.), eteroschedasticità e confondimento latente (15% dei batch).
• Realismo: Errori di misurazione simulati, discretizzazione e valori mancanti casuali (MCAR).

Contributi Chiave

1. Cambio di Paradigma: Formula la scoperta causale come un compito di modello di fondazione general-purpose, passando dalla selezione di algoritmi specializzati a un approccio di inferenza unificato capace di inferenza strutturale zero-shot.
2. Framework Principato: Unifica i modelli di fondazione e l'identificabilità strutturale attraverso un framework variazionale, trattando i meccanismi ignoti come variabili latenti per tradurre il problema della marginalizzazione in un obiettivo di apprendimento trattabile.
3. Design dell'Architettura: Progetta CDFM per allineare la codifica del meccanismo, la ricostruzione consapevole della struttura e la decodifica del grafo con la decomposizione teorica, consentendo un'inferenza robusta direttamente dai dati osservazionali.
4. Pretraining su Larga Scala: Introduce un regime di pretraining completo guidato da una diversificata conoscenza causale, sintetizzando un enorme spazio di ipotesi per interiorizzare complesse asimmetrie statistiche.

Risultati Sperimentali

Gli autori valutano CDFM attraverso benchmark sintetici, dataset del mondo reale e studi controllati di identificabilità.

• Benchmark Sintetici: CDFM supera costantemente gli algoritmi tradizionali (PC, GES, DirectLiNGAM, NOTEARS) e i baseline ammortizzati (AVICI, TabCausal, Arrow) attraverso 15 famiglie di meccanismi distinte e diverse dimensioni di grafo ($D \in [10, 100]$) e dimensioni di campione ($N \in [500, 4000]$). Raggiunge punteggi AUROC e F1 superiori, dimostrando prestazioni stabili all'aumentare della scala del problema.
• Benchmark del Mondo Reale:
  • Causal Chamber: Sui sistemi multivariati fisici (Task A1 e A2), CDFM raggiunge un alto AUROC (0.952 e 0.965), superando tutti i baseline e dimostrando la trasferibilità dai sistemi sintetici ai sistemi fisici.
  • Benchmark di Tubinga: Su 95 coppie causa-effetto bivariate, CDFM raggiunge un'accuratezza del 67,1%, superando gli altri metodi allo stato dell'arte.
• Validazione dell'Identificabilità: Esperimenti controllati confermano che CDFM aderisce ai confini teorici di identificabilità. Identifica correttamente le direzioni causali quando esiste un'asimmetria funzionale (non linearità/non gaussianità) o strutture a V, e ritorna a una performance di livello casuale (accuratezza $\approx$ 0.5) nei regimi non identificabili (ad esempio, modelli Gaussiani lineari).
• Imputazione di Valori Mancanti: Come sottoprodotto dell'obiettivo di ricostruzione, la testa di imputazione di CDFM raggiunge prestazioni allo stato dell'arte sia su dati continui che discreti con valori mancanti, superando i metodi classici come MissForest e MICE.

Significato e Rivendicazioni

Il documento afferma che CDFM rappresenta un passo significativo verso un motore di scoperta causale general-purpose. Spostando il collo di bottiglia dalla selezione manuale degli algoritmi alla generazione scalabile di dati sintetici diversificati e identificabili, CDFM interiorizza complesse asimmetrie causali che gli permettono di generalizzare attraverso processi generativi ignoti.

Gli autori sottolineano che il modello non elimina la necessità di assunzioni causali, ma impara ad adottarle su un ampio spettro di classi di assunzioni. Il lavoro suggerisce una direzione futura in cui i modelli causali apprendano rappresentazioni ampie su famiglie di meccanismi piuttosto che ottimizzare per singole assunzioni rigide. I risultati dimostrano che un tale modello di fondazione può guidare un cambio di paradigma, offrendo capacità di scoperta causale robuste e zero-shot che scalano con il volume e l'eterogeneità dei dati.