Sintesi Tecnica: Usa ciò che sai: Modelli Fondativi Causali con Grafi Parziali

Definizione del Problema

L'inferenza causale si basa tradizionalmente su un processo in due fasi: prima, formulare assunzioni di identificazione (spesso tramite un grafo causale) e, in secondo luogo, selezionare uno stimatore su misura adattato a tali assunzioni. Sebbene i recenti Modelli Fondativi Causali (CFM) basati su reti PFN (Prior-Data-Fitted Networks) offrano un approccio unificato, essi soffrono attualmente di un limite critico: non possono incorporare la conoscenza del dominio al momento del test.

Gli attuali CFM:

1. Restringono il prior di addestramento a specifiche strutture causali (ad esempio, solo casi di aggiustamento back-door), richiedendo un costoso riaddestramento per nuove assunzioni.
2. Marginalizzano su tutte le possibili strutture, il che porta a stime inutilmente conservative e previsioni imprecise quando la conoscenza parziale del dominio è disponibile ma viene ignorata.

La sfida centrale affrontata è come consentire a un CFM general-purpose di condizionarsi su informazioni causali parziali (come un grafo causale parzialmente noto o relazioni ancestrali) durante l'inferenza senza sacrificare la flessibilità del paradigma del modello fondativo.

Metodologia

1. Rappresentazione della Conoscenza Causale: Matrici Ancestrali Parziali (PAM)

Gli autori propongono l'uso delle Matrici Ancestrali Parziali (PAM) come segnale di condizionamento. A differenza delle matrici di adiacenza che richiedono la conoscenza di archi causali diretti ($A_{ij}=1$), le PAM codificano le relazioni ancestrali ($T_{ij}=1$ se $z_i$ è un antenato di $z_j$).

• Vantaggi: La conoscenza ancestrale è spesso più robusta e facile da ottenere rispetto ai meccanismi causali diretti (ad esempio, sapere che il fumo causa il cancro è più facile che specificare l'esatto percorso biologico).
• Parzialità: La matrice $\tilde{T} \in \{-1, 0, 1\}^{K \times K}$ permette di avere:
  • $1$: Antenato noto.
  • $-1$: Non-antenato noto (ad esempio, escluso per ordine temporale).
  • $0$: Relazione sconosciuta.
    Questa rappresentazione include i casi di nessuna conoscenza, conoscenza parziale e conoscenza completa.

2. Meccanismi di Condizionamento Architetturale

Il documento introduce un'architettura CFM basata su Transformer modificata per ingerire le PAM tramite due meccanismi complementari:

• Bias dell'Attenzione Strutturale:
  • Soft Bias: Bias scalari apprendibili ($\beta_{anc}, \beta_{non-anc}$) vengono aggiunti ai logit dell'attenzione. Un bias positivo incoraggia l'attenzione verso gli antenati noti; un bias negativo scoraggia l'attenzione verso i non-antenati noti. Ciò consente al modello di dare priorità ai genitori causali pur rimanendo robusto a informazioni incomplete.
  • Hard Masking: Un'alternativa in cui l'attenzione verso i non-antenati noti è impostata rigorosamente a $-\infty$.
• Modulazione delle Caratteristiche Strutturali (GCN):
  • Un encoder a Rete Convoluzionale su Grafi (GCN) elabora la PAM per generare embedding dei nodi consapevoli della struttura.
  • Questi embedding vengono iniettati in ogni blocco Transformer tramite Normalizzazione di Livello Adattiva (AdaLN), modulando le rappresentazioni nascoste delle variabili in base alla loro posizione strutturale globale nel grafo causale.

3. Addestramento e Generazione dei Dati

• Prior: Gli autori hanno costruito un prior di Modello Fondativo Tabulare (TFM) che è nativamente causale. Esso genera dataset sintetici campionando Modelli Causali Strutturali (SCM) con meccanismi diversificati (MLP, XGBoost, varie non-linearità) e distribuzioni di rumore.
• Addestramento Amortizzato: Il modello è addestrato per gestire diversi gradi di informazione mancante. Durante l'addestramento, le voci nella PAM vengono oscurate casualmente (impostate a 0), costringendo il modello a imparare un unico set di pesi capace di adattarsi a informazioni ancestrali complete, parziali o nulle.

Risultati Chiave

1. Efficacia del Condizionamento

Gli esperimenti su prior lineari-Gaussiani e non-lineari complessi dimostrano che:

• Soft Attention + GCN è la strategia di condizionamento più efficace, superando costantemente i baseline senza condizionamento sul grafo, il hard masking o gli approcci con sola GCN.
• Il condizionamento sulle matrici ancestrali offre prestazioni comparabili al condizionamento su matrici di adiacenza complete, validando l'uso della conoscenza ancestrale come un pratico sostituto.

2. Robustezza alle Informazioni Parziali

• Efficienza di Amortizzazione: Un singolo modello addestrato con PAM amortizzate (casualmente oscurate) performa quasi quanto i modelli specializzati addestrati esclusivamente su informazioni complete o nulle.
• Ignoranza vs. Errata Specificazione: Un risultato critico è che nascondere archi incerti (segnalandoli come "sconosciuti") è molto meno dannoso che erroneamente specificarli (invertendone la direzione). Le prestazioni degradano gradualmente man mano che gli archi vengono nascosti, ma crollano drasticamente quando vengono erroneamente specificati. Ciò evidenzia il valore pratico delle matrici parziali.

3. Benchmark Semi-Sintetici

Sul benchmark RealCause (IHDP, ACIC, CPS, PSID):

• Fornire informazioni ancestrali parziali che codificano l'unconfoundedness migliora significativamente le prestazioni (misurate tramite $\sqrt{PEHE}$ e errore relativo ATE) rispetto ai modelli senza condizionamento sul grafo.
• Il modello condizionato dal grafo supera la maggior parte dei baseline specializzati come Do-PFN e CausalFM.
• Sebbene CausalPFN raggiunga le migliori prestazioni complessive su RealCause, gli autori attribuiscono ciò a un allineamento del prior (i dati di addestramento di CausalPFN mimano il processo di generazione dei dati di RealCause) piuttosto che al condizionamento sul grafo. Una volta introdotto il condizionamento sul grafo, il loro modello supera CausalFM e Do-PFN.

4. Confronto con Modelli Specializzati

Quando il criterio back-door viene violato (un contesto in cui modelli specializzati come CausalPFN e CausalFM si affidano ad assunzioni errate), il CFM condizionato dal grafo mostra un vantaggio sostanziale, dimostrando la sua capacità di gestire casi non identificabili sfruttando la struttura parziale disponibile.

Significato e Rivendicazioni

Il documento sostiene di affrontare un ostacolo centrale nello sviluppo di modelli fondativi causali "all-in-one": la capacità di rispondere a query causali in modo guidato dai dati e di sfruttare efficacemente qualsiasi quantità di competenza nel dominio.

• Framework Unificato: Dimostra che un singolo CFM può condizionarsi in modo flessibile su dati osservazionali e livelli variabili di conoscenza causale (nulla, parziale o completa) senza riaddestramento.
• Utilità Pratica: Utilizzando le Matrici Ancestrali Parziali, l'approccio colma il divario tra la rigidità dei tradizionali stimatori causali (che richiedono grafi precisi) e la natura "black box" degli attuali modelli fondativi (che ignorano la conoscenza del dominio).
• Ambito Modesto: Gli autori riconoscono che, sebbene i guadagni assoluti di prestazione su alcune metriche siano piccoli (attribuibili ai piccoli effetti causali nei loro prior), il metodo stabilisce una base fattibile ed efficace per futuri modelli di stima robusta dell'effetto causale. Notano che l'attuale lavoro si concentra su variabili completamente osservate e non affronta ancora i confonditori nascosti, lasciando questo compito ai futuri sviluppi "all-in-one".