Multi-Domain Causal Empirical Bayes Under Linear Mixing

1. Il Problema

Il Causal Representation Learning (CRL) mira a recuperare variabili latenti causali a bassa dimensionalità da osservazioni ad alta dimensionalità. Sebbene la identificabilità (la possibilità teorica di recuperare le variabili) sia stata ampiamente studiata, il problema della stima (come imparare queste rappresentazioni da campioni finiti e rumorosi) è meno esplorato.

Il lavoro si concentra su un setting multi-dominio, dove i dati provengono da diversi ambienti caratterizzati da interventi sparsi su un modello causale sottostante condiviso.

• Sfida principale: Stimare le variabili latenti causali $z$ e il modello di misurazione (matrice di mixing $A$) partendo da osservazioni rumorose $x$, sfruttando le strutture invarianti tra i domini.
• Natura del problema: Si tratta di un problema di inferenza simultanea: ogni osservazione ha la sua variabile latente locale, ma queste seguono distribuzioni prior condivise (o strutturate) indotte dal modello causale.

2. Metodologia: Empirical Bayes (EB) e F-Modeling

Gli autori propongono un approccio basato sull'Empirical Bayes (EB), specificamente utilizzando la strategia di f-modeling, per gestire l'inferenza simultanea di molte variabili latenti.

A. Modello Generativo

Il modello assume:

1. Misurazione Lineare Gaussiana: $x = Az + \epsilon$, dove $\epsilon$ è rumore gaussiano isotropo.
2. Prior Intervenzionali: Le distribuzioni delle variabili latenti $p(z|a)$ sono generate da un SCM (Structural Causal Model) aciclico condiviso. Gli interventi sono modellati come sostituzioni di meccanismi causali specifici per dominio (indicati da etichette $a$).
3. Ipotesi di Ortogonalità: La matrice di mixing $A$ soddisfa $A^\top A = D^2$ (colonne ortogonali con norme diverse), permettendo di ridurre il problema a un modello di "medie normali".

B. L'Algoritmo EM di F-Modeling

Invece di modellare esplicitamente il prior (g-modeling), il metodo stima direttamente la densità marginale dei dati osservati (f-modeling) per inferire i posteriori. L'algoritmo proposto è un ciclo Expectation-Maximization (EM):

1. E-Step (Stima delle Latenti):

   • Si proiettano le osservazioni $x$ nello spazio latente per ottenere $y = O^\top x$.
   • Si stima la funzione di punteggio (score function) $\nabla \log f(y)$ della distribuzione marginale.
   • Si utilizza la Formula di Tweedie per aggiornare la stima delle medie posteriori delle variabili latenti:
     $$\hat{z} = D^{-1} (y + \sigma^2 \nabla \log f(y))$$
   • Viene introdotta una Stima del Punteggio Causale (Causal Score Matching): invece di stimare un punteggio denso su tutte le variabili, si sfrutta la conoscenza del grafo causale (DAG) per decomporre il punteggio in componenti sparse che dipendono solo dai genitori e dai target di intervento, riducendo drasticamente la complessità e il bias-varianza.

2. M-Step (Stima dei Parametri del Modello):

   • Aggiornamento della matrice di mixing $A$ e della varianza del rumore $\sigma^2$ massimizzando la verosimiglianza dei dati, utilizzando i momenti (media e varianza) delle latenti stimati nell'E-step.
   • L'aggiornamento di $A$ viene risolto analiticamente tramite SVD (Singular Value Decomposition).

3. Contributi Chiave

1. Inquadramento EB per il CRL: Collega formalmente il Causal Representation Learning multi-dominio al framework dell'Empirical Bayes, trattando il recupero delle variabili latenti come un problema di inferenza simultanea.
2. Algoritmo EM con Score Matching Causale: Sviluppa un algoritmo iterativo che combina la formula di Tweedie con una stima dello score strutturata causalmente. Questo permette di incorporare la conoscenza del grafo causale (DAG) per migliorare l'efficienza e l'accuratezza.
3. Gestione dell'Incertezza e Shrinking: L'approaggio EB introduce naturalmente uno "shrinking" (restringimento) delle stime verso la media, migliorando la stabilità rispetto a metodi che non sfruttano la struttura condivisa tra i domini.
4. Analisi Teorica e Pratica: Fornisce condizioni di identificabilità (fino a permutazioni e scaling) e dimostra l'efficacia del metodo su dati sintetici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dati sintetici generati da un SCM a catena ($z_1 \to z_2 \to z_3 \to z_4$) con osservazioni lineari rumorose.

• Confronto: Il metodo proposto (CRL f-modeling) è stato confrontato con baselines come PCA, VAE, e versioni del metodo senza shrinking o con grafi causali errati (vuoti o completi).
• Performance:
  • Il metodo con il DAG vero e quello con il DAG completo (che approssima bene lo score) ottengono il MSE (Errore Quadratico Medio) relativo più basso nel recupero delle variabili latenti.
  • L'uso del grafo causale corretto rende il metodo più stabile rispetto a grafi errati (es. grafo vuoto), specialmente quando gli effetti dei genitori causali sono forti.
  • Il metodo supera significativamente le baselines che ignorano la struttura multi-dominio o che non applicano lo shrinking (EB).
  • La scalabilità è buona per grafi piccoli/medi, mentre l'uso di un grafo completo diventa computazionalmente costoso per $d_Z$ grandi.

5. Significato e Implicazioni

• Superamento delle limitazioni del CRL classico: Mentre molti lavori si concentrano sull'identificabilità teorica, questo paper offre una soluzione pratica ed efficiente per l'estimazione su campioni finiti.
• Integrazione di Conoscenza Causale e Statistica: Dimostra come la conoscenza della struttura causale (DAG) possa essere integrata direttamente nell'algoritmo di stima (tramite score matching) per ottenere stime più robuste rispetto ai metodi puramente generativi o discriminativi.
• Flessibilità: L'approccio f-modeling evita la necessità di specificare parametricamente la distribuzione delle latenti (come nei g-modeling/VAE), rendendolo più flessibile per distribuzioni complesse, purché lo score possa essere stimato.
• Applicabilità: Il metodo è particolarmente rilevante per campi come la biologia computazionale (es. dati di single-cell RNA-seq con perturbazioni), dove si hanno molti campioni provenienti da diversi esperimenti di intervento e si cerca di recuperare i programmi genici sottostanti.

In sintesi, il paper propone un framework rigoroso che unisce l'Empirical Bayes, l'inferenza causale e l'apprendimento di rappresentazioni, offrendo un algoritmo pratico che supera le performance degli stati dell'arte nel recupero di variabili latenti causali da dati multi-dominio rumorosi.