Sintesi Tecnica: Apprendimento di Rappresentazioni Causali da Dati di Rete (GraCE-VAE)

Definizione del Problema

Gli attuali metodi di apprendimento di rappresentazioni causali spesso assumono che le variabili osservate siano vettori di caratteristiche non strutturati, ignorando il ricco contesto relazionale intrinseco in molti domini scientifici (ad esempio, interazioni proteina-proteina, appartenenze di geni a pathway). Sebbene gli esistenti metodi di inferenza basati su grafi possano utilizzare le strutture di rete, essi tipicamente assumono che il grafo causale sia noto o considerano solo interventi osservabili su nodi noti. Al contrario, i metodi di disentanglement causale che apprendono modelli strutturali causali (SCM) latenti da dati osservazionali e interventistici spesso non riescono a sfruttare le reti di interazione note tra le entità misurate. Ciò crea un divario nell'apprendimento delle strutture causali latenti e degli effetti di intervento mentre si sfruttano le reti di contesto osservate.

Il paper affronta la sfida di scoprire fattori causali latenti e le loro interdipendenze da dati di rete arricchiti con informazioni di intervento, specificamente in contesti in cui le variabili sono associate a una rete di interazione nota (ad esempio, pathway biologici).

Metodologia: GraCE-VAE

Gli autori propongono GraCE-VAE (Graph-Aware Causal Effects Variational AutoEncoder), un framework che integra le Reti Neurali a Grafo (GNN) con la modellazione generativa profonda per scoprire grafi causali latenti da dati di rete eterogenei.

Architettura

GraCE-VAE impiega una divisione encoder-decoder progettata per separare l'uso del contesto strutturale dal modello causale generativo:

1. Encoder Sensibile al Grafo (Graph-Aware Encoder):

   • Utilizza una GNN (specificamente istanziata come GraphSAGE) per elaborare un grafo di contesto eterogeneo contenente entità osservate primarie ($X$, ad esempio geni) ed entità ausiliarie ($H$, ad esempio pathway).
   • L'encoder condiziona sugli attributi osservati di $X$, sulla vista ausiliaria $H$ e sulle strutture di adiacenza ($A_{XX}, A_{XH}, A_{HH}$).
   • Produce embedding sensibili alla struttura che parametrizzano la distribuzione posteriore sulle variabili di rumore esogene ($Z$), iniettando efficacemente il contesto di rete nel processo di inferenza ammortizzata.
   • Fondamentalmente, il grafo di contesto viene utilizzato solo per l'inferenza; esso non entra nel decoder.

2. Decoder Causale (Latent SCM):

   • Il decoder istanzia un Modello Strutturale Causale (SCM) sulle variabili latenti $U$.
   • Apprende un Grafo Aciclico Diretto (DAG) che rappresenta la struttura causale tra i fattori latenti.
   • Modellazione dell'Intervento: Gli interventi sono modellati tramite un processo a due stadi. Un encoder di intervento mappa gli indicatori di intervento su una selezione "soft" su variabili latenti (identificando il target) e una proposta di modifica del meccanismo (ad esempio, uno shift additivo). Il decoder applica quindi questa modifica al meccanismo causale del nodo latente selezionato lasciando invariati gli altri.
   • Una funzione di miscelazione $f_\theta$ mappa le variabili causali latenti $U$ nuovamente nello spazio osservato $X$.

Obiettivo di Apprendimento

Il modello è addestrato utilizzando una somma pesata di tre componenti:

1. Termine ELBO: Ricostruisce le distribuzioni dei dati osservazionali e interventistici.
2. Termine di Allineamento della Distribuzione: Utilizza la Massima Discrepanza Media (MMD) per allineare le distribuzioni controfattuali generate dal modello con le distribuzioni interventistiche empiriche.
3. Regolarizzazione: Include penalità di sparsità sulla matrice di adiacenza del DAG appreso e regolarizzatori basati sul grafo.

Identificabilità

Il paper stabilisce che GraCE-VAE eredita le garanzie di identificabilità dei precedenti VAE con discrepanza causale (specificamente CMVAE [34]). Sotto le assunzioni di:

• Fedeltà interventistica lineare.
• Disponibilità di sia dati osservazionali che interventistici.
• Campioni i.i.d. all'interno di ogni regime di intervento.
• Ogni variabile latente soggetta ad almeno un intervento.
• Un'assunzione di vista ausiliaria in cui l'informazione del pathway $H$ aiuta l'inferenza ma non fornisce informazioni generative aggiuntive per $X$ una volta noto $U$.

Il DAG causale latente e i target di intervento sono identificabili fino alla classe di equivalenza standard (permutazioni di fattori equivalenti).

Contributi Chiave

1. Framework per il Contesto Strutturato: Propone un autoencoder variazionale basato su grafi che apprende congiuntamente un grafo causale latente ed effetti di intervento, guidato dalla conoscenza pregressa da reti eterogenee (entità misurate e nodi di gruppo). A differenza dei metodi che assumono variabili completamente osservate o grafi causali dati, GraCE-VAE scopre la struttura latente.
2. Chiarificazione Teorica: Chiarisce che, poiché la classe del modello generativo corrisponde ai precedenti VAE con discrepanza causale e l'encoder sensibile al grafo modifica solo l'inferenza ammortizzata, GraCE-VAE eredita le esistenti garanzie di identificabilità senza richiedere nuovi teoremi per una diversa famiglia di decoder.
3. Validazione Empirica: Dimostra attraverso esperimenti su tre dataset di perturbazioni CRISPR (norman, replogle-small, replogle-large) che sfruttare il contesto biologico strutturato migliora la predizione dei risultati interventistici, particolarmente per combinazioni di perturbazioni non viste. Gli studi di ablazione confermano che sia l'encoder basato su grafo che il decoder causale sono essenziali per le prestazioni.

Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset riguardanti perturbazioni genetiche:

• Interventi Singoli: GraCE-VAE ha ottenuto prestazioni $R^2$ elevate, superando i baseline come CMVAE (che ignora la struttura) e SENA. È stato competitivo o superiore a CMVAE-multihot e VGAE (un'ablazione senza il decoder causale).
• Doppi Interventi Non Visti: Il modello è stato addestrato su interventi singoli ed è stato valutato su doppi interventi non visti. GraCE-VAE ha superato significativamente CMVAE e SENA nella predizione di queste combinazioni complesse, ottenendo un $R^2$ medio di 0,7845 rispetto allo 0,7382 di CMVAE. Ciò evidenzia la sinergia tra l'encoding del contesto strutturato della GNN e la capacità del decoder causale di generalizzare.
• Studi di Ablazione:
  • Design della GNN: Diverse architetture GNN (GCN, GAT, GraphSAGE) sono state testate; GraphSAGE ha ottenuto le prestazioni migliori. L'aumento della profondità degli strati non ha portato ulteriori miglioramenti.
  • Livelli di Contesto: L'incorporazione di informazioni sugli archi più ricche (gene-gene, pathway-gene, pathway-pathway) ha generalmente migliorato la predizione dell'intervento singolo, sebbene i guadagni si siano stabilizzati o siano leggermente diminuiti per i doppi interventi, suggerendo un compromesso tra ricchezza del contesto e overfitting.
  • Grafi Corrotti: La sostituzione del 50% degli archi biologici con archi casuali ha degradato costantemente le prestazioni, confermando che una topologia biologica significativa guida i guadagni.
  • Priors: L'aggiunta di embedding da modelli di fondazione single-cell (scFM) o encoder di intervento alternativi non ha costantemente superato la configurazione predefinita di GraCE-VAE, suggerendo che i guadagni derivino dall'integrazione specifica della struttura del grafo e della modellazione causale piuttosto che dal semplice aggiungere più priors.

Significato e Rivendicazioni

Il paper sostiene che GraCE-VAE offre un nuovo approccio per scoprire i fattori causali latenti in sistemi di rete complessi unificando l'informazione relazionale e l'inferenza causale basata su intervento. La sua importanza primaria risiede nel:

• Colmare un Vuoto: Affronta la mancanza di metodi che apprendono strutture causali latenti mentre sfruttano reti di contesto osservate tra le entità misurate.
• Generalizzazione: Dimostra una capacità superiore di estrapolare a combinazioni di interventi non viste (ad esempio, doppi perturbazioni), sfruttando il contesto biologico strutturato, una capacità critica per la scoperta scientifica.
• Solidità Teorica: Mantiene rigorose garanzie di identificabilità sotto assunzioni standard, provando che l'incorporazione della struttura del grafo nell'encoder non compromette la recuperabilità teorica del modello causale latente.

Gli autori notano dei limiti, tra cui la dipendenza dalla copertura dei dati interventistici, l'uso di forme funzionali di intervento semplificate (shift additivi) e la specifica assunzione di vista ausiliaria richiesta per l'identificabilità. Concludono che, sebbene i DAG appresi forniscano ipotesi biologicamente plausibili (ad esempio, allineandosi con noti pathway del ciclo cellulare o della differenziazione), debbano essere considerati spazi di ipotesi per la simulazione controfattuale piuttosto che validazioni causali definitive senza ulteriore validazione esterna.