Identifiable Multimodal Causal Representation Learning under Partial Latent Sharing

Riepilogo Tecnico: Apprendimento di Rappresentazioni Causali Multimodali Identificabili con Condivisione Parziale di Latenti

Enunciato del Problema
L'Apprendimento di Rappresentazioni Causali (CRL) mira a scoprire variabili latenti significative e le loro strutture causali da dati osservativi ad alta dimensionalità. Tuttavia, un collo di bottiglia critico nel CRL è l'identificabilità: senza garanzie, le rappresentazioni apprese possono essere strutturalmente diverse dal vero processo generatore dei dati, minando l'interpretabilità e la robustezza.

Gli approcci esistenti di CRL multimodale presentano limitazioni significative:

1. Assunzioni Restrittive: Molti metodi assumono funzioni di mixing biunivoche (dove le dimensioni osservate e latenti sono uguali), il che è irrealistico per scenari come i dati delle immagini, dove le osservazioni sono ad alta dimensionalità e le variabili latenti sono a bassa dimensionalità (setting incompleto).
2. Pattern di Condivisione Limitati: I lavori precedenti si concentrano spesso su strutture latenti non sovrapposte o su strutture completamente condivise (dove tutte le modalità dipendono dallo stesso insieme di latenti). Pochi affrontano strutture parzialmente condivise, in cui sottoinsiemi specifici di modalità condividono variabili latenti mentre altre rimangono specifiche per modalità.
3. Dipendenza da Segnali Ausiliari: Molti metodi fanno affidamento su supervisione, interventi o dipendenze temporali, che non sono sempre disponibili in contesti reali.

Questo articolo affronta la sfida di stabilire l'identificabilità componente per componente per le rappresentazioni latenti causali in un setting multimodale con strutture latenti parzialmente condivise, senza richiedere assunzioni parametriche sulla distribuzione, supervisione o interventi.

Metodologia

1. Quadro Teorico
Gli autori formulano un modello a variabili latenti in cui le modalità osservate $x^{(m)}$ sono generate da sottoinsiemi di variabili latenti causali $z_{A_m}$ tramite funzioni di mixing lisce e iniettive (ma non necessariamente biunivoche) $f_m$. Le variabili latenti $z$ seguono un modello causale strutturale (SCM) definito da $z_j = g_j(Pa(z_j), \epsilon_j)$.

Il contributo teorico fondamentale è la prova dell'identificabilità componente per componente (recupero di ciascuna variabile latente a meno di una trasformazione invertibile liscia) nelle seguenti condizioni:

• Iniettività e Proprietà: Le funzioni di mixing sono iniettive e proprie (prevenendo la perdita di informazioni ai valori estremi).
• Sparsità della Struttura Causale: Il grafo causale delle variabili latenti presenta sparsità, limitando specificamente gli archi causali tra variabili specifiche di modalità diverse.
• Condivisione Parziale: Nessuna singola variabile latente è condivisa tra tutte le modalità; la condivisione avviene solo tra sottoinsiemi.
• Densità del Mixing: La struttura causale garantisce che trasformazioni non permutazionali aumenterebbero la densità degli archi causali, violando i vincoli di sparsità.

Queste condizioni permettono il recupero sia delle variabili condivise (comuni a sottoinsiemi di modalità) sia delle variabili specifiche per modalità a meno di biezioni componente per componente, anche in scenari incompleti ($|A_m| \leq d_m$).

2. Quadro di Apprendimento
Per concretizzare queste garanzie teoriche, gli autori propongono un quadro generativo composto da tre componenti principali:

• Struttura Autoencoder: Encoder specifici per modalità mappano i dati osservati $x^{(m)}$ in stime latenti $\hat{z}_{A_m}$, che vengono poi decodificati per ricostruire le osservazioni.
• Modulo Pluggable Basato su Wasserstein: Un modulo innovativo e differenziabile apprende la struttura latente parzialmente condivisa. Formula l'allineamento delle variabili condivise come un problema di trasporto ottimale. Minimizzando un costo di trasporto (basato sulla distanza di Wasserstein) tra le variabili latenti di modalità diverse, il modulo apprende una matrice di permutazione $P$ che identifica quali componenti latenti sono condivise tra le modalità. Questo modulo è agnostico rispetto all'architettura e non richiede supervisione ausiliaria.
• Apprendimento della Struttura Causale: Il quadro impiega un Flusso Normalizzante Autoregressivo Mascherato per modellare il rumore esogeno e una matrice di adiacenza apprendibile per inferire il grafo causale. Vengono imposti vincoli di sparsità (regolarizzazione $L_1$) e aciclicità per soddisfare le condizioni di identificabilità teorica.

Contributi Chiave

1. Garanzie di Identificabilità Componente per Componente: L'articolo stabilisce che sia le variabili latenti condivise sia quelle specifiche per modalità possono essere identificate componente per componente in un setting multimodale con condivisione parziale, rilassando la rigida assunzione di biettività richiesta dai lavori precedenti.
2. Setting Incompleto: I risultati teorici valgono anche quando il numero di variabili osservate supera il numero di variabili latenti in ciascuna modalità.
3. Modulo Agnostico rispetto all'Architettura: Introduzione di un modulo differenziabile basato su Wasserstein che recupera la matrice di permutazione della struttura condivisa senza richiedere dati di addestramento aggiuntivi, supervisione o interventi.
4. Generalizzazione: Il lavoro generalizza i precedenti risultati di identificazione a blocchi a un setting più flessibile in cui le modalità non sono necessariamente versioni aumentate l'una dell'altra.

Risultati Sperimentali
Gli autori valutano il loro approccio su dataset numerici sintetici (2, 3 e 4 modalità), un dataset sintetico 3D immagine-testo (MultiModal3DIdent) e un dataset di reti di regolazione genica (SERGIO).

• Metriche: Le prestazioni sono misurate utilizzando il Coefficiente di Correlazione Medio (MCC), il Coefficiente di Determinazione ($R^2$) e la Distanza di Hamming Strutturale Potenziata (EnSHD).
• Risultati:
  • Il metodo proposto supera le linee di base dello stato dell'arte (CausalVAE, Multimodal Contrastive Learning, MultiBio, MultiView) in termini di $R^2$ su tutti i dataset numerici, indicando un migliore recupero della struttura latente di verità fondamentale.
  • Sul dataset MultiModal3DIdent, il metodo ottiene punteggi $R^2$ superiori rispetto alle linee di base.
  • Sul dataset di Reti di Regolazione Genica, il metodo ottiene il MCC più alto (0,98), confermando l'applicabilità ai dati biologici reali.
  • Il metodo dimostra prestazioni competitive o superiori nel recupero dei grafi causali (EnSHD) rispetto alle linee di base che fanno affidamento sull'apprendimento contrastivo o sull'identificazione a blocchi.

Significato e Affermazioni
L'articolo afferma che il suo significato principale risiede nel fornire condizioni teoriche più deboli per l'identificabilità rispetto ai lavori esistenti. Rimuovendo la necessità di funzioni di mixing biunivoche, assunzioni parametriche sulla distribuzione e segnali ausiliari (supervisione/interventi), il quadro proposto offre un approccio più pratico e flessibile per l'apprendimento di rappresentazioni causali interpretabili.

Gli autori sottolineano che le loro garanzie di identificabilità componente per componente assicurano che le rappresentazioni apprese non siano solo strutturalmente simili, ma individualmente recuperabili, il che è cruciale per compiti a valle che richiedono specifici fattori causali. L'introduzione del modulo basato su Wasserstein fornisce un meccanismo pratico per gestire il complesso allineamento di strutture parzialmente condivise in modo differenziabile, colmando il divario tra identificabilità teorica e implementazione nell'apprendimento profondo.