Disentanglement of Variations with Multimodal Generative Modeling

Sintesi Tecnica: IDMVAE (Information-Disentangled Multimodal VAE)

Problematica
I dati multimodali, come i video con audio o le immagini con didascalie, sono prevalenti in molti domini. Una sfida centrale nell'apprendimento da tali dati è l'integrazione delle informazioni tra le diverse viste per creare rappresentazioni universali e trasferibili. Sebbene i Variational Autoencoders (VAE) siano emersi come un paradigma potente, approcci recenti riconoscono che i dataset del mondo reale contengono sia informazioni condivise (comuni tra le modalità) sia informazioni private (specifiche di una modalità).

I metodi esistenti tentano di separare questi componenti utilizzando due variabili latenti: $z$ per l'informazione condivisa e $w_m$ per l'informazione privata nella modalità $m$. Tuttavia, questi metodi faticano a raggiungere una disgiunzione (disentanglement) massima, in particolare su dataset impegnativi dove il modello di verosimiglianza è insufficiente. Senza una separazione pulita, l'informazione condivisa "perde" (leaks) nelle codifiche private e viceversa, risultando in una debole coerenza cross-modale, uno spreco di capacità del modello e una qualità generativa inadeguata. La domanda centrale affrontata è: Come possiamo ottenere la massima disgiunzione tra le variabili condivise e quelle private in modo che le rappresentazioni apprese siano complete e non ridondanti?

Metodologia
Gli autori propongono l'Information-disentangled Multimodal VAE (IDMVAE), un framework che combina rigorose regolarizzazioni basate sull'informazione mutua (MI) con prior basati sulla diffusione. Il modello assume che per ogni modalità $x_m$, i dati siano generati congiuntamente da una variabile latente condivisa $z$ e una variabile latente privata $w_m$, con prior indipendenti.

Il metodo consiste in tre componenti primari:

1. Modellazione della Verosimiglianza con MMVAE:
   La base si fonda sul modello MMVAE+, che utilizza uno schema Mixture-of-Experts (MoE) per aggregare i posteriors specifici per ogni vista in un posterior globale per $z$. Per evitare che il decoder utilizzi una "scorciatoia" sfruttando l'informazione condivisa filtrata durante la ricostruzione cross-view, MMVAE+ impiega un prior ausiliario per la variabile privata della vista target. Questo stabilisce un limite inferiore (ELBO) di base per la ricostruzione.

2. Estrazione della Variabile Condivisa tramite Massimizzazione della MI Cross-View:
   Per imporre esplicitamente l'estrazione dei fattori condivisi, gli autori introducono un termine di regolarizzazione, $L_{CrossMI}$. Poiché la massimizzazione della sola verosimiglianza non garantisce la disgiunzione, la massimizzazione dell'informazione mutua tra le rappresentazioni condivise di diverse viste ($I(z_m; z_n)$) funge da limite inferiore per $I(z_m; x_n)$. Ciò viene ottenuto utilizzando una stima contrastiva dell'informazione mutua (simile a InfoNCE), incoraggiando $z_m$ e $z_n$ a essere altamente correlati pur minimizzando la ridondanza con le variabili private.

3. Disgiunzione tramite Augmentation Generativa:
   Per rimuovere la ridondanza tra $z$ e $w_m$ (assicurando che $w_m$ non conservi informazioni condivise), gli autori propongono una perdita di tipo ciclo-consistenza, $L_{GenAug}$. Questo metodo sintetizza nuovi campioni $x^+_m$ combinando il posterior condiviso $z$ di un campione con il posterior privato $w'_m$ di un altro. Il modello viene poi regolarizzato affinché, quando $x^+_m$ viene ricodificato, il relativo posterior $q(w_m|x^+_m)$ corrisponda al posterior privato originale $q(w_m|x'_m)$. Crucialmente, queste augmentations sono generate dal modello stesso, senza richiedere conoscenze specifiche del dominio o strategie di data augmentation esterne.

4. Prior di Diffusione:
   Per superare i limiti dei semplici prior gaussiani, che potrebbero non catturare la struttura complessa degli spazi latenti multimodali, gli autori parametrizzano il prior $p(z)$ utilizzando un modello di diffusione. Invece di una distribuzione fissa, $p(z)$ è modellato come un processo di denoising. Ciò consente al modello di apprendere uno spazio latente più ricco e strutturato, migliorando la capacità di apprendimento della rappresentazione e di generazione.

L'obiettivo finale combina l'ELBO di MMVAE+, la perdita di MI cross-view, la perdita di augmentation generativa e la perdita del prior di diffusione.

Contributi Chiave

• Regolarizzazione basata su MI: A differenza dei lavori precedenti che si affidano a euristiche basate sulla capacità o a meccanismi di prevenzione delle scorciatoie, IDMVAE impiega regolarizzazioni basate sull'informazione mutua per garantire la disgiunzione.
• Augmentation Generata dal Modello: Il lavoro introduce una perdita di ciclo-consistenza utilizzando augmentations generative per rimuovere la ridondanza tra i latenti condivisi e privati senza richiedere conoscenze esterne del dominio.
• Prior di Diffusione: L'integrazione dei modelli di diffusione nello spazio del prior latente potenzia la capacità rappresentativa del VAE, andando oltre le semplici assunzioni gaussiane.
• Sinergia: Il documento dimostra che gli obiettivi basati sulla MI e i prior di diffusione sono complementari, superando congiuntamente i limiti della pura modellazione della verosimiglianza.

Risultati Sperimentali
Gli autori hanno valutato IDMVAE su tre dataset:

1. PolyMNIST-Quadrant: Un dataset MNIST modificato dove le cifre (condivise) sono posizionate in quadranti diversi (privati) con sfondi variabili. IDMVAE ha raggiunto un'accuratezza di classificazione latente superiore (0.983 per le cifre condivise rispetto a 0.382 per MMVAE+) e ha migliorato significativamente la coerenza della generazione cross-modale.
2. CUB-200-2011: Un dataset di classificazione di uccelli a grana fine con modalità immagine e testo. IDMVAE ha superato i baseline nell'estrarre informazioni di categoria condivise e informazioni direzionali private, dimostrando una migliore generazione cross-modale (es. da testo a immagine) con maggiore coerenza semantica.
3. TCGA (The Cancer Genome Atlas): Un dataset multi-omico per la predizione della mortalità dei pazienti. IDMVAE ha mostrato un'accuratezza di predizione migliorata (0.718) rispetto ai baseline, indicando che una disgiunzione pulita separa efficacemente le informazioni predittive tra gli spazi latenti condivsi e privati.

In tutti gli esperimenti, gli studi di ablazione hanno confermato che la rimozione del termine di MI cross-view o della perdita di augmentation generativa degradava le prestazioni, validando la necessità di entrambi i componenti. L'aggiunta dei prior di diffusione ha costantemente fornito ulteriori miglioramenti nella qualità e nella coerenza della generazione.

Significatività e Rivendicazioni
Il paper sostiene che IDMVAE dimostri una "separazione pulita" tra informazione condivisa e privata, portando a una qualità generativa superiore e a una coerenza semantica su dataset impegnativi. Gli autori sostengono che il loro approccio affronti l'insufficienza dei modelli di verosimiglianza nei metodi esistenti attraverso la forza esplicita della disgiunzione tramite regolarizzazioni basate sulla teoria dell'informazione.

La significatività del lavoro risiede nella sua capacità di apprendere rappresentazioni robuste e trasferibili che siano sia complete (catturando tutta l'informazione rilevante) sia non ridondanti. Combinando la modellazione generativa con i principi del collo di bottiglia dell'informazione (information bottleneck) e i prior di diffusione, il metodo offre un paradigma più potente per l'apprendimento non supervisionato di rappresentazioni multimodali rispetto agli attuali VAE di stato dell'arte o ai metodi di disgiunzione non generativi. Gli autori notano modestamente alcuni limiti, come la difficoltà nel generare immagini ad alta fedeltà sul dataset CUB a causa dei vincoli di volume dei dati, e suggeriscono lavori futuri sulla gestione delle modalità mancanti e sull'integrazione di modelli di diffusione pre-addestrati nello spazio di input.