MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation

Riepilogo Tecnico: MUNI: Multimodal Unified Latent Diffusion per la Generazione Coerente Any-to-Any

Problema

Gli attuali modelli generativi multimodali affrontano limitazioni significative nel raggiungere una generazione "any-to-any", dove un modello deve generare qualsiasi sottoinsieme di modalità condizionato da qualsiasi altro sottoinsieme (inclusa la campionatura congiunta incondizionata). Gli approcci esistenti ricadono generalmente in due categorie con distinti svantaggi:

1. Modelli Fondativi basati su LLM: Rappresentano tutte le modalità come token discreti in una sequenza unificata. Sebbene flessibili, faticano a sfruttare i generatori continui specifici per modalità (ad esempio, diffusione latente per le immagini, flow matching per l'audio) e richiedono dati accoppiati al testo per l'addestramento, limitando la fedeltà e la capacità di catturare correlazioni cross-modali dirette non mediate dal linguaggio.
2. Estensioni basate su Diffusion/Flow: Recenti lavori tentano di estendere la modellazione generativa continua ai contesti multimodali, ma spesso si affidano a embedding allineati al testo, richiedono l'apprendimento di percorsi condizionali per ogni configurazione di sottoinsieme (richiedendo dati completamente accoppiati) o impongono mappature deterministiche con dimensionalità corrispondenti.

La sfida centrale è sviluppare un framework che unifichi la generazione cross-modale condizionata da sottoinsiemi e la campionatura congiunta incondizionata senza fare affidamento su embedding allineati al testo, dati completamente accoppiati o spazi latenti pre-calcolati.

Metodologia: MUNI

Gli autori propongono MUNI (Multimodal Unified Latent Diffusion), un framework end-to-end che estende il concetto di Unified Latents (UL) a un arbitrario condizionamento di sottoinsieme. Il framework consiste in tre componenti principali:

1. Encoder e Decoder Specifici per Modalità: Invece di un singolo encoder unificato, MUNI impiega encoder specifici $q_{\phi_m}(z | x_m)$ per ogni modalità e decoder espressivi e specifici per modalità $p_{\theta_m}(x_m | z)$.
2. Latente Stocastico Condiviso: Una singola variabile latente condivisa $z$ media tutti i compiti di generazione.
3. Prior Basato su Flow Appreso: Un prior condiviso $q_\psi(z)$ viene appreso congiuntamente con gli encoder e i decoder, anziché essere adattato a uno spazio latente congelato.

Innovazioni Architetturali e di Obiettivo Chiave

MUNI affronta l'insufficienza delle standard regole di aggregazione dell'inferenza variazionale multimodale (come Product of Experts o Mixture of Experts) quando accoppiate con decoder espressivi e prior appresi. Gli autori identificano tre criteri necessari per il latente condiviso:

1. Coerenza-sufficienza (Coherence-sufficiency): Il latente deve spiegare le dipendenze tra le modalità per consentire una campionatura congiunta incondizionata coerente.
2. Predittività-sufficienza (Predictive sufficiency): I latenti dei sottoinsiemi devono trattenere informazioni sufficienti per predire le modalità mancanti.
3. Minimalità (Minimality): Il latente condiviso non dovrebbe assorbire dettagli specifici della modalità che possono essere modellati dai decoder espressivi.

Per soddisfare questi criteri, MUNI introduce un obiettivo di addestramento instradato (routed training objective) con tre specifiche scelte strutturali:

• Aggregazione Non-Mixture: Per un sottoinsieme di modalità osservate $A$, il posteriore è formato aggregando tutti gli esperti unimodali disponibili (tramite aggregazione Product o Hellinger) in un singolo posteriore, invece di campionare da un mixture di esperti. Ciò assicura che il latente contenga informazioni da tutte le modalità osservate.
• Auto-Ricostruzione con Target-Detached: Quando si ricostruisce una modalità $x_m$ che fa parte del sottoinsieme osservato $A$, l'encoder per $x_m$ viene staccato (stop-gradient) durante il passaggio di aggregazione. Questo impedisce al latente condiviso di essere costretto a codificare dettagli specifici della modalità che sono utili solo per l'auto-ricostruzione, imponendo il criterio di minimalità.
• Apprendimento del Prior Leave-One-Out: La perdita del prior è applicata solo ai latenti inferiti da sottoinsiemi di modalità complete o da sottoinsiemi "leave-one-out" (dove tutte le modalità tranne una sono osservate). Ciò assicura che il prior sia addestrato su latenti che sono coerenza-sufficienti, evitando la contaminazione del prior con latenti inferiti da evidenza insufficiente.

L'obiettivo di addestramento combina perdite di ricostruzione (sia per la predizione di elementi non osservati che per l'auto-ricostruzione target-detached) e una perdita del prior filtrata a specifici percorsi di sottoinsieme.

Contributi Chiave

1. Latent Diffusion Multimodale End-to-End: MUNI estende la diffusione latente alla generazione any-to-any addestrando congiuntamente encoder specifici per modalità, decoder espressivi e un prior condiviso basato su flow sotto un unico obiettivo, eliminando la necessità di una pipeline a due stadi con "latent congelato".
2. Nuovo Obiettivo di Addestramento per l'Inferenza Variazionale: Il paper identifica che le standard regole di aggregazione falliscono nel soddisfare simultaneamente coerenza, predittività e minimalità quando accoppiate con prior appresi. L'obiettivo instradato proposto allinea esplicitamente lo spazio latente con questi criteri attraverso l'aggregazione non-mixture, la ricostruzione target-detached e l'apprendimento selettivo del prior.
3. Framework Any-to-Any Scalabile: MUNI opera senza embedding allineati al testo o triplette completamente osservate, consentendo l'addestramento su dati multimodali parzialmente osservati (ad esempio, coppie immagine-testo, coppie audio-testo) pur supportando la co-generazione incondizionata.

Risultati Sperimentali

Gli autori valutano MUNI su due benchmark:

1. PolyMNIST-Quadrant-Labels: Un benchmark controllato con modalità immagine e etichetta. MUNI eguaglia o supera forti baseline (MVAE, MMVAE, MoPoE, HELVAE) nella generazione condizionata (singola/multi-label verso immagine) e raggiunge il margine più ampio in termini di coerenza incondizionata, superando significativamente le baseline nella generazione di identità di cifre e posizioni di quadrante coerenti attraverso le modalità.
2. Benchmark su Grande Scala Immagine-Testo-Audio: Utilizzando dataset a coppie (LAION-COCO, AudioCaps, VGGSound) senza triplette completamente osservate.
   • Generazione Condizionata: MUNI raggiunge prestazioni state-of-the-art tra le baseline generaliste (CoDi, OmniFlow, FlowBind) nei compiti di allineamento many-to-one. In particolare, migliora l'Audio-Image Similarity (AIS) fino a +7.14 rispetto alla seconda migliore baseline generalista.
   • Co-generazione Incondizionata: MUNI dimostra guadagni sostanziali nella coerenza incondizionata. Rispetto a OmniFlow (l'unico generalista direttamente comparabile che supporta la campionatura incondizionata), MUNI migliora i punteggi di +5.57 CLIP (Testo-Immagine), +10.60 CLAP (Testo-Audio) e +31.85 AIS (Audio-Immagine).

Significato e Rivendicazioni

Il paper afferma che la generazione any-to-any coerente dipende non solo da come l'evidenza delle modalità viene aggregata, ma anche da quali informazioni il latente condiviso è addestrato a contenere.

Imponendo esplicitamente i criteri di coerenza, predittività e minimalità attraverso l'obiettivo instradato, MUNI riesce a scalare la prospettiva della inferenza variazionale multimodale alla generazione immagine-testo-audio su larga scala e pratica. I risultati dimostrano che questo framework può mantenere capacità di generazione condizionata competitive pur migliorando sostanzialmente la coerenza incondizionata, un compito in cui le esistenti baseline basate su diffusione e VAE spesso falliscono. Il lavoro suggerisce che la prospettiva dell'inferenza variazionale multimodale, quando accoppiata con componenti generative espressive e un prior appreso, è una via percorribile verso la generazione multimodale unificata senza dipendere dal testo come intermediario.