CoVAE: correlated multimodal generative modeling

Dit paper introduceert CoVAE, een nieuwe generatieve architectuur die de statistische correlaties tussen modaliteiten behoudt om betere cross-modale reconstructie en onzekerheidskwantificering mogelijk te maken dan bestaande multimodale VAE-modellen.

De kern

CoVAE: De slimme vertaler die weet wat hij niet weet

Stel je voor dat je een kunstenaar bent die portretten tekent. Je hebt twee soorten informatie over een persoon: een foto van hun gezicht en een beschrijving van hun stem. Normaal gesproken zouden deze twee dingen perfect op elkaar aansluiten. Maar wat als je alleen de foto hebt en je moet de stem beschrijven? Of andersom?

Dit is precies het probleem waar kunstmatige intelligentie (AI) mee worstelt wanneer ze met "meerdere zintuigen" (modi) werkt, zoals tekst én beelden, of in dit geval: verschillende soorten biologische data.

Het oude probleem: De "Oververzekerde" AI

In de wereld van AI bestaan er modellen die proberen deze verschillende informatiebronnen samen te voegen in één "geheugenruimte" (latente ruimte). De huidige methoden doen dit vaak alsof ze een vergaarbak gebruiken. Ze nemen de foto en de tekst, gooien ze in één bak, en trekken er één enkel punt uit.

Het probleem hiermee is dat deze modellen te zeker worden.
Stel je voor dat je een vriend vraagt: "Hoe klinkt zijn stem?" terwijl je alleen naar zijn foto kijkt. Een slimme mens zegt: "Ik weet het niet precies, maar hij klinkt waarschijnlijk als iemand met een zware stem." Een domme, oververzekerde robot zegt echter: "Hij klinkt exact zo!" en bedenkt een stem die perfect past bij de foto, maar die in werkelijkheid misschien helemaal niet klopt.

In de wetenschap is dit gevaarlijk. Als je een AI gebruikt om ziektes te voorspellen op basis van twee soorten tests, en je mist één test, wil je dat de AI zegt: "De kans op ziekte is X, maar omdat ik één test mis, is er een grote onzekerheid." De oude modellen zeggen echter: "Het is 100% zeker," wat leidt tot foutieve conclusies. Ze vergeten dat de twee dingen (foto en stem) niet altijd 100% met elkaar verbonden zijn; er is altijd een beetje "ruis" of variatie.

De oplossing: CoVAE (De Correlatie-Meester)

De auteurs van dit papier hebben een nieuwe manier bedacht, genaamd CoVAE.

In plaats van alle informatie in één strakke, eenduidige knoop te stoppen, bouwt CoVAE een geheugenruimte met een netje. Dit netje houdt de verschillende informatiebronnen bij elkaar, maar laat ze ook een beetje bewegen.

Hier is hoe het werkt, met een analogie:

1. Het Netje (De Correlatie): Stel je voor dat je twee ballonnen hebt die aan elkaar vastzitten met een elastiekje. Als je de ene ballon optilt (de foto), beweegt de andere (de stem) ook mee, maar niet exact op dezelfde hoogte. Het elastiekje vertegenwoordigt de correlatie. CoVAE leert hoe strak dat elastiekje moet zijn.
2. Onzekerheid is goed: Als je alleen de eerste ballon ziet, weet CoVAE: "Oké, de tweede ballon beweegt mee, maar omdat ik hem niet zie, kan hij een beetje links of rechts hangen." CoVAE tekent daarom een groot, vaag gebied waar de tweede ballon zou kunnen zijn. Dit is een eerlijke weergave van onzekerheid.
3. De Oude Methode: De oude modellen deden alsof de ballonnen met lijm aan elkaar waren geplakt. Als je de ene optilt, staat de andere exact op die plek. Ze tekenen een heel klein, scherp puntje. Dit ziet er mooi uit, maar het is onrealistisch als je een deel van de informatie mist.

Wat hebben ze getest?

De onderzoekers hebben CoVAE getest op twee manieren:

1. Gemaakte cijfers (MNIST): Ze maakten een dataset van cijfers (zoals 1, 2, 3) waarbij ze de cijfers bewust met elkaar verbonden hadden.

   • Resultaat: CoVAE kon perfect zien hoe sterk de cijfers met elkaar verbonden waren. Als ze een cijfer misten, kon CoVAE het ontbrekende cijfer invullen met de juiste "onscherpte". De oude modellen maakten altijd een perfect scherp cijfer, zelfs als ze het niet konden weten, en maakten daardoor fouten.

2. Medische data (Kanker): Ze keken naar echte patiëntdata met twee soorten tests: mRNA en miRNA (soorten genetische informatie).

   • Resultaat: CoVAE bleek de enige te zijn die kon zeggen: "Als we deze test missen, is onze voorspelling minder zeker." Het kon ook beter de ontbrekende test voorspellen op basis van de andere, zonder alsof het een waarzegger was.

Waarom is dit belangrijk?

In de wetenschap, en vooral in de geneeskunde, is het erkennen van onzekerheid net zo belangrijk als het vinden van een antwoord.

• Als een AI zegt: "Deze patiënt heeft kanker," maar je mist een belangrijke test, wil je weten: "Hoe zeker is dat?"
• Oude modellen zeggen: "100% zeker." (Gevaarlijk!)
• CoVAE zegt: "90% zeker, maar omdat we een test missen, is er een kans dat het anders is." (Veilig en eerlijk!)

Conclusie

CoVAE is als een slimme detective die weet dat hij niet alles kan weten. Hij gebruikt de verbanden tussen verschillende bewijsstukken om een goed beeld te vormen, maar hij houdt ook rekening met de gaten in het bewijs. In plaats van een vals, perfect beeld te tekenen, tekent hij een realistisch beeld dat laat zien waar de twijfel zit.

Dit maakt CoVAE een krachtig hulpmiddel voor de toekomst, vooral in gebieden waar fouten maken duur kan zijn, zoals bij het diagnosticeren van ziektes.

Technische samenvatting

Titel: CoVAE: Correlatie-gedreven multimodale generatieve modellering

Auteurs: Federico Caretti en Guido Sanguinetti (SISSA, Italië)

---

1. Het Probleem

Multimodale Variational Autoencoders (VAE's) zijn krachtige tools om representaties te extraheren uit complexe data met meerdere modaliteiten (bijv. afbeeldingen en tekst, of mRNA en miRNA). Echter, bestaande modellen hebben een fundamenteel tekortkoming: het vernietigen van de gezamenlijke statistische structuur van de data.

• De huidige aanpak: De meeste multimodale VAE's gebruiken fusiestrategieën in de latente ruimte (zoals Product-of-Experts of Mixture-of-Experts). Hierbij worden verschillende modaliteiten onafhankelijk gecodeerd en vervolgens samengevoegd tot één enkel latent punt.
• Het gevolg: Omdat alle modaliteiten worden gedecodeerd vanuit één deterministisch punt, worden de gereconstrueerde modaliteiten kunstmatig perfect met elkaar gecorreleerd. Dit leidt tot:
  1. Oververzekerdheid: Bij het genereren van ontbrekende modaliteiten (imputatie) geven deze modellen onterecht scherpe, deterministische voorspellingen, zelfs als de informatie uit de waargenomen modaliteit onzekerheid toelaat.
  2. Verkeerde onzekerheidskwantificatie: Bestaande modellen kunnen niet onderscheiden tussen een waargenomen en een ontbrekende modality; ze toekennen vaak dezelfde (te lage) onzekerheid aan beide, wat de werkelijke statistische onafhankelijkheid en variatie negeert.
  3. Verlies van correlatiestructuur: De gecreëerde data heeft een maximale wederzijdse informatie, wat zelden overeenkomt met de realiteit waar correlaties variëren.

2. Methodologie: CoVAE

De auteurs introduceren CoVAE (Correlated Variational Autoencoders), een nieuwe generatieve architectuur die expliciet de correlaties tussen modaliteiten leert en behoudt.

• Kernidee: In plaats van een diagonale (onafhankelijke) verdeling in de latente ruimte te aannemen, modelleert CoVAE een multivariate, niet-diagonale Gaussische verdeling.
• Architectuur:
  • Elke modality $k$ wordt apart gecodeerd naar een latente variabele $z_k$ via een encoder $q_{\phi_k}(z_k | x_k)$.
  • Deze latente variabelen worden samengevoegd tot een vector $z$.
  • De prior $p(z)$ is een multivariate normale verdeling $N(0, \Sigma_{prior})$, waarbij de covariantiematrix $\Sigma_{prior}$ de correlaties tussen de modaliteiten vastlegt.
  • De gezamenlijke encoder leert een volledige covariantiematrix $\Sigma_{joint}$ (geparametriseerd via Cholesky-decompositie voor stabiliteit).
• Training:
  • Het model wordt getraind om de ELBO (Evidence Lower Bound) te maximaliseren, vergelijkbaar met standaard VAE's, maar met een extra term die de gezamenlijke verdeling regulariseert ten opzichte van de geleerde prior.
  • Pre-training: De correlaties in de prior ($\Sigma_{prior}$) worden eerst geleerd via Deep CCA (Canonical Correlation Analysis) op de individuele encoders, waarna deze worden vastgevroren (frozen) tijdens de hoofdttraining. Dit zorgt voor een stabiele basis voor de correlatiestructuur.
• Inferentie bij ontbrekende data:
  • Wanneer een subset van modaliteiten ontbreekt, wordt de inferentie uitgevoerd door te conditioneren op de waargenomen modaliteiten.
  • De ontbrekende latente variabelen $z_M$ worden gesampled uit de juiste voorwaardelijke verdeling $N(\Sigma_{MO}\Sigma_{OO}^{-1}z_O, \Sigma_{MM} - \Sigma_{MO}\Sigma_{OO}^{-1}\Sigma_{OM})$.
  • Dit zorgt ervoor dat de onzekerheid van de ontbrekende modality correct wordt geschat (brede posterior) en afhankelijk is van de sterkte van de correlatie.

3. Belangrijkste Bijdragen

1. Oplossing voor "Statistical Collapse": CoVAE voorkomt dat multimodale data deterministisch aan elkaar worden gekoppeld door een niet-diagonale prior in de latente ruimte te gebruiken.
2. Correcte Onzekerheidskwantificatie: Het model kan realistische onzekerheidsschattingen geven voor ontbrekende modaliteiten, waarbij de onzekerheid afneemt naarmate de correlatie tussen modaliteiten toeneemt.
3. Flexibele Imputatie: Het stelt het model in staat om ontbrekende modaliteiten te genereren die statistisch consistent zijn met de waargenomen data, zonder kunstmatige scherpte.
4. Empirische Validatie: Uitgebreide tests op synthetische en real-world datasets tonen aan dat CoVAE de enige architectuur is die de werkelijke correlatiestructuur van de data succesvol kan reproduceren.

4. Resultaten

De auteurs testen CoVAE op zowel synthetische data (MNIST-paren met gecontroleerde correlaties) als een biomedische dataset (Pan-Cancer mRNA/miRNA data).

• Synthetische Data (MNIST):

  • Correlatie: CoVAE is de enige modale die de juiste lineaire correlatie ($\rho$) tussen de gegenereerde modaliteiten herstelt. Andere modellen (zoals MVAE, JMVAE) genereren data met een correlatie van 1 (maximaal) of een constante, onjuiste correlatie.
  • Onzekerheid: Bij het imputeren van een ontbrekende modality toont CoVAE een bredere posterior (hogere standaarddeviatie) dan waargenomen modaliteiten, en deze onzekerheid neemt af naarmate de echte correlatie toeneemt. Andere modellen tonen geen verschil in onzekerheid tussen waargenomen en ontbrekende data.
  • Kwaliteit: Hoewel CoVAE soms iets "vager" gegenereerde beelden produceert bij lage correlaties (wat statistisch correct is), zijn deze beelden vaak herkenbaarder en correcter dan de scherpe maar foutieve beelden van concurrenten.

• Biomedische Data (Pan-Cancer):

  • Correlatie: CoVAE leert een sterke correlatie ($\rho = 0.78$) tussen mRNA en miRNA latent representations.
  • Classificatie: Bij taakgerichte classificatie (kanker-type) presteert CoVAE vergelijkbaar met de beste modellen (zoals MoPoE en JMVAE).
  • Conditionele Taken: Bij het reconstrueren van ontbrekende modaliteiten (bijv. mRNA uit miRNA) presteert CoVAE het best of staat het in de top. Het behoudt hoge Spearman-correlaties tussen gereconstrueerde en echte waarden, zelfs bij conditionele inferentie.
  • NLL (Negative Log-Likelihood): CoVAE betaalt een kleine "entropische prijs" door de gecorreleerde Gaussians, maar presteert overall zeer competitief, vooral in conditionele scenario's.

5. Betekenis en Conclusie

CoVAE is een doorbraak voor wetenschappelijke toepassingen waar onzekerheidskwantificatie en realistische data-generatie cruciaal zijn (bijv. in de biomedische wetenschappen).

• Waarom is dit belangrijk? Bestaande methoden zijn vaak te optimistisch en genereren "perfecte" maar onrealistische data. CoVAE erkent dat data vaak imperfect en gedeeltelijk gecorreleerd is.
• Toekomstperspectief: Hoewel CoVAE een sterke verbetering is, nemen de auteurs aan dat de aanname van een lineaire Gaussische correlatie in de praktijk soms te beperkend kan zijn. Toekomstig werk zal zich richten op complexere prior-structuren om niet-lineaire correlaties beter te modelleren.

Kortom, CoVAE lost het fundamentele probleem op van het "verlies van statistische structuur" in multimodale VAE's en biedt een robuust kader voor het genereren van data met realistische onzekerheid en correlaties.