📊 statistics

Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance

Dit artikel stelt een multimodaal diep generatief model voor voor semi-supervised learning bij klasonevenwichtigheid dat gebruikmaakt van gedeelde latente variabelen, Student's t-verdelingen om zwaarstaartige datakarakteristieken te vangen, en een $\gamma$ -power-divergentie-Doelstelling om bestaande methoden te overtreffen op gedeeltelijk gelabelde, onevenwichtige multimodale datasets.

Oorspronkelijke auteurs: Heegeon Yoon, Heeyoung Kim

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Heegeon Yoon, Heeyoung Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren verschillende soorten fruit te herkennen. Je hebt een enorme stapel foto's, maar er is een addertje onder het gras: je hebt duizenden foto's van appels, maar slechts een handvol foto's van zeldzame, exotische bessen.

Als je de robot gewoon de hele stapel laat zien, zal hij erg goed worden in het opsporen van appels, maar zal hij waarschijnlijk elke zeldzame bessensoort voor een raar uitziende appel houden. Dit is het probleem van klassenongelijkheid.

Stel je nu voor dat de robot niet alleen foto's ziet, maar ook beschrijvingen van het fruit hoort en hun textuur voelt (als hij sensoren had). Dit is multimodale data (het gebruik van verschillende soorten informatie tegelijk).

Tot slot stel je je voor dat je alleen labels (namen) hebt voor de appels, maar dat alle zeldzame bessen ongelabeld zijn. Je moet raden wat de bessen zijn op basis van de paar appels die je kent. Dit is semi-supervised learning.

Dit artikel introduceert een nieuw AI-model genaamd SSMVAE-CI, ontworpen om deze drie problemen tegelijk op te lossen: het aanpakken van het "zeldzaam fruit"-probleem, het gebruik van meerdere zintuigen (zicht, geluid, tekst) en het leren van voornamelijk ongelabelde data.

Hier is hoe het werkt, uiteengezet met eenvoudige analogieën:

1. De "Specialistenteam"-aanpak (Multimodale Encoders)

De meeste AI-modellen proberen alle data (foto's, tekst, audio) direct aan het begin in één grote blender te mengen. De auteurs zeggen: "Nee, laten we de specialisten gescheiden houden."

De Analogie: Stel je een detective-team voor. Eén detective is expert in foto's, een ander in audio en een derde in tekst. Ze mengen hun aanwijzingen niet direct. In plaats daarvan schrijft iedereen een rapport over wat hij ziet, en dan komen ze bij elkaar in een "centrale kamer" (de latente ruimte) om notities te vergelijken.
Het Voordeel: Hierdoor kan het model begrijpen dat een foto van een bes en een tekstbeschrijving van een bes met elkaar samenhangen, zelfs als ze er heel anders uitzien. Het model gebruikt een "Product-of-Experts"-methode, wat vergelijkbaar is met het laten stemmen van het team over de uiteindelijke conclusie op basis van hun individuele rapporten, in plaats van hen te dwingen het eens te worden voordat ze zelfs maar naar de data hebben gekeken.

2. Het "Zwaarstaart"-veiligheidsnet (Student's t-verdeling)

Standaard AI-modellen gaan er meestal van uit dat data verdeeld is als een perfecte klokkromme (Gaussische verdeling). Bij een klokkromme is het "zeldzame" materiaal (de staarten) zo dun dat het model het vaak negeert of probeert te dwingen om op het gebruikelijke materiaal te lijken.

De Analogie: Stel je een klokkromme voor als een slakkenlijn. Als je een zeldzame bes bent, bevind je je ver weg van de slakkenlijn in het diepe gras. Een standaardmodel probeert je terug te trekken naar de slakkenlijn, waardoor je eruitziet als een appel.
De Oplossing: Dit artikel vervangt de slakkenlijn door een breed, trampoline-achtig net (de Student's t-verdeling). Dit net heeft "zware staarten", wat betekent dat er volop ruimte is in het diepe gras. Het staat toe dat de zeldzame bessen blijven waar ze van nature thuishoren, zonder gedwongen te worden om op appels te lijken. Dit voorkomt dat het model de zeldzame data "over-regulariseert" (afdwingt) naar de gebruikelijke patronen.

3. Het "Slim Gissen"-spel (Gamma-power-divergentie)

Het model moet leren van zowel de gelabelde appels als de ongelabelde bessen. Om dit te doen, maakt het gebruik van een speciaal wiskundig hulpmiddel genaamd $\gamma$ -power-divergentie.

De Analogie: Denk hieraan als een flexibele liniaal. Een standaardliniaal (zoals KL-divergentie) is stijf; als de data niet perfect past, breekt hij of raakt hij in de war. De $\gamma$ -power-liniaal is rekbaar en vergevingsgezind. Het stelt het model in staat om te zeggen: "Ik weet dat deze zeldzame bes er niet precies uitziet als de appels die ik heb gezien, maar het is dicht genoeg bij een bes, en ik zal hem niet te hard straffen voor het anders zijn."
Het Resultaat: Hierdoor kan het model effectief leren, zelfs wanneer de data rommelig, onbalans of met ontbrekende stukken is.

4. Wat gebeurt er als data ontbreekt?

In de echte wereld heb je soms een foto maar geen audio, of tekst maar geen afbeelding.

De Analogie: Als een detective-team een lid verliest (bijvoorbeeld omdat de audio-expert ziek is), zou een stijf team kunnen stoppen met werken. Maar omdat dit model het "brede net" (t-verdeling) en de "specialist"-aanpak gebruikt, kan het toch een goede gok doen met alleen de foto en tekst. Het behandelt ontbrekende data als een "zacht" signaal in plaats van een harde stop, waardoor het kan leren van onvolledige steekproeven zonder ze weg te gooien.

De Resultaten

De auteurs hebben dit model getest op realistische scenario's:

Handgeschreven cijfers vs. Huisnummers: Een mix van twee soorten afbeeldingen.
Voedselafbeeldingen en recepten: Een mix van foto's en tekst.
Video, audio en tekst: Een mix van drie soorten data van mensen die praten.

Bij elke test, vooral wanneer de "zeldzame" klassen zeer schaars waren en de data labels miste, presteerde dit nieuwe model beter dan bestaande methoden. Het was bijzonder goed in het correct identificeren van de "zeldzame vruchten" (minderheidsklassen) die andere modellen bleven verwarren met "appels" (meerderheidsklassen).

Kortom: Dit artikel heeft een slimmer, flexibeler AI gebouwd dat een team van specialisten, een breed veiligheidsnet voor zeldzame data en een vergevingsgezinde liniaal gebruikt om beter te leren van rommelige, onvolledige en onbalans informatie dan eerdere methoden.

Technische Samenvatting: Multimodale Diepe Generatieve Model voor Semi-supervised Learning onder Class Imbalance

Probleemstelling
Diepe neurale netwerken (DNN's) hebben vaak moeite met data met een class imbalance, waarbij ze een bias vertonen ten opzichte van de meerderheidsklassen en een slechte generalisatie tonen op minderheidsklassen. Dit probleem wordt verergerd in semi-supervised learning (SSL) settings, waar pseudo-labels voor ongelabelde data worden gegenereerd op basis van onbalans in de gelabelde sets, waardoor de bias wordt doorgegeven en versterkt. Bovendien is real-world data frequent multimodaal (combinerend diverse bronnen zoals afbeeldingen en tekst), maar bestaande oplossingen behandelen class imbalance, multimodaliteit of partiële supervisie doorgaans geïsoleerd. Weinig methoden tackelen de intersectie van deze drie uitdagingen, en diegene die dit doen, vertrouwen vaak op zero-shot foundation-modellen die gebrek hebben aan domeinspecificiteit of aanzienlijke rekenkracht vereisen. Het kernprobleem dat wordt aangepakt, is het ontbreken van een unified framework dat in staat is om robuust te trainen op deels gelabelde, multimodale data met onbalans in class-distributies.

Methodologie: SSMVAE-CI
De auteurs stellen de Semi-Supervised Multimodal Variational Autoencoder for Class-Imbalanced Learning (SSMVAE-CI) voor. Dit is een unified generatief framework dat drie belangrijke technische componenten integreert:

Multimodale Architectuur met Product-of-Experts (PoE):
Het model breidt het semi-supervised VAE-framework uit om $M$ modaliteiten ( $x_1, ..., x_M$ ) te hanteren. Het maakt gebruik van modality-specifieke encoders die een gemeenschappelijke latente ruimte delen die zowel een continue latente variabele $z$ als een discrete class variabele $y$ bevat. Om de complexiteit van het infereren van de gezamenlijke posterior $p(y, z | x_1, ..., x_M)$ te beheersen zonder een exponentieel aantal inferentie-netwerken te vereisen, maakt het model gebruik van een Product-of-Experts (PoE) framework. Dit benadert de gezamenlijke posterior als het product van individuele modality-posteriors, geconditioneerd op een prior expert, wiskundig geformuleerd als:
$q_\phi(y, z|x_1, ..., x_M) = q_\phi(y|x_1, ..., x_M)p(z) \prod_{m=1}^M q_\phi(z|x_m, y)$
Dit maakt schaalbare inferentie over meerdere modaliteiten mogelijk.
Heavy-Tailed Distributions (Student's t):
Om class imbalance aan te pakken, vervangt het model de standaard Gaussische distributies die in typische VAE's worden gebruikt door Student's t-distributies voor de prior, de encoder en de decoder. Het heavy-tailed karakter van de t-distributie stelt het model in staat om een niet-verwaarloosbare waarschijnlijkheidsdichtheid te behouden in schaarse gebieden van de latente ruimte waar minderheidsclass-samples zich bevinden. Dit voorkomt over-regularisatie van minderheidsamples die vaak optreedt bij Gaussische priors, waardoor semantisch betekenisvolle maar ondervertegenwoordigde patronen behouden blijven.
$\gamma$ -Power Divergence Doelfunctie:
De auteurs leiden een nieuwe doelfunctie af op basis van $\gamma$ -power divergence om het model te trainen op zowel gelabelde als ongelabelde data.
- Voor gelabelde data breidt de doelfunctie de $\gamma$ -loss (gebruikt in t3VAE) uit om de waargenomen class variabele $y$ op te nemen.
- Voor ongelabelde data wordt de class variabele $y$ als latent behandeld. De doelfunctie marginaliseert $y$ via de $\gamma$ -divergentie, waarbij een hanteerbare ondergrens wordt afgeleid die analoog is aan de Evidence Lower Bound (ELBO).
- De algehele doelfunctie combineert de generatieve loss met een discriminatieve classificatieloss, gewogen door een hyperparameter $\alpha$ , waarmee een evenwicht wordt gezocht tussen een coherente latente representatie en classificatieprestaties.

Belangrijkste Bijdragen
Het paper claimt vijf primaire bijdragen:

Unified Framework: Het is het eerste generatieve model dat semi-supervision, multimodaliteit en class imbalance gezamenlijk aanpakt binnen één enkel probabilistisch framework, waarbij de verschillende modelvereisten van deze uitdagingen met elkaar worden verzoend.
PoE Inferentiemechanisme: Het ontwikkelt een PoE-inferentiemechanisme dat zowel continue als discrete latente variabelen ondersteunt over meerdere modaliteiten, waardoor flexibele en schaalbare modellering mogelijk wordt.
Gegeneneraliseerde Heavy-Tailed Modellering: Het generaliseert het gebruik van Student's t-distributies naar een multimodale, semi-supervised setting, waardoor de robuustheid tegen class imbalance wordt versterkt via heavy-tailed posterior-benaderingen.
Nieuwe Doelfunctie: Het leidt een nieuwe trainingsdoelfunctie af op basis van $\gamma$ -power divergence, wat zorgt voor stabiel en expressief leren van zowel gelabelde als ongelabelde data onder onbalans in distributies.
Empirische Validatie: Uitgebreide experimenten tonen consistent betere prestaties dan baseline-methoden in semi-supervised, multimodale en class-imbalance settings.

Experimentele Resultaten
Het model werd geëvalueerd op drie datasets:

MNIST-SVHN: Een synthetische multimodale dataset die handgeschreven cijfers en huisnummers combineert.
UPMC Food-101: Een real-world dataset met voedselafbeeldingen en tekstbeschrijvingen.
CMU-MOSEI: Een complexe dataset met video-, audio- en tekstmodaliteiten voor sentimentanalyse.

Prestatiehoogtepunten:

Superieure Nauwkeurigheid: SSMVAE-CI presteerde consistent beter dan baselines (inclusief samengestelde methoden die SSL, imbalance-handling en fusiestrategieën combineren, zoals CReST, Adsh en LDAM) in zowel algehele nauwkeurigheid als nauwkeurigheid voor minderheidsklassen.
Robuustheid tegen Imbalance: Prestatiewinsten waren het meest uitgesproken bij hoge imbalance-ratio's ( $r=100$ ) en lage proporties gelabelde data ( $\beta=10\%$ ). Bijvoorbeeld, op MNIST-SVHN met $r=100$ en $\beta=10\%$ bereikte het model 74,79% algehele nauwkeurigheid en 59,07% nauwkeurigheid voor de minderheidsclass, wat significant beter was dan de volgende beste baseline.
Omgaan met Ontbrekende Modaliteiten: In experimenten waarbij voor de helft van de trainingsdata één modaliteit ontbrak, toonde SSMVAE-CI, getraind op de volledige dataset (inclusief onvolledige samples), de kleinste prestatiedaling (2,08% algehele nauwkeurigheid) vergeleken met baselines of modellen die alleen op volledige data waren getraind. Dit demonstreert het vermogen van het model om onvolledige samples als trainingsignalen te benutten.
Ablatiestudies: Het verwijderen van de Student's t-distributie (terugkeren naar Gaussisch) of de PoE-structuur (terugkeren naar eenvoudige fusie) resulteerde in een significante prestatiedegradatie, wat de noodzaak van beide componenten bevestigt voor het hanteren van class imbalance en multimodale correlaties.

Betekenis en Claims
Het paper stelt dat SSMVAE-CI een gestructureerde, data-efficiënte aanpak biedt voor domeinen waar data van nature multimodaal, deels gelabeld en onbalans is. De auteurs benadrukken potentiële toepassingen in medische diagnose (bijvoorbeeld het combineren van röntgenfoto's met patiëntengeschiedenis waar ziektegevallen zeldzaam zijn) en financiële risicobeoordeling (bijvoorbeeld het detecteren van fraude in multimodale transactiedata).

De auteurs houden een bescheiden theoretische houding aan, waarbij ze erkennen dat hoewel het model uitgebreide empirische validatie biedt, formele convergentie- of generalisatiegaranties niet worden afgeleid vanwege de heterogeniteit van de probabilistische componenten. Zij stellen echter dat de unified probabilistische formulering theoretische consistentie verzekert voor semi-supervised multimodal learning, terwijl het robuust blijft tegen class imbalance, waardoor een gat wordt gedicht dat noch MVAE noch t3VAE individueel konden opvullen. Voor toekomstig werk wordt voorgesteld om distributieverschillen tussen gelabelde en ongelabelde sets aan te pakken.