Technische Samenvatting: Unsupervised Learning voor ontbrekende modaliteiten in Multimodale Leermethoden (UL4M4)

1. Probleemstelling

Multimodale leerprocessen maken gebruik van complementaire informatie uit diverse databronnen (bijv. tekst, audio, visie) om de robuustheid en nauwkeurigheid te verbeteren bij taken zoals sentimentanalyse en classificatie. Echter, real-world toepassingen lijden frequent onder ontbrekende modaliteiten als gevolg van sensorstoringen, privacyrestricties of beperkingen bij de acquisitie. Traditionele multimodale modellen, die ervan uitgaan dat alle modaliteiten aanwezig zijn tijdens zowel de training als de inferentie, lijden onder ernstige prestatievermindering wanneer ze worden geconfronteerd met incomplete data.

Bestaande oplossingen vallen over het algemeen uiteen in twee categorieën:

1. Generatieve methoden: Proberen ontbrekende modaliteiten te reconstrueren vanuit de beschikbare modaliteiten (bijv. via adversariële leerprocessen of diffusie).
2. Niet-generatieve methoden: Leren gedeelde representaties of passen fusiestrategieën aan (bijv. mixture-of-experts, retrieval-augmented learning).

Ondanks de vooruitgang kampen huidige benaderingen met aanzienlijke beperkingen: ze ondersteunen vaak slechts een vast aantal modaliteiten, gaan uit van specifieke ontbrekende patronen (bijv. slechts één ontbrekende modaliteit), koppelen imputatiemechanismen nauw aan downstream-taken (wat de generaliseerbaarheid beperkt), of missen een rigoureuze evaluatie onder strikte regimes van ontbrekende data (bijv. >50% ontbrekende slots).

2. Methodologie: UL4M4-framework

De auteurs stellen UL4M4 voor (Unsupervised Learning for Missing Modalities in Multi-Modal Learning), een flexibel, taakonafhankelijk framework dat ontbrekende feature-embeddings imputeert vóór de gesuperviseerde voorspelling. Het framework werkt in twee afzonderlijke stadia met behulp van bevroren pre-trained encoders, wat ervoor zorgt dat het imputatiemodule lichtgewicht is en ontkoppeld wordt van de downstream-taak.

Stadium 1: Multi-Modale Clustering met Partial-Modality Afstand

Het eerste stadium voert unsupervised clustering uit op de trainingsset om cross-modale structuren te vangen uit incomplete observaties.

• Modality-Specifieke Normalisatie: Voor elke modaliteit $m$ berekent het systeem het gemiddelde ($\mu_m$) en de standaarddeviatie ($\sigma_m$) over de beschikbare embeddings. Features worden genormaliseerd via z-score: $\tilde{z}^{(m)}_i = (z^{(m)}_i - \mu_m) / \sigma_m$.
• Partial-Modality Afstandsmetriek: Een nieuwe afstandmetriek wordt geïntroduceerd om samples met verschillende sets beschikbare modaliteiten te verwerken. Voor een sample $i$ en clustercentrum $j$ wordt de afstand $d(i, j)$ alleen berekend over de set van gedeelde modaliteiten $M_{i,j}$:
  $$d(i, j) = \sqrt{\frac{1}{|M_{i,j}|} \sum_{m \in M_{i,j}} \frac{\|\tilde{z}^{(m)}_i - \tilde{c}^{(m)}_j\|^2_2}{d_m}}$$
  waarbij $d_m$ de dimensionaliteit van modaliteit $m$ is. Deze metriek zorgt voor schaalinvariantie over variërende dimensionaliteiten en voorkomt bias naar centra met meer overlappende modaliteiten.
• Clusteringproces: K-means clustering wordt iteratief uitgevoerd. Clustercentra erven de modaliteiten van hun initialiserende samples. Als een centrum een specifieke modaliteit mist, blijft die modaliteit ongedefinieerd voor dat centrum.

Stadium 2: Iteratieve Greedy Completion

Zodra de clustercentra zijn vastgesteld, worden ontbrekende modaliteiten voor een incomplete sample geïmputeerd via een iteratief greedy proces:

1. Candidate Generatie: Voor een sample $i$ wordt een set kandidaat-completions gemaakt door de beschikbare modaliteiten van het sample te combineren met de corresponderende modaliteiten van elk van de $k$ clustercentra.
2. Iteratieve Selectie: In elke iteratie berekent het algoritme de partial-modality afstand tussen elke resterende kandidaat en alle clustercentra.
3. Imputatie: Het kandidaat-centrum paar met de minimale afstand wordt geselecteerd. De ontbrekende modaliteiten die aanwezig zijn in de geselecteerde kandidaat worden gekopieerd naar de representatie van de doel-sample.
4. Terminatie: Dit proces herhaalt zich totdat de sample embeddings bezit voor alle $K$ modaliteiten. De methode garandeert terminatie omdat de unie van alle clustercentra collectief alle modaliteiten dekt die in de trainingsdata aanwezig zijn.

Downstream Taak Training

Na de imputatie bezitten alle trainingssamples volledige sets aan modaliteiten. Een fusiemodule (gebruikmakend van Multi-Head Self-Attention) combineert deze representaties, gevolgd door een taakspecifieke head (bijv. classificatie of regressie). Alleen de fusie- en head-parameters worden getraind; de encoders en geïmputeerde embeddings blijven bevroren. Tijdens de inferentie ondergaan testsamples met ontbrekende modaliteiten dezelfde tweestadiaanse imputatie met statistieken die uitsluitend afkomstig zijn van de trainingsset.

3. Belangrijkste Bijdragen

Het artikel benadrukt vijf primaire bijdragen:

1. Arbitraire Modale Ondersteuning: Het framework ondersteunt datasets met een willekeurig aantal input-modaliteiten zonder dat een architecturale herontwerp nodig is.
2. Arbitraire Ontbrekende Patronen: Het gaat om met elke combinatie van ontbrekende modaliteiten op sample-niveau, inclusclusief extreem zware gevallen waarbij >50% van de slots ontbreken.
3. Taakonafhankelijke Imputatie: De unsupervised imputatiefase is ontkoppeld van de gesuperviseerde taak, waardoor de component kan worden hergebruikt of uitgebreid naar andere multimodale problemen.
4. Rigoureuze Evaluatie: Experimenten worden uitgevoerd onder zeer incomplete regimes, die frequent de 50% ontbrekende modaliteit-slots overschrijden.
5. State-of-the-Art Prestaties: De methode bereikt consistente F1-Micro scores boven de 0.7 op uitdagende ontbrekende configuraties in multimodale sentimentanalyse, waarmee bestaande baselines wordt overtroffen.

4. Experimentele Resultaten

De auteurs evalueerden UL4M4 op drie diverse benchmarks: MM-IMDb (filmgenre classificatie), CMU-MOSI (multimodale sentimentanalyse) en Sleep-EDF (polysomnografische slaapstadia).

• Prestaties: UL4M4 presteerde consequent beter dan sterke baselines (inclusief M3Care, ShaSpec, ICL-CA, SimMLM en de taakspecifieke MissModal) over alle datasets en ontbrekende configuraties.
  • Op MM-IMDb behaalde het aanzienlijk hogere F-Micro scores (bijv. 0.92 vs. ~0.58 voor de op één na beste methode) over alle ontbrekende patronen.
  • Op CMU-MOSI behaalde het consequent F1-Micro scores boven de 0.7, zelfs wanneer meer dan 50% van de modaliteit-slots ontbrak, een drempel waarbij andere methoden moeite hadden.
  • Op Sleep-EDF (5 modaliteiten) vertoonde het een gracieuze degradatie naarmate de ontbrekende ratio toenam, waarbij het baselines overtrof in scenario's met veel ontbrekende data.
• Statistische Significantie: Verschillen werden bevestigd als statistisch significant via t-testen en Wilcoxon signed-rank testen.
• Robuustheid tegen Hyperparameters: De methode toonde een opmerkelijke stabiliteit met betrekking tot het aantal clusters ($k$). De prestaties bleven consistent over $k$-waarden variërend van 10 tot 100, wat suggereert dat zorgvuldige afstemming van $k$ niet vereist is.
• Kwalitatieve Analyse: t-SNE visualisaties van geïmputeerde embeddings toonden aan dat de gegenereerde features nauw overlapten met de grondwaarheid-distributies, waardoor realistische semantische structuren behouden bleven.

5. Betekenis en Claims

Het artikel claimt dat UL4M4 een significante vooruitgang vormt in het omgaan met real-world incomplete multimodale data. De primaire betekenis ligt in de generaliteit en robuustheid:

• Het biedt een geïnformeerde representatiestrategie die niet afhankelijk is van taakspecifieke inductieve biases of complexe generatieve modellen.
• Het is de eerste methode die gerapporteerd wordt een consistente F1-Micro score boven de 0.7 te behalen op de uitdagende CMU-MOSI benchmark onder zware condities van ontbrekende modaliteiten.
• Door de imputatie te ontkoppelen van de downstream-taak, biedt het een lichtgewicht, plug-and-play oplossing die geïntegreerd kan worden met elke fusie-architectuur, wat het zeer praktisch maakt voor heterogene en onbetrouwbare real-world omgevingen waar datacompleetheid niet gegarandeerd kan worden.

De auteurs concluderen dat UL4M4 een nieuwe referentie zet voor het omgaan met ontbrekende modaliteiten, door een schaalbare oplossing te bieden die een hoge prestatie behoudt, zelfs wanneer de meerderheid van de inputdata ontbreekt.