🤖 machine learning

Unsupervised Learning for Missing Modalities in Multimodal Learning

Dieses Paper führt UL4M4 ein, ein flexibles unüberwachtes Framework, das fehlende Feature-Embeddings im multimodalen Lernen mittels modalspezifischer Normalisierung und partieller Modaliäts-Distanzmetriken imputiert, um eine robuste, dem Stand der Technik entsprechende Leistung selbst dann zu erzielen, wenn über 50 % der Modalitäten fehlen.

Ursprüngliche Autoren: Hassan Ismkhan, Hamid Bouchahcia

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hassan Ismkhan, Hamid Bouchahcia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Rätsel zu lösen, wie zum Beispiel das Genre eines Films zu erraten. Normalenfalls haben Sie alle Teile: das Filmplakat (Visuelles), die Handlungszusammenfassung (Text) und vielleicht sogar den Trailer-Audio-Teil. Aber in der realen Welt gehen oft Teile verloren. Vielleicht ist das Plakat weg, die Audiodatei ist beschädigt oder der Text ist zu kurz.

Traditionelle KI-Modelle sind wie starre Rätsellöser: Wenn ein Teil fehlt, geben sie oft auf oder machen eine schreckliche Vermutung. Dieses Paper stellt eine neue, flexible Methode namens UL4M4 (Unsupervised Learning for Missing Modalities) vor, die wie ein cleverer Detektiv agiert, der die fehlenden Puzzleteile ergänzt, bevor er versucht, das eigentliche Rätsel zu lösen.

So funktioniert es, unterteilt in einfache Schritte:

1. Das Problem: Das „Fehlendes-Teil“-Dilemma

In der realen Welt sind Daten unordentlich. Sensoren fallen aus, Datenschutzregeln verbergen Informationen oder Dateien gehen verloren. Die meisten KI-Modelle gehen davon aus, dass sie immer das vollständige Bild erhalten (Text + Bild + Audio). Wenn dies nicht der Fall ist, bricht ihre Leistung ein. Bestehende Lösungen versuchen, das fehlende Teil mithilfe komplexer Mathematik „nachzubauen“, aber sie sind oft zu spezifisch für eine bestimmte Aufgabe oder erfordern, dass die KI jedes Mal neu trainiert wird, wenn sich die fehlenden Teile ändern.

2. Die Lösung: Die „Gruppieren-und-Raten“-Strategie

Die Autoren schlagen einen zweistufigen Prozess vor, der aufgabenunabhängig ist. Das bedeutet, dass der Teil des „Ergänzens“ nicht auf das endgültige Ziel achtet (ob man nun ein Filmgenre errät oder eine Stimmung analysiert); es konzentriert sich lediglich darauf, die Daten vollständig zu machen.

Schritt 1: Die „Gruppenumarmung“ (Clustering)
Stellen Sie sich vor, Sie haben einen riesigen Raum voller Menschen (Ihre Daten), aber einige fehlen der linke Schuh, manche der rechte und manche haben beide.

Anstatt zu versuchen, jeden perfekt abzugleichen, gruppiert die KI die Menschen in Cluster basierend auf den Schuhen, die sie tatsächlich tragen.
Sie verwendet eine spezielle „Distanzregel“, die besagt: „Es spielt keine Rolle, ob Person A drei Schuhe und Person B einen hat; wir können sie trotzdem fair miteinander vergleichen.“
Sobald die Gruppen gebildet sind, erstellt die KI für jedes Cluster einen „Gruppen-Avatar“. Dieser Avatar repräsentiert das Durchschnittsbild aller Personen in dieser Gruppe, einschließlich der Schuhe, die sie vermissen.

Schritt 2: Der „Gierige Füller“ (Imputation)
Nun stellen Sie sich eine spezifische Person (eine Datensampel) vor, der der Audio-Schuh fehlt.

Die KI schaut sich alle in Schritt 1 erstellten „Gruppen-Avatare“ an.
Sie findet den Avatar, der dem vorhandenen Teil der Person (z. B. deren Text und Video) am ähnlichsten sieht.
Dann „leiht“ sie sich den fehlenden Audio-Schuh von diesem passenden Avatar aus und gibt ihn der Person.
Dies geschieht Schritt für Schritt, bis die Person ein vollständiges Set an Schuhen hat (ein vollständiger Datensatz).

3. Warum dies besonders ist

Es ist flexibel: Sie können 2 Arten von Daten haben (Text/Bild) oder 5 Arten (wie Schlafsignale), und diese Methode funktioniert für jede Anzahl. Sie benötigt nicht für jedes neue Rätsel ein neues Design.
Es ist leichtgewichtig: Der Teil des „Ergänzens“ nutzt eingefrorene, vortrainierte Werkzeuge (wie eine Bibliothek des bestehenden Wissens) und benötigt keine enorme Rechenleistung. Es trennt die Aufgabe des „Ergänzens“ von der Aufgabe des „Lösens“.
Es bewältigt das Chaos: Das Paper hat diese Methode in extremen Szenarien getestet, in denen mehr als 50 % der Daten fehlten. Selbst als die KI die Hälfte ihrer Sinne vermisste, schnitt sie immer noch unglaublich gut ab.

4. Die Ergebnisse: Den Wettbewerb schlagen

Die Autoren haben UL4M4 in drei sehr unterschiedlichen „Rätseln“ getestet:

Filmgenres (MM-IMDb): Das Erraten, ob ein Film eine Komödie oder ein Drama ist, unter Verwendung von Postern und Text.
Film-Stimmungen (CMU-MOSI): Das Erraten, ob eine Filmkritik glücklich oder traurig ist, unter Verwendung von Text, Audio und Video.
Schlafstadien (Sleep-EDF): Die Bestimmung, ob eine Person wach oder im Tiefschlaf ist, unter Verwendung von 5 verschiedenen Arten von Hirnsignalen.

Der große Sieg:
In den härtesten Tests (in denen Daten massiv fehlten) erreichte UL4M4 konsistent Werte über 0,7 (ein sehr hoher Wert). Dies ist das erste Mal, dass eine Methode unter solch schlechten Bedingungen auf dem schwierigen „Movie Moods“-Datensatz derart abschneidet. Sie schlug alle bisherigen „State-of-the-Art“-Methoden, selbst jene, die speziell nur für diese eine Aufgabe entwickelt wurden.

5. Das „Geheimrezept“ (Clustergröße)

Man könnte sich fragen: „Ist es wichtig, ob wir die Leute in 10 Gruppen oder 100 Gruppen einteilen? Spielt das eine Rolle?“
Das Paper fand heraus, dass es kaum eine Rolle spielt. Ob die KI 20 Gruppen oder 100 Gruppen erstellt, die Ergebnisse bleiben stabil. Das macht das Werkzeug sehr einfach in der Anwendung, da man kein Mathe-Genie sein muss, um es perfekt abzustimmen.

Zusammenfassung

Betrachten Sie UL4M4 als einen universellen Übersetzer für fehlende Daten. Anstatt ein kaputtes Puzzle das Spiel beenden zu lassen, schaut es sich die Muster der Teile an, die Sie haben, findet eine ähnliche Gruppe und füllt die Lücken selbstbewusst aus. Dies ermöglicht es der KI, das endgültige Problem (wie die Vorhersage einer Filmstimmung) präzise zu lösen, selbst wenn die Eingangsdaten unvollständig, unordentlich oder zur Hälfte fehlend sind.

Technische Zusammenfassung: Unsupervised Learning für fehlende Modalitäten im multimodalen Lernen (UL4M4)

1. Problemstellung

Multimodales Lernen nutzt komplementäre Informationen aus diversen Datenquellen (z. B. Text, Audio, Vision), um die Robustheit und Genauigkeit bei Aufgaben wie der Sentimentanalyse oder Klassifizierung zu verbessern. In realen Anwendungen leiden multimodale Modelle jedoch häufig unter fehlenden Modalitäten aufgrund von Sensorausfällen, Datenschutzbeschränkungen oder Akquisitionseinschränkungen. Traditionelle multimodale Modelle, die davon ausgehen, dass alle Modalitäten sowohl während des Trainings als auch während der Inferenz vorhanden sind, leiden unter einem schweren Leistungsabfall, wenn sie mit unvollständigen Daten konfrontiert werden.

Bestehende Lösungen lassen sich im Allgemeinen in zwei Kategorien unterteilen:

Generative Methoden: Versuchen, fehlende Modalitäten aus den verfügbaren zu rekonstruieren (z. B. über adversarielles Lernen oder Diffusion).
Nicht-generative Methoden: Lernen gemeinsame Repräsentationen oder passen Fusionsstrategien an (z. B. Mixture-of-Experts, Retrieval-Augmented Learning).

Trotz der Fortschritte stehen aktuelle Ansätze vor erheblichen Einschränkungen: Sie unterstützen oft nur eine feste Anzahl von Modalitäten, behandeln spezifische Fehlermuster (z. B. nur eine fehlende Modalität), koppeln Imputationsmechanismen eng an nachgelagerte Aufgaben (was die Generalisierbarkeit einschränkt) oder lassen eine rigorose Evaluierung unter extremen Szenarien mit fehlenden Daten (z. B. >50 % der Modalitäts-Slots) vermissen.

2. Methodik: UL4M4-Framework

Die Autoren schlagen UL4M4 (Unsupervised Learning for Missing Modalities in Multi-Modal Learning) vor, ein flexibles, aufgabunabhängiges Framework, das fehlende Feature-Embeddings vor der überwachten Vorhersage imputiert. Das Framework operiert in zwei distinkten Phasen unter Verwendung von eingefrorenen, vortrainierten Encodern, wodurch sichergestellt wird, dass das Imputationsmodul leichtgewichtig und von der nachgelagerten Aufgabe entkoppelt ist.

Stufe 1: Multimodale Clusterbildung mit partieller-modaler Distanz

Die erste Stufe führt eine unüberwachte Clusterbildung auf dem Trainingsdatensatz durch, um Kreuzmodal-Strukturen aus unvollständigen Beobachtungen zu erfassen.

Modalitätsspezifische Normalisierung: Für jede Modalität $m$ berechnet das System den Mittelwert ( $\mu_m$ ) und die Standardabweichung ( $\sigma_m$ ) über die verfügbaren Embeddings. Die Features werden mittels Z-Score normalisiert: $\tilde{z}^{(m)}_i = (z^{(m)}_i - \mu_m) / \sigma_m$ .
Partielle-modale Distanzmetrik: Eine neuartige Distanzmetrik wird eingeführt, um Proben mit unterschiedlichen Sätzen an verfügbaren Modalitäten zu handhaben. Für eine Probe $i$ und ein Clusterzentrum $j$ wird die Distanz $d(i, j)$ nur über die Menge der gemeinsamen Modalitäten $M_{i,j}$ berechnet:
$d(i, j) = \sqrt{\frac{1}{|M_{i,j}|} \sum_{m \in M_{i,j}} \frac{\|\tilde{z}^{(m)}_i - \tilde{c}^{(m)}_j\|^2_2}{d_m}}$
wobei $d_m$ die Dimensionalität der Modalität $m$ ist. Diese Metrik gewährleistet Skaleninvarianz über variierende Dimensionalitäten hinweg und verhindert eine Verzerrung zugunsten von Zentren mit mehr überlappenden Modalitäten.
Clustering-Prozess: Ein K-Means-Clustering wird iterativ durchgeführt. Clusterzentren erben die Modalitäten ihrer initialisierenden Proben. Wenn einem Zentrum eine bestimmte Modalität fehlt, bleibt diese Modalität für dieses Zentrum undefiniert.

Stufe 2: Iterative gierige Vervollständigung (Greedy Completion)

Sobald die Clusterzentren etabliert sind, werden die fehlenden Modalitäten für jede unvollständige Probe über einen iterativen, gierigen Prozess imputiert:

Kandidatengenerierung: Für eine Probe $i$ wird eine Menge an Kandidaten-Vervollständigungen erstellt, indem die verfügbaren Modalitäten der Probe mit den entsprechenden Modalitäten aus jedem der $k$ Clusterzentren kombiniert werden.
Iterative Auswahl: In jeder Iteration berechnet der Algorithmus die partielle-modale Distanz zwischen jedem verbleibenden Kandidaten und allen Clusterzentren.
Imputation: Das Kandidaten-Zentrum-Paar mit der minimalen Distanz wird ausgewählt. Die in dem ausgewählten Kandidaten vorhandenen fehlenden Modalitäten werden in die Repräsentation der Zielprobe kopiert.
Terminierung: Dieser Prozess wiederholt sich, bis die Probe Embeddings für alle $K$ Modalitäten besitzt. Die Methode garantiert die Terminierung, da die Vereinigung aller Clusterzentren kollektiv alle im Trainingsdatensatz vorhandenen Modalitäten abdeckt.

Training der nachgelagerten Aufgabe

Nach der Imputation besitzen alle Trainingsproben vollständige Modalitätssätze. Ein Fusionsmodul (unter Verwendung von Multi-Head Self-Attention) kombiniert diese Repräsentationen, gefolgt von einem aufgabenspezifischen Head (z. B. Klassifizierung oder Regression). Nur die Parameter der Fusion und des Heads werden trainiert; die Encoder und die imputierten Embeddings bleiben eingefroren. In der Inferenz durchlaufen Testproben mit fehlenden Modalitäten dieselbe zweistufige Imputation unter Verwendung der ausschließlich aus dem Trainingsdatensatz abgeleiteten Statistiken.

3. Kernbeiträge

Das Paper hebt fünf primäre Beiträge hervor:

Unterstützung beliebiger Modalitäten: Das Framework unterstützt Datensätze mit beliebiger Anzahl an Eingangsmodalitäten, ohne dass eine architektonische Neugestaltung erforderlich ist.
Beliebige Fehlermuster: Es handhabt jede Kombination fehlender Modalitäten auf Probenebene, einschließlich extrem schwerer Fälle, in denen >50 % der Slots fehlen.
Aufgabunabhängige Imputation: Die unüberwachte Imputationsphase ist von der überwachten Aufgabe entkoppelt, was es ermöglicht, die Komponente für andere multimodale Probleme wiederzuverwenden oder zu erweitern.
Rigorose Evaluierung: Experimente werden unter hochgradig unvollständigen Regimen durchgeführt, die häufig über 50 % der fehlenden Modalitäts-Slots liegen.
State-of-the-Art Performance: Die Methode erreicht konsistent F1-Micro-Scores über 0,7 bei anspruchsvollen fehlenden Konfigurationen in der multimodalen Sentimentanalyse und übertrifft damit bestehende Baselines.

4. Experimentelle Ergebnisse

Die Autoren evaluierten UL4M4 auf drei diversen Benchmarks: MM-IMDb (Filmgenre-Klassifizierung), CMU-MOSI (multimodale Sentimentanalyse) und Sleep-EDF (Polysomnographie-Schlafstadien).

Leistung: UL4M4 übertraf konsistent starke Baselines (einschließlich M3Care, ShaSpec, ICL-CA, SimMLM und der aufgabenspezifischen MissModal) über alle Datensätze und fehlenden Konfigurationen hinweg.
- Auf MM-IMDb erreichte es signifikant höhere F-Micro-Scores (z. B. 0,92 gegenüber ~0,58 für die nächstbeste Methode) über alle Fehlermuster hinweg.
- Auf CMU-MOSI erzielte es konsistent F1-Micro-Scores über 0,7, selbst wenn mehr als 50 % der Modalitäts-Slots fehlten – eine Schwelle, an der andere Methoden scheiterten.
- Auf Sleep-EDF (5 Modalitäten) zeigte es einen graduellen Leistungsabfall bei steigenden Fehlraten und übertraf Baselines in Regimen mit hoher Anzahl fehlender Daten.
Statistische Signifikanz: Die Unterschiede wurden mittels t-Tests und Wilcoxon-Signed-Rank-Tests als statistisch signifikant bestätigt.
Robustheit gegenüber Hyperparametern: Die Methode zeigte eine bemerkenswerte Stabilität hinsichtlich der Anzahl der Cluster ( $k$ ). Die Leistung blieb über $k$ -Werte von 10 bis 100 hinweg konsistent, was darauf hindeutet, dass keine sorgfältige Abstimmung von $k$ erforderlich ist.
Qualitative Analyse: t-SNE-Visualisierungen der imputierten Embeddings zeigten, dass die generierten Features eng mit den Ground-Truth-Verteilungen überlappen und somit realistische semantische Strukturen bewahren.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass UL4M4 einen bedeutenden Fortschritt im Umgang mit realen unvollständigen multimodalen Daten darstellt. Seine primäre Bedeutung liegt in seiner Generalität und Robustheit:

Es bietet eine vereinheitlichte Repräsentationsstrategie, die nicht auf aufgabenspezifischen induktiven Biases oder komplexen generativen Modellen basiert.
Es ist die erste Methode, die berichtet wird, konsistente F1-Micro-Scores über 0,7 auf dem anspruchsvollen CMU-MOSI-Benchmark unter schweren Bedingungen fehlender Modalitäten zu erreichen.
Durch die Entkopplung der Imputation von der nachgelagerten Aufgabe bietet es eine leichtgewichtige Plug-and-Play-Lösung, die mit jeder Fusionsarchitektur integriert werden kann, was es hochpraktisch für heterogene und unzuverlässige reale Umgebungen macht, in denen die Vollständigkeit der Daten nicht garantiert werden kann.

Die Autoren kommen zu dem Schluss, dass UL4M4 einen neuen Referenzpunkt für den Umgang mit fehlenden Modalitäten setzt und eine skalierbare Lösung bietet, die selbst dann eine hohe Leistung beibehält, wenn der Großteil der Eingangsdaten fehlt.