ICYM2I: The illusion of multimodal informativeness under missingness

Die Arbeit stellt das ICYM2I-Framework vor, das durch inverse Wahrscheinlichkeitsgewichtung die Verzerrung bei der Schätzung des Informationsgewinns multimodaler Modelle unter veränderten Fehlendmustern zwischen Quell- und Zielumgebung korrigiert.

Das Wesentliche

🕵️‍♂️ Die Illusion der Vollständigkeit: Warum wir manchmal das Falsche sehen

Stell dir vor, du bist ein Detektiv, der einen Fall lösen muss. Du hast zwei wichtige Werkzeuge:

1. Ein Foto (z. B. ein Röntgenbild).
2. Ein Tonband (z. B. ein EKG oder eine Sprachaufnahme).

In der Welt der künstlichen Intelligenz (KI) nennen wir diese Werkzeuge „Modalitäten". Die Idee ist simpel: Wenn du beides hast, bist du ein besserer Detektiv als wenn du nur eines hast.

Aber hier kommt das Problem: In der echten Welt sind die Werkzeuge oft kaputt oder fehlen.

• Manchmal ist das Foto verschwommen.
• Manchmal ist das Tonband rauschvoll.
• Und manchmal fehlt das Foto komplett, weil es zu teuer war oder der Sensor ausgefallen ist.

Das Papier von Young Sang Choi und seinem Team nennt sich ICYM2I („In Case You Multimodal Missed It" – Falls du multimodal etwas verpasst hast). Es warnt uns vor einer gefährlichen Falle, in die KI-Entwickler oft tappen.

---

🚨 Das Problem: Der „Auswahl-Bias" (Die verzerrte Brille)

Stell dir vor, du möchtest herausfinden, wie nützlich das Foto für die Diagnose ist. Du schaust dir nur die Fälle an, bei denen du sowohl Foto als auch Tonband hast.

Das ist der Fehler:
In der echten Welt werden Fotos oft nur gemacht, wenn der Patient schon Symptome hat. Wenn der Patient gesund aussieht, macht man vielleicht kein Foto.

• In deiner Trainingsdatenmenge (nur Fälle mit Foto): Siehst du nur kranke Patienten. Du denkst: „Wow, das Foto ist super wichtig! Ohne Foto würde ich nichts sehen!"
• In der Realität (alle Patienten): Das Foto ist vielleicht gar nicht so wichtig, weil viele gesunde Leute auch ein Foto haben könnten, das aber in deiner Auswahl fehlt.

Die Metapher:
Stell dir vor, du willst herausfinden, ob Regenschirme das Wetter beeinflussen.

• Du gehst nur an Tagen raus, an denen es regnet (weil du nur dann einen Schirm hast).
• Du siehst: „An Tagen mit Schirm ist es immer nass!"
• Du schließt fälschlicherweise: „Der Schirm verursacht den Regen!"
• Die Wahrheit: Der Schirm ist nur da, weil es regnet. Wenn du die Tage ohne Schirm (trockene Tage) ignorierst, verstehst du das Wetter nicht.

Genau das passiert in der KI: Wenn wir nur die „vollständigen" Daten analysieren, unterschätzen oder überschätzen wir, wie wertvoll ein bestimmtes Daten-Tool eigentlich ist.

---

💡 Die Lösung: ICYM2I – Der „Rückwärts-Rechner"

Die Autoren haben eine Methode entwickelt, die wie ein magischer Korrekturfilter funktioniert. Sie nennen sie ICYM2I.

Stell dir vor, du hast eine Waage, die immer nur die schweren Gegenstände wiegt, weil die leichten unter der Waage durchrutschen. Du willst wissen, wie schwer alles zusammen wiegt.

• Der naive Ansatz: Du wiegst nur das, was oben liegt, und nimmst das als Gesamtgewicht. (Falsch!)
• Der ICYM2I-Ansatz: Du fragst: „Wie wahrscheinlich war es, dass dieser Gegenstand überhaupt auf die Waage kam?"
  • Wenn ein leichter Gegenstand nur zu 10 % auf die Waage kam, gewichtest du sein Ergebnis im Durchschnitt mit dem Faktor 10 auf.
  • Wenn ein schwerer Gegenstand immer auf die Waage kam, gewichtest du ihn normal.

In der Fachsprache heißt das Inverse Probability Weighting (IPW).

• Einfach gesagt: Die KI lernt, den „fehlenden" Daten einen imaginären Wert zuzuweisen, basierend darauf, warum sie fehlen. Sie rechnet die Verzerrung quasi heraus.

---

🏥 Ein echtes Beispiel aus dem Krankenhaus

Die Autoren haben das an einem echten medizinischen Beispiel getestet: Herzerkrankungen.

• Tool A: EKG (Herzstromkurve) – wird fast immer gemacht.
• Tool B: Röntgenbild (CXR) – wird oft nicht gemacht, wenn der Arzt denkt, es sei nicht nötig.

Ohne ICYM2I (Der naive Weg):
Die KI schaut sich nur Patienten an, die beide Tests hatten. Sie denkt: „Das Röntgenbild liefert einzigartige Informationen, die das EKG nicht hat!"
Mit ICYM2I (Der korrekte Weg):
Die KI korrigiert die Daten. Sie erkennt: „Moment mal! Das Röntgenbild wurde nur bei schwerkranken Patienten gemacht. Wenn wir alle Patienten betrachten, liefert das Röntgenbild fast keine neuen Informationen mehr, die das EKG nicht schon hat."

Das Ergebnis: Die naive Methode hätte dazu geführt, dass Krankenhäuser teure Röntgenbilder bei jedem Patienten machen, obwohl sie oft unnötig sind. ICYM2I spart also Geld und Ressourcen, indem es die wahre Nützlichkeit aufdeckt.

---

🎯 Was lernen wir daraus?

1. Fehlende Daten sind nicht zufällig: Daten fehlen oft aus einem bestimmten Grund (Kosten, Zeit, Symptome). Das ist wie ein Filter, der die Realität verzerrt.
2. Vollständigkeit ist eine Illusion: Nur weil wir in unseren Trainingsdaten alles haben, heißt das nicht, dass wir in der echten Welt alles haben werden.
3. Die Korrektur ist entscheidend: Bevor wir entscheiden, welche Daten wir sammeln sollen (z. B. „Sollen wir bei jedem Auto auch LiDAR-Sensoren einbauen?"), müssen wir verstehen, wie die Daten fehlen. Sonst bauen wir teure Systeme, die gar nicht so nützlich sind, wie wir denken.

Zusammengefasst:
ICYM2I ist wie eine Brille für KI-Entwickler. Sie hilft ihnen, die „Verzerrung durch fehlende Daten" zu durchschauen und ehrlich zu sagen: „Hey, dieses Daten-Tool ist vielleicht gar nicht so wichtig, wie es auf den ersten Blick aussieht."

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein kritisches, aber oft übersehenes Problem im multimodalen maschinellen Lernen: die Verzerrung durch fehlende Daten (Missingness) und deren Auswirkung auf die Bewertung der Nützlichkeit einzelner Modalitäten.

• Kontext: In der Praxis unterscheiden sich die Datenverteilungen zwischen der Trainingsumgebung (Quelle) und der Einsatzumgebung (Ziel) oft aufgrund von Kosten, Hardwareausfällen oder unterschiedlichen Erfassungspolitiken. Dies führt zu unterschiedlichen Mustern von fehlenden Daten (Missingness Patterns).
• Das Problem: Herkömmliche multimodale Ansätze gehen oft davon aus, dass Daten vollständig beobachtet sind oder dass der Mechanismus des Fehlens zwischen Quelle und Ziel stabil ist. Wenn Modalitäten jedoch systematisch fehlen (z. B. nur bei bestimmten Patientengruppen oder unter bestimmten Wetterbedingungen), entsteht eine Verteilungsverschiebung (Distribution Shift).
• Die Konsequenz: Eine naive Schätzung des Informationsgewinns oder der Vorhersagekraft einer zusätzlichen Modalität auf Basis der vollständig beobachteten Trainingsdaten führt zu verzerrten Ergebnissen. Dies kann dazu führen, dass Modalitäten fälschlicherweise als informativ eingestuft werden (oder umgekehrt), was zu ineffizienten Datenerfassungsstrategien und fehlerhaften Modellentscheidungen im Einsatz führt.

2. Methodik: Das ICYM2I-Framework

Die Autoren stellen ICYM2I (In Case You Multimodal Missed It) vor, ein Framework zur korrekten Bewertung der Vorhersageleistung und des Informationsgewinns unter Bedingungen von fehlenden Daten.

• Formalisierung: Das Paper formalisiert fehlende Daten als eine inhärente Verteilungsverschiebung. Es unterscheidet zwischen den Mechanismen:
  • MCAR (Missing Completely At Random): Das Fehlen ist unabhängig von allen Variablen.
  • MAR (Missing At Random): Das Fehlen hängt nur von beobachteten Variablen ab (die Annahme des Papers).
  • MNAR (Missing Not At Random): Das Fehlen hängt von unbeobachteten Variablen ab.
• Kernlösung: Inverse Probability Weighting (IPW):
  Das Framework nutzt IPW, um die Verzerrung zu korrigieren. Anstatt fehlende Daten zu imputieren oder zu verwerfen, werden die beobachteten Stichproben basierend auf ihrer Wahrscheinlichkeit, beobachtet zu werden, neu gewichtet. Dies ermöglicht es, Schätzungen für die zugrunde liegende wahre Verteilung ($\Omega$) aus den beobachteten Daten ($\Omega_{obs}$) abzuleiten.
• Zwei Hauptkomponenten:
  1. ICYM2I-Learn: Eine Korrektur für das Training und die Evaluation von Vorhersagemodellen. Es wird ein gewichteter Verlust verwendet, um Modelle zu trainieren, die auf der wahren Verteilung generalisieren, und die Evaluationsmetriken werden ebenfalls gewichtet, um eine verzerrungsfreie Leistungsschätzung zu erhalten.
  2. ICYM2I-PID: Eine Methode zur Berechnung der Partial Information Decomposition (PID). PID zerlegt die gegenseitige Information zwischen Zielvariable und Modalitäten in:
     • Shared Information (gemeinsame Information),
     • Unique Information (einzigartige Information pro Modalität),
     • Complementary Information (synergistische Information).
       Das Paper zeigt, wie PID unter MAR-Bedingungen durch IPW korrigiert wird, um den wahren Informationsbeitrag jeder Modalität zu quantifizieren.

3. Schlüsselbeiträge

1. Formalisierung des Problems: Die Autoren zeigen, dass die Annahme einer stabilen Verteilung oder das Ignorieren von Missingness zu systematischen Fehlern bei der Bewertung der Modalitätsnützlichkeit führt.
2. Entwicklung von ICYM2I: Ein Framework, das unter der realistischeren MAR-Annahme (statt der oft implizit angenommenen MCAR) eine unverzerrte Schätzung von Modellleistung und Informationsgewinn ermöglicht.
3. Theoretische Fundierung: Beweis, dass sowohl das Training als auch die Evaluation korrigiert werden müssen, um die Leistung auf der wahren Verteilung zu schätzen (Lemma 1 und Korollar 1).
4. Anwendung auf PID: Erweiterung der Partial Information Decomposition, um fehlende Daten zu berücksichtigen, was eine präzisere Analyse der Redundanz, Einzigartigkeit und Synergie von Modalitäten erlaubt.

4. Ergebnisse

Die Methode wurde auf synthetischen, semi-synthetischen und realen Datensätzen getestet:

• Synthetische Daten (Logik-Operatoren): In einem Szenario mit Bit-Logik-Operatoren (AND, OR, XOR) zeigte sich, dass naive Methoden (nur auf beobachteten Daten) die Einzigartigkeit einer Modalität stark überschätzten oder unterschätzten. ICYM2I korrigierte diese Werte und näherte sich den Oracle-Werten (auf vollständigen Daten) deutlich an.
• Semi-synthetische Daten (UR-FUNNY & Hateful Memes): Bei Datensätzen für Humor-Erkennung und Hate-Speech-Erkennung führte die Erzwangung von 70% fehlenden Daten zu signifikanten Verzerrungen in der PID-Analyse. ICYM2I konnte die wahren Informationsbeiträge (insbesondere den Unique-Anteil) wiederherstellen.
• Realer Anwendungsfall (Strukturelle Herzerkrankungen):
  • Szenario: Analyse, ob Röntgenaufnahmen (CXR) zusätzliche Informationen zur Diagnose struktureller Herzerkrankungen liefern, wenn diese nicht systematisch neben EKGs erfasst werden.
  • Ergebnis: Eine naive Analyse deutete darauf hin, dass CXRs einen signifikanten einzigartigen Informationsbeitrag leisten. Nach der ICYM2I-Korrektur sank dieser Beitrag jedoch drastisch (von ~5% auf ~1,8%), während der gemeinsame Informationsgehalt mit dem EKG anstieg.
  • Fazit: CXRs sind für diese spezifische Diagnose nicht unabhängig nützlich, was die Notwendigkeit zeigt, fehlende Daten zu korrigieren, um Ressourcen (z. B. zusätzliche Röntgenaufnahmen) nicht unnötig zu verschwenden.

5. Bedeutung und Implikationen

• Paradigmenwechsel: Das Paper warnt davor, die Leistung multimodaler Modelle auf Basis von „sauberen", aber verzerrten Datensätzen zu bewerten. Es zeigt, dass die scheinbare Nützlichkeit einer Modalität oft eine Illusion ist, die durch den Missingness-Mechanismus erzeugt wird.
• Praktische Relevanz: Für den Einsatz in kritischen Bereichen wie der Gesundheitsversorgung ist es entscheidend zu wissen, ob eine zusätzliche Modalität wirklich neuen Informationswert liefert oder nur korreliert mit dem Fehlen anderer Daten. ICYM2I bietet ein Werkzeug, um fundierte Entscheidungen über Datenerfassung und Modellarchitektur zu treffen.
• Limitationen: Die Methode setzt die MAR-Annahme voraus. Bei MNAR (Missing Not At Random), wo das Fehlen von unbeobachteten Variablen abhängt, gibt es keine theoretischen Garantien. Dennoch ist MAR eine weniger restriktive und realistischere Annahme als die in der Literatur oft stillschweigend getroffene MCAR-Annahme.

Zusammenfassend stellt ICYM2I einen wichtigen Schritt hin zu robusterem und fairerem multimodalem Lernen dar, indem es die statistischen Verzerrungen durch unvollständige Datenerfassung systematisch adressiert.