ICYM2I: The illusion of multimodal informativeness under missingness

Dit artikel introduceert het ICYM2I-framework om de vertekende schattingen van informatiewinst bij multimodaal leren, veroorzaakt door verschillen in ontbrekende gegevenspatronen tussen bron- en doelomgevingen, te corrigeren via inverse-kansgewichting.

De kern

🕵️‍♂️ De Grootte van het Probleem: Het "Verdwenen Puzzelstukje"

Stel je voor dat je een enorme puzzel probeert op te lossen om een ziekte te diagnosticeren. Je hebt twee soorten puzzelstukken:

1. Hartfilmpjes (ECG): Een video van het hartslag.
2. Röntgenfoto's (CXR): Een foto van de borstkas.

In de ideale wereld heb je voor elke patiënt beide foto's. Maar in het echte leven is dat vaak niet zo. Soms is de röntgenmachine kapot, soms is de patiënt te bang, of soms is de foto gewoon kwijt.

Het probleem:
Wetenschappers trainen hun kunstmatige intelligentie (AI) vaak alleen op de gevallen waarbij ze allebei de foto's hebben. Ze denken dan: "Kijk, de AI doet het goed met beide foto's samen! Laten we dus altijd röntgenfoto's maken."

Maar hier zit een valstrik in. De AI heeft misschien geleerd dat de röntgenfoto belangrijk is, alleen maar omdat de AI de röntgenfoto's heeft gekozen op basis van de hartfilmpjes. Het is alsof je een detective bent die alleen de moordenaars bekijkt die een rode hoed droegen, en dan concludeert: "Iedereen met een rode hoed is een moordenaar!" Terwijl de hoed niets met de moord te maken heeft.

In het paper noemen ze dit Missingness (het ontbreken van data). Als je niet oppast, verwar je het ontbreken van een foto met de waarde van die foto.

💡 De Oplossing: ICYM2I (In Case You Multimodal Missed It)

De auteurs van dit paper (van Columbia University) hebben een nieuwe methode bedacht, genaamd ICYM2I. De naam is een grappige knipoog: "In Case You Multimodal Missed It" (Voor het geval je multimodaal iets hebt gemist).

Hoe werkt dit? Stel je voor dat je een enquête hebt gedaan, maar alleen mensen met een auto hebben gereageerd. Je wilt weten wat iedereen denkt. Als je gewoon de antwoorden van de automobilisten telt, krijg je een scheef beeld.

ICYM2I werkt als een slimme weegschaal:

1. De Weegschaal (Inverse Probability Weighting): De methode kijkt naar de mensen die wel een auto hadden. Ze zeggen: "Oké, deze mensen zijn oververtegenwoordigd. We geven hun antwoord minder gewicht." En voor de mensen die geen auto hadden (maar wel in de echte wereld bestaan), zeggen ze: "Jullie ontbreken in onze lijst, maar we moeten jullie stemmen wel meenemen."
2. Het Resultaat: Door deze weging toe te passen, krijgt de AI een eerlijk beeld van de hele wereld, niet alleen van de mensen met een auto.

🧪 Waarom is dit zo belangrijk? (Het Hart-voorbeeld)

In het paper testen ze dit op een echt medisch probleem: Structurale Hartziekten.

• Ze hadden data van ECG's (altijd beschikbaar) en Röntgenfoto's (vaak ontbrekend).
• De oude manier (zonder ICYM2I): De AI dacht dat de röntgenfoto heel waardevol was. De röntgenfoto leek unieke informatie te geven die de ECG niet had.
• De nieuwe manier (met ICYM2I): Toen ze de "weegschaal" (de correctie) toepasten, bleek het verhaal anders. De röntgenfoto gaf eigenlijk geen unieke informatie die de ECG niet al had. De AI had eerder "gezien" dat röntgenfoto's belangrijk waren, alleen omdat ze in de dataset vaak ontbraken op een specifieke manier die niets met de ziekte te maken had.

De les: Als je deze correctie niet doet, zou een ziekenhuis misschien duizenden euro's uitgeven aan röntgenapparatuur die eigenlijk niet nodig is voor deze specifieke diagnose.

🎭 De Analogie van de "Verkeerde Gids"

Stel je voor dat je een toerist bent in een stad die je niet kent. Je hebt een gids (de AI) nodig.

• De oude gids kijkt alleen naar de mensen die een kaartje hebben gekocht bij de ingang. Hij zegt: "Kijk, iedereen die hier is, heeft een kaartje gekocht! Dus als je een kaartje koopt, ben je veilig."
• Het probleem: Mensen die geen kaartje kochten (misschien omdat ze te arm waren of de ingang niet vonden), zitten niet in zijn lijst. Maar misschien zijn zij juist de mensen die het meest in gevaar zijn.
• De nieuwe gids (ICYM2I) zegt: "Wacht even. Ik zie dat mensen zonder kaartje vaak niet in de lijst staan. Ik ga mijn berekening aanpassen zodat ik rekening houd met de mensen die ik niet zie, maar die wel bestaan."

🚀 Samenvatting in 3 Punten

1. Ontbrekende data is normaal: In het echte leven missen vaak gegevens (zoals een kapotte sensor of een vergeten medische test).
2. De valstrik: Als je AI alleen leert op de "complete" data, leert hij verkeerde regels. Hij denkt dat een ontbrekende foto iets betekent, terwijl het niets betekent.
3. De oplossing: ICYM2I is een slimme wiskundige truc (een weegschaal) die de AI dwingt om rekening te houden met de mensen die niet in de dataset staan. Hierdoor weten we echt welke informatie belangrijk is, en welke niet.

Kortom: Zonder deze methode bouwen we AI's op een leugen. Met ICYM2I krijgen we een eerlijk beeld van de werkelijkheid, wat kan leiden tot betere beslissingen in de zorg, robotica en meer.

Technische samenvatting

Titel: ICYM2I: De illusie van multimodale informativiteit onder ontbrekendheid

Publicatie: ICLR 2026
Auteurs: Young Sang Choi, Vincent Jeanselme, Pierre Elias, Shalmali Joshi (Columbia University)

---

1. Het Probleem: De Illusie van Informativiteit

Multimodale learning (het combineren van verschillende datatypen zoals tekst, beeld en audio) is populair om de voorspellende prestaties te verbeteren. Een groot probleem in de praktijk is echter ontbrekende data (missingness). Modality's kunnen ontbreken door kosten, hardwarestoringen, privacy of specifieke verzamelpolitieken.

Het paper identificeert een fundamenteel, maar vaak genegeerd probleem:

• Verdelingsschift (Distribution Shift): De verdeling van de data in de bron-omgeving (waar modellen op worden getraind) verschilt vaak van die in de doel-omgeving (waar het model wordt ingezet) vanwege verschillen in patronen van ontbrekende data.
• Bias in Evaluatie: Bestaande methoden nemen vaak aan dat data volledig waargenomen is (MCAR - Missing Completely At Random) of dat het ontbrekingsproces stabiel blijft. Als dit niet zo is, leiden "naieve" evaluaties (waarbij alleen volledige samples worden gebruikt) tot vooringenomen schattingen van de waarde van een specifieke modality.
• Gevolg: Een modality kan lijken waardevol in de trainingsdata, maar in de doel-omgeving (waar de ontbrekende patronen anders zijn) juist weinig tot geen extra informatie bieden. Dit leidt tot inefficiënte dataverzameling en verkeerde modelbeslissingen.

2. Methodologie: Het ICYM2I Framework

De auteurs introduceren ICYM2I (In Case You Multimodal Missed It), een raamwerk om de prestaties en informatieve waarde van modality's te evalueren onder ontbrekendheid, gecorrigeerd voor verdelingsschift.

Kernassumpties:

• MAR (Missing At Random): Het paper gaat ervan uit dat het ontbreken van data afhankelijk is van waargenomen variabelen (covariaten $C$), en niet van de onwaargenomen waarden zelf. Dit is een realistischere aanname dan de vaak impliciete MCAR-aanname.
• Positiviteit: Er is een niet-nul kans dat een data-punt volledig waargenomen wordt gegeven de covariaten.

Technische Aanpak:
Het framework maakt gebruik van Inverse Probability Weighting (IPW) om de schift tussen de waargenomen verdeling ($\Omega_{obs}$) en de onderliggende ware verdeling ($\Omega$) te corrigeren.

1. ICYM2I-Learn (Prestatie-evaluatie):

   • Training: Het model wordt getraind met een gewogen verliesfunctie. Samples die zeldzamer zijn in de waargenomen data (maar vaak voorkomen in de ware populatie) krijgen een hogere gewicht (gewicht = $1 / (1 - P(\text{ontbrekend} | C))$).
   • Evaluatie: De evaluatiemetriek (bijv. AUROC) wordt eveneens gecorrigeerd met IPW om een onbevooroordeelde schatting van de prestatie op de ware verdeling te krijgen.

2. ICYM2I-PID (Informatietheoretische waarde):

   • Om de informatiewaarde van een modality te kwantificeren, gebruiken de auteurs Partial Information Decomposition (PID). PID splitst de gezamenlijke wederzijdse informatie op in:
     • Gedeelde informatie (Shared): Informatie die beide modality's delen.
     • Unieke informatie (Unique): Informatie die alleen door één modality wordt gedragen.
     • Complementaire informatie (Complementary): Informatie die alleen ontstaat door de combinatie.
   • Correctie: De PID-berekening wordt aangepast om rekening te houden met de ontbrekende data. In plaats van te optimaliseren op de waargenomen verdeling, wordt de optimalisatie uitgevoerd op de IPW-corrigeerde verdeling, zodat de geschatte unieke en gedeelde informatie overeenkomt met de ware data-generatie.

3. Belangrijkste Bijdragen

1. Formalisatie van het probleem: Het paper formaliseert hoe ontbrekende data een intrinsieke verdelingsschift veroorzaakt in multimodale learning, wat leidt tot bias in de schatting van informativiteit.
2. Het ICYM2I Framework: Een dubbele correctiemethode (voor zowel training als evaluatie) die onbevooroordeelde schattingen mogelijk maakt onder de MAR-aanname.
3. Empirisch bewijs: Demonstratie dat naieve methoden de waarde van modality's kunnen overschatten of onderschatten, terwijl ICYM2I deze bias corrigeert.
4. Real-world toepassing: Toepassing op een klinisch dataset voor hartziekten, wat leidt tot andere conclusies over de noodzaak van bepaalde medische tests dan traditionele methoden.

4. Resultaten

De auteurs testen hun methode op synthetische, semi-synthetische en real-world datasets:

• Synthetische Data (Bitwise Logic):

  • In een experiment met logische operatoren (AND, OR, XOR) bleek dat naieve evaluatie de unieke informatie van een modality (bijv. $X_1$) verkeerd inschatte door de correlatie met het ontbrekingsproces.
  • ICYM2I herstelde de correcte verdeling van unieke, gedeelde en complementaire informatie, wat dicht bij de "Oracle" (ware verdeling) lag.

• Semi-synthetische Data (UR-FUNNY & Hateful Memes):

  • Op datasets voor humorherkenning en haatzaaiende memes werd 70% ontbrekende data gesimuleerd.
  • De resultaten toonden aan dat ICYM2I consistent dichter bij de Oracle-waarden lag voor PID-metingen dan methoden die alleen op de waargenomen data (Observed) vertrouwen.

• Real-world Case Study (Structurale Hartziekten):

  • Context: Het voorspellen van structurele hartziekten (SHD) met behulp van ECG's (altijd beschikbaar) en CXR's (röntgenfoto's, vaak ontbrekend).
  • Vindst: Traditionele analyse suggereerde dat CXR's ongeveer 5% unieke informatie toevoegden aan de diagnose.
  • ICYM2I Resultaat: Na correctie voor de ontbrekende patronen (waarbij CXR's vaker worden gedaan bij specifieke patiëntgroepen), daalde de geschatte unieke waarde van CXR's naar slechts 1,8%. De gedeelde informatie nam toe.
  • Conclusie: CXR's voegen weinig onafhankelijke waarde toe voor SHD-diagnose wanneer ECG's al beschikbaar zijn. Dit suggereert dat het systematisch verzamelen van CXR's voor dit specifieke doel mogelijk niet kosteneffectief is.

5. Betekenis en Conclusie

Dit paper waarschuwt de multimodale gemeenschap voor het gevaar van het negeren van ontbrekende data patronen.

• Kritisch inzicht: Wat lijkt als een waardevolle modality in een trainingsdataset, kan een "illusie" zijn veroorzaakt door selectiebias in de dataverzameling.
• Praktische impact: Door ICYM2I te gebruiken, kunnen onderzoekers en praktici beter beslissen welke data ze moeten verzamelen in de doel-omgeving, wat leidt tot efficiëntere en robuustere AI-systemen.
• Beperkingen: De methode is afhankelijk van de MAR-aanname. Bij MNAR (Missing Not At Random), waar het ontbreken afhankelijk is van de onwaargenomen waarde zelf, zijn er geen theoretische garanties, hoewel MAR een minder restrictieve en realistischere aanname is dan de standaard MCAR.

Samenvattend biedt ICYM2I een statistisch onderbouwde manier om de echte waarde van multimodale data te meten, los van de vertekening die ontstaat door onvolledige dataverzameling.