M-IDoL: Information Decomposition for Modality-Specific and Diverse Representation Learning in Medical Foundation Model

1. Het Probleem: Informatie-Ambiguïteit in Medische Foundation Models

Medische foundation modellen (MFMs) zijn ontworpen om universele representaties te leren van multimodale medische beelden (zoals röntgenfoto's, fundusfoto's, OCT, dermatoscopie en pathologie) die goed moeten generaliseren naar diverse downstream klinische taken.

Echter, de bestaande MFMs kampen met een fundamenteel probleem: informatie-ambiguïteit (information ambiguity).

• Huidige aanpak: De meeste modellen gebruiken een uniforme Contrastive Learning (CL) strategie waarbij alle beeldmodi in één enkel embedding-ruimte worden gedwongen.
• Het gevolg: Door te streven naar maximale wederzijdse informatie (Mutual Information) tussen augmentaties van verschillende modi, worden de specifieke kenmerken van elke modus vermengd. Dit leidt tot:
  1. Verlies van modusspecificiteit: Het model leert gedeelde, redundante informatie in plaats van de unieke anatomische details van een specifieke modus (bijv. het onderscheid tussen een melanoom en een goedaardige naevus in dermatoscopie versus een longknobbeltje in röntgenfoto's).
  2. Verlies van intra-modale diversiteit: Het model wordt minder gevoelig voor fijne, semantische verschillen binnen dezelfde modus (bijv. subtiele textuurveranderingen).

Het direct verwijderen van deze redundantie is moeilijk omdat het schatten van multivariate wederzijdse informatie (trivariate MI) in hoge dimensies statistisch onstabiel en rekenkundig duur is.

2. Methodologie: M-IDoL en Informatiedecompositie

De auteurs stellen M-IDoL voor, een zelftoezichtend (self-supervised) medisch foundation model dat Informatiedecompositie introduceert om de ambiguïteit op te lossen. Het doel is om de multivariate wederzijdse informatie te decomponeren in twee entropy-gebaseerde doelen die expliciet modusspecificiteit en diversiteit bevorderen.

Kernconcept: Decompositie van de Doelfunctie

In plaats van direct $I(X; Y) - I(X; Y; Z)$ te maximaliseren (waarbij $X$ en $Y$ augmentaties zijn en $Z$ representaties van andere modi), wordt dit herschreven in termen van entropie:
$$\max H(X|Z) - H(X|Y, Z)$$

Dit leidt tot twee specifieke optimalisatiedoelen:

1. Maximalisatie van inter-modale entropie ($H(X|Z)$):
   • Doel: Zorg dat de representatie $X$ van een bepaalde modus onvoorspelbaar blijft op basis van representaties $Z$ van andere modi.
   • Effect: Dit dwingt het model om modusspecifieke informatie te behouden die niet door andere modi kan worden afgeleid, waardoor de inter-modale specificiteit toeneemt.
2. Minimalisatie van intra-modale onzekerheid ($H(X|Y, Z)$):
   • Doel: Minimaliseer de voorspellende onzekerheid tussen augmentaties ($X$ en $Y$) van dezelfde afbeelding, gegeven de andere modi ($Z$).
   • Effect: Het model wordt gestimuleerd om ruis veroorzaakt door augmentaties te reduceren, zonder de variatie door modusverschuivingen aan te tasten. Dit verbetert de intra-modale diversiteit en fijne semantische discriminatie.

Architectuur: MoE Projector (Mixture-of-Experts)

Om deze doelen te bereiken zonder moduslabels te gebruiken, introduceert M-IDoL een MoE-projector (Mixture-of-Experts) na de visuele encoder (student en teacher).

• Routering: Een router netwerk kiest dynamisch welke "expert" (een sub-netwerk) wordt geactiveerd voor een bepaalde afbeelding. Elke expert specialiseert zich in een latente modus.
• Lroute (Routing-consistency loss): Deze loss zorgt ervoor dat augmentaties van dezelfde afbeelding naar dezelfde expert worden gerouteerd, terwijl afbeeldingen van andere modi naar verschillende experts gaan. Dit "duwt" de representaties van verschillende modi naar gescheiden subspaces in het MoE-architectuur, wat de inter-modale entropie maximaliseert.
• Lcst (Intra-modale contrastive loss): Binnen elke gespecialiseerde expert-subspace wordt een InfoNCE-loss toegepast om augmentaties van dezelfde afbeelding dichter bij elkaar te trekken. Dit minimaliseert de intra-modale onzekerheid en verbetert de fijne discriminatie binnen die modus.

3. Belangrijkste Bijdragen

1. Conceptuele Innovatie: Het introduceren van Informatiedecompositie in het pre-training proces van MFMs om expliciet modus-gedeelde redundantie te verwijderen en informatie-ambiguïteit op te lossen.
2. Architecturale Innovatie: Het ontwerpen van een MoE-projector die twee nieuwe doelen combineert:
   • Maximalisatie van inter-modale entropie voor modusspecificiteit.
   • Minimalisatie van intra-modale onzekerheid voor representatiediversiteit.
3. Uitgebreide Validatie: Pre-training op 1,15 miljoen ongelabelde medische afbeeldingen over vijf verschillende modi (Retinologie, Radiologie, Oogheelkunde, Pathologie, Dermatologie).

4. Resultaten

M-IDoL werd getest op 21 downstream datasets en presteerde overtuigend beter dan bestaande modellen:

• Superieure Generalisatie: M-IDoL overtrof 20 bestaande foundation modellen (zowel modusspecifieke als uniforme MFMs) op de meeste taken.
  • Bijvoorbeeld: Het versloeg RETFound (gespecialiseerd in fundus) en MIRAGE (gespecialiseerd in OCT) in hun respectievelijke domeinen, wat aantoont dat het een universeel model is dat toch modusspecifieke details behoudt.
  • Het presteerde consistent beter dan uniforme MFMs zoals UniMed, LVM-Med en CoSMIC (soms met meer dan 6% verbetering).
• Visualisatie (t-SNE):
  • Bestaande uniforme modellen tonen een vermengde embedding-ruimte zonder duidelijke scheiding tussen modi.
  • M-IDoL toont scherpe scheiding tussen clusters van verschillende modi (inter-modale specificiteit) en tegelijkertijd gedetailleerde sub-clustering binnen elke modus (intra-modale diversiteit).
• Ablatie Studies: De studie bevestigt dat zowel de MoE-architectuur als de specifieke loss-functies ($L_{route}$ en $L_{cst}$) noodzakelijk zijn voor de prestaties. Zonder $L_{route}$ routen de meeste modi naar één expert, wat de voordelen tenietdoet.

5. Betekenis en Impact

M-IDoL biedt een nieuwe richting voor het trainen van medische foundation modellen. In plaats van te proberen één "universele" representatie te vinden die voor alles werkt (wat leidt tot verwarring en verlies van detail), deconstrueert M-IDoL het leerproces.

• Klinische Relevantie: Door zowel modusspecificiteit als intra-modale diversiteit te behouden, is het model beter in staat om fijne pathologische details te detecteren die cruciaal zijn voor diagnose (bijv. vroege tekenen van kanker of specifieke oogziekten).
• Efficiëntie: Het lost het probleem van informatie-ambiguïteit op binnen één enkele pre-training fase, in tegenstelling tot eerdere methoden die dure multi-stap of continue leerprocessen vereisten om modusspecificiteit te bereiken.
• Toekomstperspectief: De methode demonstreert dat het combineren van information-theoretische principes (entropie-decompositie) met moderne architecturen (MoE) een krachtige route is voor robuuste, multi-domein medische AI.

Kortom, M-IDoL bewijst dat het mogelijk is om één model te trainen dat zowel de "taal" van verschillende medische beeldvormingstechnieken begrijpt als de subtiele nuances binnen elke techniek behoudt, wat een grote stap is voor de toepasbaarheid van foundation modellen in de kliniek.