Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis

Probleemstelling

Borstkanker is wereldwijd een leidende oorzaak van kankergerelateerde sterfte. Hoewel een vroege en accurate diagnose cruciaal is voor de overleving, blijft dit proces uitdagend.

• Huidige beperkingen: De gouden standaard voor diagnose is de histopathologische analyse van biopsieën (H&E-kleuring). Dit proces is arbeidsintensief, onderhevig aan variatie tussen waarnemers, en computergestuurde benaderingen behandelen vaak beeldgegevens (histopathologie) en gestructureerde klinische gegevens (Elektronische Gezondheidsdossiers of EHR) in isolatie.
• Technische uitdaging: Het samenvoegen van deze modaliteiten is complex. Histopathologie-beelden zijn extreem hoog-resolutie en vereisen patch-based strategieën, terwijl EHR-data vaak spaarzaam, heterogeen is en last heeft van ontbrekende waarden. Bestaande methoden missen vaak de integratie die ervaren clinici toepassen door visuele en contextuele bewijslast te combineren.

Methodologie

De auteurs presenteren een systematisch multimodaal leerkader dat twee datasets combineert: BreCaHAD (voor histopathologie-beelden) en MIMIC-IV (voor gestructureerde klinische data).

1. Data Preprocessing:

• Beelddata (BreCaHAD): Grote whole-slide images worden opgesplitst in 64x64 pixels patches rondom geannoteerde celkernen (tumor, niet-tumor, mitose). De patches worden genormaliseerd en versterkt (augmentatie) om generalisatie te verbeteren.
• Tabulaire data (MIMIC-IV): Klinische variabelen (demografie, comorbiditeiten, labwaarden) worden opgeschoond. Ontbrekende waarden worden geïmputeerd (mediaan/modus) en categorische variabelen worden one-hot encoded.

2. Model Architecturen:
De studie vergelijkt unimodale baselines met een intermediate-fusion model:

• Unimodale Beeldmodellen:
  • Simple CNN: Een drie-blokken CNN (32-64-128 kanalen).
  • ResNet-18: Een op ImageNet voorgetraind model dat is fine-tuned op de BreCaHAD patches.
• Unimodale Tabulaire Modellen:
  • MLP (Multilayer Perceptron): Een feed-forward netwerk met twee verborgen lagen (256 en 128 eenheden).
  • XGBoost: Een gradient boosting-algoritme dat vaak superieur presteert op tabulaire data.
• Multimodaal Fusion Model (Intermediate Fusion):
  • Dit model combineert de latent representations (embeddings) van beide modaliteiten vóór de definitieve classificatie.
  • De ResNet-18 levert een 512-dimensionale image embedding.
  • De MLP levert een 128-dimensionale patient embedding.
  • Deze worden samengevoegd tot een 640-dimensionale vector, die wordt verwerkt door extra fully connected lagen (256 → 128) met ReLU en dropout, gevolgd door een softmax-laag voor de drie klassen.

3. Interpretability:

• Grad-CAM: Wordt gebruikt voor de beeldmodellen om te visualiseren welke gebieden in de patch (bijv. celkernen) bijdragen aan de voorspelling.
• SHAP (SHapley Additive exPlanations): Wordt gebruikt voor de tabulaire modellen om de bijdrage van klinische variabelen (zoals leeftijd en comorbiditeiten) aan de voorspelling te verklaren.

Belangrijkste Resultaten

1. Unimodale Prestaties:

• ResNet-18 (Beeld): Bereikte bijna perfecte prestaties op patch-niveau met een nauwkeurigheid van 1.000 en een macro-average AUC van 1.000. Echter, bij nadere inspectie bleek de AUC voor de zeldzame mitose-klasse lager te zijn (0.927), wat aangeeft dat het model moeite heeft met deze kritische maar onbalansclass.
• XGBoost (EHR): Presteerde het beste op de tabulaire data met 98% nauwkeurigheid en een AUC van 0.94.

2. Prestaties van het Fusion Model:

• Het intermediate-fusion model overtrof alle unimodale baselines.
• Macro-average AUC: 0.997.
• Verbetering bij Minderheidsklassen: De grootste winst werd geboekt bij de diagnostisch kritische mitose-klasse. De AUC steeg van 0.927 (ResNet alleen) naar 0.994 (+6,7 procentpunten).
• Het model reduceerde het aantal fouten waarbij mitotische cellen werden verward met tumorcellen, wat suggereert dat de klinische context (EHR) helpt bij het ontcijferen van morfologische ambiguïteit.

3. Interpretatie:

• Grad-CAM bevestigde dat het model zich richtte op biologisch relevante structuren (celkernen).
• SHAP-analyses toonden aan dat het model klinisch plausibele relaties leerde, waarbij leeftijd, comorbiditeitslast en specifieke biomerkers de belangrijkste voorspellers waren.

Bijdragen en Significantie

1. Intermediaire Fusie Architectuur: Het artikel demonstreert dat het samenvoegen van latent representations (intermediate fusion) superieur is aan vroege of late fusie voor heterogene klinische data, omdat het cross-modale interacties mogelijk maakt zonder dimensie-ongelijkheid.
2. Verbetering van Minderheidsklassen: Het onderzoek toont aan dat multimodale integratie vooral nuttig is voor het verbeteren van de recall en AUC van zeldzame, maar klinisch cruciale klassen (zoals mitose), waar unimodale beeldmodellen vaak vastlopen.
3. Klinische Transparantie: Door Grad-CAM en SHAP te combineren, biedt het model een transparante, voor clinici begrijpelijke uitleg die de integratieve redeneerwijze van artsen nabootst (visueel bewijs + patiëntcontext).
4. Methodologische Inzicht: Het artikel benadrukt dat bij het evalueren van ML-modellen in de gezondheidszorg niet alleen de algehele nauwkeurigheid moet worden gerapporteerd, maar specifiek de per-klasse prestaties voor minderheidsgroepen, aangezien deze de echte klinische impact bepalen.

Beperkingen en Toekomstperspectief:
De auteurs wijzen erop dat de datasets niet op patiëntniveau gekoppeld zijn (BreCaHAD en MIMIC-IV zijn gescheiden), wat betekent dat het huidige model klinische context simuleert in plaats van direct gekoppelde data gebruikt. Toekomstig werk moet gericht zijn op datasets met gekoppelde histopathologie en EHR (zoals TCGA) en externe validatie op onafhankelijke cohorten.