Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis

Titolo

Fusione Multimodale di Immagini di Istopatologia e Cartelle Cliniche Elettroniche (EHR) per la Diagnosi Precoce del Cancro al Seno.

1. Il Problema

Il cancro al seno è una delle principali cause di mortalità oncologica globale. Sebbene l'analisi istopatologica (esame al microscopio di tessuti biopsici) sia lo standard aureo per la diagnosi, il processo è laborioso e soggetto a variabilità inter-osservatore, specialmente per caratteristiche sottili come l'attività mitotica. Parallelamente, le Cartelle Cliniche Elettroniche (EHR) contengono dati longitudinali ricchi (demografia, comorbilità, laboratori), ma la maggior parte dei lavori esistenti tratta queste due modalità (immagini e dati strutturati) in isolamento. Questo approccio frammentato limita la capacità dei modelli computazionali di replicare il ragionamento integrativo degli esperti clinici, che combinano evidenze visive e contestuali per la diagnosi.

2. Metodologia

Gli autori hanno sviluppato un framework sistematico di apprendimento multimodale che integra due dataset distinti:

• Dati Immagine: Dataset BreCaHAD, contenente immagini istopatologiche ad alta risoluzione con annotazioni a livello di "dot" (nuclei tumorali, non tumorali e figure mitotiche).
• Dati Tabulari: Dataset MIMIC-IV, contenente dati clinici strutturati (demografia, diagnosi, laboratori, farmaci) di pazienti ricoverati in terapia intensiva.

L'architettura proposta utilizza una strategia di fusione intermedia (intermediate fusion), che concatena le rappresentazioni latenti di ciascuna modalità prima della classificazione finale.

Componenti del Modello:

1. Branch Immagine (Histopathology):
   • Le immagini whole-slide sono state suddivise in patch non sovrapposte di 64x64 pixel basate sulle annotazioni.
   • Sono stati addestrati due modelli unimodali: una CNN semplice (3 blocchi) e ResNet-18 (pre-addestrato su ImageNet e fine-tuned).
   • ResNet-18 è stato utilizzato per estrarre un embedding di 512 dimensioni dalla penultima layer.
2. Branch Tabulare (EHR):
   • I dati MIMIC-IV sono stati preprocessati (imputazione, codifica one-hot, standardizzazione).
   • Sono stati confrontati XGBoost e un MLP (Multilayer Perceptron).
   • Per la fusione, è stato utilizzato l'MLP per generare un embedding clinico di 128 dimensioni.
3. Fusione Intermedia:
   • Gli embedding di 512 dimensioni (ResNet) e 128 dimensioni (MLP) sono stati concatenati per formare un vettore multimodale di 640 dimensioni.
   • Questo vettore è stato elaborato da due layer fully-connected (256 → 128) con attivazione ReLU e dropout, seguiti da un layer softmax per la classificazione a tre classi (nuclei tumorali, non tumorali, mitosi).

Interpretabilità:

• Grad-CAM: Utilizzato per visualizzare le regioni di attenzione nelle immagini (confermando che il modello si focalizza sui nuclei cellulari).
• SHAP: Utilizzato per spiegare le previsioni del modello tabulare, identificando i fattori clinici dominanti.

3. Contributi Chiave

1. Baseline Unimodali Robuste: Stabilimento di performance di riferimento elevate sia per le immagini (ResNet-18) che per i dati tabulari (XGBoost).
2. Architettura di Fusione Intermedia: Dimostrazione che la concatenazione di embedding latenti (anziché la fusione precoce o tardiva) cattura efficacemente le interazioni cross-modali.
3. Miglioramento sulle Classi Minoritarie: Evidenza che la fusione migliora significativamente il richiamo (recall) e l'AUC per la classe "mitosi", che è clinicamente critica ma sbilanciata e difficile da classificare per i modelli basati solo su immagini.
4. Trasparenza Clinica: Un framework duale di interpretabilità (Grad-CAM + SHAP) che allinea le decisioni del modello ai criteri patologici e clinici stabiliti.

4. Risultati

• Performance Unimodali:
  • ResNet-18 (Immagini): Ha raggiunto un'accuratezza di 1.000 e un AUC di 1.000 sulla classificazione delle patch. Tuttavia, l'AUC per la classe "mitosi" è stato inferiore (0.927), indicando difficoltà nel distinguere le figure mitotiche dai nuclei non tumorali.
  • XGBoost (EHR): Ha ottenuto un'accuratezza del 98% e un AUC di 0.94 sulla predizione clinica.
• Performance del Modello di Fusione:
  • Il modello di fusione ha ottenuto un AUC macro-medio di 0.997, superando tutti i baselines unimodali.
  • Miglioramento Critico: L'AUC per la classe "mitosi" è salito da 0.927 (solo ResNet) a 0.994 (Fusione), un miglioramento di 6.7 punti percentuali. Questo dimostra che il contesto clinico (EHR) aiuta a risolvere l'ambiguità morfologica presente nelle immagini.
  • La matrice di confusione mostra una riduzione degli errori di classificazione delle figure mitotiche come nuclei tumorali, grazie al supporto dei dati clinici.

5. Significato e Implicazioni

• Superamento dei Limiti Unimodali: Lo studio dimostra che l'integrazione di dati clinici strutturati può colmare le lacune dei modelli di visione artificiale, specialmente per le classi diagnostiche rare e critiche.
• Rilevanza Clinica: L'approccio multimodale non solo aumenta la precisione predittiva, ma offre spiegazioni più ricche e allineate al ragionamento clinico (combinando evidenze visive e fattori di rischio).
• Metodologia di Valutazione: Il paper sottolinea l'importanza di valutare le performance per classe (specialmente per le minoritarie) piuttosto che basarsi solo sull'accuratezza globale, che può nascondere errori critici in contesti medici.
• Limitazioni e Futuro: Gli autori notano che i dataset non sono allineati a livello di paziente (BreCaHAD e MIMIC-IV sono dataset separati) e che la validazione esterna su coorti indipendenti è necessaria prima del dispiegamento clinico. Inoltre, la finestra di patch 64x64 potrebbe limitare il contesto tissutale globale.

In sintesi, questo lavoro valida l'efficacia di un approccio multimodale per la diagnosi del cancro al seno, dimostrando che la fusione di istopatologia e dati clinici porta a diagnosi più accurate, robuste e clinicamente interpretabili.