Multimodal Brain Tumour Classification Using Feature Fusion

Sintesi Tecnica: Classificazione Multimodale dei Tumori Cerebrali mediante Fusione di Caratteristiche

Definizione del Problema
Gli attuali approcci di deep learning per la classificazione dei tumori cerebrali si affidano prevalentemente a input unimodali, utilizzando esclusivamente immagini RM o TC. Questa limitazione non riesce a replicare il flusso di lavoro diagnostico clinico, in cui i professionisti sintetizzano diverse fonti di informazioni — tra cui sintomi, anamnesi medica e dati di imaging quantitativi — in un giudizio unificato. Gli autori sostengono che fare affidamento esclusivamente sui dati d'immagine grezzi trascuri i potenziali benefici derivanti dall'integrazione di caratteristiche radiomiche estratte manualmente (handcrafted), che forniscono descrittori quantitativi espliciti delle caratteristiche tumorali spesso utilizzati nel ragionamento clinico.

Metodologia
Lo studio propone un framework multimodale a due rami progettato per classificare i tumori cerebrali in quattro categorie: glioma, meningioma, ipofisi e assenza di tumore. L'architettura elabora due flussi di dati distinti:

1. Flusso d'Immagine: Le scansioni RM grezze (ridimensionate a 224×224) sono elaborate attraverso un backbone CNN pre-addestrato. Sono state valutate tre architetture: EfficientNet-B3, ResNet-50 e DenseNet-121. Questi backbone generano un embedding visivo a 256 dimensioni tramite una testa composta da strati di dropout, lineare e Layer Normalization.
2. Flusso Radiomico: Una pipeline di segmentazione non supervisionata dedicata a tre stadi estrae tre regioni spaziali da ogni RM: una maschera cerebrale, una ROI (regione di interesse) tumorale e un anello peritumorale di 15 pixel. Da queste regioni vengono estratte 91 caratteristiche radiomiche appartenenti a dieci famiglie, tra cui statistiche di intensità del primo ordine, descrittori di forma, texture GLCM, GLRLM, NGTDM, GLDM, caratteristiche di gradiente/HOG e descrittori di confine/eterogeneità/frattali. Queste caratteristiche vengono codificate da un MLP a tre strati (Batch Norm, strati lineari, Layer Norm) in un embedding numerico corrispondente di 256 dimensioni.

Strategie di Fusione delle Caratteristiche
I due embedding a 256 dimensioni vengono fusi utilizzando una delle tre strategie per generare la classificazione finale:

• Concatenazione: Semplice concatenazione dei due vettori.
• Fusione a Gate (Gated Fusion): Utilizza doppi gate sigmoidali appresi per applicare pesi per dimensione alle modalità.
• Attenzione Cross-Modale Bidirezionale: Impiega meccanismi di attenzione con connessioni residue per permettere l'interazione tra i flussi.

Configurazione Sperimentale e Dataset
Il framework è stato valutato su un dataset bilanciato di 7.200 immagini RM cerebrali (1.600 per classe per l'addestramento, 400 per classe per il test) raccolte da molteplici repository pubblici (Sartaj, BRaTS, ecc.). Lo studio riconosce una limitazione riguardante il dataset: poiché gli identificativi dei pazienti non erano disponibili, la suddivisione è avvenuta a livello di immagine piuttosto che a livello di paziente, il che significa che non si può escludere una potenziale sovrapposizione di pazienti tra l'addestramento e il test.

Il design sperimentale è consistito in una griglia di nove esecuzioni (3 backbone CNN × 3 strategie di fusione). L'addestramento ha previsto il congelamento del backbone per 8 epoche, seguito dal fine-tuning degli ultimi tre blocchi per 12 epoche, utilizzando campionamento pesato, label smoothing, gradient clipping e precisione mista.

Risultati Chiave

• Baseline Unimodali: Tra i modelli a singola modalità, DenseNet-121 ha raggiunto l'accuratezza più elevata del 95,50%, seguita da ResNet-50 (95,37%) ed EfficientNet-B3 (94,94%). La classe meningioma ha costantemente presentato la sfida di classificazione maggiore a causa di un richiamo (recall) inferiore.
• Prestazioni Multimodali: Tutte le configurazioni multimodali hanno superato le rispettive baseline unimodali. La prestazione migliore è stata raggiunta da ResNet-50 + Gated Fusion e DenseNet-121 + Gated Fusion, entrambe con un'accuratezza del 96,13%. Altri modelli con prestazioni elevate includono DenseNet-121 + Attention (96,06%) e DenseNet-121 + Concatenation (95,81%).
• Guadagni Specifici per Classe: Le classi "assenza di tumore" e "ipofisi" hanno beneficiato significativamente della fusione multimodale, raggiungendo un richiamo quasi perfetto. Sebbene il meningioma sia rimasto la classe più difficile, la strategia di gated fusion ha dimostrato i guadagni più consistenti tra le diverse architetture.
• Confronto: Il framework proposto (96,13%) è competitivo con la letteratura recente, come Aziz et al. (2024), che ha riportato il 96,9% utilizzando un framework basato solo su RM con DenseNet.

Significatività e Rivendicazioni
L'articolo sostiene che l'integrazione di descrittori radiomici estratti manualmente con gli embedding di immagini da CNN profonde tramite fusione multimodale fornisca un miglioramento robusto rispetto alle baseline unimodali basate solo sull'immagine. Lo studio evidenzia che la fusione a gate (gated fusion) è la strategia più efficace per combinare queste modalità.

Tuttove, gli autori mantengono una posizione modesta riguardo l'entità di tali miglioramenti. Essi riconoscono esplicitamente che i guadagni osservati sono relativamente modesti perché entrambi i rami derivano informazioni dalla stessa fonte RM. Di conseguenza, il grado di vera complementarità tra le "modalità" è limitato. Gli autori pongono questo lavoro come un passo preliminare, notando che la ricerca futura si concentrerà sulla sostituzione del ramo radiomico con fonti di dati clinici indipendenti (ad esempio, referti strutturati, analisi di laboratorio, anamnesi del paziente) per replicare meglio il vero ragionamento clinico multimodale e introdurre informazioni interamente assenti dal dominio dell'immagine.