Riassunto Tecnico: MultiMAE per RM Cerebrali

Problematica

Nell'imaging medico, in particolare con la risonanza magnetica (RM) cerebrale, i modelli di deep learning affrontano spesso la sfida delle sequenze di input mancanti. Gli ambienti clinici frequentemente mancano di dati multi-modali completi (ad esempio, sequenze T1, T1c, T2 o FLA mancanti) a causa di problemi di acquisizione o vincoli del paziente. Gli approcci standard impiegano tipicamente una strategia di early-fusion, sovrapponendo tutte le modalità disponibili lungo la dimensione dei canali (analogamente ai canali RGB). Sebbene semplice, questo approccio richiede che tutte le modalità siano presenti sia durante l'addestramento che durante l'inferenza. Di conseguenza, i modelli addestrati con early fusion soffrono di bruschi cali di prestazioni quando gli input sono mancanti e non riescono a apprendere rappresentazioni distinte e specifiche per ogni modalità che potrebbero essere sfruttate per il ragionamento cross-modale.

Metodologia

Gli autori propongono un framework Multi-Modal Masked Autoencoder (MultiMAE) adattato per la RM cerebrale 3D. Ispirato all'architettura MultiMAE per le immagini naturali, questo metodo passa dalla early fusion a una strategia di codifica specifica per modalità combinata con una late-fusion tramite un transformer encoder.

Architettura e Pretraining

• Backbone: Il modello utilizza un Vision Transformer (ViT-B/16) modificato come encoder.
• Adapter Specifici per Modalità: Invece di sovrapporre i canali, ogni sequenza RM (t1, t1c, t2, fla) viene elaborata attraverso il proprio adapter lineare per proiettare patch non sovrapposte di $16 \times 16 \times 16$ in uno spazio di token condiviso.
• Strategia di Masking: Viene applicato un rapporto di masking globale del 75%. Fondamentalmente, il masking è campionato per modalità da una distribuzione di Dirichlet ($\alpha=1$), consentendo fino al 100% di una specifica modalità che venga mascherata pur mantenendo il tasso globale. Ciò costringe il modello a imparare le dipendenze cross-modali.
• Design Encoder-Decoder:
  • Encoder: Un ViT-B/16 standard (12 strati) elabora i token non mascherati di tutte le modalità insieme a un token [cls].
  • Decoder: Sono impiegati quattro decoder leggeri e specifici per modalità (3 strati ciascuno). Essi utilizzano un meccanismo di cross-attention in cui le query (token [mask] apprendibili per le patch mancanti) effettuano l'attenzione verso il contesto condiviso fornito dall'encoder.
• Obiettivo: Il modello è preaddestrato per ricostruire le patch mascherate utilizzando una perdita MSE (Mean Squared Error), incoraggiando l'apprendimento di rappresentazioni ricche che possano inferire le sequenze mancanti partendo da quelle disponibili.

Adattamento per Task Successivi (Downstream)

L'encoder preaddestrato viene adattato a due task successivi:

1. Segmentazione: Utilizzando l'architettura UNETR. Per gestire la lunghezza variabile della sequenza causata dalla tokenizzazione separata per modalità, i token in ogni posizione spaziale vengono mediati per mantenere una lunghezza di sequenza costante.
2. Classificazione: Un singolo strato lineare sostituisce i decoder. I token delle patch e il token [cls] vengono mediati per formare un vettore di caratteristiche per la classificazione dei sottotipi di glioma (GBM, Astro, Oligo).

Contributi Chiave

1. Pretraining MultiMAE per RM 3D: Il lavoro investiga l'applicazione di MultiMAE alle RM cerebrali 3D, consentendo la codifica specifica per modalità e il modellamento mascherato tra più sequenze.
2. Robustezza alle Modalità Mancanti: Gli autori dimostrano che questa strategia di pretraining migliora significativamente le prestazioni e la robustezza sia nei compiti di segmentazione (glioma e metastasi) che di classificazione, quando le modalità di input sono mancanti, superando le baseline standard MAE-ViT.
3. Sintesi delle Modalità Mancanti: Il framework dimostra la capacità di sintetizzare intere sequenze RM mancanti durante l'inferenza, sfruttando le relazioni cross-modali apprese durante il pretraining.

Risultati Sperimentali

Il metodo è stato valutato su un ampio dataset combinato (BraTS 2021/2023, UPENN-GBM, UCSF-PGDM, ecc.) ed è stato testato su dataset interni ed esterni.

• Generazione di Modalità Mancanti: Il modello ha ricostruito con successo le modalità mancanti con alta fedeltà (PSNR ~20–21, SSIM ~0.71–0.76), superando significativamente la baseline standard MAE-ViT (PSNR ~7–10, SSIM ~0.52–0.61).
• Prestazioni di Segmentazione:
  • Il MultiMAE preaddestrato ha costantemente superato la baseline MAE-ViT sia sui set di test interni che esterni per la segmentazione di glioma e metastasi.
  • Negli scenari di modalità mancante, il MultiMAE ha mostrato una resilienza superiore. Ad esempio, quando la modalità T1c era mancante, il MultiMAE ha mantenuto un punteggio Dice di ~51.55 (encoder congelato) per il core tumorale, mentre la baseline ViT è scesa a ~47.91.
  • Il modello ha ottenuto un miglioramento assoluto di 10.1 nel punteggio Dice complessivo e di 0.46 in MCC rispetto alle baseline quando gli input erano mancanti.
• Prestazioni di Classificazione:
  • Il modello ha raggiunto un'elevata accuratezza multi-classe e MCC (fino a 0.70) per la sottotipizzazione del glioma.
  • A differenza del compito di segmentazione, congelare l'encoder è stato meno efficace per la classificazione; il fine-tuning completo ha prodotto i risultati migliori.
  • Anche con modalità mancanti (ad esempio, assenza di T1c), il MultiMAE ha mantenuto un'alta accuratezza (0.89) rispetto alla baseline ViT (0.41), dimostrando un efficace ragionamento cross-modale.

Significato e Rivendicazioni

Il paper sostiene che il paradigma MultiMAE offre un encoder flessibile e generalizzabile per le RM cerebrali che affronta la critica sfida clinica dei dati incompleti. Trattando ogni sequenza come una modalità separata e imponendo la ricostruzione cross-modale, il modello impara a inferire le sequenze mancanti dai dati disponibili.

Gli autori sottolineano che, sebbene l'approccio introduca modifiche minori al backbone ViT, esso produce guadagni sostanziali in termini di robustezza. La strategia di pretraining permette al modello di gestire "configurazioni di input non viste" senza necessità di ri-addestramento, rendendolo adatto ad ambienti clinici con risorse limitate dove la completezza dei dati non può essere garantita. Tuttavia, gli autori notano con modestia che:

• Le ricostruzioni presentano una certa sfocatura a causa dei limiti della perdita MSE pixel-wise.
• Persiste un gap di dominio tra i dataset interni ed esterni, riflettendo la sfida più ampia dell'adattamento cross-site.
• La complessità aggiunta dell'integrazione cross-modale richiede un calcolo di pretraining significativo e molti dati per convergere efficacemente, poiché le versioni del modello con inizializzazione casuale hanno performato peggio in alcuni casi.

In definitiva, il lavoro presenta una riformulazione del paradigma di pretraining MAE che consente una gestione più elegante dei dati multi-modali delle RM cerebrali, dando priorità alla robustezza di fronte a input mancanti.