Multi-Plane Vision Transformer for Hemorrhage Classification Using Axial and Sagittal MRI Data

Riepilogo Tecnico: Vision Transformer Multi-Piano per la Classificazione delle Emorragie

Enunciato del Problema
L'identificazione dell'emorragia intracranica (ICH) tramite Risonanza Magnetica (MRI) è fondamentale per la diagnosi, in particolare per distinguere le condizioni acute da quelle croniche ed evitare l'esposizione alle radiazioni ionizzanti associata alla TAC. Tuttavia, le acquisizioni cliniche MRI presentano spesso sfide significative per i modelli di deep learning:

1. Dati Anisotropi e Multi-Piano: Per accelerare l'imaging, le scansioni vengono spesso acquisite con fette spesse, risultando in volumi anisotropi. I clinici utilizzano frequentemente piani multipli (assiale, sagittale, coronale) per visualizzare in modo completo le strutture anatomiche, poiché alcune emorragie sono più visibili in orientamenti specifici.
2. Perdita di Informazioni nel Ricampionamento: Gli approcci tradizionali di deep learning (CNN e Vision Transformer standard) richiedono tipicamente che le immagini di input vengano ricampionate su un piano fisso e isotropo (ad esempio, convertendo il sagittale in assiale). Questo processo comporta un'esteso sotto-campionamento o sovracampionamento, portando a una significativa perdita di informazioni e potenziali artefatti di interpolazione.
3. Modalità Inconsistenti: I dataset clinici reali soffrono spesso di informazioni di contrasto mancanti (ad esempio, un paziente può avere FLAIR T2 assiale ma mancare di T1 sagittale), con cui i modelli standard faticano a gestire senza un degrado delle prestazioni.

Metodologia
Gli autori propongono il Vision Transformer Multi-Piano (MP-ViT), una nuova architettura progettata per elaborare simultaneamente dati MRI assiali e sagittali senza ricampionamento o cambio di orientamento delle immagini. L'architettura si basa sul framework Vision Transformer (ViT) e consiste in quattro moduli principali:

1. Encoder a Doppio Ramo: Il modello impiega due encoder transformer separati: uno dedicato agli input assiali e l'altro agli input sagittali.

   • Le immagini di input vengono ridimensionate a dimensioni anisotrope fisse (ad esempio, $256 \times 256 \times 32$ per l'assiale e $256 \times 32 \times 256$ per il sagittale) invece di essere forzate in una griglia isotropa comune.
   • Le immagini vengono divise in patch 3D non sovrapposte ($16 \times 16 \times 16$), tokenizzate ed elaborate dai rispettivi encoder.
   • Questo design tratta le immagini assiali e sagittali come modalità distinte, preservando la risoluzione nativa e le relazioni spaziali di ciascun piano.

2. Fusione tramite Attenzione Incrociata: Per integrare le informazioni tra i due rami, il modello utilizza un meccanismo di attenzione incrociata. Nello specifico, il token di Classificazione (CLS) dall'encoder assiale presta attenzione ai token delle patch dell'encoder sagittale (e viceversa). Ciò permette al modello di scambiare informazioni astratte tra i piani in modo più efficiente rispetto alla fusione standard basata su attenzione totale.

3. Vettore di Indicazione della Modalità: Per affrontare il problema dei contrasti mancanti (ad esempio, T1 sagittale assente o sequenze assiali specifiche), gli autori introducono un vettore di indicazione della modalità.

   • Si tratta di un vettore binario che rappresenta la presenza (1) o l'assenza (0) di contrasti specifici disponibili per ciascun ramo.
   • Un Perceptron a Strati Multipli (MLP) incorpora questo vettore in vettori di query, che eseguono poi un'attenzione incrociata con l'output del transformer. Ciò guida il modello a compensare i dati mancanti, migliorando la robustezza in contesti clinici eterogenei.

4. Teste di Classificazione: L'output finale è derivato dalla media di due teste di classificazione, una per ciascun ramo, fornendo la classificazione finale dell'emorragia.

Contributi Chiave

• Elaborazione Indifferente all'Orientamento: Il MP-ViT elimina la necessità di ricampionare immagini anisotrope su un piano fisso, prevenendo così la perdita di informazioni e la distorsione associate ai metodi di interpolazione tradizionali.
• Integrazione tra Piani: Utilizzando l'attenzione incrociata tra encoder assiali e sagittali separati, il modello fonde efficacemente le informazioni multi-planari senza vincoli architetturali che impongano un singolo orientamento.
• Robustezza ai Dati Mancanti: L'introduzione del vettore di indicazione della modalità permette al modello di adattarsi a dati di input incompleti (contrast mancanti) senza richiedere imputazione o aumento dei dati, una sfida comune nei dataset clinici retrospettivi.

Risultati Sperimentali
Il modello è stato valutato su un dataset clinico reale composto da 10.084 soggetti di training, 1.289 di validazione e 1.496 di test provenienti da tre produttori di scanner (GE, Philips, Siemens). Il dataset includeva vari contrasti (FLAIR, ADC, Trace, GRE, SWI, T2w e T1w sagittale).

• Prestazioni: La variante MP-ViT-base ha raggiunto un'Area Sotto la Curva (AUC) di 0,854.
• Confronti: Questo risultato ha superato:
  • Il Vision Transformer standard (ViT-base) del 5,5% (AUC 0,799).
  • ResNet152 del 3,7% (AUC 0,817).
  • DenseNet201 del 1,8% (AUC 0,836).
  • Altri approcci basati su transformer (Transformer multi-stadio e classificatore ICH di Adel et al.) rispettivamente del 4,6% e del 3,2%.
• Significatività Statistica: I test di McNemar hanno confermato che i miglioramenti del MP-ViT rispetto a ViT, ResNet, DenseNet e altre basi di transformer erano statisticamente significativi ($p < 0,05$).
• Studio di Ablazione: La rimozione del vettore di indicazione della modalità ha comportato un calo delle prestazioni (AUC 0,842 contro 0,854), confermando il ruolo del vettore nella gestione dei contrasti mancanti.
• Efficienza: Notevolmente, il MP-ViT-small (con meno parametri del ViT-base) ha superato il ViT-base del 1,5%, suggerendo che l'architettura multi-piano è più efficace rispetto al semplice aumento della profondità o della larghezza del modello.

Significato e Affermazioni
Il documento afferma che il MP-ViT rappresenta un significativo avanzamento nella gestione della variabilità dei dati MRI clinici reali. Evitando il ricampionamento delle immagini anisotrope, il modello mantiene informazioni diagnostiche critiche che altrimenti potrebbero andare perse. Gli autori sottolineano che, sebbene la MRI non sia sempre la prima scelta per il rilevamento emergente di ICH (a causa del tempo di scansione), è cruciale per la differenziazione dell'ictus e per i workup diagnostici non urgenti in cui vengono rilevate emorragie incidentali.

Il metodo proposto è presentato come un meccanismo per migliorare le prestazioni di classificazione in scenari che richiedono contrasti di orientamento diversi. Gli autori notano che l'approccio è particolarmente rilevante per contesti clinici in cui la completezza dei dati varia, poiché il vettore di modalità garantisce che il modello rimanga robusto anche con input incompleti. Lo studio conclude che questi meccanismi dovrebbero essere considerati per la progettazione di sistemi che gestiscono la variabilità intrinseca dei dati clinici, sebbene gli autori riconoscano limitazioni, inclusa l'esclusione dei piani coronali (a causa della indisponibilità del dataset) e il focus sulla classificazione piuttosto che sulla segmentazione.