RTGMFF: Enhanced fMRI-based Brain Disorder Diagnosis via ROI-driven Text Generation and Multimodal Feature Fusion

Il paper presenta RTGMFF, un innovativo framework multimodale che combina la generazione automatica di testo basata sulle regioni di interesse (ROI) con un encoder ibrido frequenza-spaziale per migliorare la diagnosi dei disturbi cerebrali tramite dati fMRI, superando le prestazioni degli attuali metodi sui benchmark ADHD-200 e ABIDE.

L'essenziale

Immagina il cervello come una città gigantesca e complessa, dove ogni quartiere (le diverse aree cerebrali) ha i suoi abitanti, le sue strade e i suoi ritmi di vita. I medici usano una macchina speciale chiamata fMRI per fare delle "foto" di questa città mentre è in attività. Il problema è che queste foto sono spesso:

1. Sfocate (c'è molto "rumore" di fondo).
2. Difficili da leggere (ogni cervello è unico, come un'impronta digitale).
3. Mute (i dati sono solo numeri e colori, non raccontano una storia).

Gli attuali computer (i modelli di intelligenza artificiale) sono bravi a guardare le foto, ma spesso si perdono nei dettagli o non capiscono il "ritmo" con cui la città pulsa.

RTGMFF è un nuovo sistema intelligente che risolve questi problemi unendo tre super-poteri. Ecco come funziona, passo dopo passo:

1. Il Traduttore Automatico (ROI-driven Text Generation)

Immagina che il computer guardi la foto del cervello e veda solo numeri: "Quartiere 5: attività alta, Quartiere 12: attività bassa". È noioso e difficile da capire per un medico.

RTGMFF ha un traduttore automatico che prende questi numeri e li trasforma in una storia scritta.

• Invece di dire "Valore 0.8", il sistema scrive: "Il quartiere del linguaggio è molto attivo oggi".
• Invece di dire "Valore -0.2", scrive: "La zona del riposo è un po' spenta".
• Aggiunge anche chi è il paziente (età, sesso) per contestualizzare la storia.

L'analogia: È come se un giornalista medico scrivesse un articolo di cronaca basato sui dati grezzi, rendendo il cervello "parlante" e comprensibile per gli umani.

2. L'Orecchio Musicale e l'Occhio d'Aquila (Hybrid Frequency-Spatial Encoder)

Per capire se la città (il cervello) sta funzionando bene, bisogna guardare due cose:

• Il Ritmo (Frequenza): Come batte il cuore della città? C'è un ritmo lento e costante o è caotico?
• La Mappa (Spazio): Come sono collegati i quartieri tra loro?

I vecchi computer guardavano solo la mappa o solo il ritmo, ma non entrambi insieme. RTGMFF usa due strumenti magici:

• Un "Orecchio Musicale" (Mamba e Onde): Analizza i ritmi nascosti nei dati, come un musicista che sente le note basse e alte in una sinfonia.
• Un "Occhio d'Aquila" (Trasformer): Guarda l'intera città dall'alto per vedere come i quartieri lontani si parlano tra loro.

L'analogia: È come avere un detective che ascolta il rumore di fondo della città (per capire l'umore generale) e contemporaneamente guarda la mappa aerea per vedere chi sta parlando con chi, tutto in un solo istante.

3. Il Ponte di Fiducia (Adaptive Semantic Alignment)

Ora abbiamo due cose: la storia scritta (il testo) e la mappa visiva (l'immagine del cervello). Ma sono in due lingue diverse! Come facciamo a farle collaborare?

RTGMFF costruisce un ponte magico che unisce la storia e l'immagine nello stesso spazio mentale.

• Se la storia dice "c'è un problema nel quartiere X", il ponte controlla se l'immagine mostra davvero un problema in quel punto.
• Se c'è un disaccordo, il sistema si corregge da solo per essere sicuro che la storia e l'immagine raccontino la stessa verità.

L'analogia: È come avere un interprete che fa da mediatore tra un pittore (che disegna il cervello) e uno scrittore (che descrive il cervello), assicurandosi che la descrizione corrisponda perfettamente al dipinto.

Il Risultato: Una Diagnosi Più Brilliante

Quando RTGMFF ha provato a diagnosticare due disturbi comuni (l'ADHD e l'Autismo) su migliaia di pazienti, è stato molto più preciso dei metodi precedenti.

• Ha sbagliato meno spesso.
• Ha individuato i problemi più velocemente.
• Ha fornito una spiegazione chiara (la "storia" generata) che aiuta i medici a capire perché ha fatto quella diagnosi.

In sintesi:
RTGMFF non si limita a guardare le foto del cervello. Ascolta il suo ritmo, legge la sua storia e unisce tutto insieme per dare ai medici uno strumento di diagnosi più sicuro, veloce e comprensibile. È come passare da un radiografo sfocato a una guida turistica esperta che ti spiega esattamente cosa sta succedendo nella città del cervello.

Sommario tecnico

1. Il Problema

L'analisi delle immagini di risonanza magnetica funzionale (fMRI) per la diagnosi di disturbi cerebrali (come ADHD e Disturbo dello Spettro Autistico - ASD) affronta sfide significative:

• Rumore e Variabilità: I dati fMRI presentano un basso rapporto segnale-rumore (SNR) e un'alta variabilità inter-soggetto.
• Limitazioni dei Modelli Esistenti: I modelli basati su CNN e Transformer catturano bene le dipendenze spaziali locali o globali, ma spesso trascurano le rappresentazioni nel dominio della frequenza, che sono cruciali per comprendere la dinamica cerebrale (es. pattern a bassa frequenza nei dati BOLD a riposo).
• Mancanza di Contesto Testuale: La maggior parte dei dataset fMRI manca di annotazioni testuali che possano contestualizzare i pattern di attivazione regionale e di connettività, rendendo difficile l'interpretazione clinica e l'integrazione semantica.
• Integrazione Multimodale: Esiste una lacuna nell'integrazione sistematica di informazioni demografiche (età, sesso), attivazioni locali e connettività globale in un'unica rappresentazione unificata.

2. Metodologia: RTGMFF

RTGMFF è un framework diagnostico unificato che combina la generazione automatica di testo a livello di ROI (Region of Interest) con la fusione di caratteristiche multimodali. L'architettura si articola in tre componenti principali:

A. Generazione di Testo fMRI Guidata da ROI (RFTG)

Questa componente trasforma i dati numerici grezzi in token testuali deterministici e riproducibili, colmando il divario tra dati di imaging e linguaggio clinico.

• Elaborazione Statistica: Per ogni soggetto, le serie temporali BOLD pre-elaborate vengono mediate spazialmente su 116 regioni anatomiche (atlante AAL-116).
• Discretizzazione: I valori di cambiamento percentuale del segnale ($\Delta$BOLD) vengono discretizzati in tre livelli ordinali (strong, moderate, weak) e direzioni (up/down) utilizzando soglie ($\tau_1, \tau_2$) ottimizzate tramite convalida incrociata nidificata (nested cross-validation) per massimizzare l'accuratezza della classificazione finale.
• Condizionamento Demografico: Età e sesso vengono codificati come vettori e integrati nel processo di estrazione delle caratteristiche tramite modulazione lineare delle caratteristiche (FiLM), permettendo al modello di adattare le rappresentazioni in base al contesto demografico.
• Output: Il sistema genera triplette $\langle ROI_i, livello, direzione \rangle$ che possono essere convertite in frasi cliniche leggibili tramite template Jinja2, sebbene il training avvenga sui token strutturati.

B. Codificatore Ibrido Frequenza-Spaziale (HFSE)

Questo modulo è progettato per catturare simultaneamente le strutture nel dominio della frequenza e le dipendenze spaziali a lungo raggio.

• Branch Wavelet-Mamba Gerarchico (HWM):
  • Applica una decomposizione wavelet di Haar 2D a più livelli per estrarre caratteristiche multiscala.
  • Utilizza un modulo SelectiveScan ispirato a Mamba (State Space Models) per eseguire un'analisi selettiva e un pruning dei token, catturando strutture nel dominio della frequenza con complessità lineare.
• Codificatore Transformer Cross-Scala (CSTE):
  • Integra le caratteristiche globali e locali. Utilizza un meccanismo di attenzione incrociata (Cross-Scale Attention) dove una sequenza di query (derivata da patch globali) interagisce con le caratteristiche locali elaborate (smoothing spaziale e compressione).
  • Le due flussi (frequenza/spaziale locale e contesto globale) vengono fusi e raffinati tramite un Vision Transformer (ViT) a 4 livelli.

C. Modulo di Allineamento Semantico Adattivo (ASAM)

Questo modulo allinea le caratteristiche visive (estratte dall'HFSE) con le caratteristiche testuali (generate dal RFTG) in uno spazio latente condiviso.

• Allineamento: I token delle ROI vengono codificati tramite BioBERT e proiettati nello stesso spazio delle caratteristiche visive tramite matrici di proiezione apprendibili.
• Funzione di Perdita: L'ottimizzazione utilizza una perdita combinata:
  1. Loss di Classificazione ($L_{cls}$): Cross-entropy per la diagnosi.
  2. Loss di Allineamento ($L_{align}$): Basata sulla similarità del coseno per ridurre il divario tra le modalità visiva e testuale.
  3. Loss di Regularizzazione ($L_{reg}$): Per promuovere la dispersione delle caratteristiche e mantenere l'equilibrio tra le modalità.

3. Contributi Chiave

1. Generazione di Testo Deterministica: Un approccio innovativo che trasforma statistiche di attivazione e dati demografici in token testuali riproducibili senza l'uso di modelli generativi probabilistici complessi, garantendo coerenza clinica.
2. Architettura Ibrida Frequenza-Spaziale: La prima integrazione di una decomposizione wavelet con un'architettura Mamba (per la frequenza) e un Transformer (per lo spazio), permettendo una modellazione completa delle dipendenze spaziali e delle strutture frequenziali.
3. Allineamento Semantico Multimodale: Un modulo che unifica esplicitamente le rappresentazioni testuali e visive, migliorando la robustezza del modello e l'interpretabilità dei risultati.

4. Risultati Sperimentali

Il modello è stato valutato su due benchmark pubblici: ADHD-200 (Disturbo da Deficit di Attenzione/Iperattività) e ABIDE (Disturbo dello Spettro Autistico).

• Performance: RTGMFF ha superato tutti i metodi dello stato dell'arte (inclusi CNN, GNN, e Transformer puri).
  • ADHD-200: Accuratezza (ACC) del 80.7% (vs 77.8% del metodo precedente migliore A-GCL), AUC dell'80.4%.
  • ABIDE: Accuratezza (ACC) del 86.4% (vs 84.7% di KMGCN), AUC dell'86.0%.
• Metriche Cliniche: Sono state osservate migliorie significative nella Sensibilità (fino all'84.5% su ABIDE) e Specificità (87.5% su ABIDE), cruciali per la diagnosi medica.
• Studio di Ablazione:
  • La rimozione del modulo HWM ha causato un calo di oltre il 4% in tutte le metriche, confermando l'importanza dell'analisi in frequenza.
  • L'aggiunta del modulo CSTE ha migliorato l'accuratezza di oltre il 3%.
  • L'integrazione di ASAM ha fornito un ulteriore boost di oltre il 2%, validando l'efficacia dell'allineamento semantico.
• Analisi di Sensibilità: L'ottimizzazione delle soglie di discretizzazione ($\tau_1=0.15, \tau_2=0.30$) e dei pesi della funzione di perdita ($\alpha=0.8, \beta=0.2$) ha dimostrato la robustezza del framework.

5. Significato e Impatto

Il lavoro RTGMFF rappresenta un passo avanti significativo nella diagnostica assistita da computer per i disturbi cerebrali:

• Interpretabilità: La capacità di generare report testuali strutturati a partire dai dati fMRI rende il processo decisionale del modello più trasparente e allineato con le esigenze cliniche.
• Efficienza e Completezza: L'uso combinato di wavelet, Mamba e Transformer risolve il compromesso tra la cattura di dipendenze a lungo raggio e l'efficienza computazionale, integrando informazioni spesso trascurate (dominio della frequenza).
• Riproducibilità: L'approccio deterministico alla generazione di testo e l'uso rigoroso della convalida incrociata "leave-one-site-out" garantiscono che i risultati siano robusti e generalizzabili a diversi siti di acquisizione.

In sintesi, RTGMFF offre un framework multimodale robusto che non solo migliora l'accuratezza diagnostica, ma fornisce anche un ponte semantico tra i dati neuroimaging complessi e la pratica clinica quotidiana.