fMRI-LM: Towards a Universal Foundation Model for Language-Aligned fMRI Understanding

1. Il Problema

L'analisi delle immagini di risonanza magnetica funzionale (fMRI) ha tradizionalmente fatto affidamento su modelli di deep learning supervisionati specifici per ogni compito (es. diagnosi di malattie, previsione di fenotipi). Questi modelli richiedono grandi quantità di dati etichettati, faticano a generalizzare tra diversi studi o coorti e mancano di una comprensione semantica profonda. Sebbene esistano modelli fondazione per l'fMRI (come BrainLM o Brain-JEPA), questi si basano su obiettivi puramente neurali (es. ricostruzione mascherata) e non sono allineati al linguaggio, limitando la loro capacità di interpretazione e ragionamento.

D'altro canto, i Large Language Models (LLM) e i modelli multimodali hanno dimostrato capacità eccezionali nel ragionamento su immagini, audio e video. Tuttavia, estendere queste capacità all'fMRI è complesso a causa della mancanza di coppie naturali "immagine cerebrale-testo" e della natura astratta e ad alta dimensionalità dei segnali neurali. L'obiettivo principale è colmare questo divario creando un modello fondazione universale che allinei l'attività cerebrale con la semantica linguistica.

2. Metodologia: fMRI-LM

Gli autori propongono fMRI-LM, un modello fondazione basato su un framework a tre stadi che collega l'fMRI al linguaggio. Il modello è pre-addestrato su oltre 50.000 scansioni fMRI (principalmente da UK Biobank e ABCD).

Fase 1: Tokenizzatore fMRI Allineato al Testo

Poiché gli LLM non possono elaborare direttamente i segnali fMRI continui, viene addestrato un tokenizzatore che mappa i segnali fMRI in token discreti allineati allo spazio di embedding del testo.

• Architettura: Un encoder basato su Transformer (ViT) processa i segnali fMRI (parcellizzati in 450 ROI) e un quantizzatore vettoriale li trasforma in token discreti.
• Obiettivi di Addestramento:
  1. Ricostruzione: Un decoder leggero ricostruisce il segnale originale per preservare l'informazione.
  2. Allineamento Adversarial di Dominio: Un classificatore di dominio è addestrato per distinguere tra embedding fMRI e testo, mentre un layer di inversione del gradiente (GRL) forza il tokenizzatore a produrre embedding fMRI indistinguibili da quelli testuali nello spazio dell'LLM.
  3. Allineamento Contrastivo: Utilizza un corpus sintetico di descrizioni testuali (vedi sotto) per massimizzare la similarità tra coppie fMRI-testo.

Fase 2: Adattamento dell'LLM e Modellazione Temporale

Un LLM pre-addestrato (es. GPT-2) viene fine-tunato per modellare sia i token fMRI che il testo.

• Strategia: L'LLM impara a prevedere il prossimo token fMRI (modellazione temporale dell'attività cerebrale) e a generare testo condizionato ai token fMRI.
• Obiettivi:
  • fMRI-to-fMRI (F2F): Previsione del passo successivo temporale.
  • fMRI-to-Text (F2T): Generazione di descrizioni testuali basate sull'attività cerebrale.
  • Text-to-Text (T2T): Mantenimento delle capacità linguistiche originali.

Fase 3: Istruzione Multi-Task e Multi-Paradigma

Per abilitare compiti complessi, il modello subisce un instruction tuning su una vasta gamma di compiti neuroscientifici e clinici.

• Paradigmi:
  1. Domanda singola/Risposta singola: Compiti standard di classificazione/regressione.
  2. Domande multiple/Risposte multiple: Previsione simultanea di più attributi (es. sesso, età, stato cognitivo).
  3. Domande aperte: Generazione di descrizioni libere e coerenti sulle caratteristiche del soggetto.

Il Corpus Descrittivo (Punto Chiave)

Poiché non esistono coppie naturali fMRI-testo, gli autori hanno costruito un corpus descrittivo su larga scala. Hanno convertito caratteristiche di imaging (connettività funzionale, gradienti funzionali, metriche grafiche, componenti ICA) in descrizioni testuali strutturate e standardizzate. Queste descrizioni fungono da "didascalie" per l'fMRI, collegando l'organizzazione neurale di basso livello alla semantica di alto livello.

3. Contributi Chiave

1. Primo Framework Fondazionale Allineato all'LLM per fMRI: fMRI-LM è il primo modello che mappa l'attività cerebrale a riposo e indipendente dal compito in uno spazio di token compatibile con gli LLM pre-addestrati, abilitando un'interfaccia unificata.
2. Costruzione di un Corpus Descrittivo Su Larga Scala: Creazione di un dataset sintetico che traduce le caratteristiche di imaging in testo strutturato, fornendo supervisione linguistica per catturare l'organizzazione di basso livello dei segnali fMRI.
3. Prestazioni e Generalizzazione Superiori: Il modello supera i metodi supervisionati e i modelli fondazione esistenti su diversi benchmark, dimostrando una forte capacità di generalizzazione zero-shot e few-shot, e adattabilità efficiente tramite tecniche come LoRA (Low-Rank Adaptation).

4. Risultati Sperimentali

Il modello è stato valutato su 7 dataset (UK Biobank, HCP, ADNI, ADHD200, ABIDE2, ecc.) su compiti di classificazione (sesso, diagnosi di Alzheimer, autismo) e regressione (età, intelligenza fluida).

• Confronto con Baseline: fMRI-LM ha ottenuto le prestazioni migliori o le seconde migliori su quasi tutti i dataset e target, superando modelli come BrainNetCNN, BrainLM e Brain-JEPA. Ad esempio, sull'UKB per la classificazione del sesso, ha raggiunto un'accuratezza del 94.89% (vs 88.72% di BrainLM).
• Generalizzazione Zero/Few-Shot: Il modello mostra una capacità notevole di adattarsi a nuovi compiti o dataset con pochissimi dati etichettati (2-4 campioni), raggiungendo prestazioni paragonabili all'addestramento completo con solo 4-shot.
• Efficienza: L'uso di LoRA permette di ottenere risultati eccellenti adattando solo una piccola frazione dei parametri, rendendo il modello scalabile.
• Ablation Study: L'analisi ha dimostrato che la rimozione delle descrizioni basate sull'imaging (il corpus descrittivo) degrada significativamente le prestazioni, confermando che queste descrizioni sono fondamentali per l'allineamento semantico.

5. Significato e Impatto

fMRI-LM rappresenta un passo fondamentale verso un modello unificato e basato sul linguaggio per la comprensione del cervello.

• Interpretabilità: Trasformando i dati fMRI in linguaggio, il modello offre un modo scalabile per interpretare l'attività cerebrale, integrando compiti eterogenei e permettendo il trasferimento di conoscenze tra studi.
• Versatilità: La capacità di gestire domande aperte e multi-task apre la strada a nuove applicazioni cliniche e di ricerca, dove i medici o i ricercatori possono interrogare i dati cerebrali in linguaggio naturale.
• Scalabilità: L'approccio basato su descrittori sintetici risolve il problema della mancanza di dati etichettati testo-fMRI, permettendo di sfruttare la potenza degli LLM su larga scala per le neuroscienze.

In sintesi, questo lavoro stabilisce un nuovo paradigma per l'analisi dell'fMRI, spostandosi da modelli specifici per il compito a un modello fondazione universale che comprende l'attività cerebrale attraverso la lente della semantica linguistica.