Learning Robust and Task-Invariant Functional Representation from fMRI through Siamese Self-Supervised Learning

Riepilogo Tecnico: Apprendimento di Rappresentazioni Funzionali Robuste e Invarianti al Compito dall'fMRI tramite Apprendimento Auto-Supervisionato Siamese

Enunciato del Problema

La risonanza magnetica funzionale (fMRI) è uno strumento critico per l'indagine della funzione cerebrale, tuttavia la sua applicazione nell'apprendimento automatico è ostacolata dagli elevati costi di acquisizione dei dati, dalle piccole dimensioni dei campioni e dal rumore intrinseco delle scale di valutazione psichiatrica. Questi fattori, combinati con l'alta dimensionalità dei dati fMRI, creano un rischio significativo di sovradattamento del modello in contesti di apprendimento supervisionato. Inoltre, i framework supervisionati esistenti spesso fanno affidamento su etichette di classificazione binaria che collassano sottotipi di malattie diversi, offuscando differenze significative e riducendo l'interpretabilità. Sebbene i modelli fondazionali su larga scala offrano una potenziale soluzione, i loro requisiti computazionali per il pre-addestramento e il fine-tuning sono spesso proibitivi. Inoltre, definire esempi "negativi" generalizzabili per l'apprendimento contrastivo nell'fMRI è impegnativo, poiché trattare soggetti diversi come negativi può scartare pattern funzionali condivisi, mentre l'uso di etichette di compito per costruire negativi può intrecciare le caratteristiche con spazi di compito specifici, limitando la generalizzazione trasversale ai compiti.

Metodologia: BrainSimSiam

Gli autori introducono BrainSimSiam, un framework di apprendimento di rappresentazioni auto-supervisionato leggero ed efficiente dal punto di vista dei dati, progettato per apprendere rappresentazioni funzionali robuste e invarianti al compito da fMRI basate su compiti. Il framework utilizza un'architettura siamese con un meccanismo di stop-gradient, eliminando la necessità di coppie di campioni negativi.

Componenti Architetturali Chiave:

1. Input a Doppia Vista: Il modello elabora due viste complementari dei dati fMRI per ogni istanza:
   • Vista del Grafo Cerebrale Funzionale: La serie fMRI è parcellizzata in Regioni di Interesse (ROI) utilizzando atlanti standard (Shen per HCP, Desikan–Killiany per Biopoint). Le caratteristiche dei nodi sono derivate da matrici di correlazione di Pearson, mentre gli archi rappresentano i coefficienti di correlazione parziale più forti.
   • Vista dell'Immagine di Attivazione Spaziale: Viene generata una mappa di attivazione media 3D mediante media temporale voxel-per-voxel della serie temporale fMRI, preservando l'intensità del segnale assoluta.
2. Architettura dell'Encoder: L'encoder è composto da due rami paralleli:
   • Un ramo GNN che utilizza livelli di Graph Attention Network (GAT) con pooling medio globale e massimo.
   • Un ramo CNN che utilizza livelli convoluzionali 3D.
   • Gli output da entrambi i rami sono concatenati e passati attraverso un MLP di proiezione per produrre l'embedding finale.
3. Augmentation e Mascheramento:
   • Mascheramento Allineato ROI Grafo-Immagine: Un operatore innovativo che occlude congiuntamente i voxel nell'immagine 3D corrispondenti ai nodi eliminati nel grafo. Ciò garantisce una perturbazione coerente attraverso entrambe le viste.
   • Perdita di Invarianza al Compito: Per apprendere rappresentazioni che si generalizzano attraverso i compiti, il framework introduce un termine di perdita che incoraggia il modello a preservare pattern funzionali spontanei e invarianti al compito. Ciò è ottenuto campionando una scansione dallo stesso soggetto sotto un diverso compito e minimizzando la perdita di similarità coseno tra la vista originale e questa vista trasversale al compito.
4. Obiettivo di Addestramento: Il modello minimizza una perdita simmetrica di similarità coseno tra gli output dell'encoder e una testa di predittore, utilizzando un'operazione di stop-gradient su un ramo per prevenire il collasso del modello senza campioni negativi.

Contributi Chiave

1. Sviluppo del Framework: Gli autori hanno sviluppato BrainSimSiam, un framework auto-supervisionato per fMRI basata su compiti che supera sia le linee di base supervisionate che quelle auto-supervisionate esistenti su più dataset.
2. Vista Multimodale Unificata: Il lavoro unifica le viste fMRI voxel-per-voxel e basate su grafi funzionali tramite uno schema di mascheramento congiunto delle ROI. Questo meccanismo supporta una potenziale fusione multimodale allineando le reti strutturate a grafo con risonanza magnetica strutturale (pesata in T1) o di diffusione registrata.
3. Apprendimento Invariante al Compito: Sfruttando i contrasti tra stimoli di compiti diversi come augmentation naturali, il framework impara a disintrecciare le risposte evocate dalle dinamiche cerebrali spontanee, risultando in rappresentazioni invarianti al compito.

Risultati Sperimentali

Il framework è stato valutato su due dataset: il Human Connectome Project (HCP) (1.005 soggetti, 7 paradigmi di compito) e il dataset Biopoint (75 soggetti con ASD, 43 controlli sani).

• Prestazioni: BrainSimSiam ha costantemente superato le linee di base supervisionate (GCN, GAT, GraphSAGE con CNN) e le linee di base auto-supervisionate (CGL, CGL-CNN) attraverso compiti di classificazione (sesso biologico, ASD) e regressione (punteggi cognitivi, età).
  • Sul dataset HCP, il modello BrainSimSiam fine-tuned end-to-end ha raggiunto un'accuratezza del 91,9% e un AUC di 0,980 per la classificazione del sesso biologico, competitivo con modelli fondazionali più grandi come NeuroSTORM ma con significativamente meno parametri (52 milioni).
  • Sul più piccolo dataset Biopoint, i benefici dell'auto-supervisione sono stati amplificati. In particolare, il probing MLP (congelando l'encoder pre-addestrato) ha superato il fine-tuning end-to-end, indicando che le rappresentazioni apprese sono robuste e mitigano il sovradattamento in scenari con dati limitati.
• Studi di Ablazione: Rimuovere l'MLP di proiezione, la perdita di invarianza al compito o uno dei rami GNN/CNN ha degradato significativamente le prestazioni, confermando la necessità di un'integrazione non lineare delle caratteristiche di grafo e immagine e il valore dei vincoli invarianti al compito.
• Analisi Qualitativa: L'analisi di correlazione zero-shot ha mostrato che le caratteristiche dagli embedding appresi avevano correlazioni più elevate con fenotipi biologici e comportamentali (ad esempio, età, sesso, punteggi cognitivi) rispetto alle metriche tradizionali di connettività funzionale (FC).
• Interpretabilità: Utilizzando GNNExplainer, gli autori hanno dimostrato che mentre il pre-addestramento apprende da segnali distribuiti su tutto il cervello, le mappe di importanza specifiche per il compito a valle diventano localizzate in regioni salienti (ad esempio, talamo destro per la classificazione del sesso, giro frontale superiore per l'ASD), allineandosi alla letteratura neuroscientifica precedente.

Significato e Affermazioni

Il documento afferma che il pre-addestramento auto-supervisionato specifico per il dataset produce rappresentazioni robuste e generalizzabili per l'fMRI, consentendo previsioni accurate di fenotipi eterogenei anche con dati limitati. A differenza dei modelli fondazionali su larga scala che richiedono risorse computazionali massive e armonizzazione tra diversi dataset pubblici, BrainSimSiam dimostra che un approccio leggero ed efficiente dal punto di vista dei dati può avvicinarsi alle prestazioni dei modelli su larga scala superando al contempo le linee di base puramente supervisionate. Gli autori sottolineano che il loro metodo affronta efficacemente le sfide del rumore delle etichette, delle piccole dimensioni dei campioni e della necessità di caratteristiche invarianti al compito nella neuroimmagine, offrendo una via pratica per applicazioni con dati limitati.