Sintesi Tecnica: CHASMBrain

Definizione del Problema

La sfida fondamentale affrontata in questo lavoro è comprendere la corrispondenza tra le rappresentazioni visive profonde e l'organizzazione gerarchica del sistema visivo umano. Sebbene i moderni modelli di visione eccellano nel riconoscimento di immagini, il loro allineamento con l'organizzazione funzionale della corteccia visiva umana rimane una questione aperta. Nello specifico, i modelli di codifica esistenti spesso faticano a catturare simultaneamente:

1. Dettagli spaziali locali critici per le aree visive precoci (regioni retinotopiche come V1/V2).
2. Contesto semantico globale essenziale per le aree corticali di ordine superiore.
3. Alto rumore intrinseco nei segnali fMRI, che complica la regressione diretta a livello di voxel.

Gli approcci attuali spesso si affidano a feature progettate manualmente o a reti profonde monolitiche che mancano di interpretabilità biologica o non riescono a disgiungere la posizione spaziale dalla sintonizzazione delle feature.

Metodologia: CHASMBrain

Gli autori propongono CHASMBrain, un nuovo framework gerarchico a due stadi per la codifica da immagine a fMRI. L'architettura è motivata dall'organizzazione funzionale della corteccia visiva, impiegando una strategia da grossolano a fine (coarse-to-fine) e un design Mamba a doppio stream.

1. Rappresentazione dell'Input

Il modello utilizza un encoder DINOv2 pre-addestrato (ViT-B/14) per estrarre le feature visive:

• Token CLS: Un singolo vettore che riassume la semantica globale dell'immagine.
• Token di Patch: Una sequenza di 256 vettori che preserva la struttura spaziale locale.

2. Stadio 1: Predizione Grossolana (Dual-Stream Mamba)

Il primo stadio predice le attivazioni de-noizzate a livello di Regione di Interesse (ROI) piuttosto che a livello di singolo voxel per mitigare il rumore.

• Architettura Dual-Stream:
  • Ramo Globale: Elabora il token CLS utilizzando un blocco Mamba per modellare la semantica di alto livello.
  • Ramo Locale: Elabora i token di patch utilizzando uno stack più profondo di blocoli Mamba per modellare la struttura spaziale fine.
• Fusione Adattiva: Un gate apprendibile fonde dinamicamente gli output dei due rami ($\hat{r} = \alpha \cdot r_g + (1-\alpha) \cdot r_l$), permettendo al modello di enfatizzare il contesto globale per scene semplici o i dettagli locali per scene complesse.
• Aggregazione ROI: I voxel sono raggruppati in cluster non sovrapposti. Invece di una semplice media, il modello aggrega il top-$p\%$ (impostato al 70%) delle attivazioni all'interno di ogni cluster per preservare i picchi informativi sopprimendo al contempo il rumore.
• Obiettivo di Addestramento: Combina l'Errore Quadratico Medio (MSE), l'allineamento della correlazione di Pearson e una perdita contrastiva InfoNCE per allineare le feature dell'immagine con le risposte cerebrali.

3. Stadio 2: Predizione Fine (Mamba-VAE)

Il secondo stadio affina le predizioni grossolane delle ROI nelle predizioni complete a livello di voxel.

• Fusione dell'Input: Combina le predizioni ROI dello Stadio 1 con le feature visive originali (patch features aggregate e token CLS).
• Mamba-VAE:
  • Encoder: Uno stack di blocchi Mamba codifica la sequenza fusa.
  • Spazio Latente Variazionale: Un head VAE modella la variabilità trial-to-trial nelle risposte fMRI apprendendo una distribuzione latente ($\mu, \sigma$). Durante l'inferenza, viene utilizzato il valore medio ($\mu$) per la predizione deterministica.
  • Doppio Decoder:
    • Decoder Voxel Olistico: Predice l'intero vettore di voxel congiuntamente dal contesto globale utilizzando token di query apprendibili.
    • Decoder Residuo ROI: Predice i residui locali rispetto ai valori grossolani dello Stadio 1, concentrandosi su correzioni fini.
  • Recupero dell'Ampiezza: Un layer di recupero della scala apprendibile regola l'ordine di grandezza dell'output in base alla complessità dello stimolo.

Contributi Chiave

1. Framework Gerarchico a Due Stadi: CHASMBrain raggiunge una correlazione di Pearson di 0,429 e un MSE di 0,261 sul Natural Scenes Dataset (NSD), superando i recenti modelli deep (SynBrain, MindSimulator) e i forti baseline lineari (Ridge Regression, probe lineari di DINOv2).
2. Meccanismo Sequenziale da Grossolano a Fine: Separando l'allineamento semantico robusto a livello di ROI dalla raffinazione fine del voxel tramite Mamba-VAE, il modello affronta efficacemente l'alto rumore intrinseco dei segnali fMRI.
3. Specializzazione Causale degli Stream: Attraverso esperimenti di ablazione dei rami e di routing dell'input, gli autori dimostrano una specializzazione asimmetrica:
   • Lo Stream di Patch (Locale) è causalmente legato alla corteccia visiva precoce (regioni retinotopiche). La sua rimozione danneggia sproporzionatamente le predizioni delle regioni precoci.
   • Lo Stream CLS (Globale) contribuisce con un contesto semantico più ampio alle aree di ordine superiore.
   • Scambiare questi stream causa un calo asimmetrico significativo delle prestazioni (degradazione relativa di 1,9× nelle regioni precoci), confermando che la corrispondenza è causale piuttosto che meramente correlazionale.
4. Generalizzabilità Cross-Soggetto: Il backbone appreso si generalizza tra gli individui. Quando addestrato su soggetti sorgente e congelato, con solo un leggero head per soggetto sottoposto a fine-tuning, il modello raggiunge prestazioni quasi pari a quelle intra-soggetto sui soggetti non visti, suggerendo che la rappresentazione sia soggettivamente indipendente.

Risultati

• Prestazioni Quantitative: Su NSD (soggetti 1, 2, 5, 7), CHASMBrain riduce l'MSE del 26,9% rispetto al più forte probe lineare di DINOv2 (Layer 12) e supera significativamente lavori precedenti come SynBrain e MindSimulator.
• Analisi Qualitativa: Le mappe fMRI predette preservano confini regionali netti e picchi localizzati, rispecchiando da vicino le risposte neurali reali. La ricostruzione dell'immagine a valle (tramite MindEye2) dimostra una robusta ritenzione semantica, ricostruendo con successo strutture coerenti di oggetti rigidi meglio dei baseline.
• Studi di Ablazione:
  • Il design Dual-Mamba supera i modelli Mamba e Transformer a singolo stream pur utilizzando meno parametri e FLOPs.
  • La strategia di raffinamento basata su VAE supera significativamente il raffinamento basato su diffusione, che fallisce a causa della confusione tra rumore artificiale e rumore biologico.
  • È stata identificata una granularità di clustering ottimale di 30 voxel/cluster, bilanciando la riduzione del rumore nello Stadio 1 con la risoluzione spaziale per lo Stadio 2.

Significato

Il paper sostiene che CHASMBrain colmi il divario tra le rappresentazioni visive artificiali e l'attività neurale umana incorporando prior corticali. Separando esplicitamente i parametri di posizione spaziale dai parametri di peso delle feature, il modello consente l'ispezione diretta delle strutture dei campi recettivi. L'evidenza causale della specializzazione degli stream suggerisce che il modello cattura una rappresentazione visiva biologicamente plausibile che rispecchia le vie "dove" (dorsale/precoce) e "cosa" (ventrale/superiore) del cervello umano. Inoltre, la generalizzabilità cross-soggetto indica che il modello apprende principi visivi fondamentali piuttosto che fare overfitting sul rumore specifico del soggetto.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Il limite superiore predittivo è vincolato dal tetto del rumore fisiologico della fMRI ($r \approx 0,60$).
• La pipeline si affida a un encoder DINOv2 congelato, orientato verso immagini statiche e centrate sull'oggetto, che potrebbe mancare di dinamiche temporali.
• La valutazione cross-dataset non è ancora stata eseguita a causa dei diversi protocolli di acquisizione.
• La ricostruzione visiva a valle è limitata dai prior generativi del decoder fMRI-to-image.