Sintesi Tecnica: Allineamento Latente Cross-Soggetto Guidato dal Task tramite MED-VAE Multi-Encoder-Decoder

Definizione del Problema

Allineare l'attività neurale tra diversi individui è essenziale per scoprire principi computazionali condivisi e costruire decoder generalizzabili nei sistemi neuroscientifici. Tuttavia, i metodi di allineamento tradizionali (ad esempio, Shared Response Models, analisi di Procrustes, Hyperalignment) si basano su un vincolo critico: richiedono stimoli condivisi visualizzati da tutti i soggetti per derivare le matrici di trasformazione. Questa limitazione ne restringe severamente l'applicabilità ai paradigmi naturalistici in cui i soggetti visualizzano dati ampiamente non sovrapponibili o non condivisi, impedendo l'aggregazione di dataset di neuroimaging su larga scala e cross-studio. Inoltre, i metodi addestrati esclusivamente su subset condivisi spesso non riescono a generalizzare su stimoli non condivisi e "held-out", poiché le loro trasformazioni di allineamento potrebbero non catturare l'intero spazio rappresentazionale richiesto da dataset più ampi.

Metodologia: MED-VAE

Gli autori introducono il Multi-Encoder-Decoder Variational Autoencoder (MED-VAE), un framework progettato per ottenere l'allineamento cross-subject senza richiedere stimoli condivisi. L'intuizione centrale è l'utilizzo di una Rete Neurale Artificiale (ANN) pre-addestrata come "impalcatura" (scaffold) computazionale per ancorare le rappresentazioni di diversi soggetti in uno spazio latente comune.

Architettura

Il MED-VAE impiega un'architettura a pathway multipli:

1. Encoder Specifici per Soggetto: Ogni soggetto $i$ ha un encoder dedicato ($Enc_{fMRI}^i$) che mappa le sue risposte fMRI ($x_{fMRI}^i$) in uno spazio latente condiviso di dimensione $d$ ($z_i$).
2. Encoder ANN Condiviso: Un encoder condiviso ($Enc_{ANN}$) mappa le feature da una ANN pre-addestrata (specificamente ResNet-50) nello stesso spazio latente.
3. Decoder Specifici per Soggetto: Ogni soggetto ha un decoder dedicato ($Dec_{fMRI}^i$) che ricostruisce i propri pattern di voxel originali dal campo latente.
4. Decoder ANN Condiviso: Un decoder universale ($Dec_{ANN}$) ricostruisce le feature della ANN da qualsiasi rappresentazione latente (derivata sia dall'fMRI che dall'ANN stessa).

Obiettivo di Addestramento

Il modello è addestrato utilizzando una funzione di perdita che integra quattro pathway di ricostruzione con regolarizzazione KL:

• All'interno della modalità fMRI: Ricostruire i dati fMRI di un soggetto a partire dal proprio codice latente.
• Cross-modale ANN $\to$ fMRI: Ricostruire i dati fMRI di un soggetto a partire dal codice latente generato dall'encoder della ANN.
• All'interno della modalità ANN: Ricostruire le feature della ANN a partire dal codice latente dell'encoder della ANN.
• Cross-modale fMRI $\to$ ANN: Ricostruire le feature della ANN a partire da un codice latente derivato dall'fMRI di un soggetto.

Il decoder ANN condiviso funge da meccanismo primario di allineamento. Forzando le rappresentazioni latenti di tutti i soggetti a ricostruire le stesse feature visive gerarchiche e le relazioni semantiche codificate dalla ANN, il modello impone una pressione di allineamento implicita. Ciò assicura che stimoli semanticamente simili (anche se visualizzati da soggetti diversi) vengano mappati in posizioni prossimali nello spazio latente condiviso. Fondamentalmente, lo scaffold della ANN è richiesto solo durante l'addestramento; in fase di inferenza, i soggetti vengono proiettati nello spazio condiviso utilizzando solo i propri encoder fMRI.

Contributi Chiave

1. Eliminazione degli Stimoli Condivisi: MED-VAE ottiene l'allineamento cross-subject senza richiedere che i soggetti visualizzino stimoli identici, affidandosi invece alle prior strutturali di una ANN pre-addestrata.
2. Organizzazione Semantica: Il metodo produce spazi latenti con una superiore organizzazione semantica, come dimostrato da punteggi silhouette più elevati e una migliore accuratezza di decoding delle categorie cross-subject rispetto ai metodi tradizionali.
3. Generalizzazione Robusta: A differenza dei metodi tradizionali che degradano su stimoli non condivisi, MED-VAE dimostra una robusta generalizzazione a immagini "held-out", catturando rappresentazioni invarianti per il soggetto piuttosto che fare overfitting su specifici subset condivisi.
4. Preservazione del Segnale: La valutazione cross-trial rivela che, mentre i metodi tradizionali possono mostrare una ricostruzione intra-trial più elevata (spesso catturando il rumore specifico del trial), MED-VAE preserva un livello equivalente di segnale guidato dallo stimolo, sopprimendo al contempo il rumore.
5. Utilità a Valle (Downstream): Lo spazio allineato consente una superiore predizione neurale cross-subject e il decoding di immagini, permettendo la ricostruzione dell'attività cerebrale di un soggetto partendo dalla rappresentazione latente di un altro.

Risultati

Gli esperimenti sono stati condotti utilizzando il Natural Scenes Dataset (NSD), che coinvolge 8 soggetti che visualizzano circa 10.000 immagini naturali con una sovrapposizione minima.

• Struttura Semantica: Gli spazi latenti di MED-VAE hanno mostrato punteggi silhouette significativamente più alti (0.34) rispetto a SRM (0.22) e Procrustes (0.21), indicando un clustering coerente delle categorie semantiche. Il decoding "leave-one-subject-out" ha inoltre prodotto un'accuratezza maggiore per MED-VAE.
• Metriche di Allineamento: MED-VAE ha ottenuto una correlazione componente-per-componente più elevata (0.64 vs 0.52/0.45) e punteggi di Analisi di Similarità Rappresentazionale (RSA) superiori (0.63 vs 0.41/0.41) rispetto ai baseline.
• Gap di Generalizzazione: I metodi tradizionali (SRM, Procrustes) hanno mostrato un calo significativo delle prestazioni quando valutati su un set "held-out" semi-condiviso (128 immagini) rispetto al loro set di addestramento, mentre MED-VAE ha mantenuto prestazioni costanti, indicando che non dipendeva dalla sovrapposizione degli stimoli per l'allineamento.
• Retrieval Cross-Subject: MED-VAE ha raggiunto un'accuratezza di retrieval top-1 del 46.2% sul set held-out, più del doppio rispetto a SRM (21.8%) e Procrustes (18.4%).
• Rumore vs Segnale: Le metriche di ricostruzione intra-trial favorivano i metodi tradizionali, ma la valutazione cross-trial (correlazione della ricostruzione del Trial $i$ con il ground truth del Trial $j$) non ha mostrato differenze significative tra i metodi. Ciò conferma che il vantaggio dei metodi tradizionali era dovuto alla ricostruzione del rumore specifico del trial, mentre MED-VAE preservava il segnale guidato dallo stimolo in modo equivalente.
• Decoding di Immagini: Quando le predizioni cross-subject sono state alimentate in un decoder MindEye2 congelato, MED-VAE ha superato i baseline in misure semantiche di alto livello (ad esempio, similitudine CLIP, punteggi Inception), particolarmente in spazi a bassa dimensionalità (32D).

Significato e Rivendicazioni

L'articolo sostiene che MED-VAE fornisca un framework per identificare subspazi comuni generalizzabili per predizioni cross-subject e task a valle senza il collo di bottiglia degli stimoli condivisi. Sostituendo l'esplicito matching degli stimoli con vincoli impliciti derivanti da una ANN pre-addestrata, il metodo consente:

• Analisi a livello di popolazione su dati provenienti da soggetti scansionati sotto protocolli differenti o che visualizzano stimoli diversi.
• Predizione neurale cross-subject e decoding di immagini con un minimo di calibrazione per soggetto.
• Data augmentation per soggetti con tempi di scansione limitati, sfruttando i dati allineati di altri soggetti.

Gli autori sottolineano che lo spazio comune cattura l'organizzazione computazionale della rappresentazione visiva (struttura categorica e relazioni semantiche) piuttosto che corrispondenze statistiche arbitrarie. Notano inoltre che la qualità dell'allineamento è fondamentalmente limitata dalla corrispondenza modello-cervello dello scaffold ANN scelto (ad esempio, ResNet-50), suggerendo che scaffold con una modellazione dinamica o temporale più forte potrebbero migliorare ulteriormente l'allineamento in futuro. Il framework è presentato come un passo verso l'aggregazione di dati neurali tra studi e individui per investigazioni neuroscientifiche più potenti.