Riepilogo Tecnico: Rappresentazioni Platoniche nel Cervello Umano

Enunciato del Problema

L'Ipotesi Forte delle Rappresentazioni Platoniche postula che le reti neurali artificiali addestrate indipendentemente convergano verso rappresentazioni geometricamente simili, consentendo di tradurre gli embedding tra modelli tramite uno spazio latente universale senza dati accoppiati o input condivisi. Sebbene esistano prove a supporto di ciò nei sistemi artificiali di visione e linguaggio, rimane sconosciuto se questo principio si estenda ai sistemi neurali biologici.

I metodi neuroscientifici esistenti per allineare i dati cerebrali tra soggetti (ad esempio, l'iperallineamento) fanno tipicamente affidamento su stimoli condivisi per stabilire corrispondenze intersoggettive o dipendono da spazi di riferimento esterni (ad esempio, caratteristiche derivate da modelli). La domanda centrale affrontata da questo articolo è se una geometria neurale condivisa possa essere recuperata dalle sole rappresentazioni cerebrali apprese indipendentemente, utilizzando esclusivamente la geometria intrinseca delle risposte neurali e senza campioni intersoggettivi accoppiati o rappresentazioni di modelli intermedi.

Metodologia

Gli autori propongono un framework a tre stadi per testare questa ipotesi utilizzando il Natural Scenes Dataset (NSD), in cui 8 soggetti hanno osservato immagini naturali complesse. Crucialmente, il metodo utilizza immagini specifiche del soggetto e non condivise per l'apprendimento e un set tenuto da parte di immagini condivise esclusivamente per la valutazione.

1. Apprendimento di Embedding che Preservano la Geometria (Specifici del Soggetto)

Per ogni soggetto $s$, un encoder auto-supervisionato $f_s$ mappa le risposte fMRI $X^{(s)}$ in uno spazio di embedding a bassa dimensionalità $Z^{(s)}$.

• Auto-supervisione tramite Ripetizione: Il metodo sfrutta le presentazioni ripetute degli stimoli. Invece di mediare le ripetizioni (il che presuppone l'indipendenza), l'encoder le tratta come viste rumorose di un segnale latente stabile.
• Pipeline:
  1. Pesatura dell'Affidabilità dei Voxel: I voxel vengono ripesati in base alla loro correlazione tra le ripetizioni per sopprimere il rumore.
  2. Proiezione Lineare: Le risposte pesate per l'affidabilità vengono proiettate tramite PCA, seguite da un'Analisi delle Correlazioni Canoniche Multi-Vista (MCCA) per estrarre componenti condivise tra le viste.
  3. Raffinamento Non Lineare: Un Multi-Layer Perceptron (MLP) residuo affina l'embedding lineare. Il modello è addestrato utilizzando una funzione di perdita contrastiva InfoNCE e un termine di attrazione coseno per garantire che gli embedding della stessa immagine (tra diverse ripetizioni) siano vicini, mentre gli embedding di immagini diverse siano separati.
• Obiettivo: Apprendere uno spazio di embedding $Z^{(s)}$ che rifletta l'organizzazione intrinseca delle risposte agli stimoli del soggetto senza guida esterna.

2. Traduzione Intersoggettiva a Coppie

Dati gli embedding appresi indipendentemente $\{Z^{(s)}\}$, gli autori cercano trasformazioni ortogonali $R_{s \to t}$ per tradurre lo spazio del soggetto $s$ nello spazio del soggetto $t$ senza dati accoppiati.

• Pseudo-corrispondenza: Poiché non sono disponibili immagini condivise durante l'addestramento, il metodo costruisce coppie pseudo-matching clusterizzando lo spazio di embedding di ciascun soggetto (K-means) e abbinando i centroidi in base alle strutture di similarità a coppie.
• Raffinamento Iterativo: Un approccio iterativo simile all'Iterative Closest Point (ICP) affina la soluzione di Procrustes ortogonale.
• Simmetrizzazione: La rotazione risultante viene simmetrizzata per garantire $R_{t \to s} = R_{s \to t}^\top$, un requisito per la coerenza globale.

3. Costruzione di uno Spazio Latente Condiviso (Sincronizzazione Globale)

Per andare oltre le traduzioni a coppie e stabilire un unico sistema di coordinate coerente, gli autori risolvono un problema di sincronizzazione ortogonale sul gruppo $O(d)$.

• Viene costruita una matrice a blocchi di rotazioni a coppie.
• Un metodo spettrale recupera una singola trasformazione ortogonale $R_s$ per ogni soggetto tale che $R_{s \to t} \approx R_s R_t^\top$.
• Questo mappa tutti gli embedding dei soggetti in uno spazio latente condiviso $Z$, imponendo la coerenza ciclica sul grafo dei soggetti.

Risultati Chiave

Prestazioni Within-Subject

L'encoder auto-supervisionato estrae con successo rappresentazioni stabili degli stimoli dai dati fMRI rumorosi.

• Recupero: Il modello ottiene un Mean Rank di 5.28 (casuale = 258) e un R@1 di 0.82 nel recupero di immagini corrispondenti tra ripetizioni all'interno dello stesso soggetto.
• Confronto: Questo supera le baseline neurali dirette (GLMsingle, PCA), i metodi di auto-supervisione multivista (SplitAE, DeepCCA) e le baseline guidate da modelli (CLIP, DINOv2). L'auto-supervisione basata sulla ripetizione recupera informazioni a livello di istanza più forti rispetto agli encoder guidati esternamente.

Traduzione Intersoggettiva (Non Supervisionata)

Il metodo traduce con successo gli embedding tra soggetti utilizzando esclusivamente dati non accoppiati.

• Prestazioni: Sulle immagini condivise tenute da parte, la traduzione ortogonale non supervisionata ottiene un Mean Rank di 2.56 e un R@1 di 0.78 tra le coppie di soggetti.
• Baseline: Questo supera significativamente i controlli "no-translation" (Mean Rank ~189) e l'abbinamento tramite trasporto ottimale. Supera anche le baseline guidate da modelli (ad esempio CLIP, ViT) che fanno affidamento su spazi di caratteristiche esterni.
• Geometria: Gli alti punteggi dell'Analisi di Similarità Rappresentazionale (RSA) indicano che gli spazi specifici del soggetto sono approssimativamente isometrici.

Spazio Latente Condiviso

Sincronizzare le rotazioni a coppie in un unico spazio condiviso migliora ulteriormente le prestazioni.

• Miglioramento: La sincronizzazione globale riduce il Mean Rank medio da 2.47 (a coppie) a 1.97 e aumenta l'R@1 da 0.79 a 0.83.
• Implicazione: Ciò conferma che gli spazi dei soggetti appresi indipendentemente sono reciprocamente compatibili con un sistema di coordinate comune.

Allineamento Modello-Cervello

Quando si mappano gli embedding neurali recuperati sui livelli delle reti neurali artificiali (ANN) tramite mappe lineari supervisionate:

• La regressione Ridge migliora il recupero (Mean Rank ~5.86) rispetto alle mappe semi-ortogonali, indicando che le ANN catturano informazioni sugli stimoli rilevanti.
• Tuttavia, queste mappature supervisionate rimangono inferiori alla traduzione intersoggettiva non supervisionata (Mean Rank 1.97). Ciò suggerisce che, sebbene le ANN condividano informazioni con il cervello, non condividono le stesse trasformazioni geometriche quasi-isometriche osservate tra i soggetti umani.

Significato e Affermazioni

L'articolo afferma di fornire la prima prova che l'Ipotesi Forte delle Rappresentazioni Platoniche vale per i sistemi neurali biologici. Nello specifico:

1. Geometria Condivisa: Le rappresentazioni fMRI specifiche del soggetto nella corteccia visiva umana sono approssimativamente isometriche tra gli individui.
2. Spazio Latente Universale: Queste rappresentazioni possono essere tradotte in un sistema di coordinate condiviso utilizzando trasformazioni puramente geometriche (rotazioni ortogonali) apprese dai dati intrinseci, senza campioni intersoggettivi accoppiati o ancoraggi di modelli esterni.
3. Implicazioni Pratiche: Questa geometria condivisa suggerisce che dati, encoder e decoder appresi da un soggetto potrebbero potenzialmente essere trasferiti a un altro, riducendo la necessità di una calibrazione specifica del soggetto in applicazioni come il decodifica fMRI-immagine o la generazione di dati neurali sintetici.

Gli autori rimangono modesti riguardo alle limitazioni, notando che l'analisi si basa su dati fMRI di alta qualità con ripetizioni e che la procedura di traduzione non accoppiata è sensibile all'inizializzazione. Non affermano che le ANN attuali replicano perfettamente la geometria umana, ma piuttosto che il cervello possiede una struttura universale recuperabile con cui i modelli non sono ancora pienamente allineati tramite trasformazioni isometriche.