Shared representations in brains and models reveal a two-route cortical organization during scene perception

Problema
Il cervello umano trasforma gli input visivi in rappresentazioni corticali ad alta dimensionalità per supportare obiettivi cognitivi diversificati. Sebbene sia stabilito che i segnali sensoriali vengono convertiti in pattern strutturati di attività corticale attraverso molteplici stadi (dalla corteccia visiva primaria alle regioni a valle), caratterizzare come queste informazioni siano organizzate e instradate attraverso il cervello umano rimane una sfida centrale. Nello specifico, è necessario identificare quali regioni codificano aspetti specifici dell'input sensoriale, mappare le reti che instradano queste informazioni e distinguere tra caratteristiche basate sulla visione e rappresentazioni semantiche più astratte. I modelli tradizionali spesso fanno affidamento sulla dicotomia "ventrale cosa / dorsale dove", ma proposte recenti suggeriscono percorsi più complessi e frazionati per il contesto della scena e la percezione sociale, che richiedono una validazione empirica mediante stimoli naturalistici.

Metodologia
Gli autori hanno applicato un framework unificato al Natural Scenes Dataset (NSD), un dataset fMRI ad alta risoluzione a 7T in cui otto partecipanti hanno osservato migliaia di scene naturali mentre eseguivano un compito di riconoscimento della memoria. La pipeline di analisi ha integrato quattro approcci complementari:

1. Estrazione delle Caratteristiche: Le superfici corticali sono state parcellizzate in 180 regioni per emisfero (atlante HCP-MMP). Le risposte fMRI per singolo tentativo sono state aggregate all'interno delle parcelle per creare rappresentazioni vettoriali. Contemporaneamente, le attivazioni a livello di strato sono state estratte da 37 reti neurali profonde (DNN) preaddestrate, inclusi 17 modelli Vision Transformer (ViT) e 14 modelli linguistici basati su Transformer (LLM), elaborando sia le immagini che le loro didascalie testuali.
2. Allineamento Rappresentazionale (RSA): Gli autori hanno utilizzato l'Analisi di Similarità Rappresentazionale per quantificare la corrispondenza in due modi:
   • IS-RSA (Inter-soggetto): Correlando le Matrici di Dissimilarità Rappresentazionale (RDM) per parcella tra i partecipanti per stimare la geometria rappresentazionale condivisa.
   • Brain-Model RSA: Correlando le RDM per parcella con le RDM dei livelli del modello per quantificare l'allineamento con gli spazi delle caratteristiche visive e linguistiche.
3. Connessione Rappresentazionale: L'IS-RSA è stato riutilizzato come misura di connettività tra coppie di parcelle per costruire una rete corticale basata sulla similarità di come le regioni organizzano l'insieme degli stimoli, piuttosto che sulla prossimità anatomica.
4. Decomposizione della Dimensionalità: È stata applicata l'Analisi di Correlazione Canonica Multi-vista a Kernel (KMCCA) per decomporre la geometria condivisa all'interno degli hub identificati in dimensioni latenti, collegando queste dimensioni a proprietà grossolane degli stimoli (ad esempio, disposizione della scena, presenza biologica).

Per garantire la robustezza, la pipeline è stata replicata su due dataset indipendenti (BOLD5000 e THINGS-fMRI) con diversi insiemi di stimoli e requisiti di compito.

Contributi Chiave

• Framework Unificato: Lo studio introduce una metodologia che localizza simultaneamente le informazioni condivise, ne caratterizza l'instradamento come una rete distribuita e identifica le specifiche caratteristiche degli stimoli che guidano l'organizzazione, collegandole alle caratteristiche gerarchiche nelle DNN.
• Organizzazione a Due Vie: L'analisi rivela un'organizzazione corticale a due vie dissociabili durante la percezione della scena, affinando i modelli classici del flusso visivo.
• Allineamento Specifico per Modalità: Il lavoro dimostra pattern di allineamento distinti tra le regioni cerebrali e i modelli di intelligenza artificiale: i modelli visivi si allineano con entrambe le vie di elaborazione, mentre i modelli linguistici si allineano principalmente con la via laterale.
• Geometria Guidata dagli Stimoli: Lo studio quantifica come specifiche proprietà degli stimoli (disposizione della scena vs. agenti biologici) guidino la geometria condivisa in diversi hub di rete.

Risultati

1. Geometria Condivisa e Hub: L'IS-RSA ha identificato un allineamento significativo attraverso la corteccia occipitale che si estende fino alle aree associative di ordine superiore. Tre hub raggruppati anatomicamente hanno mostrato la geometria condivisa più forte:
   • Corteccia Visiva Iniziale (V1-V4): Codifica caratteristiche visive di basso livello.
   • Hub Ventrale: Situato nella corteccia temporale ventromediale (VMV1-3, PHA1-3), sovrapposto a regioni selettive per la scena come l'Area Parahippocampale (PPA).
   • Hub della Corteccia Occipitotemporale Laterale (LOTC): Include il complesso MT+ selettivo per il movimento e la giunzione temporo-parietale posteriore (TPOJ), regioni implicate nel movimento biologico e nella percezione sociale.
2. Due Vie di Elaborazione Distinte: L'analisi della connettività rappresentazionale ha rivelato che l'hub della corteccia visiva iniziale si biforca in due vie dominanti:
   • Via Ventromediale: Procede attraverso la corteccia occipitotemporale ventrale fino all'hub ventrale. Questa via è specializzata nella disposizione della scena e nel contesto ambientale. Si allinea con i modelli visivi attraverso molteplici profondità ma mostra poco o nessun allineamento con i modelli linguistici.
   • Via Laterale: Procede attraverso la corteccia occipitale laterale fino all'hub LOTC. Questa via è sintonizzata selettivamente su contenuti animati e sociali. Si allinea con le fasi successive dei modelli visivi e, crucialmente, mostra un forte allineamento con i modelli linguistici.
3. Driver degli Stimoli: La decomposizione KMCCA ha rivelato che la geometria condivisa nell'hub ventrale varia lungo un continuum da scena a oggetto. Al contrario, la geometria dell'hub LOTC è dominata da una dimensione che separa le immagini con agenti biologici (persone/animali) da quelle senza. La rimozione del contenuto biologico ha ridotto significativamente l'allineamento inter-soggetto nell'hub LOTC e indebolito la connettività della via laterale.
4. Corrispondenza dei Modelli: I modelli visivi hanno catturato la geometria condivisa di entrambe le vie, con un gradiente posteriore-anteriore nella profondità di allineamento (strati superficiali per la corteccia visiva iniziale, strati profondi per la LOTC). I modelli linguistici, tuttavia, hanno mostrato un allineamento concentrato quasi esclusivamente nell'hub LOTC, guidato dal contenuto semantico a livello di token (organizzazione "bag-of-words") piuttosto che da un gradiente di profondità gerarchica.
5. Generalizzabilità: La replicazione su BOLD5000 (scene ricche) ha confermato la topologia a due vie, sebbene con una magnitudine ridotta a causa di una minore affidabilità del segnale. In THINGS-fMRI (centrato sugli oggetti, con disposizione della scena minima), la via laterale e l'hub LOTC non erano prominenti, confermando che l'organizzazione a due vie dipende dalla presenza di contenuti ricchi di scena e sociali nell'insieme degli stimoli.

Significato
Il paper afferma di affinare i modelli classici del flusso visivo caratterizzando la percezione della scena come una rete corticale distribuita con vie rappresentazionali separabili per il contesto e i contenuti animati. Fornisce prove a sostegno delle proposte di una via ventromediale per il contesto della scena e di una "terza via visiva" laterale per la percezione sociale. Integrando allineamento, connettività e decomposizione della dimensionalità, lo studio offre una via pratica per sfruttare dati su larga scala per andare oltre la domanda se i sistemi codifichino informazioni in modo simile, verso la comprensione di quali informazioni siano condivise e come siano distribuite. Gli autori notano che questi risultati sono dipendenti dal contesto, variando con il campionamento degli stimoli e i requisiti del compito, e che il framework identifica l'organizzazione rappresentazionale piuttosto che l'implementazione meccanica precisa. Il lavoro stabilisce un punto di riferimento per la ricerca futura su come i sistemi corticali distribuiti supportino la percezione in ambienti dinamici.