Shared representations in brains and models reveal a two-route cortical organization during scene perception

Problema
O cérebro humano transforma entradas visuais em representações corticais de alta dimensão para suportar diversos objetivos cognitivos. Embora seja estabelecido que os sinais sensoriais são convertidos em padrões estruturados de atividade cortical através de múltiplos estágios (do córtex visual precoce até regiões a jusante), caracterizar como essa informação é organizada e roteada através do cérebro humano permanece um desafio central. Especificamente, há uma necessidade de identificar quais regiões codificam aspectos específicos da entrada sensorial, mapear as redes que roteiam essa informação e distinguir entre características fundamentadas visualmente e representações semânticas mais abstratas. Modelos tradicionais frequentemente dependem da dicotomia "ventral o quê / dorsal onde", mas propostas recentes sugerem caminhos mais complexos e fracionados para o contexto da cena e a percepção social que requerem validação empírica usando estímulos naturalísticos.

Metodologia
Os autores aplicaram um quadro unificado ao Conjunto de Dados de Cenas Naturais (NSD), um conjunto de dados fMRI de 7T de alta resolução onde oito participantes visualizaram milhares de cenas naturais enquanto realizavam uma tarefa de reconhecimento de memória. O pipeline de análise integrou quatro abordagens complementares:

1. Extração de Características: As superfícies corticais foram parceladas em 180 regiões por hemisfério (atlas HCP-MMP). Respostas fMRI de tentativa única foram agregadas dentro dos parcelas para criar representações vetoriais. Concurrentemente, ativações por camadas foram extraídas de 37 redes neurais profundas (DNNs) pré-treinadas, incluindo 17 modelos Vision Transformer (ViT) e 14 modelos de linguagem baseados em Transformer (LLMs), processando tanto as imagens quanto suas legendas textuais.
2. Alinhamento Representacional (RSA): Os autores utilizaram Análise de Similaridade Representacional para quantificar a correspondência de duas maneiras:
   • RSA Inter-sujeito (IS-RSA): Correlacionando Matrizes de Dissimilaridade Representacional (RDMs) por parcela entre participantes para estimar a geometria representacional compartilhada.
   • RSA Cérebro-Modelo: Correlacionando RDMs de parcelas com RDMs de camadas de modelo para quantificar o alinhamento com espaços de características de visão e linguagem.
3. Conectividade Representacional: O IS-RSA foi reaproveitado como uma medida de conectividade entre pares de parcelas para construir uma rede cortical baseada na similaridade de como as regiões organizam o conjunto de estímulos, em vez da proximidade anatômica.
4. Decomposição de Dimensionalidade: A Análise de Correlação Canônica Multi-visão de Kernel (KMCCA) foi aplicada para decompor a geometria compartilhada dentro dos hubs identificados em dimensões latentes, relacionando essas dimensões a propriedades grosseiras dos estímulos (por exemplo, layout da cena, presença biológica).

Para garantir robustez, o pipeline foi replicado em dois conjuntos de dados independentes (BOLD5000 e THINGS-fMRI) com diferentes conjuntos de estímulos e demandas de tarefa.

Principais Contribuições

• Quadro Unificado: O estudo introduz uma metodologia que localiza simultaneamente a informação compartilhada, caracteriza seu roteamento como uma rede distribuída e identifica as características específicas dos estímulos que impulsionam a organização, vinculando-as a características hierárquicas em DNNs.
• Organização de Duas Rotas: A análise revela uma organização cortical de duas rotas dissociáveis durante a percepção de cenas, refinando os modelos clássicos de fluxo visual.
• Alinhamento Específico à Modalidade: O trabalho demonstra padrões de alinhamento distintos entre regiões cerebrais e modelos de IA: modelos de visão alinham-se com ambas as rotas de processamento, enquanto modelos de linguagem alinham-se principalmente com a rota lateral.
• Geometria Impulsionada por Estímulos: O estudo quantifica como propriedades específicas dos estímulos (layout da cena versus agentes biológicos) impulsionam a geometria compartilhada em diferentes hubs de rede.

Resultados

1. Geometria Compartilhada e Hubs: O IS-RSA identificou alinhamento significativo através do córtex occipital estendendo-se para áreas de associação de ordem superior. Três hubs agrupados anatomicamente mostraram a geometria compartilhada mais forte:
   • Córtex Visual Precoce (V1-V4): Codificando características visuais de baixo nível.
   • Hub Ventral: Localizado no córtex temporal ventromedial (VMV1-3, PHA1-3), sobrepondo-se a regiões seletivas para cenas como a Área do Lugar Parahipocampal (PPA).
   • Hub do Córtex Occipitotemporal Lateral (LOTC): Incluindo o complexo MT+ seletivo para movimento e a junção temporoparietal posterior (TPOJ), regiões implicadas em movimento biológico e percepção social.
2. Duas Rotas de Processamento Distintas: A análise de conectividade representacional revelou que o Hub Visual Precoce bifurca-se em duas rotas dominantes:
   • Rota Médial-Ventral: Progrida através do córtex occipitotemporal ventral até o Hub Ventral. Esta rota é especializada em layout de cena e contexto ambiental. Alinha-se com modelos de visão em múltiplas profundidades, mas mostra pouco ou nenhum alinhamento com modelos de linguagem.
   • Rota Lateral: Progrida através do córtex occipital lateral até o Hub LOTC. Esta rota é sintonizada seletivamente para conteúdo animado e social. Alinha-se com estágios posteriores de modelos de visão e, crucialmente, mostra forte alinhamento com modelos de linguagem.
3. Impulsionadores de Estímulos: A decomposição KMCCA revelou que a geometria compartilhada no Hub Ventral varia ao longo de um contínuo de cena para objeto. Em contraste, a geometria do Hub LOTC é dominada por uma dimensão que separa imagens com agentes biológicos (pessoas/animais) daquelas sem. Remover conteúdo biológico reduziu significativamente o alinhamento inter-sujeito no Hub LOTC e enfraqueceu a conectividade da rota lateral.
4. Correspondência de Modelo: Modelos de visão capturaram a geometria compartilhada de ambas as rotas, com um gradiente posterior-anterior na profundidade de alinhamento (camadas rasas para Visual Precoce, camadas profundas para LOTC). Modelos de linguagem, no entanto, mostraram alinhamento concentrado quase exclusivamente no Hub LOTC, impulsionado por conteúdo semântico ao nível de tokens (organização "saco de palavras") em vez de um gradiente de profundidade hierárquica.
5. Generalizabilidade: A replicação no BOLD5000 (cenas ricas) confirmou a topologia de duas rotas, embora com magnitude reduzida devido à menor confiabilidade do sinal. No THINGS-fMRI (centrado em objetos, layout de cena mínimo), a rota lateral e o Hub LOTC não foram proeminentes, confirmando que a organização de duas rotas depende da presença de conteúdo rico de cena e social no conjunto de estímulos.

Significado
O artigo afirma refinar os modelos clássicos de fluxo visual ao caracterizar a percepção de cenas como uma rede cortical distribuída com rotas representacionais separáveis para contexto e conteúdo animado. Fornece evidências apoiando propostas de uma via ventromedial para contexto de cena e uma "terceira via visual" lateral para percepção social. Ao integrar alinhamento, conectividade e decomposição de dimensionalidade, o estudo oferece uma rota prática para aproveitar dados em grande escala para avançar além de perguntar se os sistemas codificam informação de forma similar, rumo a entender que informação é compartilhada e como ela é distribuída. Os autores observam que essas descobertas são dependentes do contexto, variando com a amostragem de estímulos e demandas de tarefa, e que o quadro identifica organização representacional em vez da implementação mecânica precisa. O trabalho estabelece um marco para pesquisas futuras sobre como sistemas corticais distribuídos suportam a percepção em ambientes dinâmicos.