Shared representations in brains and models reveal a two-route cortical organization during scene perception

Problema
El cerebro humano transforma las entradas visuales en representaciones corticales de alta dimensión para apoyar diversos objetivos cognitivos. Si bien está establecido que las señales sensoriales se convierten en patrones estructurados de actividad cortical a través de múltiples etapas (desde la corteza visual temprana hasta regiones aguas abajo), caracterizar cómo se organiza y enruta esta información a través del cerebro humano sigue siendo un desafío central. Específicamente, existe la necesidad de identificar qué regiones codifican aspectos específicos de la entrada sensorial, mapear las redes que enrutan esta información y distinguir entre características basadas en lo visual y representaciones semánticas más abstractas. Los modelos tradicionales a menudo dependen de la dicotomía "ventral qué / dorsal dónde", pero propuestas recientes sugieren vías más complejas y fraccionadas para el contexto de la escena y la percepción social que requieren validación empírica utilizando estímulos naturalistas.

Metodología
Los autores aplicaron un marco unificado al Conjunto de Datos de Escenas Naturales (NSD), un conjunto de datos de fMRI de 7T de alta resolución donde ocho participantes vieron miles de escenas naturales mientras realizaban una tarea de reconocimiento de memoria. La tubería de análisis integró cuatro enfoques complementarios:

1. Extracción de Características: Las superficies corticales se parcelaron en 180 regiones por hemisferio (atlas HCP-MMP). Las respuestas de fMRI de un solo ensayo se agregaron dentro de las parcelas para crear representaciones vectoriales. Simultáneamente, se extrajeron activaciones por capas de 37 redes neuronales profundas (DNN) preentrenadas, incluyendo 17 modelos Vision Transformer (ViT) y 14 modelos de lenguaje basados en Transformer (LLM), procesando tanto las imágenes como sus descripciones textuales.
2. Alineación Representacional (RSA): Los autores utilizaron el Análisis de Similitud Representacional para cuantificar la correspondencia de dos maneras:
   • RSA Inter-sujeto (IS-RSA): Correlacionando las Matrices de Disimilitud Representacional (RDM) por parcela entre participantes para estimar la geometría representacional compartida.
   • Cerebro-Modelo RSA: Correlacionando las RDM por parcela con las RDM de capas de modelos para cuantificar la alineación con los espacios de características visuales y lingüísticas.
3. Conectividad Representacional: IS-RSA se reaprovechó como una medida de conectividad entre pares de parcelas para construir una red cortical basada en la similitud de cómo las regiones organizan el conjunto de estímulos, en lugar de la proximidad anatómica.
4. Descomposición de Dimensionalidad: Se aplicó el Análisis de Correlación Canónica Multi-vista de Kernel (KMCCA) para descomponer la geometría compartida dentro de los nodos identificados en dimensiones latentes, relacionando estas dimensiones con propiedades de estímulos gruesas (por ejemplo, disposición de la escena, presencia biológica).

Para garantizar la robustez, la tubería se replicó en dos conjuntos de datos independientes (BOLD5000 y THINGS-fMRI) con diferentes conjuntos de estímulos y demandas de tarea.

Contribuciones Clave

• Marco Unificado: El estudio introduce una metodología que localiza simultáneamente la información compartida, caracteriza su enrutamiento como una red distribuida e identifica las características específicas de los estímulos que impulsan la organización, vinculándolas con características jerárquicas en las DNN.
• Organización de Dos Vías: El análisis revela una organización cortical de dos vías dissociable durante la percepción de escenas, refinando los modelos clásicos de flujo visual.
• Alineación Específica de Modalidad: El trabajo demuestra patrones de alineación distintos entre las regiones cerebrales y los modelos de IA: los modelos visuales se alinean con ambas vías de procesamiento, mientras que los modelos de lenguaje se alinean principalmente con la vía lateral.
• Geometría Impulsada por Estímulos: El estudio cuantifica cómo propiedades específicas de los estímulos (disposición de la escena frente a agentes biológicos) impulsan la geometría compartida en diferentes nodos de la red.

Resultados

1. Geometría Compartida y Nodos: IS-RSA identificó una alineación significativa a través de la corteza occipital que se extiende hacia áreas de asociación de orden superior. Tres nodos agrupados anatómicamente mostraron la geometría compartida más fuerte:
   • Corteza Visual Temprana (V1-V4): Codifica características visuales de bajo nivel.
   • Nodo Ventral: Ubicado en la corteza temporal ventromedial (VMV1-3, PHA1-3), superponiéndose con regiones selectivas de escenas como el Área de Lugar Parahipocampal (PPA).
   • Nodo de la Corteza Occipitotemporal Lateral (LOTC): Incluye el complejo sensible al movimiento MT+ y la unión temporoparietal posterior (TPOJ), regiones implicadas en el movimiento biológico y la percepción social.
2. Dos Vías de Procesamiento Distintas: El análisis de conectividad representacional reveló que el nodo de la corteza visual temprana se bifurca en dos vías dominantes:
   • Vía Ventromedial: Progresión a través de la corteza occipitotemporal ventral hacia el nodo Ventral. Esta vía está especializada en la disposición de la escena y el contexto ambiental. Se alinea con modelos visuales a través de múltiples profundidades pero muestra poca o ninguna alineación con modelos de lenguaje.
   • Vía Lateral: Progresión a través de la corteza occipital lateral hacia el nodo LOTC. Esta vía está sintonizada selectivamente con contenido animado y social. Se alinea con etapas posteriores de modelos visuales y, crucialmente, muestra una fuerte alineación con modelos de lenguaje.
3. Impulsores de Estímulos: La descomposición KMCCA reveló que la geometría compartida en el nodo Ventral varía a lo largo de un continuo de escena a objeto. En contraste, la geometría del nodo LOTC está dominada por una dimensión que separa imágenes con agentes biológicos (personas/animales) de aquellas sin ellos. Eliminar el contenido biológico redujo significativamente la alineación inter-sujeto en el nodo LOTC y debilitó la conectividad de la vía lateral.
4. Correspondencia de Modelos: Los modelos visuales capturaron la geometría compartida de ambas vías, con un gradiente de profundidad de alineación de posterior a anterior (capas superficiales para la corteza visual temprana, capas profundas para LOTC). Sin embargo, los modelos de lenguaje mostraron una alineación concentrada casi exclusivamente en el nodo LOTC, impulsada por contenido semántico a nivel de token (organización de "bolsa de palabras") en lugar de un gradiente de profundidad jerárquica.
5. Generalizabilidad: La replicación en BOLD5000 (escenas ricas) confirmó la topología de dos vías, aunque con magnitud reducida debido a una menor fiabilidad de la señal. En THINGS-fMRI (centrado en objetos, disposición mínima de escena), la vía lateral y el nodo LOTC no fueron prominentes, confirmando que la organización de dos vías depende de la presencia de contenido rico en escenas y social en el conjunto de estímulos.

Significado
El artículo afirma refinar los modelos clásicos de flujo visual caracterizando la percepción de escenas como una red cortical distribuida con vías representacionales separables para el contexto y el contenido animado. Proporciona evidencia que respalda propuestas de una vía ventromedial para el contexto de la escena y una "tercera vía visual" lateral para la percepción social. Al integrar alineación, conectividad y descomposición de dimensionalidad, el estudio ofrece una vía práctica para aprovechar datos a gran escala para avanzar más allá de preguntar si los sistemas codifican información de manera similar, hacia comprender qué información se comparte y cómo se distribuye. Los autores señalan que estos hallazgos dependen del contexto, variando con el muestreo de estímulos y las demandas de la tarea, y que el marco identifica la organización representacional en lugar de la implementación mecánica precisa. El trabajo establece un punto de referencia para futuras investigaciones sobre cómo los sistemas corticales distribuidos apoyan la percepción en entornos dinámicos.