Language-aligned models and structured scene descriptions reveal sensitivity to compositional scene structure in the high-level visual cortex

Resumen Técnico

Problema y Motivación
Las escenas naturales se definen no meramente por los objetos que contienen, sino por las relaciones estructuradas entre esas entidades, incluyendo el diseño espacial, las asociaciones semánticas, las interacciones sociales y las acciones. Si bien el sistema visual extrae rápidamente dicha información estructural para interpretar el significado de la escena, sigue sin estar claro si la corteza visual de alto nivel codifica esta estructura compositiva o si refleja primordialmente la coocurrencia de entidades individuales. Trabajos previos han establecido que los modelos de visión alineados con el lenguaje predicen mejor las respuestas cerebrales que los modelos de solo visión, pero la base de esta ventaja es objeto de debate: puede derivar de etiquetas semánticas más ricas o de la capacidad de capturar una organización relacional estructurada. Este estudio tiene como objetivo disociar la sensibilidad a la organización estructurada de la escena de la sensibilidad a la mera presencia de elementos de la escena.

Metodología
Los autores utilizaron datos de fMRI de 7T del Natural Scenes Dataset (NSD), que comprende las respuestas de ocho participantes observando 10,000 imágenes naturales únicas. El estudio empleó dos enfoques complementarios dentro de un marco de codificación:

1. Manipulación Lingüística: Para cada imagen, un modelo generativo de visión-lenguaje (Qwen 2.5-VL) produjo una descripción narrativa. Los autores construyeron múltiples espacios de características lingüísticas para manipular sistemáticamente la estructura controlando el contenido léxico:

   • Narrativa Completa: Descripciones coherentes e intactas.
   • Bolsa de Palabras (Bag-of-Words): Las mismas palabras que la narrativa pero en orden aleatorio, rompiendo la estructura sintáctica y relacional.
   • Palabras de Contenido: Sustantivos, verbos y adjetivos en orden aleatorio (excluyendo palabras funcionales).
   • Categorías Aisladas: Modelos entrenados únicamente en sustantivos, verbos o adjetivos.
   • Descripciones Regeneradas: Un control donde se eliminaron las palabras funcionales de la narrativa original y un modelo de lenguaje regeneró una oración gramatical utilizando únicamente las palabras de contenido originales. Esto evaluó si la ventaja de la narrativa se debía a una gramaticalidad genérica o a una organización relacional específica de la imagen.
   • Los embeddings de texto se derivaron utilizando codificadores CLIP (ViT-L/14) y RoBERTa.

2. Comparación de Modelos Computacionales: Los autores compararon la predictibilidad neural entre un modelo de visión alineado con el lenguaje (SigLIP2) y un modelo de solo visión auto-supervisado (DINOv3). Ambos modelos compartían arquitecturas similares (Vision Transformer Large) y escalas de entrenamiento similares, pero diferían en sus objetivos de aprendizaje (pérdida de contraste imagen-texto frente a aprendizaje visual auto-supervisado).

Codificación y Análisis
Se ajustaron modelos de regresión de cresta (ridge regression) por vóxel para predecir las respuestas de fMRI a partir de los espacios de características. El estudio utilizó la partición de la varianza para calcular la varianza explicada única ($R^2_{unique}$). Esta métrica aisló la contribución de un conjunto de características específico (por ejemplo, la estructura narrativa) midiendo la caída en el rendimiento de la predicción cuando ese conjunto se elimina de un modelo conjunto que contiene tanto el conjunto objetivo como un control base (por ejemplo, la bolsa de palabras). La significancia estadística se evaluó mediante el remuestreo de bootstrap no paramétrico y la corrección de FDR.

Resultos Clave

• La Estructura Narrativa Supera a los Controles Léxicos: Las descripciones narrativas completas predijeron significativamente mejor las respuestas corticales que los controles de bolsa de palabras y de palabras de contenido en la corteza visual de alto nivel, incluyendo regiones selectivas de categoría (EBA, FFA, PPA, OPA, RSC). Esta ventaja fue mínima en la corteza visual temprana.
• Especificidad a la Estructura Compositiva: La varianza única explicada por las narrativas sobre la bolsa de palabras no fue impulsada por palabras funcionales o fluidez genérica. El control de descripción regenerada mostró que, si bien las oraciones gramaticales reconstruidas a partir de palabras de contenido capturaban cierta varianza, no lograban igualar el poder predictivo de las narrativas originales específicas de la imagen. Esto indica que el cerebro codifica la organización relacional específica de la escena, no solo formas de lenguaje fluido.
• Contribuciones Léxicas: Los sustantivos explicaron la mayor parte de la varianza, seguidos por los verbos y los adjetivos. Sin embargo, las combinaciones no ordenadas de múltiples clases léxicas capturaron más información que cualquier categoría única por sí sola.
• Convergencia con Modelos Alineados con el Lenguaje: SigLIP2 (alineado con el lenguaje) superó a DINOv3 (solo visión) en regiones de alta jerarquía selectivas de categoría. La distribución espacial de esta ventaja reflejó estrechamente la distribución de la ventaja narrativa sobre la bolsa de palabras. Se encontró una fuerte correlación positiva ($r = 0.66$) entre la varianza única explicada por las descripciones estructuradas y la varianza única explicada por el modelo alineado con el lenguaje a través de los vóxeles.
• Impulsores del Estímulo: Las imágenes que impulsaron la varianza única tanto para las descripciones estructuradas como para los modelos alineados con el lenguaje se caracterizaron por puntuaciones altas en estructura compositiva, relaciones semánticas e interacción social. Estas no eran simplemente imágenes "visualmente ricas", sino aquellas con relaciones complejas y organizadas entre agentes, objetos y acciones.

Significancia y Reivindicaciones
El artículo sostiene que la corteza visual de alto nivel representa información de la escena estructurada que va más allá de la simple coocurrencia de entidades o del contenido léxico por sí solo. Los hallazgos sugieren que el sistema visual codifica la organización relacional de los elementos de la escena (agentes, acciones, disposición espacial) en un todo coherente.

Además, el estudio postula que el rendimiento superior de los modelos de visión alineados con el lenguaje al predecir la actividad cerebral no es meramente un artefacto de una cobertura léxica más amplia, sino que refleja su capacidad para capturar información relacional estructurada similar a la representada en la corteza visual humana. La convergencia entre la "ventaja narrativa" y la "ventaja del modelo alineado con el lenguaje" respalda la visión de que la supervisión lingüística ayuda a inducir representaciones en modelos artificiales que se alinean con la codificación relacional estructurada del sistema visual biológico. Los autores concluyen que el lenguaje natural sirve como una sonda útil para aislar la información relacional codificada por la corteza visual, en lugar de actuar como un sustituto de la visión.