What Makes Linguistic Representations Good Models of High-Level Visual Perception in the Human Brain?

Planteamiento del Problema
Estudios recientes han demostrado que las descripciones de imágenes (leyendas) representadas por modelos de lenguaje de gran tamaño (LLM) pueden predecir las respuestas neurales en áreas visuales de alto nivel del cerebro humano, desafiando la noción de que la percepción visual depende únicamente de características estrictamente visuales. Sin embargo, los factores específicos que impulsan esta predictividad cerebral siguen sin estar claros. No se sabe si el rendimiento es impulsado por el contenido semántico de las leyendas, la fluidez y el detalle del texto, o la arquitectura específica del modelo de lenguaje utilizada para generar los embeddings. Además, trabajos previos se han basado exclusivamente en leyendas anotadas por humanos del conjunto de datos MS COCO, las cuales suelen ser cortas y proporcionadas por trabajadores de la plataforma (crowdworkers), lo que potencialmente limita la calidad de las representaciones lingüísticas. Este estudio busca investigar sistemáticamente cómo las variaciones en el contenido de las leyendas (generadas por diferentes modelos de visión-lenguaje) y las variaciones en los modelos de lenguaje utilizados para incrustar estas leyendas influyen en la predictividad cerebral y la alineación conductual.

Metodología
Los autores utilizaron el Natural Scenes Dataset (NSD), que contiene respuestas de fMRI de alta resolución de ocho participantes que observaron 906 imágenes naturales del conjunto de datos MS COCO. No se presentaron descripciones de imágenes a los participantes durante los escaneos de fMRI.

1. Generación de Leyendas: Para cada una de las 906 imágenes, los autores generaron múltiples leyendas utilizando cinco Modelos de Visión-Lenguaje (VLM) de código abierto: LLaVA OneVision, Phi-4, Pixtral, Qwen2.5-VL y Molmo. Estas se compararon con las leyendas originales anotadas por humanos de MS COCO. Las leyendas generadas variaron sistemáticamente en longitud, fluidez (medida por la perplejidad) y visualidad (basada en las Normas Sensoriomotoras de Lancaster) y densidad léxica.
2. Generación de Embeddings: Cada leyenda fue incrustada utilizando cinco Modelos de Lenguaje (LM) distintos, solo de texto, para asegurar que ninguna información visual "contaminara" las representaciones lingüísticas. Los LM incluyeron:
   • Un modelo de lenguaje enmascarado temprano (BERT).
   • Dos modelos autorregresivos (GPT-2, Llama3.1).
   • Dos incrustadores de texto recientes ajustados para tareas semánticas (Qwen3 Embedding, KaLM Embedding).
   • Los embeddings fueron extraídos de todas las capas de estos modelos.
3. Métricas de Evaluación:
   • Codificación Cerebral: Se entrenaron regresiones lineales regularizadas por vóxel (regresión Ridge) para predecir las activaciones neurales en tres Regiones de Interés (ROI) funcionalmente localizadas: áreas selectivas de rostros, de cuerpos y de lugares. El rendimiento se midió mediante la correlación de Pearson entre las activaciones observadas y las predichas.
   • Alineación Cerebral: Se utilizó el Análisis de Similitud de Representación (RSA) para calcular la correlación de Spearman entre las Matrices de Disimilitud de Representación (RDM) derivadas de los embeddings de las leyendas y aquellas derivadas de las activaciones neurales.
   • Alineación Conductual: También se aplicó RSA para comparar los embeddings de las leyendas contra los juicios de similitud de imágenes humanos recolectados de los mismos participantes de NSD.
   • Dimensionalidad Intrínseca: Los autores utilizaron el Estimador de Dimensión Intrínseca de Razones Generalizadas (GRIDE) para analizar la compresión de información a través de las capas del modelo.

Resultos Clave

• Leyendas Generadas por Máquina vs. Anotaciones Humanas: Las leyendas generadas por máquinas predijeron significativamente las activaciones neurales, superando a menudo a las leyendas anotadas por humanos de MS COCO utilizadas en trabajos previos. Específicamente, las leyendas generadas por Qwen2.5-VL, Pixtral y Molmo mostraron la mayor predictividad. Los autores atribuyen el menor rendimiento de las leyendas de MS COCO en parte a su menor fluidez y brevedad, señalando que promediar múltiples leyendas de MS COCO mejoró el rendimiento para igualar a las leyendas de una sola máquina generada.
• Impacto de los Modelos de Lenguaje: Los incrustadores de texto (Qwen3 y KaLM) superaron consistentemente a los LM autorregresivos (GPT-2, Llama3) y a BERT tanto en la predictividad cerebral como en la alineación conductual. Esto sugiere que los modelos ajustados explícitamente para la representación semántica capturan la información relevante para el cerebro de manera más efectiva que aquellos entrenados principalmente para la predicción del siguiente token.
• Análisis por Capas: Tanto la predictividad cerebral como la alineación conductual alcanzaron su punto máximo en las profundidades intermedias de la red, poco después de una fase de alta dimensionalidad intrínseca. Se teoriza que esta fase de alta dimensionalidad marca la emergencia de la estructura sintáctica y semántica abstracta.
• Disociación en las ROI: Se observó una "doble disociación" en la alineación por capas. La alineación con las ROI selectivas de rostros y cuerpos alcanzó su punto máximo en las capas medias y declinó en las capas posteriores, mientras que la alineación con las ROI selectivas de lugares aumentó drásticamente en las capas más profundas. Esto sugiere que se requiere diferente información lingüística para modelar los patrones de similitud en estas distintas áreas visuales.
• Superioridad Conductual: Los embeddings de las leyendas, particularmente aquellos de los incrustadores de texto que utilizan leyendas generadas por máquinas, lograron una mayor alineación con los juicios humanos de similitud de imágenes que las características de imagen extraídas de modelos de visión de vanguardia (ResNet-50 y ViT).

Significancia y Reivindicaciones
El artículo afirma establecer que tanto el contenido de las leyendas de las imágenes como el modelo de lenguaje específico utilizado para representarlas son determinantes críticos del rendimiento del modelado cerebral y conductual. Los autores demuestran que los embeddings de las leyendas son una herramienta útil para estudiar la percepción visual de alto nivel, capaces de predecir la actividad neural y los juicios de similitud humana con alta precisión.

Crucialmente, el estudio sugiere que la predictividad cerebral de las representaciones lingüísticas no es simplemente un subproducto de la filtración de información visual, sino que es impulsada por las propiedades semánticas del texto. El hallazgo de que los incrustadores de texto superan a los modelos autorregresivos indica que la capacidad de representar el significado de la oración es primordial para modelar la percepción visual. Además, el análisis de la dimensionalidad intrínseca proporciona evidencia de que la emergencia de la estructura lingüística abstracta (señalada por un pico en la dimensionalidad intrínseca) es la fase específica donde las representaciones se vuelven más predictivas de la actividad del cerebro humano. Finalmente, el estudio ofrece el primer análisis de los juicios de similitud de NSD, revelando que las representaciones lingüísticas pueden modelar la similitud percibida por humanos incluso mejor que las características visuales, destacando la profunda interacción entre el lenguaje y la percepción visual.