Resumen Técnico: Sondas condicionadas por tarea en MLLMs multimodales ajustados por instrucciones

Declaración del Problema

Estudios recientes de codificación cerebral han establecido que los modelos de lenguaje grandes multimodales (MLLMs) exhiben una mayor alineación con la actividad cerebral humana que los modelos unimodales. Además, se ha demostrado que los MLLMs ajustados por instrucciones (IT) generan representaciones específicas de la tarea que se alinean fuertemente con la actividad cerebral. Sin embargo, las evaluaciones anteriores se han limitado en gran medida a dos escenarios: (1) modelos multimodales evaluados con estímulos unimodales, o (2) modelos no ajustados por instrucciones evaluados con estímulos multimodales.

Persiste una brecha crítica en la comprensión de si el ajuste por instrucciones hace que los MLLMs-IT organicen sus representaciones en torno a demandas funcionales de la tarea o si simplemente reflejan semánticas superficiales. Además, existe una falta de sondeo sistemático de los MLLMs-IT bajo estímulos multimodales naturalistas (video con audio) para determinar cómo las representaciones específicas de la tarea y guiadas por el lenguaje se alinean con la actividad cerebral a través de las regiones corticales, desde las áreas sensoriales tempranas hasta las áreas cognitivas de orden superior.

Metodología

Los autores abordan esta brecha estimando la alineación cerebral mediante la predicción de respuestas de fMRI registradas durante la visualización naturalista de películas (video con audio) utilizando representaciones de MLLMs ajustados por instrucciones.

Datos y Modelos:

• Conjunto de datos: El estudio utiliza el conjunto de datos Movie10 (Boyle et al., 2020), un conjunto de datos de fMRI naturalista multimodal donde cuatro sujetos vieron pasivamente cuatro películas diferentes. Los datos se proyectan sobre el espacio de superficie "fsaverage6".
• Modelos evaluados:
  • Ajustados por instrucciones (IT): Seis MLLMs de video (por ejemplo, InstructBLIPVideo, Video-LLaVA, Qwen-2.5-VL) y dos MLLMs de audio (Qwen-2.5-Audio, Kimi-Audio).
  • Líneas base: Dos MLLMs de video de aprendizaje en contexto (ICL), dos modelos multimodales no ajustados por instrucciones, dos modelos de video unimodales y un modelo de audio unimodal.
• Instrucciones: Los modelos fueron sondeados con 13 instrucciones de tarea específicas de video (por ejemplo, reconocimiento de acciones, comprensión narrativa, razonamiento de sentido común) y 5 instrucciones específicas de audio (por ejemplo, comprensión de audio, detección de eventos sonoros).
• Extracción de características: Para los modelos IT, se extrajeron representaciones de estados ocultos en cada capa basadas en el video/audio de entrada y la instrucción de tarea específica. Para las líneas base ICL y no-IT, se realizó inferencia de cero disparos con indicaciones en lenguaje natural.

Codificación y Evaluación:

• Codificación por vóxel: Se entrenaron modelos de regresión de cresta acintada para predecir la actividad cerebral de fMRI a partir de las representaciones del modelo. Los modelos tuvieron en cuenta los retrasos de la respuesta hemodinámica utilizando un filtro de respuesta al impulso finito (FIR).
• Métricas: El rendimiento se midió utilizando la Correlación de Pearson (PC) entre la actividad cerebral predicha y la real. Para estandarizar el rendimiento, los resultados se dividieron por la precisión de predicción inter-sujeto estimada, obteniendo la "alineación cerebral normalizada".
• Análisis: El estudio empleó Análisis de Similitud Representacional (RSA) para comparar la similitud semántica de las instrucciones con la similitud de las representaciones del modelo. También utilizó métricas de agrupamiento (Índice Rand Ajustado) para evaluar la organización condicionada por la tarea y la partición de varianza para analizar la varianza compartida y única entre tareas.

Contribuciones y Resultados Clave

1. Desacoplamiento de la semántica superficial de la estructura de la tarea
El estudio encuentra una diferencia fundamental en cómo los modelos IT e ICL organizan las representaciones:

• Modelos ICL: Muestran un acoplamiento fuerte (Pearson $r \approx 0.78$) entre las representaciones internas y la semántica superficial de las instrucciones, lo que indica una coincidencia superficial próxima al texto.
• Modelos IT: Exhiben un acoplamiento débil con la semántica superficial ($r \approx 0.14$) pero muestran un agrupamiento más fuerte condicionado por la tarea. Esto sugiere que los modelos IT organizan las representaciones en función de las demandas funcionales de la tarea en lugar de la redacción específica del prompt.

2. Alineación cerebral superior de los MLLMs de video IT

• Rendimiento general: Los MLLMs de video IT demuestran una alineación cerebral significativamente mayor que los modelos ICL (mejora de aprox. 9%), los modelos multimodales no ajustados por instrucciones (mejora de aprox. 15%) y las líneas base unimodales (mejora de aprox. 20%).
• Asimetría de modalidad: Mientras que los modelos de video IT muestran una fuerte alineación en todo el cerebro, las regiones del lenguaje y las visuales, los modelos de audio IT muestran ganancias principalmente en la corteza auditiva y el giro frontal medio (MFG). Los MLLMs de audio IT se desempeñan de manera comparable a las líneas base multimodales no ajustadas por instrucciones, lo que indica margen de mejora en la captura de información semántica relevante para el cerebro en audio.

3. Diferenciación de tareas específica de la región
Las instrucciones específicas de la tarea producen representaciones distintas que se alinean con regiones funcionales cerebrales específicas:

• Tareas de video: La "comprensión narrativa" y el "QA visual" muestran una mayor alineación en regiones relacionadas con el lenguaje (giro angular, lóbulo temporal posterior), mientras que la "comprensión de video" domina las regiones frontales de orden superior.
• Tareas de audio: La "subtitulación de audio" y la "detección de eventos sonoros" se alinean con la corteza auditiva, whereas la "comprensión de audio" activa regiones de alto nivel como el giro frontal inferior (IFG).
• Partición de varianza: Las tareas con alta carga visual contribuyen de manera única a la varianza de la corteza visual, mientras que las tareas semánticas de alto nivel contribuyen de manera única a la varianza de la red del lenguaje.

4. Alineación jerárquica con el procesamiento cortical
Los MLLMs-IT exhiben un patrón de alineación por capas consistente con la jerarquía de procesamiento del cerebro:

• Capas tempranas: Se alinean con áreas sensoriales tempranas (corteza visual y auditiva).
• Capas medias/profundas: Se alinean con áreas visuales de orden superior (LOC, PPA) y regiones del lenguaje (giro angular, IFG).
• Experimentos de control: Este gradiente jerárquico desaparece al utilizar prompts de lenguaje no natural (tokens aleatorios), confirmando que la alineación es impulsada por la semántica de la instrucción en lugar de la estructura genérica del modelo. Las comparaciones controladas dentro de familias de modelos (por ejemplo, Qwen-2.5-VL IT vs. Preentrenado) confirman que el ajuste por instrucciones mejora consistentemente la alineación en todas las capas.

Significado y Afirmaciones

El artículo afirma ser el primer estudio en utilizar MLLMs de video y audio ajustados por instrucciones para modelar respuestas de fMRI a través de diversas tareas multimodales. Los hallazgos sugieren que:

• El ajuste por instrucciones transforma a los MLLMs en sondas que organizan las representaciones en torno a las demandas de la tarea en lugar del texto superficial, lo que conduce a una mayor alineación con la organización funcional del cerebro.
• Las instrucciones específicas de la tarea pueden utilizarse como una palanca controlada para variar los objetivos de la tarea mientras se mantiene fijo el estímulo, permitiendo el mapeo del procesamiento de información conjunta tanto en sistemas artificiales como biológicos.
• Los patrones de alineación dependientes de la capa observados respaldan el uso de MLLMs-IT para estudiar la especialización funcional bajo estímulos naturalistas y conectar el modelado cognitivo con la neurociencia.

Los autores mantienen una postura modesta con respecto a las comparaciones entre familias, señalando que existen diferencias en escala, datos de entrenamiento y arquitectura. Sin embargo, enfatizan que las comparaciones controladas dentro de la familia (versiones IT vs. Preentrenadas del mismo modelo) muestran consistentemente ganancias positivas en la alineación cerebral después del ajuste por instrucciones, aislando el efecto del proceso de ajuste en sí mismo.