💻 computer science

Attention Alignment Between Humans and Vision-Language Models

Este estudio revela que, si bien los decodificadores basados en LSTM en modelos de visión y lenguaje logran una alineación superior con la atención espacial humana en comparación con los decodificadores Transformer, estos últimos exhiben una concentración espacial más aguda y una mejor diferenciación de tareas, surgiendo un compromiso donde los modelos con menor alineación de fijación (CNN-Transformers) predicen mejor la actividad neural sintética en la corteza visual temprana.

Autores originales: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Publicado 2026-06-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a mirar una foto de la misma manera que lo hace un humano. Quieres que los ojos del robot se posen en los mismos puntos en los que se posaría una persona al mirar una foto de una calle concurrida o una reunión familiar.

Este artículo es como un experimento científico donde los investigadores construyeron diferentes "cerebros de robot" para ver cuál se parece más a un humano. No construyeron solo uno; construyeron toda una familia de robots mezclando y combinando diferentes partes, como si cambiaran la lente de la cámara (el Encoder o Codificador) y la parte del cerebro que decide en qué enfocarse (el Decoder o Decodificador).

Aquí está el desglose de sus hallazgos, utilizando analogías sencillas:

1. Las dos partes principales del robot

Piensa en el sistema de visión del robot como una cámara y un director:

El Encoder (La Cámara): Esta es la parte que toma la imagen y la descompone en piezas. Los investigadores probaron dos tipos:
- CNN (El Escáner Local): Como una persona mirando una foto cuadro por cuadro, notando detalles como bordes y texturas.
- ViT (El Vistazo Global): Como una persona que da un paso atrás para ver la imagen completa de una vez, comprendiendo el panorama general de inmediato.
El Decoder (El Director): Esta es la parte que decide: "Bien, ahora que veo la imagen, ¿qué debo decir y hacia dónde debo mirar después?". Probaron dos tipos:
- LSTM (El Director de un solo hilo): Este director intenta sostener toda la información visual en una sola mano y comprimirla en un único "punto de enfoque" para cada palabra que dice.
- Transformer (El Equipo de Directores): Este director tiene un equipo de especialistas (llamados "cabezas") que miran la imagen al mismo tiempo, cada uno enfocándose en un aspecto diferente.

2. El gran descubrimiento: El director importa más que la cámara

Los investigadores descubrieron que quién dirige el espectáculo importa mucho más que el tipo de cámara que se esté utilizando.

El "Director LSTM" (de un solo hilo): Este robot fue el mejor imitando los movimientos oculares humanos. Cuando los humanos miraban una imagen, el mapa de atención de este robot se parecía mucho a donde miraban los humanos. Alcanzó aproximadamente entre un 85 y 87% de una coincidencia perfecta con el humano.
- El inconveniente: Aunque miraba en los lugares correctos, era un poco "descuidado". Su atención estaba dispersa como un foco ancho y difuso. No se enfocaba con nitidez en detalles específicos y no cambiaba mucho su enfoque, ya fuera que la tarea fuera "describir la escena" o "adivinar hacia dónde mira la persona".
El "Director Transformer" (Equipo de Especialistas): Este robot era más nítido y preciso. Podía enfocar su atención estrechamente en puntos específicos, tal como un rayo láser. También cambiaba su enfoque drásticamente dependiendo de la tarea (por ejemplo, mirando un rostro para una tarea social frente a mirar toda la habitación para una descripción).
- El inconveniente: A pesar de ser más nítido, era mucho peor imitando los movimientos oculares humanos. Solo alcanzó entre un 40 y 59% de la coincidencia humana. Estaba mirando los tipos de puntos correctos, pero no los puntos exactos que elegían los humanos.

El veredicto: Si quieres un robot que mire una foto exactamente donde lo hace un humano, quieres al "Director LSTM". Si quieres un robot que sea preciso y adaptable pero que mire puntos diferentes, quieres al "Director Transformer".

3. La "Cámara" también ayuda

Aunque el Director era la parte más importante, la Cámara también marcaba la diferencia.

La Cámara CNN (el escáner local) ayudó consistentemente al robot a parecerse más a un humano que la Cámara ViT (el vistazo global).
La mejor combinación en general fue la Cámara CNN junto con el Director LSTM. Este robot fue el que más se acercó al comportamiento humano, alcanzando casi el 87% del límite humano.

4. La prueba del "Daño Cerebral"

Para ver qué tan robustos eran estos robots, los investigadores simular ever un "daño cerebral" bloqueando el lado izquierdo de la visión del robot (como una condición llamada negligencia hemiespacial, donde las personas ignoran un lado del espacio).

Los robots Transformer (el equipo de directores) fueron muy resistentes. Incluso cuando se bloqueaba la mitad de su visión, podían entender la imagen porque sus miembros del equipo podían compartir la carga.
Los robots LSTM (el director de un solo hilo) tuvieron más dificultades. Debido a que dependían de un gran "resumen" de la imagen, bloquear parte de la vista los afectó más.

5. La sorpresa: Mirar vs. Pensar

Finalmente, los investigadores hicieron una pregunta difícil: "¿Un robot que mira como un humano también piensa como un humano?"

Utilizaron una herramienta especial para simular cómo reaccionaría un cerebro humano ante las imágenes que los robots estaban mirando.

La sorpresa: El robot que más se parecía a un humano (el LSTM) no fue el que mejor predijo la actividad cerebral.
En cambio, el robot CNN-Transformer (que se parecía menos a un humano) fue en realidad mejor prediciendo qué partes del cerebro se iluminarían.
Lo que esto significa: Existe una diferencia entre "hacia dónde miramos" (comportamiento) y "cómo nuestro cerebro procesa la imagen" (actividad neuronal). Un robot puede mirar una imagen de una manera humana, pero procesar la información de una manera no humana, y viceversa.

Resumen

Para mirar como un humano: Usa una cámara de "Escáner Local" (CNN) con un "Director de un solo hilo" (LSTM). Es un poco difuso, pero da en los puntos correctos.
Para ser nítido y adaptable: Usa una cámara de "Vistazo Global" (ViT) con un "Equipo de Directores" (Transformer). Es preciso, pero mira puntos diferentes a los de los humanos.
La lección: Que los ojos de un robot se muevan como los de un humano no significa que su cerebro funcione como el de un humano. Ambas cosas están relacionadas, pero no son lo mismo.

Resumen Técnico: Alineación de la Atención entre Humanos y Modelos de Visión y Lenguaje

Declaración del Problema

La percepción visual está gobernada por la interacción entre los mecanismos sensoriales bottom-up (ascendentes) y los objetivos top-down (descendentes). Aunque los Modelos de Visión y Lenguaje (VLM) implementan ambos componentes, sigue sin estar claro cómo las elecciones arquitectónicas específicas en el codificador (bottom-up) y el decodificador (top-down) moldean la alineación de la atención del modelo con la fijación visual humana. Investigaciones previas se han centrado principalmente en la saliencia bottom-up o han tratado la distribución de entrenamiento como el principal motor de la alineación, pasando por alto a menudo cómo los sesgos arquitectónicos influyen de forma independiente y conjunta en los mecanismos de atención top-down. Este estudio pretende disociar estas contribuciones variando sistemáticamente las arquitecturas de codificador y decodificador mientras se controla la data de entrenamiento, preguntando si configuraciones arquitectónicas específicas producen mapas de atención que imitan mejor la selección espacial y la adaptación a tareas humanas.

Metodología

Diseño Experimental

Los autores emplearon un diseño factorial de $2 \times 2$ para entrenar cuatro modelos de descripción de imágenes, aislando los efectos de las familias de codificadores y decodificadores:

Codificadores: ResNet-101 (CNN) vs. ViT-B/16 (Vision Transformer).
Decodificadores: LSTM con atención suave aditiva vs. Transformer de 4 capas con atención cruzada de múltiples cabezales (multi-head cross-attention).
Modelos de Referencia (Baselines): Dos VLMs de última generación (Molmo 7B-D y Qwen3.5 9B) fueron evaluados sin ajuste fino (fine-tuning).

Datos y Tareas

Estímulos: 200 imágenes naturalistas del conjunto de validación COCO 2017.
Datos Humanos: Se registraron movimientos oculares de 49 participantes utilizando un EyeLink 1000 Plus (2000 Hz) durante dos tareas distintas:
1. Tarea de Descripción: Descripción general de la escena.
2. Tarea Social: Inferir el estado de atención de un actor específico dentro de la escena.
Verdad de Campo (Ground Truth): Los mapas de calor de fijación humana se generaron convolucionando las muestras de mirada con un núcleo Gaussiano y reduciendo la resolución a $256 \times 256$ .

Protocolo de Entrenamiento

Los cuatro modelos personalizados siguieron un currículo consistente de cuatro fases:

Preentrenamiento: Decodificador entrenado en subtítulos de COCO 2014 (codificador congelado).
Ajuste Fino (Descripción): Codificador descongelado; entrenado en COCO 2014.
Ajuste Fino (Social): Codificador descongelado; entrenado en un conjunto de datos de subtítulos sociales recolectado en laboratorio.
Evaluación: Los mapas de atención se extrajeron y compararon contra los mapas de calor humanos para la tarea correspondiente.

Métricas de Evaluación

Alineación de la Fijación: Correlación de Spearman entre los mapas de atención del modelo y los mapas de calor de fijación humana, normalizada frente al techo de ruido humano-humano.
Dispersión Espacial: Entropía de Shannon normalizada para medir la difusividad de la atención (concentración vs. distribución).
Adaptación a la Tarea: Correlación entre los mapas de atención generados para la tarea Social frente a la tarea de Descripción para evaluar la reconfiguración específica de la tarea.
Robustez: Simulación de negligencia hemiespacial mediante la ablación progresiva de la rejilla espacial del lado izquierdo (7% a 100%) para medir la degradación del subtitulado (captioning).
Predicción Neural: Un modelo de codificación de cresta de bandas (banded ridge encoding model) predijo las respuestas de fMRI simuladas por TRIBE utilizando los mapas de atención del modelo ("dónde") y los embeddings de CLIP ("qué"). Se utilizó la partición de varianza para aislar las contribuciones únicas y compartidas.

Resultados Clave

1. La Arquitectura del Decodificador Domina la Alineación

La elección del decodificador fue el predictor principal de la alineación con las fijaciones humanas, explicando una diferencia de 40 a 50 puntos porcentuales:

Decodificadores LSTM: Lograron la mayor alineación, alcanzando el 80–87% del techo de ruido humano (ej., CNN-LSTM: 85–87%).
Decodificadores Transformer: Mostraron una alineación significativamente menor, alcanzando el 40–59% del techo (ej., ViT-Transformer: 39–52%).
Contribución del Codificador: Los codificadores CNN proporcionaron una ventaja secundaria de 5 a 20 puntos porcentuales sobre los codificadores ViT, dependiendo de la familia del decodificador. La combinación CNN-LSTM fue la más alineada en general.
Modelos SOTA: Molmo 7B-D (76–82%) y Qwen3.5 9B (53–69%) se situaron entre los extremos de los modelos entrenados de forma personalizada, pero no superaron al CNN-LSTM personalizado.

2. Disociación entre Alineación y Propiedades Espaciales

Un hallazgo crítico fue el compromiso (trade-off) entre la precisión de la alineación y las características espaciales:

Modelos LSTM: Aunque altamente alineados con las ubicaciones de fijación humana, sus mapas de atención eran espacialmente difusos (entropía de Shannon $\approx 0.999$ ), distribuyendo los pesos en casi todas las 196 posiciones espaciales. También mostraron una baja diferenciación de tarea, manteniendo patrones de atención similares entre las tareas de Descripción y Social.
Modelos Transformer: A pesar de una menor alineación de fijación, exhibieron una concentración espacial más nítida y una mayor diferenciación de tarea (ej., el ViT-Transformer mostró los mapas de atención más distintos entre tareas).

3. Robustez ante Lesiones

En las simulaciones de negligencia hemiespacial, la robustez siguió el grado de procesamiento distribuido:

ViT-Transformer: La arquitectura más distribuida fue la más resiliente a la ablación espacial, manteniendo la calidad del subtitulado incluso con una pérdida significativa del campo receptivo.
Modelos LSTM: Mostraron la mayor degradación bajo la lesión, particularmente en niveles de severidad altos donde todos los parches recibían un peso igual.

4. Precisión Predictiva Neural vs. Alineación Conductual

El estudio encontró una disociación entre la alineación conductual y el poder predictivo neural:

CNN-Transformer: A pesar de ocupar el tercer lugar en alineación de fijación, los mapas de atención de este modelo fueron los que mejor predijeron la actividad cerebral sintética (mayor $R^2$ de todo el cerebro) en la simulación de TRIBE.
Modelos LSTM: Aunque fueron los mejores alineados con la mirada humana, no fueron los mejores predictores de las respuestas neurales.
Partición de Varianza: El "qué" (contenido visual/semántico vía CLIP) explicó la mayor parte de la varianza neural, concentrada en regiones de lenguaje y temporales. El "dónde" (atención espacial) explicó la varianza de forma única, principalmente en la corteza visual temprana y las redes de atención dorsal. Las dos señales estaban ampliamente compartidas en regiones de orden superior, sugiriendo menos separación entre las vías de "qué" y "dónde" de lo que tradicionalmente se asume.

Significancia y Reivindicaciones

El artículo sostiene que la arquitectura del decodificador es el factor dominante en determinar qué tan bien la atención de un VLM se alinea con la selección espacial humana, con los decodificadores LSTM superando a los Transformers en alineación conductual, pero fallando en capturar la nitidez espacial y la adaptabilidad a la tarea que poseen los Transformers. Por el contrario, los decodificadores Transformer, aunque menos alineados conductualmente, ofrecen una capacidad espacial y una robustez superiores.

Los autores destacan un compromiso fundamental (trade-off):

Mecanismos Top-down (Decodificadores): Los decodificadores LSTM actúan como un cuello de botella, forzando un muestreo amplio y difuso que imita la distribución de la fijación humana pero carece de la nitidez específica de la tarea. Los decodificadores Transformer distribuyen la atención entre múltiples cabezales, permitiendo la especialización y la adaptación a la tarea, pero resultando en una menor alineación de fijación general.
Mecanismos Bottom-up (Codificadores): Las CNN superan consistentemente a las ViT en alineación, reforzando la idea de que los sesgos de procesamiento local pueden ser beneficiosos para imitar la selección visual humana.

Crucialmente, el estudio demuestra que la alineación de la fijación y la precisión predictiva neural no son métricas intercambiables. Un modelo puede estar menos alineado con los movimientos oculares humanos y, sin embargo, ser un mejor predictor de las respuestas neurales, lo que sugiere que diferentes sesgos arquitectónicos capturan distintas facetas del procesamiento humano. Los hallazgos sugieren que los VLM actuales no capturan plenamente el espectro completo de la atención humana, la cual requiere tanto el muestreo difuso de los LSTMs como la concentración nítida y adaptativa a la tarea de los Transformers.