Attention, not scale, drives human-AI alignment in multimodal language prediction

Resumen Técnico: La atención, no la escala, impulsa la alineación entre humanos e IA en la predicción lingüística multimodal

Planteamiento del problema
Aunque los avances recientes en la IA generativa han demostrado que los grandes modelos de lenguaje (LLM) pueden simular el comportamiento humano en tareas unimodales, sigue sin estar claro hasta qué punto los actuales modelos de visión y lenguaje (VLM) replican el procesamiento predictivo humano en entornos ecológicos y multimodales. La comprensión del lenguaje humano integra rutinariamente el contexto visual para restringir el espacio del contenido semántico venidero, un proceso indexado por los movimientos oculares en el Paradigma del Mundo Visual (VWP). Sin embargo, no se sabe con certeza si añadir contexto visual a los modelos computacionales mejora su alineación con las predicciones humanas, o si esta alineación es impulsada principalmente por la escala del modelo (conteo de parámetros) o por características arquitectónicas específicas como los mecanismos de atención. Además, el grado en que los patrones de atención de los modelos corresponden a la mirada humana durante la predicción multimodal permanece mayormente inexplorado.

Metodología
Los autores llevaron a cabo un experimento a gran escala y basado en la web con 600 participantes humanos y cinco sistemas preentrenados de vanguardia (FLAVA, LLaMA con adaptador visual, GPT-4, variantes de CLIP y BLIP).

• Diseño Experimental: Los participantes observaron 100 clips de video de seis segundos de las películas The Prestige y The Usual Suspects. En un paradigma "Multimodal", observaron clips de video con audio sincronizado; en condiciones "Unimodales", recibieron estímulos únicamente de audio o únicamente visuales. Los participantes calificaron la relevancia del estímulo para predecir una palabra objetivo específica en una escala de 0 a 100. El seguimiento de los movimientos oculares se realizó mediante webcam durante toda la tarea.
• Modelos Computacionales: El estudio evaluó modelos en tres paradigmas:
  1. Unimodal (Solo texto): Los modelos procesaron subtítulos o prompts sin entrada visual.
  2. Multimodal (Texto + Imagen): Los modelos procesaron texto sincronizado con fotogramas de video.
  3. Basado en Prompts: Para modelos cerrados como GPT-4, se utilizaron las instrucciones humanas como prompts para generar estimaciones de predictibilidad deterministas (temperatura establecida en 0).
• Modelos Probados:
  • FLAVA: Un codificador de visión y lenguaje de 1.3 mil millones de parámetros.
  • LLaMA-Adapter: Un modelo de solo texto de 7 mil millones de parámetros con una capa de adaptador visual.
  • GPT-4: Versiones de solo texto y de texto-imagen.
  • CLIP: Variantes con backbones ResNet (sin atención) y Vision Transformer (ViT, con atención) de diversos tamaños.
  • BLIP: Un modelo que cuenta con mecanismos de atención cruzada (cross-attention).
• Métricas de Análisis:
  • Alineación: Correlaciones de Pearson entre las puntuaciones de predictibilidad del modelo y las calificaciones de relevancia humana, corregidas contra un "techo humano" (correlación de dejar a un participante fuera).
  • Solapamiento de Atención: Comparación de los mapas de calor de atención del modelo (desde las capas del transformer) con los mapas de calor de seguimiento ocular humano utilizando correlación de Spearman, Saliencia de Escaneo Normalizada (NSS) e Ganancia de Información (IG).
  • Alineación Semántica: Análisis de Similitud de Representación (RSA) para vincular las representaciones internas del modelo con los juicios semánticos humanos de las pistas visuales.
  • Ablación: Se manipularon los pesos de atención en CLIP ViT (atención uniforme y de parches permutados) para probar el papel causal de la atención aprendida.

Resultos Clave

1. El contexto visual mejora la alineación: Añadir contexto visual aumentó significativamente la alineación entre las predicciones del modelo y las humanas en todas las arquitecturas (promedio $\Delta r \approx 0.18$). El modelo FLAVA multimodal logró la correlación bruta más alta ($\rho = 0.42$), explicando aproximadamente el 72% de la varianza explicable humana, superando a modelos más grandes como GPT-4 y LLaMA en el entorno multimodal. Crucialmente, el tamaño de los parámetros no se correlacionó con una mejor alineación; modelos más pequeños y cuidadosamente arquitecturados superaron a los más grandes.
2. Los mecanismos de atención son críticos: Los modelos con backbones Vision Transformer (ViT) (que incorporan atención) superaron significativamente a los modelos con backbones ResNet (sin atención) en la predicción de juicios humanos, particularmente cuando las pistas visuales eran informativas (alta predictibilidad humana). Las pruebas de permutación mostraron una ventaja constante de ViT en todos los percentiles de predictibilidad.
3. La ablación de la atención confirma su necesidad: Cuando la atención aprendida en CLIP ViT fue reemplazada por atención uniforme o de parches permutados, la relación positiva entre la confianza del modelo y las calificaciones humanas se revirtió, lo que indica que el contenido específico de la atención aprendida, y no solo la existencia del mecanismo, es lo que impulsa la alineación.
4. La atención del modelo refleja la mirada humana: Los mapas de atención de las capas de atención cruzada de BLIP (específicamente la capa 9) mostraron el mayor solapamiento con los datos de seguimiento ocular humano, explicando hasta el 70% de la varianza del techo humano. Esta alineación fue mayor cuando estaban presentes pistas visuales semánticamente salientes.
5. Integración Cross-Modal: La atención cruzada de BLIP, que integra explícitamente el contexto lingüístico en la atención visual, superó a los mecanismos de atención puramente visuales (BLIP-Vision) y a los modelos contrastivos (CLIP) en la alineación con la mirada humana y los juicios semánticos. La atención cruzada permitió al modelo rastrear las fijaciones anticipatorias humanas en pistas semánticas (por ejemplo, objetos, acciones, entornos).
6. Reducción de la Entropía: La entrada visual redujo de manera fiable la entropía predictiva de los modelos (por ejemplo, FLAVA $\Delta H = 0.26$ bits), confirmando que el contexto visual restringe la distribución predictiva del modelo de manera similar a como restringe la cognición humana.

Significancia y Reivindicaciones
El artículo sostiene que la atención selectiva a pistas informativas, en lugar de la mera escala del modelo, es el principal motor de la alineación entre humanos e IA en la predicción lingüística multimodal.

• Restricciones Arquitectónicas sobre la Escala: Los hallazgos desafían la noción de que escalar los parámetros por sí solo produce un comportamiento humano. En su lugar, el estudio sugiere que las características arquitectónicas que permiten la integración efectiva de las modalidades (específicamente la atención cruzada) son más críticas para fundamentar el lenguaje en el contexto visual.
• Fundamentación Multimodal: Los resultados sugieren que los modelos entrenados conjuntamente en datos multimodales (como FLAVA y BLIP) pueden lograr una mejor alineación conductual que los modelos entrenados solo en texto y adaptados post-hoc, lo que respalda la idea de que la fundamentación o alineación estructural es necesaria para un procesamiento multimodal efectivo.
• La Atención como Mecanismo: El estudio proporciona evidencia de que los mecanismos de atención de los transformers, particularmente la atención cross-modal, funcionan de manera similar a la atención humana al enfocarse selectivamente en información visual semánticamente relevante para restringir la predicción del lenguaje. El solapamiento entre la atención del modelo y la mirada humana sugiere que estos modelos no solo procesan datos estadísticamente, sino que participan en una forma de procesamiento predictivo que refleja las estrategias cognitivas humanas.
• Limitaciones y Alcance: Los autores señalan que, aunque sus modelos aproximan el comportamiento humano, la alineación no es perfecta. Destacan que modelos como CLIP tienden a centrarse en áreas periféricas cuando las pistas predictivas están ausentes, mientras que los humanos y los modelos de atención cruzada centralizan la atención, lo que sugiere que las arquitecturas actuales aún carecen de la flexibilidad total del manejo de la incertidumbre humana.

En conclusión, el artículo postula que el camino hacia una IA más humana en entornos multimodales no reside simplemente en aumentar el tamaño del modelo, sino en refinar los mecanismos arquitectónicos —específicamente la atención— que permiten la integración dinámica y semánticamente guiada de la información visual y lingüística.