💻 computer science

DeepGaze3.5-VL: Modeling Scanpaths via Autoregressive Token Prediction

DeepGaze3.5-VL establece un nuevo estado del arte en la predicción de trayectorias de escaneo visual al replantear la tarea como una generación de tokens autorregresiva dentro de un Modelo de Visión y Lenguaje, permitiendo un condicionamiento flexible sobre las identidades de los espectadores y las tareas, al tiempo que logra ganancias de rendimiento significativas y facilita simulaciones conductuales in-silico controladas.

Autores originales: Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

Publicado 2026-07-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar predecir hacia dónde mirará la persona a continuación cuando vea una imagen. Durante mucho tiempo, los científicos construyeron máquinas especiales y rígidas solo para este trabajo. Estas máquinas tenían reglas fijas (como "la gente siempre mira primero al centro") y no podían aprender fácilmente nuevos trucos, como "esta persona es un médico buscando un diagnóstico" o "esta persona es un niño buscando un juguete".

El artículo presenta un nuevo modelo llamado DeepGaze3.5-VL que cambia las reglas del juego. En lugar de construir una máquina especial, los autores tratan los movimientos oculares como si estuvieran escribiendo una historia.

Aquí está el desglose de cómo funciona y lo que encontraron, utilizando analogías simples:

1. La idea central: Los movimientos oculares como una historia de "texto"

Piensa en la trayectoria de los ojos de una persona (llamada scanpath) como una oración.

Forma antigua: Construías un robot personalizado para dibujar la oración, pero si querías cambiar el estilo (por ejemplo, de la letra de un niño a la de un adulto), tenías que reconstruir el robot.
Nueva forma: Los autores se dieron cuenta de que los movimientos oculares son simplemente una secuencia de coordenadas (como "mira aquí, luego mira allá"). Enseñaron a una IA gigante y preentrenada (un Modelo de Lenguaje-Visión Grande) a tratar estas coordenadas como palabras en una oración.

Al convertir las posiciones oculares en "tokens" (como letras de una palabra), la IA puede usar su cerebro masivo —ya entrenado para entender imágenes y lenguaje— para predecir la siguiente "palabra" (el siguiente lugar donde mirará el ojo).

2. La "magia" del prompt

Debido a que este modelo piensa en lenguaje, puedes darle instrucciones tal como le pedirías una pregunta a un chatbot.

La analogía: Imagina a un guía turístico. Si le dices al guía: "Muéstrame el museo como un turista", te mostrará las estatuas famosas. Si dices: "Muéstrame como un historiador del arte", señalará las pinceladas.
El resultado: Los investigadores demostraron que, con solo cambiar el prompt de texto (por ejemplo, "Predice la mirada de una persona que busca un gato" frente a "Predice la mirada de una persona que solo mira alrededor"), el modelo se adapta instantáneamente. No necesita nuevo hardware ni cambios complejos en el código; simplemente lee la instrucción.

3. Por qué es mejor: El debate entre lo "Inteligente" y lo "Grande"

Los investigadores se preguntaron: ¿Es este modelo bueno solo porque es enorme, o porque realmente entiende la escena?

La prueba: Compararon su modelo con otros modelos de vanguardia que utilizaban los mismos "ojos" (codificador de visión) pero diferentes "cerebros".
El hallazgo: El "cerebro" (la parte del lenguaje de la IA) importa más que el simple hecho de tener "ojos" más grandes. Un modelo que entiende el significado de la imagen y la historia del movimiento ocular funciona mucho mejor que un modelo que solo ve píxeles.
La puntuación: En una prueba estándar (MIT1003), su modelo mejoró la precisión de la predicción en un 46% en comparación con el mejor método anterior.

4. El experimento de la "Máquina del Tiempo" (Intervenciones)

Una de las cosas más geniales que el artículo demuestra es la capacidad de ejecutar escenarios de "¿qué pasaría si..." dentro de la computadora, sin necesidad de humanos reales.

La analogía: Imagina un videojuego donde puedes pausar el tiempo, cambiar una variable (como "el jugador estaba cansado") e instantáneamente ver cómo se desarrolla de manera diferente.
El experimento: Los investigadores tomaron un momento específico en el que un humano miró una imagen durante un tiempo breve (50 ms) y le preguntaron al modelo: "¿Qué pasaría si hubieran mirado durante mucho tiempo (600 ms)?".
El resultado: El modelo predijo que las miradas cortas tienden a ser destellos rápidos e instintivos (como un reflejo), mientras que las miradas largas conducen a una exploración más errante y reflexiva. El modelo descifró estos comportamientos humanos complejos puramente leyendo los datos, actuando como un entorno de pruebas digital para la visión humana.

5. El factor "Quién" (Personalización)

El modelo también puede recibir la instrucción de quién está mirando.

La analogía: Si sabes que a tu amigo le encantan los perros, y le muestras una foto de un parque, sabes que mirará al perro primero. Si le muestras la misma foto a alguien que ama las aves, mirará al árbol.
El resultado: Al alimentar al modelo con un "ID de Sujeto" específico (como "Sujeto A3F8"), este aprendió a predecir los hábitos únicos de esa persona específica. No necesitó una nueva arquitectura; simplemente aprendió que diferentes "personajes" tienen diferentes "historias".

Resumen

DeepGaze3.5-VL es una nueva forma de predecir hacia dónde miran los humanos. En lugar de construir herramientas rígidas y especializadas, los autores convirtieron el seguimiento ocular en un problema de lenguaje. Al hacer esto, crearon un modelo que es:

Más inteligente: Entiende el contexto y el significado de la escena.
Flexible: Puedes cambiar su comportamiento simplemente escribiendo una nueva instrucción.
Preciso: Supera todos los récords anteriores por un margen amplio.
Experimental: Permite a los científicos simular escenarios de "¿qué pasaría si..." sobre la visión humana instantáneamente, sin necesidad de realizar nuevos experimentos físicos.

Resumen Técnico: DeepGaze3.5-VL

Planteamiento del Problema

Modelar la atención visual humana a lo largo del tiempo (predicción de trayectorias de escaneo o scanpaths) ha dependido históricamente de arquitecturas especializadas que incorporan sesgos geométricos diseñados a mano, tales como la exploración de Lévy restringida, sesgos sacádicos o el etiquetado inhibitorio. Si bien estos modelos capturan con éxito las secuencias de fijación, sus rígidos sesgos estructurales limitan su capacidad de extensión y su condicionamiento flexible. La integración de instrucciones específicas de la tarea o la adaptación a identidades de observadores distintos requiere tradicionalmente adiciones arquitectónicas personalizadas y disjuntas. Además, los enfoques generativos existentes (por ejemplo, modelos de difusión, procesos de puntos neuronales) suelen entrenarse desde cero únicamente con datos de mirada, sin aprovechar los ricos sesores secuenciales disponibles en los modelos fundacionales. Un cuello de botella crítico persiste en la evaluación: los modelos generativos continuos no pueden computar de forma nativa densidades de probabilidad espacial exactas, lo que obliga a depender de métricas de alineación de secuencias heurísticas (como ScanMatch) en lugar de medidas de información teórica rigurosas.

Metodología

Los autores proponen DeepGaze3.5-VL, un marco que redefine la predicción de trayectorias de escaneo puramente como una tarea de modelado de secuencias discretas utilizando Modelos de Lenguaje-Visión de Gran Escala (LVLMs).

Formulación Central

Predicción de Tokens Autoregresiva: En lugar de regredir coordenadas continuas, el modelo predice la mirada como una secuencia de tokens discretos. Las coordenadas espaciales $(x, y)$ se mapean a enteros de dos dígitos con relleno de ceros (00–99) que representan posiciones porcentuales a lo largo de las dimensiones de la imagen. Esto asegura que cada fijación contribuya exactamente con cuatro tokens (dos para $x$ , dos para $y$ ), garantizando una longitud de token uniforme y una comparación probabilística justa.
Integración de LVLM: El sistema utiliza LVLMs preentrenados (específicamente InternVL3.5-8B) ajustados mediante Adaptación de Bajo Rango (LoRA). El modelo codifica la imagen de entrada $I$ y los factores de condicionamiento opcionales $C$ (por ejemplo, descripciones de tareas, IDs de sujetos) mediante prompts de lenguaje natural.
Objetivo de Entrenamiento: El modelo se entrena mediante la predicción del siguiente token estándar sobre trayectorias de escaneo reales (ground-truth). La estructura autoregresiva permite la computación exacta de la log-verosimilitud de cualquier secuencia de fijación válida:
$\log P(S \mid I, C) = \sum_{i=1}^{n} \log P((x_i, y_i) \mid I, C, (x_1, y_1), \ldots, (x_{i-1}, y_{i-1}))$

Estrategia de Evaluación

Ganancia de Información (IG): Los autores aprovechan la alineación autoregresiva para calcular la Ganancia de Información exacta, definida como la mejora en la log-verosimilitud sobre un baseline de sesgo central. A diferencia de los modelos continuos, esta formulación permite el cálculo exacto de las densidades de probabilidad espacial sin recurrir a heurísticas.
Computación Eficiente: Para computar distribuciones espaciales completas (por ejemplo, para AUC) a través de una cuadrícula de $100 \times 100$ , los autores emplean una estrategia de árbol de prefijos. Al cachear los estados Clave-Valor en los prefijos compartidos, descomponen la probabilidad conjunta en una expansión de 4 fases (marginal $x_1$ , condicional $x_2$ , condicional $y_1$ , condicional $y_2$ ), requiriendo solo 1,111 pasadas hacia adelante en lugar de 10,000. Para la IG específicamente, solo se necesitan 4 pasadas hacia adelante por fijación.

Contribuciones Clave

Formulación como Predicción de Tokens Autoregresiva: Al ajustar los LVLMs para predecir tokens de coordenadas discretas, los autores aprovechan los sesores semánticos y secuenciales preentrenados. Este enfoque logra una Ganancia de Información de 2.18 bits en el conjunto de datos MIT1003, una mejora del 46% sobre la línea base DeepGaze III con el mismo backbone de arquitectura.
Evaluación Exacta y Eficiente: El marco explota la estructura autoregresiva para descomponer las probabilidades conjuntas espaciales completas, permitiendo la computación rápida y matemáticamente exacta de la Ganancia de Información a escala, resolviendo un importante cuello de botella de evaluación para los modelos generativos de trayectorias de escaneo.
Condicionamiento Flexible y Generalización: El modelo absorbe naturalmente diversos factores de variación a través de prompts de lenguaje natural. Demuestra una fuerte generalización fuera de la distribución (Dejar-un-Dataset-Fuera) y puede condicionarse a objetivos de tarea (visión libre frente a búsqueda visual) o identidades de observadores individuales sin cambios arquitectónicos.
Intervención In-silico: El marco generativo sirve como una herramienta computacional para intervenciones conductuales controladas, permitiendo la simulación de escenarios contrafácticos (por ejemplo, variando las duraciones de fijación) que son difíciles de realizar experimentalmente.

Resultados

Rendimiento: DeepGaze3.5-VL establece nuevos estados del arte en cinco conjuntos de datos diversos (MIT1003, COCO-FreeView, CAT2000, DAEMONS, FiGrIm). En MIT1003, logra 2.18 bits de IG comparado con los 1.49 bits de DeepGaze III (reentrenado con el mismo backbone InternViT-6B).
Rol de las Representaciones: La ganancia de rendimiento no se debe únicamente a mejores características visuales. Un experimento de control mostró que DeepGaze III con el codificador superior InternViT-6B todavía rendía por debajo del VLM. Además, se observó una fuerte correlación ( $\rho = 0.93$ ) entre la Ganancia de Información y la puntuación del benchmark MMMU (una medida de razonamiento multimodal), lo que sugiere que la comprensión semántica de alto nivel impulsa la calidad de la predicción de la trayectoria de escaneo.
Secuencial vs. Espacial: Los estudios de ablación revelan que, si bien la saliencia espacial estática impulsa las fijaciones tempranas, las dependencias secuenciales (el historial del observador específico) se convierten en el predictor dominante para las fijaciones posteriores. El modelo completo supera a las variantes "invariantes de historia" y "solo espaciales", particularmente en las etapas finales de una trayectoria de escaneo.
Efectos de Condicionamiento:
- Duración: El condicionamiento en la duración de la fijación mejora la predicción espacial, particularmente para fijaciones cortas (<100 ms), recuperando fenómenos oculomotores conocidos como los sacádicos preprogramados.
- Identidad del Sujeto: Proporcionar IDs de sujetos mejora la IG en +0.09 bits/fijación, permitiendo al modelo aprender sesores espaciales distintos por observador.

Significado y Reivindicaciones

El artículo afirma que enmarcar la predicción de trayectorias de escaneo como la predicción de tokens autoregresivos cierra la brecha entre los modelos de mirada especializados y los modelos fundacionales generales. Los autores sostienen que:

La Comprensión Semántica es Clave: La calidad de las representaciones multimodales aprendidas (medidas por benchmarks de razonamiento) es un motor primario de la predicción de la trayectoria de escaneo, lo que respalda las teorías cognitivas de que los objetivos de tarea top-down y la comprensión semántica impulsan la exploración visual.
Evaluación Nativa: La formulación autoregresiva alinea la predicción de la trayectoria de escaneo con el objetivo de entrenamiento nativo de los modelos fundacionales, permitiendo que la Ganancia de Información sea una manifestación directa del objetivo de predicción del siguiente token, eliminando la necesidad de métricas sustitutas.
Utilidad Generativa: Más allá de la predicción, el marco actúa como una poderosa herramienta para intervenciones conductuales "in-silico". Los autores demuestran que el modelo puede recuperar fenómenos oculomotores conocidos (como la modulación de la entropía espacial por la duración de la fijación) puramente a partir de estadísticas de datos, permitiendo simulaciones controladas sin recolección adicional de datos.

El trabajo sugiere que los sesores rígidos y diseñados a mano de generaciones anteriores ya no son necesarios, ya que los sesores secuenciales y semánticos inherentes a los LVLMs son suficientes para modelar la dinámica compleja de la mirada humana con mayor flexibilidad y precisión.