💬 NLP

Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading

Para abordar la escasez de datos de seguimiento ocular, el artículo presenta Eyettention II, un modelo de aprendizaje profundo ligero y de extremo a extremo que genera trayectorias de lectura realistas y de atributos múltiples mediante la alineación con teorías cognitivas y superando a los modelos de vanguardia en la predicción del comportamiento de la mirada similar al humano.

Autores originales: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Publicado 2026-06-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás leyendo un libro. Tus ojos no se deslizan suavemente por la página como un coche en una autopista; en su lugar, saltan en pequeños estallidos llamados "fijaciones", aterrizando en palabras específicas, a veces adelantándose, otras veces retrocediendo para volver a leer. Este patrón de saltos se llama scanpath (trayectoria de escaneo).

Durante décadas, los científicos han intentado construir modelos informáticos que puedan predecir exactamente dónde aterrizarán tus ojos y cuánto tiempo se quedarán allí. El problema es que recolectar datos reales de seguimiento ocular es costoso y lento; es como intentar filmar una película donde cada actor tiene que llevar una cámara especial en la cabeza. Debido a que no hay suficientes grabaciones "reales", es difícil entrenar a las computadoras para que sean buenas prediciendo estos saltos.

Aquí entra Eyettention II. Piensa en este nuevo modelo como un simulador altamente capacitado o un seguidor ocular virtual. Es una pieza de software que puede generar datos de movimiento ocular "falsos" y realistas para cualquier texto, completando dónde aterriza el ojo, exactamente en qué parte de la palabra se detiene y cuánto tiempo hace la pausa.

Aquí tienes un desglose de cómo funciona y lo que encontró el artículo, utilizando analogías sencillas:

1. El rompecabezas de la "Doble Secuencia"

La mayoría de los modelos informáticos tratan la lectura como una lista simple: Palabra 1, Palabra 2, Palabra 3. Pero la lectura humana es desordenada. Nos saltamos palabras, retrocedemos y nos quedamos mirando las palabras largas más tiempo que las cortas.

Los autores describen a Eyettention II como un arquitecto de doble secuencia. Imagina dos cintas transportadoras que corren paralelas una al lado de la otra:

Cinta A (El Texto): Las palabras en el orden en que aparecen en la oración.
Cinta B (El Tiempo): El orden en el que tus ojos realmente miran las cosas.

Debido a que tus ojos no siempre siguen el texto perfectamente (podrías saltar de regreso al inicio), estas dos cintas se desincronizan. Eyettention II es especial porque tiene un "controlador de tráfico" (un mecanismo de atención cruzada) que observa ambas cintas simultáneamente. Sabe que, aunque el texto diga que la "Palabra 5" es la siguiente, tus ojos podrían estar saltando de regreso a la "Palabra 2". Esto le permite imitar la forma caótica y no lineal en que los humanos realmente leemos.

2. ¿Qué predice?

Los modelos antiguos eran como un GPS que solo te decía en qué ciudad estabas. Eyettention II es un GPS de alta definición que te dice:

La Ciudad (Índice de la Palabra): ¿Qué palabra se está mirando?
La Dirección de la Calle (Posición de Aterrizaje): ¿Exactamente en qué parte de esa palabra aterriza el ojo? (por ejemplo, al principio, en el medio o al final).
El Tiempo de Permanencia (Duración): ¿Cuánto tiempo se queda el ojo allí?

Genera estas tres cosas en cadena, una tras otra, tal como un humano lee en tiempo real.

3. El modo "Entrenador Personal"

El artículo también presenta una versión especial llamada Eyettention IIreader.
Imagina que tienes un entrenador de fitness genérico que sabe cómo corre el promedio de las personas. Pero, ¿qué pasa si quieres un entrenador que conozca tu estilo específico de carrera? Esta versión del modelo puede ser "ajustada" a una persona específica (o a un grupo de personas). Si le proporcionas datos de un lector específico, aprende sus hábitos únicos —tal vez salta palabras cortas con más frecuencia, o se queda mirando más tiempo las palabras difíciles— y luego puede simular el movimiento ocular de esa persona específica.

4. ¿Qué tan bueno es?

Los investigadores probaron este modelo en textos en inglés y chino (dos idiomas muy diferentes). Lo compararon con:

Modelos de IA más antiguos: El nuevo modelo ganó, prediciendo los movimientos oculares con mayor precisión.
Modelos "Cognitivos" clásicos: Estos son modelos más antiguos, basados en reglas, construidos por psicólogos para imitar el pensamiento humano. Eyettention II también los venció, demostrando que un enfoque basado en datos puede capturar patrones complejos que las reglas simples pasan por alto.
Humanos Reales: Curiosamente, los movimientos oculares "falsos" del modelo eran a veces más similares entre sí que los humanos reales lo eran entre sí. Esto se debe a que los humanos reales somos desordenados y variamos enormemente, mientras que el modelo encuentra el patrón humano "promedio".

5. ¿Por qué necesitamos un seguidor ocular falso?

El artículo destaca tres razones principales para usar este simulador, todas relacionadas con ahorrar tiempo y dinero:

La "Prueba Piloto" (Planificación de Experimentos): Antes de que un científico realice un experimento real con 50 personas, puede usar el simulador para "correr" el experimento 1,000 veces virtualmente. Esto le ayuda a determinar si sus materiales de prueba son buenos y cuántas personas necesita reclutar realmente. Es como un simulador de vuelo para investigadores.
El "Aumentador de Datos" (Entrenamiento de IA): Si quieres construir una IA que entienda la lectura, necesitas toneladas de datos de seguimiento ocular. Dado que los datos reales son escasos, puedes usar Eyettention II para generar millones de registros de seguimiento ocular "falsos" para entrenar a tu IA, haciéndola más inteligente sin necesidad de colocar cámaras en la cabeza de miles de personas reales.
La Herramienta "¿Qué pasaría si?": Los investigadores pueden usarlo para ver cómo diferentes diseños de texto o idiomas podrían afectar la lectura, sin tener que configurar equipos de laboratorio costosos.

6. Un descubrimiento sorprendente: "Más grande no es mejor"

Los investigadores probaron el modelo utilizando diferentes tamaños de "cerebro" (Modelos de Lenguaje) para comprender el texto. Encontraron un resultado contraintuitivo: Los modelos más pequeños funcionaron mejor.

Intentaron usar modelos de IA masivos y complejos (como los que impulsan los chatbots avanzados) para entender el texto.
También probaron modelos más pequeños y simples.
Resultado: Los modelos más pequeños en realidad predijeron mejor los movimientos oculares humanos. Parece que, para la lectura, no necesitas un cerebro supercomplejo que entienda la filosofía profunda; necesitas un modelo que entienda la estructura inmediata y superficial de la oración.

Resumen

Eyettention II es un programa informático ligero y eficiente que actúa como un "ojo virtual". No solo adivina qué palabra leerás después; predice exactamente dónde aterrizará tu ojo en esa palabra y cuánto tiempo la mirarás, imitando el comportamiento humano con alta precisión. Resuelve el problema de la falta de datos reales de seguimiento ocular al generar datos "falsos" de alta calidad, lo que ayuda a los científicos a planificar mejores experimentos y a entrenar sistemas de IA más inteligentes.

Resumen Técnico: Eyettention II

Planteamiento del Problema
Los datos de seguimiento ocular durante la lectura ofrecen información crítica sobre los procesos cognitivos y las propiedades del texto, impulsando aplicaciones en el procesamiento del lenguaje natural (NLP), como la mejora de los modelos de lenguaje (LM) y la inferencia de las características del lector. Sin embargo, el campo enfrenta un cuello de botella significativo: la escasez de datos. La recolección de conjuntos de datos de seguimiento ocular a gran escala requiere muchos recursos, lo que limita el entrenamiento de modelos basados en datos y dificulta la replicación de experimentos psicolingüísticos. Los modelos computacionales existentes suelen depender de enfoques heurísticos basados en reglas con pocos parámetros para garantizar la interpretabilidad, lo que restringe su capacidad para capturar patrones complejos y generalizar a través de diferentes poblaciones, idiomas y configuraciones experimentales. Además, los enfoques previos de aprendizaje automático a menudo se centraban en aspectos espaciales (ubicación de la fijación) o temporales (duración agregada de la fijación) de forma aislada, sin lograr generar trayectorias de escaneo (scanpaths) completas y secuenciales que capturen la dinámica total de la lectura humana.

Metodología
Los autores proponen Eyettention II, un modelo de aprendizaje profundo ligero y entrenado de extremo a extremo (end-to-end), diseñado para generar trayectorias de escaneo realistas que consisten en un conjunto completo de atributos de fijación en orden cronológico.

Arquitectura de Secuencia Dual: La innovación central aborda la naturaleza de "secuencia dual" de los datos de lectura: la secuencia lingüística (palabras ordenadas por gramática) y la secuencia temporal (fijaciones ordenadas por tiempo). A diferencia de los modelos de secuencia estándar o las arquitecturas de codificador-decodificador que alinean un único entrada con una única salida, Eyettention II emplea una estructura de bi-codificador de secuencia dual. Utiliza un Codificador de Secuencia de Palabras (que procesa el texto estímulo) y un Codificador de Secuencia de Fijaciones (que procesa el historial de fijaciones).
Atención entre Secuencias: El modelo alinea estas dos secuencias utilizando un mecanismo de atención cruzada con una ventana local. Esto simula el campo visual humano al atender solo a las palabras que rodean a la palabra actualmente fijada, en lugar de a toda la oración, preservando la autoregresividad en la dimensión temporal mientras aprovecha un rico contexto lingüístico.
Módulos de Predicción: El modelo predice tres atributos secuencialmente para cada fijación:
1. Índice de Palabra ( $k$ ): Una tarea de clasificación multiclase que predice qué palabra será la siguiente en ser fijada.
2. Posición de Aterrizaje ( $l$ ): Una tarea de regresión que predice el desplazamiento horizontal normalizado dentro de la palabra (0 a 1).
3. Duración de la Fijación ( $d$ ): Una tarea de regresión que predice el tiempo pasado en la fijación.
Variante Específica del Lector: Los autores introducen Eyettention II $_{reader}$ , que incorpora un embedding de identificador de lector entrenable. Esto permite al modelo aprender y reproducir los patrones de lectura característicos de individuos o grupos específicos.
Entrenamiento: El modelo se optimiza mediante una función de pérdida combinada que consiste en la log-verosimilitud negativa (NLL) para el índice de palabra y el error cuadrático medio (MSE) para la posición de aterrizaje y la duración. Utiliza Modelos de Lenguaje Grandes (LLMs) pre-entrenados como BERT o RoBERTa como el núcleo del Codificador de Secuencia de Palabras, los cuales permanecen congelados durante el entrenamiento, seguidos de una capa BiLSTM.

Contribuciones Clave

Generación de Trayectorias de Escaneo Completas: Eyettention II es el primer modelo que predice simultáneamente la ubicación de la fijación, la posición de aterrizaje dentro de la palabra y la duración de la fijación en un único marco de trabajo de extremo a extremo, superando las limitaciones de predecir solo ubicaciones de fijación o duraciones agregadas.
Rendimiento de Vanguardia (State-of-the-Art): El modelo logra un rendimiento superior tanto en evaluaciones dentro del mismo conjunto de datos como en evaluaciones de conjuntos de datos cruzados en comparación con los modelos cognitivos existentes (E-Z Reader, SWIFT) y las líneas base de aprendizaje automático.
Validez Psicolingüística: El modelo refleja con éxito el comportamiento de la mirada humana, reproduciendo fenómenos psicolingüísticos clave como los efectos de la frecuencia léxica, la longitud de la palabra y la sorpresa (surprisal) en las duraciones de fijación y las regresiones.
Adaptabilidad del Lector: La introducción de la variante específica del lector demuestra que el modelo puede simular eficazmente los estilos de lectura individuales, una capacidad crucial para aplicaciones personalizadas.
Utilidad para la Planificación Experimental: Los autores demuestran la utilidad del modelo para realizar análisis de potencia estadística y pilotar experimentos psicolingüísticos, mostrando que los datos simulados pueden proporcionar estimaciones realistas del tamaño del efecto, particularmente cuando se combina con una estrategia de pre-entrenamiento y ajuste fino (fine-tuning) para conjuntos de datos pequeños.

Resultados

Rendimiento Cuantitativo: Tanto en el conjunto de datos inglés (CELER) como en el chino (BSC), Eyettones II superó a los modelos de referencia (incluyendo E-Z Reader, SWIFT y versiones anteriores de Eyettention) en todas las métricas: predicción del índice de palabra (NLL), posición de aterrizaje (MAE), duración de la fijación (MAE) y similitud general de la trayectoria de escaneo (MultiMatch).
Generalización: En las evaluaciones de conjuntos de datos cruzados (entrenamiento en CELER, prueba en ZuCo), el modelo mostró caídas significativas de rendimiento cuando se entrenaba desde cero con los datos objetivo. Sin embargo, una estrategia de pre-entrenamiento y ajuste fino (pre-entrenamiento en un gran conjunto de datos fuente y ajuste fino en un pequeño conjunto de datos objetivo) restauró eficazmente el rendimiento, permitiendo un modelado preciso incluso con datos objetivo limitados.
Alineación Psicolingüística: Los análisis de efectos mixtos bayesianos confirmaron que Eyettention II captura la dirección y magnitud de los efectos de la longitud de la palabra, la frecuencia y la sorpresa de manera similar a los lectores humanos, superando a los modelos cognitivos tradicionales en muchas medidas.
Perspectivas de la Arquitectura del Modelo:
- Tamaño del LM: Contrario a las leyes de escalado generales, los LMs más pequeños (por ejemplo, BERT/RoBERTa de 110M) proporcionaron mejores características lingüísticas para la predicción de la trayectoria de escaneo que los modelos más grandes (hasta 7B de parámetros).
- Profundidad de Capas: Las capas inferiores de BERT fueron más predictivas de los aspectos espaciales (índice de palabra, posición de aterrizaje), mientras que las capas superiores fueron más influyentes para los aspectos temporales (duración de la fijación).
Estrategias de Decodificación: La elección de la estrategia de decodificación (Greedy, Muestreo de Temperatura, Muestreo de Núcleo) permite un compromiso entre la generación de trayectorias de alta probabilidad "promedio" y trayectorias más diversas y variables. El muestreo de núcleo ( $p=0.7$ ) y el muestreo de baja temperatura ( $t=0.04$ ) arrojaron los mejores resultados para diferentes conjuntos de datos.

Significancia y Reivindicaciones
El artículo afirma que Eyettention II representa un avance significativo en el modelado del comportamiento de lectura humana al cerrar la brecha entre la teoría cognitiva y el aprendizaje profundo basado en datos. Su principal significancia radica en su capacidad para generar trayectorias de escaneo completas y realistas con requisitos de datos limitados, convirtiéndolo en una herramienta versátil para:

Aplicaciones de NLP: Pre-entrenamiento o ajuste fino de modelos de lenguaje aumentados por la mirada e inferencia de características del lector sin requerir datos de seguimiento ocular en tiempo real para cada entrada.
Investigación Psicolingüística: Facilitar el pilotaje de materiales experimentales y la realización de análisis de potencia estadística para mitigar la crisis de replicación causada por tamaños de muestra pequeños.
Perspectiva Teórica: Proporcionar una herramienta basada en datos para investigar qué características lingüísticas y visuales guían el comportamiento de lectura humana, descubriendo patrones no codificados explícitamente en los modelos cognitivos teóricos.

Los autores mantienen una postura modesta, reconociendo que, si bien el modelo captura fenómenos clave, no es totalmente interpretable como los modelos cognitivos basados en reglas. Señalan que se requiere un mayor refinamiento para igualar mejor la variabilidad humana en medidas binarias (como las probabilidades de regresión) y para mejorar el rendimiento en los conjuntos de datos chinos en comparación con los ingleses. El trabajo enfatiza que el modelo es una herramienta para generar hipótesis y simular datos, más que un reemplazo completo de la experimentación humana.