Controlling Reading Ease with Gaze-Guided Text Generation

Resumen Técnico: Control de la facilidad de lectura mediante la generación de texto guiada por la mirada

Planteamiento del problema
Controlar la legibilidad del texto generado es crítico para aplicaciones que van desde la adquisición de segundas lenguas hasta la accesibilidad para personas con discapacidades de comunicación. Si bien los Modelos de Lenguaje de Gran Escala (LLM) se han aplicado a la adaptación de textos mediante el uso de prompts o ajuste fino (fine-tuning), estos métodos suelen carecer de transparencia y control preciso, resultando frecuentemente en salidas que no se alinean con los niveles de legibilidad deseados. Los enfoques existentes tienen dificultades para proporcionar una señal directa e interpretable que dirija la generación hacia cargas de procesamiento cognitivo específicas.

Metodología
Los autores proponen un marco de generación de texto guiado por la mirada que orienta las salidas de los LLM para provocar comportamientos de lectura específicos (por ejemplo, un aumento o disminución del tiempo de lectura) integrando datos de seguimiento ocular (eye-tracking) en el proceso de decodificación. El sistema opera como un conjunto de dos modelos unidireccionales:

1. Modelo de Lenguaje (LM): Un LLM estándar ajustado por instrucciones (Llama 3.2, 3 mil millones de parámetros) que genera la distribución de probabilidad para el siguiente token basándose en el contexto precedente.
2. Modelo de la Mirada (Gaze Model): Un modelo GPT-2 ajustado (124 millones de parámetros) entrenado para predecir medidas agregadas de seguimiento ocular (específicamente, el Tiempo de Lectura de Primera Pasada, o FPRT, a nivel de palabra) para secuencias de tokens candidatas.

El mecanismo de decodificación
El método modifica el proceso estándar de decodificación de búsqueda de haz (beam search) mediante un mecanismo de reordenamiento de puntuación (scoring re-ranking):

• El LM genera los $k$ tokens candidatos superiores (donde $k=8$).
• El Modelo de la Mirada predice el FPRT para cada secuencia candidata.
• Se aplica un peso de la mirada (gaze weight) ($w$) definido por el usuario a la puntuación de la mirada.
• La puntuación total final para un token se calcula como:
  $$\text{Puntuación Total} = \text{Log Probabilidad del Token} + (w \times \text{Puntuación de la Mirada Normalizada})$$
• Un peso de la mirada positivo favorece los tokens que se predicen que inducirán tiempos de lectura más largos (mayor dificultad), mientras que un peso negativo favorece los tokens con tiempos de lectura más cortos (menor dificultad). Un peso de 0 desactiva la guía de la mirada.

Para abordar las discrepancias de tokenización entre el LM y el modelo de la mirada (que opera sobre subpalabras), los autores emplean la búsqueda de haz (beam search). Esto permite al sistema "revisar" las predicciones parciales de palabras a medida que la tokenización del modelo de la mirada se estabiliza, evitando la dependencia de puntuaciones de subpalabras poco fiables.

Contribuciones clave

1. Mecanismo de control novedoso: La introducción de un método que utiliza datos de seguimiento ocular como una señal directa para guiar la generación de texto de un LLM durante la inferencia, evitando la necesidad de un ajuste fino completo del modelo.
2. Liberación de conjunto de datos: La creación y publicación de un nuevo conjunto de datos de seguimiento ocular durante la lectura que contiene textos generados mediante este método de generación guiada por la mirada, junto con los datos de seguimiento ocular brutos y procesados del estudio de evaluación.
3. Validación empírica: Un análisis exhaustivo que combina la extracción de características lingüísticas, métricas de seguimiento ocular y calificaciones subjetivas humanas para demostrar la efectividad del método.

Resultados experimentales
Los autores realizaron un estudio de seguimiento ocular con 24 participantes (12 hablantes nativos de inglés [L1] y 12 hablantes no nativos [L2]) leyendo historias generadas con pesos de la mirada de $-2$, $0$y$+2$.

• Características del texto: El aumento del peso de la mirada resultó en textos con menos palabras pero más largas, menor frecuencia de palabras (mayores puntuaciones Zipf), oraciones más cortas y mayor diversidad léxica. Los pesos extremos ($\pm 5$) causaron modos de fallo repetitivos.
• Comportamiento de lectura: El método alteró con éxito los tiempos de lectura. Los pesos de la mirada positivos aumentaron los Tiempos de Lectura de Primera Pasada (FPRT), mientras que los pesos negativos los disminuyeron. El efecto fue estadísticamente significativo tanto para lectores L1 como L2 ($p < 0.001$), aunque la magnitud fue mayor para los lectores L2.
• Impulsores lingüísticos: El análisis estadístico reveló que los cambios en el comportamiento de lectura fueron impulsados principalmente por características de procesamiento léxico, específicamente la longitud de la palabra y la prevalencia de la palabra (familiaridad). Al controlar estas características, el efecto del peso de la mirada se volvió insignificante para los lectores L1, pero permaneció significativo para los lectores L2, lo que sugiere que los lectores L2 enfrentaron desafíos de procesamiento adicionales más allá de la simple familiaridad léxica.
• Percepción subjetiva: Los lectores percibieron los textos con mayores pesos de la mirada como más difíciles. Las calificaciones de naturalidad disminuyeron para los lectores L2 con pesos positivos, probablemente debido a la dificultad percibida en lugar de una mala fluidez. Las calificaciones de interés permanecieron mayormente inalteradas.
• Rendimiento del modelo: Las predicciones del modelo de la mirada se correlacionaron moderadamente con los tiempos de lectura observados ($r \approx 0.55–0.59$), desempeñándose ligeramente mejor en palabras de baja prevalencia.

Significancia y afirmaciones
El artículo afirma que la generación de texto guiada por la mirada es un enfoque efectivo, modular y eficiente para controlar la facilidad de lectura sin comprometer la calidad del texto. Los autores enfatizan que el método logra dirigir los LLM hacia textos que son objetivamente más fáciles o difíciles de leer, según se mide por el esfuerzo cognitivo (FPRT) y la dificultad subjetiva.

Los autores mantienen un alcance modesto respecto a las limitaciones de sus hallazgos:

• Los efectos observados se atribuyen en gran medida a características léxicas de bajo nivel (longitud y frecuencia de palabras) en lugar de estructuras sintácticas o semánticas complejas. Esto se atribuye a la elección del FPRT como métrica objetivo, la cual es conocida por reflejar el procesamiento cognitivo temprano.
• El enfoque está limitado actualmente al inglés, ya que los datos de entrenamiento para el modelo de la mirada son exclusivamente en inglés.
• Si bien el método muestra potencial para la simplificación de textos y el material educativo personalizado, los autores señalan que su implementación actual no aborda completamente la simplificación sintáctica o de discurso requerida para aplicaciones de accesibilidad más amplias.
• El estudio no incluyó grupos de usuarios primarios para la accesibilidad (por ejemplo, personas con discapacidades de comunicación específicas), lo que limita las afirmaciones directas sobre la utilidad del método en esos contextos específicos.

El trabajo representa un paso fundacional hacia la generación de texto personalizada adaptada a grupos de lectores específicos, aprovechando los datos de seguimiento ocular como una señal de retroalimentación para las estrategias de decodificación.