💬 NLP

Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods

Este artículo introduce un marco de evaluación cognitiva basado en el seguimiento ocular que revela que las fórmulas tradicionales de legibilidad, los métodos de PLN, los sistemas comerciales y los modelos de lenguaje extensos (LLM) de vanguardia son predictores deficientes de la facilidad de lectura en tiempo real en comparación con las propiedades psicolingüísticas de las palabras, destacando la necesidad de nuevos enfoques de puntuación impulsados por la cognición.

Autores originales: Keren Gruteke Klein, Shachar Frenkel, Omer Shubi, Yevgeni Berzak

Publicado 2026-07-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Keren Gruteke Klein, Shachar Frenkel, Omer Shubi, Yevgeni Berzak

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de averiguar qué tan fácil es leer un libro. Durante más de cien años, científicos y maestros han intentado construir "fórmulas de legibilidad": recetas matemáticas que analizan un texto y arrojan un nivel de grado, como "este es un texto de 5.º grado" o "este es un texto de 12.º grado". Por lo general, hacen esto contando cosas como qué tan largas son las oraciones o cuántas palabras grandes hay en ellas. Pero aquí está la parte complicada: el solo hecho de que un texto tenga oraciones cortas no significa que un humano realmente sienta que es fácil de leer mientras lo lee. Para saber realmente si un texto es fácil, necesitas ver cómo está trabajando el cerebro de una persona en tiempo real. Aquí es donde entra el "seguimiento ocular" (eye tracking). Es como poner una diminuta cámara en el ojo de una persona para ver exactamente hacia dónde mira, cuánto tiempo se queda mirando una palabra y si tiene que volver a mirar atrás (regresar) porque se confundió. Es la diferencia entre adivinar a qué velocidad va un coche mirando el tamaño del motor frente a realmente conducirlo y sentir la velocidad.

Este artículo, titulado "Evaluación Cognitiva Basada en el Seguimiento Ocular de los Métodos de Evaluación Automática de la Legibilidad", es un golpe de realidad para el mundo del análisis de textos. Los investigadores, liderados por Keren Gruteke Klein y su equipo en el Technion en Israel, decidieron probar las formas más populares en las que actualmente juzgamos la dificultad de un texto. Reunieron a un grupo masivo de 638 lectores adultos —algunos hablantes nativos de inglés y otros que aprendieron inglés como segunda lengua— y les hicieron leer artículos de noticias en una computadora mientras sus ojos eran rastreados a una velocidad súper rápida de 1,000 veces por segundo. Utilizaron un truco ingenioso: tomaron las mismas noticias e hicieron que profesores humanos las reescribieran para que fueran más simples. Esto permitió a los investigadores comparar la versión "difícil" y la versión "fácil" del mismo contenido exacto, aislando el estilo de escritura del tema.

El equipo luego se hizo una pregunta simple: ¿Qué programa de computadora es el mejor para predecir qué tan más fácil sintieron realmente la versión "fácil" los lectores? Probaron de todo, desde fórmulas matemáticas de la vieja escuela (como la puntuación Flesch Reading Ease) hasta sistemas modernos de IA, herramientas comerciales utilizadas en las escuelas y modelos de lenguaje de gran tamaño (LLM) de vanguardia. Notablemente, el estudio evaluó modelos como GPT-4o y otros sistemas de última generación (incluyendo versiones etiquetadas con fechas futuras como 2025 en el artículo) utilizando prompts específicos que pedían a la IA asignar un nivel de grado o una puntuación de dificultad del 1 al 100. Compararon estas herramientas de alta tecnología contra algunas medidas muy simples y tradicionales de la psicología, como la frecuencia con la que se usa una palabra en el idioma o qué tan sorprendente es ver una palabra a continuación.

Los resultados fueron un poco impactantes. A pesar de toda la tecnología sofisticada y el increíble poder de la IA moderna, las populares herramientas de legibilidad fueron pésimas para predecir qué tan fácil se sintió un texto para leer en tiempo real. Las fórmulas antiguas, las herramientas comerciales escolares e incluso los modelos de IA de vanguardia fallaron al intentar coincidir con los movimientos oculares de los lectores. De hecho, los mejores predictores resultaron ser las cosas más simples: qué tan larga es una palabra, qué tan común es y una medida llamada "surprisal" (que es básicamente una forma matemática de decir "¿qué tan inesperada es esta palabra?"). El estudio sugiere que, si bien nuestras herramientas actuales son excelentes para adivinar a qué grado pertenece un texto, están errando el tiro sobre la experiencia humana real de la lectura. Los autores concluyen que debemos dejar de confiar en estos métodos antiguos para decisiones de alto riesgo y comenzar a construir nuevos sistemas que estén realmente impulsados por cómo nuestros cerebros procesan las palabras en el momento.

Resumen Técnico: Evaluación Cognitiva de Métodos de Evaluación Automática de la Legibilidad Basada en el Seguimiento Ocular

Planteamiento del Problema

La Evaluación Automática de la Legibilidad (ARA, por sus siglas en inglés) ha sido un dominio de investigación durante más de un siglo, ampliamente utilizado en educación, salud y medios de comunicación. Históricamente, el desarrollo y la evaluación de los métodos de ARA han dependido de dos fuentes primarias de datos conductuales offline: el desempeño en pruebas de comprensión lectora y las calificaciones humanas de los niveles de legibilidad del texto. Sin embargo, estos enfoques capturan señales offline que no miden directamente un aspecto fundamental de la legibilidad: la facilidad de lectura en tiempo real. Aunque la facilidad de lectura fue propuesta tempranamente como un constructo clave (por ejemplo, Dale y Chall 1949; Kintsch y Vipond 1979), ha permanecido poco estudiada en la ARA debido a la escasez de datos conductuales del proceso de lectura. Además, los métodos de evaluación existentes suelen sufrir del enredo de la dificultad textual derivada de la variación temática frente a la complejidad lingüística.

Metodología

Los autores introducen un marco de evaluación cognitiva que utiliza datos de seguimiento ocular (eye-tracking) para cuantificar la capacidad de los métodos de puntuación de legibilidad para dar cuenta de la facilidad de lectura, controlando específicamente la variación de contenido.

Recolección de Datos

El estudio utiliza un conjunto de datos combinado, OneStopL1&L2, que comprende más de 3.7 millones de tokens de palabras de 638 participantes adultos (360 hablantes nativos de inglés [L1] y 278 hablantes de inglés como segunda lengua [L2] con diversos orígenes nativos).

Materiales Textuales: El conjunto de datos utiliza un corpus paralelo del conjunto de datos OneStopQA, que consiste en 30 artículos de noticias de The Guardian. Cada artículo existe en una versión "Avanzada" original y una versión "Elemental" simplificada por humanos, creada por profesores de idiomas experimentados utilizando un método de simplificación intuitivo.
Diseño Experimental: Los participantes leen párrafos en un régimen de búsqueda de información o de comprensión. El diseño asegura que cada participante lea tanto las versiones originales como las simplificadas del mismo contenido, lo que permite aislar los efectos de la simplificación.
Seguimiento Ocular: Los datos se recolectaron utilizando un EyeLink 1000 Plus a 1000 Hz.

Marco de Evaluación

La métrica central es la facilitación de la lectura, definida como el cambio en las medidas de facilidad de lectura entre las versiones original y simplificada de un texto.

Variables Objetivo (Facilidad de Lectura): El estudio mide tres métricas de movimiento ocular online conocidas por indexar la dificultad de procesamiento:
1. Duración Total de la Fijación (TF): Suma de las duraciones de fijación en una palabra.
2. Tasa de Omisión (SR): Fracción de palabras omitidas.
3. Tasa de Regresión (RR): Número de sacadas hacia atrás por palabra.
Métrica de Evaluación: La calidad de un método de puntuación de legibilidad ( $M$ ) se evalúa mediante la correlación de Pearson ( $r$ ) entre la diferencia en las puntuaciones ( $\Delta Score_M$ ) predicha por el método para el texto original frente al simplificado, y la diferza en la facilidad de lectura ( $\Delta ReadingEase$ ) observada en los datos de seguimiento ocular para los mismos pares de textos.
$Eval_M = \text{Pearson\_corr}(\Delta Score_{M,T}, \Delta ReadingEase_{E,T})$

Sistemas Evaluados

El marco compara 20 métodos prominentes de puntuación de legibilidad contra medidas psicolingüísticas teóricamente motivadas:

Fórmulas Tradicionales: Flesch Reading Ease, Dale-Chall, Gunning Fog, ARI, Coleman-Liau, Flesch-Kincaid.
Métodos Modernos de PLN: Modelos supervisados (CML2RI, CAREC, CARES, Sentence-BERT) y medidas no supervisadas (Perplejidad, Ratio de Log-Odds Sintáctico).
Sistemas Comerciales: Lexile Text Analyzer y TextEvaluator (ETS).
Modelos de Lenguaje Extensos (LLMs): Seis modelos de frontera (Llama 3.3, GPT-4o, GPT-5, Gemini 2.0/2.5, Claude Sonnet 4) con instrucciones (prompts) para anotaciones basadas en nivel de grado o puntuación.
Líneas Base Psicolingüísticas: Medidas relacionadas con la memoria (Densidad de Ideas, Costo de Integración, Profundidad de Incrustación) y medidas de teoría de la información (Sorpresa [Surprisal], Entropía, Densidad de Información Uniforme, Pseudo Log Likelihood), junto con propiedades estándar de las palabras (Longitud de Palabra, Frecuencia de Palabra).

Resultados Clave

La evaluación revela una brecha significativa entre los métodos actuales de ARA y la realidad cognitiva de la facilidad de lectura.

Desempeño Deficiente de los Métodos de ARA: Las fórmulas tradicionales, los sistemas modernos de PLN, las herramientas comerciales y los LLMs de frontera demuestran correlaciones bajas o no significativas con las medidas de facilidad de lectura en tiempo real. Notablemente, no se observa un patrón de mejora en el desempeño a lo largo del tiempo, a pesar de la creciente sofisticación de los LLMs. Los sistemas comerciales (Lexile, TextEvaluator) mostraron una predictividad particularmente baja.
Superioridad de las Propiedades Psicolingüísticas de las Palabras: Las propiedades estándar de las palabras conocidas por predecir los tiempos de lectura en psicolingüística superaron a todos los métodos de ARA. Las "tres grandes" predictoras —Longitud de Palabra, Frecuencia de Palabra y Sorpresa (Surprisal)— produjeron consistentemente correlaciones fuertes.
La Sorpresa como el Mejor Predictor: La Sorpresa (el logaritmo negativo de la probabilidad de una palabra en contexto) emergió como el índice más predictivo de la facilidad de lectura en general. Superó a los predictores basados en la memoria (Densidad de Ideas, Costo de Integración) y a otras medidas de teoría de la información.
Robustez: Estos hallazgos se mantienen a través de:
- Grupos de lectores (hablantes L1 y L2).
- Regímenes de lectura (comprensión vs. búsqueda de información).
- Unidades textuales (oraciones y pasajes).
- Medidas de seguimiento ocular (incluyendo Primera Fijación, Duración de la Mirada y Velocidad de Lectura).
Control de Contenido: El estudio demuestra que la falta de control de contenido en las evaluaciones tradicionales (predicción directa de tiempos de lectura) infla el desempeño aparente de muchos métodos de ARA, ya que estos suelen capturar la dificultad tópica en lugar de la complejidad lingüística. El enfoque con control de contenido revela que métodos como la Sorpresa, la Entropía y la Longitud de Palabra permanecen estables, mientras que otros se degradan significativamente cuando se controla el tema.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera imagen integral de la capacidad limitada de casi un siglo de métodos de ARA para dar cuenta de cómo los humanos experimentan los textos en tiempo real.

Limitación de los Métodos Actuales: Los resultados resaltan una limitación crítica en los métodos de puntuación de legibilidad ampliamente utilizados, sugiriendo que son malos predictores de la facilidad de lectura en adultos en comparación con las simples propiedades psicolingüísticas de las palabras.
Cautela en la Aplicación: Los autores llaman a tener mayor cautela al usar los métodos de ARA existentes y los LLMs para la puntuación de legibilidad, particularmente en escenarios de alto riesgo, ya que pueden no reflejar con precisión la carga cognitiva de la lectura.
Necesidad de Nuevos Enfoques: Los hallazgos abogan por el desarrollo de nuevos enfoques de puntuación de legibilidad impulsados cognitivamente que tengan mejor cuenta de las experiencias de lectura en tiempo real.
Utilidad del Seguimiento Ocular: El estudio subraya la utilidad de los parámetros de comportamiento en tiempo real (seguimiento ocular), ofreciendo una alternativa continua e interpretable a las pruebas de comprensión offline y a las calificaciones humanas discretas.
Rol de la Sorpresa: El artículo sugiere que la Sorpresa, computable mediante modelos de lenguaje fácilmente disponibles, sirve como una medida de legibilidad robusta, simple y general que debería ser adoptada de manera más amplia.

Los autores mantienen la modestia respecto a la generalización de sus hallazgos, señalando que el estudio está restringido al inglés, a participantes adultos y al enfoque de simplificación humana "intuitiva". Identifican la necesidad de trabajos futuros para extender estas evaluaciones a niños, ancianos, otros idiomas y contextos de simplificación automatizada.