Assessing Cognitive Effort in L2 Idiomatic Processing: An Eye-Tracking Dataset

Resumen Técnico: Evaluación del Esfuerzo Cognitivo en el Procesamiento de Expresiones Idiomáticas en L2

Enunciado del Problema
El procesamiento de Expresiones de Múltiples Palabras (MWEs), particularmente los modismos, presenta un desafío persistente tanto en la ciencia cognitiva como en la lingüística computacional. Mientras que los hablantes nativos suelen acceder a los significados idiomáticos mediante recuperación directa, los aprendices de una Segunda Lengua (L2) dependen frecuentemente de un enfoque "literal primero", incurriendo en costos cognitivos medibles. Las arquitecturas actuales de Procesamiento del Lenguaje Natural (PLN), incluidos los Modelos de Lenguaje de Gran Escala (LLMs), luchan con los matices del lenguaje figurado y a menudo funcionan como "cajas negras". Los recursos existentes para estudiar este fenómeno suelen estar limitados por tamaños de muestra pequeños, grupos de participantes homogéneos o una falta de datos temporales finos que vinculen los movimientos oculares con niveles específicos de competencia. Existe una necesidad crítica de recursos que capturen el esfuerzo cognitivo en tiempo real de los aprendices de L2 para conectar los modelos de procesamiento humano con los sistemas artificiales.

Metodología
Este estudio introduce un conjunto de datos especializado de seguimiento ocular diseñado para investigar el procesamiento de "Expresiones Potencialmente Idiomáticas" (PIEs) por hablantes de L1 portugués de inglés en todos los niveles de competencia del MCER (A1–C2).

• Diseño Experimental: El estudio utilizó un diseño de pares emparejados donde los participantes leían oraciones que contenían MWEs objetivo (por ejemplo, "spill the beans" / "tirar los frijoles") en dos contextos: figurado y literal. Los estímulos se extrajeron principalmente del corpus MAGPIE, asegurando que las cadenas de palabras pudieran funcionar como modismos o frases literales dependiendo del contexto.
• Participantes: El conjunto de datos incluye estudiantes universitarios de la Universidad Federal de Río Grande del Norte (UFRN) y del Instituto Metrópolis Digital (IMD), estratificados por niveles del MCER autoinformados y validados (A1–C2).
• Adquisición de Datos: Los datos se recopilaron utilizando un rastreador ocular Tobii Pro Spark operando a 60 Hz. Aunque categorizado como hardware de nivel de entrada, el estudio argumenta que esta tasa de muestreo proporciona una densidad suficiente (aprox. 16.67 ms de resolución) para detectar eventos macro-cognitivos como fijaciones y regresiones. El entorno se controló para la iluminación y la distancia de visión, con una calibración de 9 puntos y una fase de práctica precediendo a la tarea principal.
• Procesamiento de Datos: Se desarrolló una tubería personalizada y de código abierto para transformar las coordenadas de mirada crudas en métricas psicolingüísticas. Dado que el hardware carece de detección de eventos integrada, la tubería utilizó la biblioteca PyGaze para identificar fijaciones mediante un algoritmo de Identificación por Umbral de Dispersión (I-DT). Crucialmente, se implementó una heurística personalizada para detectar regresiones (movimientos oculares hacia atrás) analizando la lógica secuencial de las coordenadas de fijación ($X_n < X_{n-1}$) en lugar de depender exclusivamente de umbrales de velocidad, mitigando así las limitaciones de relación señal-ruido de los datos de 60 Hz.

Contribuciones Clave

1. Conjunto de Datos de Seguimiento Ocular Estratificado: El artículo presenta un conjunto de datos estructurado que contiene registros crudos, archivos procesados y métricas agregadas para aprendices de L2 en todo el espectro del MCER (A1–C2). Esto permite la investigación sistemática de cómo evolucionan las estrategias de procesamiento idiomático durante la adquisición del lenguaje.
2. Tubería de Procesamiento Transparente: Los autores proporcionan una tubería reproducible y de código abierto que conecta formatos de hardware propietario con bibliotecas de análisis estándar. Esto incluye algoritmos específicos para detectar regresiones en datos de seguimiento ocular de menor frecuencia, abordando una brecha en las herramientas existentes.
3. Validación de la "Hipótesis de Re-análisis": El conjunto de datos sirve como un punto de referencia fundamentado cognitivamente para la iniciativa "Modelado de la Idiomacidad en el Procesamiento del Lenguaje Humano y Artificial" (MIA), con el objetivo de alinear los modelos de IA con una comprensión figurativa similar a la humana.

Resultados
El análisis preliminar valida el conjunto de datos al demostrar una fuerte correlación inversa entre la competencia lingüística y los movimientos oculares regresivos:

• Aprendices B1 (Intermedio): Exhibieron alta heterogeneidad y el mayor número de regresiones (Media: 1,776; Máximo: 4,046), indicando una demanda cognitiva aguda y un bucle de procesamiento recursivo donde la decodificación literal falla, haciendo necesario el re-análisis.
• Aprendices B2 a C1: Mostraron una disminución progresiva en los conteos y la varianza de regresiones, señalando una transición de la decodificación laboriosa a estrategias de procesamiento más estables.
• Aprendices C2 (Competentes): Demostraron conteos bajos de regresiones (Media: 987) y varianza mínima, agrupándose en el cuadrante inferior izquierdo de las distribuciones de fijación/regresión. Este comportamiento refleja una estabilidad nativa y un acceso léxico directo.
• Correlación: Se encontró una correlación positiva robusta entre las fijaciones totales y las regresiones totales, confirmando que las regresiones sirven como un índice fiable de la carga cognitiva en lugar de ruido estocástico.

Significado
El artículo posiciona este conjunto de datos como un recurso fundamental para la iniciativa MIA y la Tarea 1.1 de SemEval-2025. Su importancia radica en proporcionar una señal de "verdad fundamental" de la fricción cognitiva observada en los aprendices humanos, la cual puede utilizarse para entrenar y evaluar modelos de IA en cambios no composicionales. Al capturar la evolución milisegundo a milisegundo de las estrategias de lectura desde A1 hasta C2, el recurso permite a los investigadores ir más allá de las medidas de comprensión fuera de línea (como cuestionarios) para analizar los procesos cognitivos dinámicos subyacentes a la idiomacidad en L2. Los autores señalan que, aunque el conjunto de datos se limita actualmente a hablantes de portugués brasileño y hardware de 60 Hz, establece un marco escalable para una futura expansión y un análisis más fino del esfuerzo cognitivo en el procesamiento del lenguaje.