Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal

Resumen Técnico: Cerrando la Brecha: Explorando por qué la Sorpresa de los Modelos de Lenguaje Supera a la Sorpresa Cloze

Enunciado del Problema
La predictibilidad de una palabra en contexto es una métrica fundamental para comprender la comprensión del lenguaje y el esfuerzo de procesamiento. Tradicionalmente, esto se ha cuantificado mediante la tarea cloze, donde participantes humanos completan oraciones incompletas. Más recientemente, las probabilidades de los Modelos de Lenguaje (LM) (específicamente la sorpresa, definida como el logaritmo negativo de la probabilidad) han surgido como una alternativa. Aunque estudios recientes indican que la sorpresa de los LM supera generalmente a la sorpresa cloze como predictor de los tiempos de lectura (TR), sustituir simplemente la tarea cloze por LM basándose en métricas de ajuste es científicamente prematuro. Diferentes predictores pueden conducir a conclusiones divergentes sobre los mecanismos cognitivos de la predicción (por ejemplo, si los efectos son facilitadores o costosos). El problema central abordado es identificar por qué las probabilidades de los LM se ajustan mejor a los datos humanos: ¿es porque los LM capturan mecanismos de predicción genuinamente similares a los humanos, o porque poseen ventajas técnicas (por ejemplo, mayor resolución, granularidad semántica) que carece la tarea cloze?

Metodología
Los autores realizaron un estudio experimental en tres partes utilizando cuatro conjuntos de datos de tiempos de lectura en inglés (BK21 SPR, Provo ET, UCL SPR/ET) con normas de respuesta cloze disponibles.

1. Experimento 1: Comparación de Línea Base y Optimización

   • Objetivo: Reestablecer la superioridad de la sorpresa de los LM sobre la sorpresa cloze y determinar la transformación matemática óptima para las probabilidades cloze.
   • Método: Los autores ajustaron modelos de regresión de Efectos Mixtos Lineales (LME) para predecir los tiempos de lectura palabra por palabra. Compararon modelos utilizando:
     • Sorpresa LM: Calculada usando GPT-2 (pequeño).
     • Sorpresa Cloze: Derivada de respuestas humanas, sujeta a diversas técnicas de suavizado (suavizado aditivo uno con $V$ variable) y transformaciones funcionales (probabilidad cruda, sorpresa cruda y transformaciones de potencia de la sorpresa).
   • Análisis: Los modelos se evaluaron utilizando la verosimilitud logarítmica de validación cruzada de 10 pliegues. Los autores probaron si la sorpresa LM subsume el poder predictivo de la sorpresa cloze y viceversa.

2. Experimento 2: Manipulaciones Impulsadas por Hipótesis

   • Objetivo: Aislar los factores específicos que contribuyen a la superioridad de los LM manipulando las probabilidades de GPT-2 para igualar las limitaciones de la tarea cloze.
   • Hipótesis 1 (Resolución): Los LM sufren menos por baja resolución (datos dispersos) que las tareas cloze.
     • Manipulación: Las probabilidades de GPT-2 se re-muestrearon para igualar el número exacto de muestras ($N$) disponibles en las normas cloze para cada contexto, reduciendo efectivamente la resolución del LM a la de los datos humanos.
   • Hipótesis 2 (Semántica): Los LM distinguen entre palabras semánticamente similares (por ejemplo, sofá vs. diván), mientras que las predicciones humanas pueden agruparlas.
     • Manipulación: El vocabulario de GPT-2 se agrupó utilizando k-medias en incrustaciones de tokens. La probabilidad de una palabra se reemplazó por la suma de las probabilidades de todas las palabras en su grupo semántico, forzando a que las palabras semánticamente similares compartan la misma masa de probabilidad.
   • Hipótesis 3 (Frecuencia): Los LM asignan probabilidades a continuaciones de baja frecuencia que los humanos rara vez producen.
     • Manipulación: El vocabulario de GPT-2 se restringió únicamente a tokens de alta frecuencia; las probabilidades para tokens de baja frecuencia se pusieron a cero y la distribución se renormalizó.

3. Experimento 3: Combinando Probabilidades Cloze y LM

   • Objetivo: Explorar si integrar información de similitud en los datos cloze (Sorpresa Ajustada por Similitud o SA) puede cerrar la brecha de rendimiento.
   • Método: Los autores calcularon la sorpresa SA tanto para respuestas cloze como para muestras de GPT-2. Esta métrica pondera la probabilidad de las continuaciones alternativas según su distancia semántica con la palabra observada. Esto se comparó con la sorpresa cloze estándar de "contar y dividir".

Resultados Clave

• Experimento 1: La sorpresa LM (GPT-2) superó consistentemente a la sorpresa cloze en la mayoría de las medidas de tiempo de lectura (4 de 6), subsumiendo el poder predictivo de los datos cloze. Se encontró que la transformación óptima para los datos cloze era la sorpresa al cuadrado ($S(w_t)^2$) con un factor de suavizado de $V=200$, desafiando la suposición de linealidad en los efectos cloze.
• Experimento 2: Las tres hipótesis fueron apoyadas. Cuando las probabilidades de GPT-2 se manipularon para igualar las limitaciones de la tarea cloze:
  • Resolución: Reducir la resolución de GPT-2 para igualar los tamaños de muestra cloze disminuyó significativamente su ajuste predictivo.
  • Semántica: Agrupar palabras semánticamente similares (eliminando distinciones finas) disminuyó significativamente el ajuste.
  • Frecuencia: Restringir las probabilidades a palabras de alta frecuencia disminuyó significativamente el ajuste.
  • Conclusión: La ventaja de la sorpresa LM proviene de su capacidad para proporcionar estimaciones de alta resolución, distinguir entre palabras semánticamente similares y modelar con precisión continuaciones de baja frecuencia.
• Experimento 3: La sorpresa Ajustada por Similitud (SA), ya sea derivada de respuestas cloze o muestras de GPT-2, tuvo un rendimiento deficiente en comparación con las medidas de sorpresa estándar. Esto sugiere que simplemente ponderar las alternativas por distancia semántica no resuelve la brecha, y que el método de "contar y dividir" sigue siendo una línea base razonable para los datos cloze.

Significado y Afirmaciones
El artículo argumenta que el rendimiento superior de la sorpresa LM no es necesariamente evidencia de que los LM modelen perfectamente los mecanismos de predicción humanos. En cambio, la ventaja surge porque los LM poseen capacidades técnicas (alta resolución, granularidad semántica y cobertura de ítems de baja frecuencia) que carece la tarea cloze tradicional debido a su naturaleza basada en producción fuera de línea y tamaños de muestra limitados.

Los autores afirman que:

1. Los estudios cloze necesitan mayor resolución: Simplemente recopilar más respuestas humanas (más allá de las típicas ~40-90 por oración) podría mejorar el poder predictivo de los datos cloze, potencialmente estrechando la brecha con los LM.
2. La sensibilidad de la predicción humana es una pregunta abierta: Resta por determinar si los lectores humanos realmente realizan las distinciones finas entre palabras semánticamente similares o de baja frecuencia que realizan los LM. Los experimentos futuros deberían probar si las expectativas humanas son tan sensibles a estas distinciones.
3. Precaución metodológica: Los investigadores no deben reemplazar la tarea cloze por LM únicamente basándose en métricas de ajuste. Comprender la fuente de la diferencia de ajuste es crucial para extraer conclusiones científicas válidas sobre el papel de la predicción en la comprensión del lenguaje. Los autores abogan por desarrollar tareas alternativas (por ejemplo, cloze cronometrado o tareas de laberinto) que capturen mejor las intuiciones probabilísticas en tiempo real en lugar de la producción fuera de línea.