Probing for Reading Times

Resumen Técnico: Probing for Reading Times

1. Planteamiento del Problema

El campo de la psicolingüística computacional ha establecido que el tiempo de lectura (medido mediante seguimiento ocular o eye-tracking) refleja el esfuerzo cognitivo necesario para procesar unidades lingüísticas. Históricamente, el surprisal (la sorpresa o negativa del logaritmo de la probabilidad de una unidad) ha sido el predictor escalar más exitoso para modelar estos tiempos.

Sin embargo, existe una brecha de conocimiento sobre si las representaciones internas de los Modelos de Lenguaje (LMs) neuronales, que son vectores de alta dimensión, capturan señales cognitivas humanas más allá de lo que ofrece el surprisal escalar. La pregunta central es: ¿Pueden las representaciones internas de las diferentes capas de un LLM predecir mejor los tiempos de lectura humanos que los predictores escalares tradicionales, y cómo varía esto según la profundidad de la capa y el tipo de medida de lectura?

2. Metodología

Los autores diseñaron un marco experimental para "sondear" (probe) las representaciones de modelos de lenguaje en busca de señales de tiempos de lectura humanos.

• Datos: Se utilizaron dos corpus de seguimiento ocular:
  • Provo: 55 pasajes en inglés (84 lectores nativos).
  • MECO (Multilingual Eye Movement Corpus): Pasajes en 13 idiomas; el estudio se centró en 5: Inglés, Griego, Hebreo, Ruso y Turco.
• Modelos de Lenguaje:
  • mGPT: Modelo multilingüe basado en GPT-3 (1.3B parámetros, 24 capas).
  • GPT-2 Small: Modelo monolingüe inglés (117M parámetros, 12 capas).
  • cosmosGPT: Modelo monolingüe turco (12 capas).
• Predictores Comparados:
  1. Línea base: Factores psicométricos estándar.
  2. Escalares:
     • Surprisal estándar (capa final).
     • Information Value (valor de información, distancia esperada entre la unidad observada y alternativas).
     • Logit-lens Surprisal (proyección de capas intermedias al espacio de vocabulario).
  3. Representaciones: Vectores de activación extraídos de cada capa ($\ell = 1 \dots L$) del modelo.
• Método de Predicción:
  • Se utilizó regresión lineal regularizada (Ridge y LASSO) para predecir los tiempos de lectura a partir de las características del modelo.
  • Se evaluaron tres métricas de tiempo de lectura:
    • First Fixation Duration (FFD): Duración de la primera fijación (medida de paso temprano).
    • Gaze Duration (GD): Suma de fijaciones antes de salir de la unidad (medida de paso temprano).
    • Total Reading Time (TRT): Suma de todas las fijaciones, incluidas regresiones (medida de paso tardío).
• Validación: Se empleó validación cruzada de 10 pliegues y pruebas de permutación (aleatorizar los tiempos de lectura) para asegurar que las correlaciones no fueran espurias.

3. Contribuciones Clave

1. Desagregación por Capas: A diferencia de estudios previos que usaban el modelo como una caja negra, este trabajo analiza sistemáticamente la capacidad predictiva de cada capa individual del transformador.
2. Comparación Escalar vs. Vectorial: Demuestra que comprimir la representación interna en un solo escalar (surprisal) puede perder información psicométrica relevante, especialmente en etapas tempranas del procesamiento.
3. Análisis Multilingüe: Proporciona una de las primeras evaluaciones exhaustivas de la alineación cognitiva de LMs en cinco idiomas tipológicamente distintos, revelando variaciones significativas entre lenguas.
4. Descubrimiento de la "Alineación Funcional": Identifica una correspondencia entre la jerarquía de capas del modelo y las etapas temporales de la lectura humana.

4. Resultados Principales

• Divergencia por Tipo de Medida:
  • Medidas de Paso Temprano (FFD, GD): Las representaciones de las capas tempranas (generalmente capas 1-10) superan consistentemente al surprisal escalar, especialmente en inglés. Esto sugiere que las capas bajas capturan características léxicas y estructurales locales críticas para el acceso inicial a la palabra.
  • Medidas de Paso Tardío (TRT): Para el tiempo total de lectura, el surprisal escalar (y el logit-lens de capas finales) a menudo iguala o supera a las representaciones de alta dimensión. Esto indica que el procesamiento integrativo y discursivo tardío está bien capturado por la probabilidad global del modelo.
• Variación Lingüística:
  • La ventaja de las representaciones de capas tempranas es más fuerte en inglés.
  • En idiomas como Griego, Hebreo, Ruso y Turco, los predictores escalares a menudo son tan fuertes o más fuertes que las representaciones, dependiendo de la métrica específica. Esto sugiere que la arquitectura del modelo o la calidad de los datos de entrenamiento multilingüe afecta la alineación cognitiva.
• Combinación de Predictores:
  • Combinar surprisal con representaciones de capas tempranas a menudo mejora el rendimiento respecto a usar solo representaciones, aunque los beneficios sobre el surprisal puro son menos consistentes.
• Patrones de Capas:
  • Existe un patrón claro: el poder predictivo de las representaciones es alto al inicio, decae en capas intermedias y se recupera en la capa final. En contraste, el surprisal y el logit-lens muestran menos variabilidad a través de las capas.

5. Significado e Implicaciones

• Alineación Cognitiva: Los resultados apoyan la hipótesis de que los LMs poseen una alineación funcional con el procesamiento humano: las capas tempranas del modelo corresponden a las etapas tempranas de la lectura (acceso léxico), mientras que las capas finales y las medidas escalares se alinean con el procesamiento integrativo tardío.
• Más allá del Surprisal: El estudio demuestra que el surprisal, aunque útil, es una compresión excesiva que descarta información psicométrica valiosa contenida en los estados internos del modelo. Las representaciones internas ofrecen una visión más matizada del esfuerzo cognitivo.
• Limitaciones y Futuro: Se señala que los resultados dependen del idioma y del modelo. Futuras investigaciones deberían explorar modelos más grandes, técnicas de reducción de dimensionalidad (como PCA no lineal) y otras modalidades cognitivas (EEG/fMRI) para validar si estos patrones se generalizan.

En conclusión, el trabajo establece que la capacidad predictiva de los modelos de lenguaje para el comportamiento humano de lectura no es uniforme; depende críticamente de qué capa del modelo se utiliza, qué medida de tiempo de lectura se predice y qué idioma se analiza.