Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly

Resumen Técnico: La sorpresa de los modelos de lenguaje basados en Transformers de mayor tamaño predice peor los datos de fMRI

Planteamiento del problema
Las teorías de la comprensión sintáctica basadas en la expectativa postulan que la dificultad de procesamiento es proporcional a la sorpresa informacional (el logaritmo negativo de la probabilidad de una palabra dado su contexto). Aunque los modelos de lenguaje (LM) basados en Transformers se han adoptado ampliamente para estimar la sorpresa, estudios recientes han identificado un fenómeno de "escalado inverso" en los datos basados en latencia (tiempos de lectura): a medida que los LM aumentan en tamaño (conteo de parámetros) y datos de entrenamiento, sus estimaciones de sorpresa se vuelven menos predictivas de los tiempos de lectura humanos. Los modelos más grandes, que logran una menor perplejidad y predicen mejor los tokens raros, asignan valores de sorpresa más bajos que divergen de los datos conductuales humanos.

Sin embargo, investigaciones previas sobre este fenómeno utilizando datos de neuroimagen (fMRI) arrojaron resultados inconcluyentes. Un estudio de Oh et al. (2022) que utilizó un conjunto relativamente pequeño de LM no encontró una tendencia de escalado clara en los datos de fMRI, dejando abierta la posibilidad de que el escalado inverso sea específico de las medidas basadas en latencia. Además, otras investigaciones que utilizan representaciones vectoriales puras de los LM (en lugar de la sorpresa) en datos de fMRI han mostrado un escalado positivo, sugiriendo que los datos de imágenes cerebrales podrían comportarse de manera diferente. Este estudio aborda si la relación de escalado inverso se mantiene para los datos de fMRI cuando se evalúa con un conjunto exhaustivo de modelos.

Metodología
Los autores realizaron una evaluación exhaustiva utilizando estimaciones de sorpresa de 17 modelos de lenguaje basados en Transformers autorregresivos preentrenados de tres familias de modelos: GPT-2, GPT-Neo y OPT. Estos modelos variaban significativamente en su conteo de parámetros. El estudio utilizó dos conjuntos de datos distintos de resonancia magnética funcional (fMRI):

1. Historias Naturales fMRI (Shain et al., 2020): Señales de la serie temporal del nivel de oxigenación sanguínea dependiente del BOLD registradas de 78 sujetos escuchando historias naturales en inglés.
2. Pereira fMRI (Pereira et al., 2018): Señales BOLD por oración agregadas a través de regiones de la red del lenguaje de sujetos que leían pasajes en inglés.

Procedimiento Experimental:

• Cálculo de la Sorpresa: Los textos se tokenizaron utilizando la codificación de pares de bytes (byte-pair encoding) específica de cada modelo. La sorpresa a nivel de palabra se calculó agregando las estimaciones a nivel de token. Para abordar los artefactos del tokenizador donde las probabilidades de los espacios en blanco iniciales suman más de uno, el estudio incorporó la decodificación de espacio en blanco posterior, reasignando la probabilidad del espacio en blanco inicial a la palabra precedente.
• Alineación de la Señal:
  • Para Natural Stories fMRI, la estimación de la sorpresa a nivel de palabra se convolucionó con una función de respuesta hemodinámica (HRF) canónica para alinearla con la serie temporal continua de BOLD.
  • Para Pereira fMRI, donde las respuestas son por oración, se utilizó la estimación de la sorpresa de la palabra final de la oración como el predictor, ya que el contexto precedente está plenamente contabilizado en esa estimación.
• Modelado de Regresión: Se ajustaron modelos de Efectos Mixtos Lineales (LME) para predecir las señales BOLD.
  • Los predictores incluyeron la estimación de la sorpresa, la posición de la palabra y la longitud de la palabra (o la longitud de la oración para Pereira).
  • Los modelos incluyeron efectos aleatorios para sujetos e historias/oraciones.
  • El ajuste del modelo se evaluó mediante la log-verosimilitud en conjuntos de prueba retenidos.

Resultados Clave
El estudio encontró una relación de escalado inverso estadísticamente significativa entre el tamaño del modelo y el poder predictivo en ambos conjuntos de datos de fMRI:

• Natural Stories fMRI: A medida que el conteo de parámetros de los LM aumentaba, la log-verosimilitud de los modelos de regresión para predecir las señales BOLD disminuía significativamente ($p < 0.01$). Esto resuelve los hallazgos inconcluyentes de Oh et al. (2022) al utilizar un rango más amplio de tamaños de modelo.
• Pereira fMRI: Se observó una disminución significativa similar en el poder predictivo a medida que el tamaño del modelo aumentó ($p < 0.05$).

Los resultados indican que los LM más grandes, a pesar de tener probabilidades por palabra estimadas más altas (menor perplejidad), proporcionan un ajuste más pobre a los datos neurales humanos.

Significancia y Reivindicaciones
La contribución principal de este trabajo es la demostración de que el fenómeno de escalado inverso de las estimaciones de sorpresa no es específico de las medidas basadas en latencia (como los tiempos de lectura), sino que también se aplica a los datos neurales (fMRI).

• Resolución de Datos Inconcluyentes: El estudio clarifica la ambigüedad previa de los datos de fMRI, mostrando que la tendencia observada en los datos conductuales se generaliza a las imágenes cerebrales cuando se evalúa un conjunto de modelos lo suficientemente diverso.
• Naturaleza de la Tendencia: Los autores señalan que, si bien la relación inversa existe en los datos de fMRI, esta "no es tan estricta" como en los datos de latencia. Especotan que esto se debe a los niveles de ruido más altos inherentes a las mediciones de fMRI en comparación con los datos conductuales de latencia.
• Implicaciones para la Investigación: Los hallazgos sugieren que los datos de imágenes cerebrales no se comportan sustancialmente de manera diferente de los datos de latencia en este contexto. En consecuencia, la divergencia de los LM más grandes de los patrones de procesamiento humano (probablemente impulsada por su mejora en la predicción de tokens raros) es un fenómeno general a través de las medidas psicométricas. Los autores sugieren que los modelos más pequeños pueden ser más apropiados para los investigadores que buscan comprender los mecanismos de procesamiento de oraciones humanas utilizando los LM, ya que los modelos más grandes pueden sobreajustarse a regularidades estadísticas en los datos de entrenamiento que no se alinean con las restricciones cognitivas humanas.

Limitaciones
Los autores reconocen que los modelos y los conjuntos de datos están centrados en el inglés, y que los hallazgos pueden no replicarse en otros idiomas. Además, el estudio depende de conjuntos de datos de fMRI publicados, y el escalado inverso en el conjunto de datos de Pereira fue menos robusto estadísticamente que en el de Natural Stories, potencialmente debido a la escasez de datos al promediar entre sujetos.