Why are language models less surprised than humans? Testing the Parse Multiplicity Mismatch Hypothesis

Resumen Técnico: Prueba de la Hipótesis de la Discrepancia en la Multiplicidad de Análisis

Enunciado del Problema
La teoría de la sorpresa (surprisal) postula que la dificultad de procesamiento de una palabra está determinada por su predictibilidad en contexto (su log-probabilidad negativa), ofreciendo un vínculo potencial entre el procesamiento de oraciones humanas y las predicciones de la siguiente palabra de los modelos de lenguaje (LMs). Aunque las sorpresas de los LMs predicen con éxito los tiempos de lectura en textos naturalistas, subestiman sistemáticamente la magnitud de la dificultad observada en estudios controlados de ambigüedad sintáctica, particularmente en oraciones de "camino de jardín". En estas oraciones, una ambigüedad temporal favorece inicialmente una interpretación, que luego se desambigua en favor de una interpretación no preferida, provocando costos de procesamiento significativos (por ejemplo, aumentos en el tiempo de lectura de >300 ms).

Investigaciones anteriores indican que, aunque los LMs predicen la dirección de los efectos de camino de jardín, la magnitud es varios órdenes de magnitud menor que los datos humanos. Por ejemplo, GPT-2 predice un efecto de camino de jardín de aproximadamente 8 ms, mientras que los datos humanos muestran efectos que superan los 300 ms. Este artículo investiga si esta desalineación surge de diferencias en las restricciones computacionales entre los humanos y los LMs. Específicamente, se prueba la Hipótesis de la Discrepancia en la Multiplicidad de Análisis: la propuesta de que los LMs pueden mantener simultáneamente un mayor número de interpretaciones sintácticas distintas (análisis) en la memoria que los humanos. Si los humanos están más restringidos en su paralelismo, podrían comprometerse con una única interpretación incorrecta antes, lo que llevaría a una mayor sorpresa tras la desambiguación en comparación con los LMs que marginalizan sobre muchos análisis en competencia.

Metodología
Para probar esta hipótesis, los autores utilizaron Gramáticas de Redes Neuronales Recurrentes (RNNGs) (Dyer et al., 2016). A diferencia de los LMs autoregresivos estándar (por ejemplo, GPT-2) que aprenden la sintaxis implícitamente, las RNNGs condicionan las predicciones de la siguiente palabra sobre un análisis sintáctico explícito del contexto. Esta arquitectura permite la manipulación directa de la multiplicidad de análisis mediante la búsqueda en haz sincronizada con palabras.

1. Configuración del Modelo: Los autores entrenaron RNNGs en los corpus BabyLM y BLLIP utilizando dos estrategias de análisis: de arriba hacia abajo y de esquina izquierda.
2. Manipulación de la Multiplicidad: El parámetro clave variado fue el ancho del haz por palabra ($k_w$), que determina el número de análisis distintos retenidos en cada paso de palabra.
   • $k_w = 1$: Representa un analizador totalmente serial (manteniendo solo un análisis).
   • $k_w \to \infty$: Representa un analizador totalmente paralelo (aproximando la marginalización completa sobre todos los análisis).
   • El estudio probó valores de $k_w$ que van desde 1 hasta 1000.
3. Cálculo de la Sorpresa: La sorpresa de la siguiente palabra se calculó marginalizando la distribución de probabilidad de la siguiente palabra sobre los $k_w$ mejores análisis.
4. Condiciones Contrafactuales: Para establecer límites, los autores introdujeron dos condiciones específicas:
   • CAMINO DE JARDÍN FORZADO: Poda manual del haz para incluir solo los análisis consistentes con la interpretación inicialmente preferida (incorrecta), creando una cota superior de la sorpresa predicha.
   • PARALELO COMPLETO: Aseguramiento manual de que el haz siempre contenga al menos un análisis consistente con la interpretación globalmente correcta, creando una cota inferior.
5. Datos y Evaluación: Los modelos se evaluaron en el SAP Benchmark (Huang et al., 2024), específicamente en tres construcciones de camino de jardín (MV/RR, NP/S, NP/Z). El estudio comparó los tiempos de lectura predichos (derivados de la sorpresa mediante regresión de efectos mixtos lineales en oraciones de relleno) con los tiempos de lectura humanos empíricos.

Resultados Clave

1. Texto Naturalista: Consistente con trabajos anteriores, las estimaciones de sorpresa derivadas de anchos de haz más grandes ($k_w$) proporcionaron un mejor ajuste a los tiempos de lectura en oraciones de relleno naturalistas. Esto sugiere que, para el texto general, un mayor paralelismo (más análisis) produce predicciones más precisas y similares a las humanas.
2. Efectos de Camino de Jardín: Reducir la multiplicidad de análisis (disminuir $k_w$) sí aumentó la magnitud de los efectos de camino de jardín predichos, apoyando la intuición de que limitar el paralelismo incrementa los costos de desambiguación. Los efectos más grandes se observaron en anchos de haz intermedios ($2 \le k_w \le 10$), donde el haz era lo suficientemente pequeño como para podar el análisis correcto pero lo suficientemente grande como para mantener análisis de alta calidad.
3. La Brecha Persiste: A pesar de aumentar el tamaño del efecto predicho restringiendo el paralelismo, los resultados no lograron cerrar la brecha con los datos humanos.
   • Incluso en las condiciones más restrictivas (por ejemplo, $k_w=1$ o la condición de CAMINO DE JARDÍN FORZADO donde solo se consideró el análisis incorrecto), los aumentos predichos en el tiempo de lectura fueron varios órdenes de magnitud menores que los efectos humanos empíricos.
   • La condición de PARALELO COMPLETO (garantizando que el análisis correcto esté presente) no redujo significativamente la subestimación en comparación con el haz no modificado, lo que indica que el problema no es meramente la presencia del análisis correcto en el haz.

Significado y Afirmaciones
El artículo concluye que la Hipótesis de la Discrepancia en la Multiplicidad de Análisis no puede reconciliar completamente la sorpresa basada en LMs con el procesamiento de oraciones humanas. Si bien limitar el número de análisis simultáneos en los LMs aumenta la dificultad predicha de las oraciones de camino de jardín, es insuficiente para explicar la magnitud completa de los costos de procesamiento humanos.

Los autores argumentan que este hallazgo sugiere:

• La desalineación no es impulsada únicamente por el número de interpretaciones consideradas (multiplicidad de análisis).
• Incluso cuando se fuerza a un LM a considerar solo la interpretación inicialmente preferida (incorrecta), la sorpresa resultante para la palabra desambiguadora sigue siendo demasiado baja para explicar los tiempos de lectura humanos.
• Por lo tanto, explicar la magnitud completa de los efectos de camino de jardín probablemente requiere mecanismos más allá de la predictibilidad de una sola etapa de palabra. Los autores sugieren que el reanálisis sintáctico (un proceso de reparación de segunda etapa) u otros mecanismos no capturados por la teoría estándar de la sorpresa son necesarios para modelar la dificultad de desambiguación humana.

El trabajo implica que, aunque los LMs pueden paralelizar los mecanismos de predicción humanos, las restricciones computacionales específicas de la memoria humana (en términos de paralelismo) no son el factor principal que causa la discrepancia en los efectos de camino de jardín. En cambio, la naturaleza del costo de procesamiento en sí mismo puede involucrar procesos (como el reanálisis) que no son reducibles a la sorpresa a nivel de palabra.