To model human linguistic prediction, make LLMs less superhuman

Resumen Técnico: "Para modelar la predicción lingüística humana, haz que los LLM sean menos superhumanos"

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) se han utilizado históricamente como modelos computacionales de la predicción lingüística humana, operando bajo la premisa de que su capacidad para predecir palabras futuras refleja los procesos cognitivos humanos. Sin embargo, ha surgido una paradoja: a medida que ha mejorado la precisión de predicción de la siguiente palabra en los LLM convencionales, su capacidad para explicar el comportamiento de lectura humana (específicamente los tiempos de lectura y los datos de seguimiento ocular) ha disminuido. El artículo argumenta que esta divergencia ocurre porque los LLM actuales poseen capacidades predictivas "superhumanas" impulsadas por capacidades de memoria que superan con creces las de los lectores humanos. Específicamente, los LLM exhiben una memoria a largo plazo superior (reteniendo vastos conocimientos factuales y ejemplos de entrenamiento) y una memoria a corto plazo casi perfecta (recordando fielmente palabras de contextos distantes sin decaimiento temporal), lo que conduce a predicciones que el promedio de los humanos no puede realizar.

Metodología y Análisis
El artículo sintetiza la literatura empírica existente y reanaliza la relación entre el rendimiento del modelo y la alineación con datos humanos.

• Síntesis de la Literatura: Los autores revisan la trayectoria de los estudios que utilizan LLM para estimar la predictibilidad de las palabras. Contraponen hallazgos tempranos (donde una mejor precisión de predicción se correlacionaba con una mejor alineación con los tiempos de lectura humanos) con hallazgos recientes (post-2022) que utilizan potentes modelos basados en Transformers entrenados en conjuntos de datos masivos.
• Reevaluación de Datos: Los autores examinan resultados de corpus estándar, incluido el Corpus de Historias Naturales (lectura a ritmo propio) y el Corpus de Dundee (seguimiento ocular). Observan que, si bien las mejoras iniciales en la precisión del modelo mejoraron la alineación, nuevas ganancias en la precisión de predicción —impulsadas por un aumento en la escala del modelo y los datos de entrenamiento— resultaron en una creciente desalineación con los tiempos de lectura humanos.
• Análisis Mecanístico: El artículo disecciona las diferencias arquitectónicas y de entrenamiento entre humanos y LLM:
  • Memoria a Largo Plazo: Los LLM se entrenan con órdenes de magnitud más de datos (por ejemplo, 15 billones de palabras para Llama 3 frente a ~100 millones para un niño de 12 años) y retienen conocimientos factuales (por ejemplo, lugares de nacimiento de celebridades) y expresiones de varias palabras que los humanos carecen o han olvidado.
  • Memoria a Corto Plazo: A diferencia de la memoria de trabajo humana, que decae con el tiempo y es susceptible a interferencias, las arquitecturas Transformer mantienen un almacén "sin decaimiento" de palabras anteriores mediante mecanismos de atención. Esto permite a los LLM recordar perfectamente entidades mencionadas miles de palabras antes, una capacidad que conduce a una predicción casi perfecta de texto repetido donde los humanos muestran dificultad de procesamiento.

Contribuciones Clave

1. Identificación de la "Superhumanidad" como Barrera: El artículo postula que el obstáculo principal para utilizar LLM como modelos cognitivos no es su falta de capacidad, sino su exceso de capacidad. Su memoria "superhumana" les permite resolver tareas de predicción que son inherentemente difíciles para los humanos debido a lagunas de conocimiento o decaimiento de la memoria.
2. Diagnóstico de Discrepancias de Memoria: Los autores atribuyen explícitamente la desalineación a dos fallos específicos de memoria:
   • Desajuste de Familiaridad: Los LLM poseen conocimientos factuales y exposición a textos específicos (por ejemplo, la Declaración de Independencia) que el lector humano promedio no tiene.
   • Desajuste de Recuperación: Los LLM carecen del decaimiento temporal y los efectos de interferencia inherentes a la memoria a corto plazo humana, lo que les permite resolver ambigüedades sintácticas y recordar entidades repetidas con precisión perfecta, mientras que los humanos luchan con ello.
3. Propuesta para Modelado Similar al Humano: El artículo aboga por un cambio en los objetivos de modelado, pasando de maximizar la precisión de predicción a maximizar la similitud humana. Esto implica desarrollar LLM con restricciones de memoria a escala humana.

Resultados y Evidencia

• Tendencias de Divergencia: El análisis de modelos de regresión que ajustan las probabilidades de los LLM a los tiempos de lectura humanos muestra una relación no monótona. Los aumentos iniciales en la precisión del modelo mejoran el ajuste, pero más allá de cierto umbral, nuevas ganancias en precisión degradan el ajuste.
• Estudios de Manipulación de Memoria: El artículo cita evidencia de que limitar el acceso de los LLM al contexto mejora la alineación. Por ejemplo, reducir el peso de las palabras de alta frecuencia en oraciones profundamente incrustadas o restringir la ventana de atención a palabras recientes reduce la discrepancia entre las probabilidades del modelo y los tiempos de lectura humanos.
• Efectos de los Datos de Entrenamiento: Los modelos entrenados en conjuntos de datos más pequeños y curados (por ejemplo, el Desafío BabyLM) o dominios especializados muestran una mejor alineación con el comportamiento de lectura humana que aquellos entrenados en corpus masivos y generales, lo que sugiere que limitar la exposición a datos previene la adquisición de experiencia "superhumana".

Significado y Direcciones Futuras
El artículo concluye que, para que los LLM sirvan como modelos válidos de la comprensión del lenguaje humano, deben "hacerse menos superhumanos". Los autores delinean varias direcciones para lograr esto:

• Curación de Datos de Entrenamiento: Limitar los datos de entrenamiento a cantidades a escala humana (por ejemplo, ~100 millones de palabras) para prevenir la memorización de hechos oscuros y reducir el desarrollo de mecanismos de memoria a corto plazo perfectos.
• Cambios Arquitectónicos: Explorar arquitecturas de redes neuronales recurrentes que obliguen a la compresión de entradas e implementen un decaimiento similar al humano, o modificar los mecanismos de atención de los Transformers para introducir cuellos de botella y funciones de decaimiento.
• Objetivos de Entrenamiento: Cambiar de objetivos que recompensan predicciones "léxicamente nítidas" (asignar alta probabilidad a la única palabra correcta) a objetivos que fomentan predicciones "difusas" (asignar masa de probabilidad a palabras semánticamente similares), reflejando mejor la incertidumbre humana.
• Intervenciones Post-hoc: Utilizar técnicas de edición de modelos para "desaprender" conocimientos factuales específicos que los humanos generalmente carecen.
• Nuevos Paradigmas Experimentales: Los autores solicitan experimentos humanos dirigidos para evaluar el progreso. Estos experimentos deben manipular sistemáticamente el conocimiento a largo plazo (mediante cuestionarios) y las cargas de memoria a corto plazo (mediante recordatorio de listas y texto interviniente) para establecer un vínculo causal entre las restricciones de memoria y el comportamiento de lectura.

El artículo enfatiza que cerrar la brecha entre los LLM y los humanos requiere no solo mejores modelos, sino modelos que estén restringidos por las limitaciones humanas en memoria y conocimiento.