Human-like fleeting memory improves language learning but impairs reading time prediction in transformer language models

Resumen Técnico: La Memoria Efímera Similar a la Humana Mejora el Aprendizaje del Lenguaje pero Deteriora la Predicción del Tiempo de Lectura en Modelos de Lenguaje Transformer

Planteamiento del Problema
La ciencia cognitiva ha hipotetizado durante mucho tiempo que la naturaleza efímera de la memoria de trabajo humana, específicamente la pérdida rápida de las formas exactas de las palabras, paradójicamente ayuda a la adquisición del lenguaje. Esta hipótesis de «menos es más» sugiere que las limitaciones de memoria obligan a los aprendices a centrarse en regularidades locales y desarrollar representaciones abstractas (por ejemplo, agrupación, estructura sintáctica) en lugar de depender de la memorización estadística superficial. El trabajo clásico de conexiónismo de Elman (1993) apoyó esto, mostrando que limitar las ventanas de entrada mejoraba el aprendizaje en redes neuronales recurrentes. Sin embargo, el auge de los modelos Transformer, que poseen una memoria perfecta dentro de sus ventanas de contexto y carecen de sesgos inherentes de recencia, desafía esta visión. Los Transformers aprenden el lenguaje de manera efectiva a pesar de estas capacidades de memoria «superhumanas». Este artículo investiga si la reintroducción de limitaciones de memoria similares a las humanas (memoria efímera) beneficia realmente el aprendizaje del lenguaje en Transformers modernos, y si tales restricciones arquitectónicas mejoran la capacidad de los modelos para predecir el comportamiento de lectura humana.

Metodología
Los autores realizaron experimentos estrictamente controlados utilizando modelos de lenguaje Transformer (arquitectura GPT-2) entrenados en el conjunto de datos BabyLM, que simula regímenes de datos realistas desde el punto de vista del desarrollo (10 millones y 100 millones de tokens).

• Modificación Arquitectónica: Los autores implementaron la «memoria efímera» modificando el mecanismo de autoatención. En lugar de pesos de atención uniformes, aplicaron un sesgo de recencia fijo y no entrenable (una función de decaimiento de ley de potencia) a las puntuaciones de atención después de la operación softmax. Este sesgo reduce la retención de tokens basándose en su distancia desde la palabra actual.
• Búfer de Memoria Ecoica: Reconociendo que un decaimiento ingenuo (pérdida inmediata desde el primer token) interrumpía las dependencias locales, los autores introdujeron un «búfer de memoria ecoica». Esto asegura una retención perfecta para las primeras 3–7 palabras (aproximadamente 5–10 tokens) antes de que comience el decaimiento de ley de potencia, imitando la memoria sensorial humana.
• Diseño Experimental: Para aislar el efecto de la arquitectura de memoria, los autores entrenaron modelos con semillas aleatorias idénticas (controlando la inicialización de pesos y el orden de muestreo de datos) bajo dos condiciones: Memoria Perfecta (Transformer estándar) y Memoria Efímera (con diversas intensidades de decaimiento y tamaños de búfer).
• Métricas de Evaluación:
  1. Aprendizaje del Lenguaje: Medido mediante la pérdida de validación (entropía cruzada) y evaluación sintáctica dirigida utilizando el benchmark BLiMP (pares mínimos lingüísticos).
  2. Alineación Conductual: Medido por la capacidad del modelo para predecir los tiempos de lectura humana (predicción basada en la sorpresa) utilizando regresión de efectos mixtos lineales en los corpus Natural Stories y Dundee.
  3. Rigor Estadístico: Los análisis utilizaron pruebas t de bootstrap a través de 10–12 semillas por condición para asegurar que los resultados no fueran artefactos de la estocasticidad.

Resultados Clave

1. El Decaimiento Ingenuo Deteriora el Aprendizaje: Una implementación «ingenua» de la memoria efímera (decaimiento inmediato sin búfer) degradó consistentemente el rendimiento de modelado del lenguaje, aumentando la pérdida de validación.
2. Memoria Efímera + Búfer Mejora el Aprendizaje: Cuando se combina con un búfer de memoria ecoica, la memoria efímera mejoró consistentemente el aprendizaje del lenguaje. Los modelos con esta arquitectura lograron una pérdida de validación menor y puntuaciones BLiMP más altas en comparación con los controles de memoria perfecta en ambos conjuntos de entrenamiento de 10M y 100M tokens. Las mejoras fueron estadísticamente significativas y robustas a través de diferentes configuraciones de hiperparámetros.
3. Ganancias en Conocimiento Sintáctico: Las mejoras se extendieron a fenómenos sintácticos abstractos, particularmente aquellos que dependen de dependencias locales (por ejemplo, Concordancia Sujeto-Verbo, Concordancia de Anáforas).
4. Deterioro en la Predicción del Tiempo de Lectura: Contrario a la expectativa de que los mejores modelos de lenguaje predicen mejor el comportamiento humano, los modelos de memoria efímera funcionaron peor al predecir los tiempos de lectura humana. Este deterioro se observó en ambos tamaños de conjunto de entrenamiento y conjuntos de datos (Natural Stories y Dundee).
5. Mecanismo de Disociación: Los autores descartaron explicaciones estándar para la paradoja de «mejor modelo, peor comportamiento». El deterioro no se debió a escalas de entrenamiento superhumanas (ya que los datos eran a escala humana) ni únicamente a la memorización de palabras de baja frecuencia (aunque el error se concentró en palabras raras, la firma específica de subpredicción asociada con la memorización estaba ausente).

Significado y Afirmaciones
El artículo afirma proporcionar apoyo empírico a la hipótesis cognitiva de que las limitaciones de memoria sirven como un sesgo inductivo beneficioso para el aprendizaje del lenguaje en redes neuronales, incluso dentro de la arquitectura Transformer. Al codificar el prior estadístico de que las dependencias lingüísticas a menudo son locales, la memoria efímera mejora la eficiencia de la muestra y la adquisición de la estructura sintáctica.

Sin embargo, los autores destacan una disociación crítica: las restricciones arquitectónicas que hacen que un modelo sea más «similar al humano» en su proceso de aprendizaje no necesariamente lo hacen más «similar al humano» en su predicción del comportamiento humano (tiempos de lectura). Los resultados sugieren que múltiples mecanismos distintos pueden causar una divergencia entre la competencia en el modelado del lenguaje y la alineación conductual. Los autores notan modestamente que estos hallazgos son específicos de regímenes de datos a escala humana; en las escalas de preentrenamiento contemporáneas (miles de millones de tokens), los beneficios de tales restricciones pueden disminuir a medida que los modelos pueden aprender sesgos locales directamente de los datos. El trabajo subraya que mejorar la eficiencia de aprendizaje interna de un modelo no garantiza un mejor ajuste a los datos de procesamiento humano.