Timesteps of Mamba Align with Human Reading Times

Resumen Técnico: Los pasos de tiempo de Mamba se alinean con los tiempos de lectura humana

Planteamiento del problema
El procesamiento del lenguaje humano se desarrolla a lo largo del tiempo, y una pregunta central en la psicolingüística computacional es cómo los modelos de lenguaje (LM) artificiales representan esta dimensión temporal y si su dinámica interna se alinea con el procesamiento cognitivo humano. Si bien estudios previos han vinculado los modelos basados en Transformers con los tiempos de lectura humanos principalmente a través de la sorpresa (el logaritmo negativo de la probabilidad de una palabra dado un contexto), este enfoque depende del objetivo de predicción de la siguiente palabra. Este estudio investiga una arquitectura alternativa, Mamba (un Modelo de Espacio de Estados o SSM), que posee una noción intrínseca de pasos de tiempo internos que modulan dinámicamente las transiciones de estado en respuesta al estímulo de entrada. Los autores se preguntan si estos pasos de tiempo dependientes de la entrada, que conceptualmente representan la duración de la evolución del estado, se correlacionan con el tiempo que los lectores humanos dedican al procesamiento de las palabras.

Metodología
El estudio emplea un enfoque multifacético que combina el análisis de regresión empírica con el análisis teórico formal de la arquitectura de Mamba.

1. Conjuntos de datos: Los autores utilizaron dos conjuntos de datos de tiempos de lectura naturalistas:

   • Historias Naturales: Datos de lectura auto-dirigida de 181 hablantes nativos de inglés leyendo 10 historias.
   • OneStop: Datos de seguimiento ocular (eye-tracking) de 180 hablantes nativos leyendo 30 artículos (versiones tanto avanzadas como elementales), analizando el tiempo de primer paso (first-pass time) y la duración de la ruta de regresión.

2. Predictores y Modelos:

   • Predictor Primario: El paso de tiempo de discretización ($\Delta t$) de los modelos Mamba (Mamba-130M y Mamba-2.8B). En Mamba, $\Delta t$ es un escalar (o un vector) determinado dinámicamente por el token de entrada mediante una función aprendida (Ec. 5). Los autores agregaron estos en una métrica a nivel de palabra ($\bar{\Delta}t$) promediando a través de las dimensiones y tomando el valor máximo para los tokens de subpalabras.
   • Variables de Control: Para aislar el poder predictivo de $\Delta t$, los autores controlaron características de bajo nivel (longitud de la palabra, frecuencia en el corpus, posición en la oración) y establecieron predictores de tiempo de lectura: la sorpresa de Mamba y la sorpresa de GPT-2.
   • Análisis de Regresión: Se ajustaron modelos de regresión lineal para predecir los tiempos de lectura transformados logarítmicamente. El rendimiento se evaluó mediante validación cruzada de 10 pliegues (repetida 50 veces) a través del Error Cuadrático Medio (MSE). La significancia de $\Delta t$ se probó comparando modelos con y sin la variable mediante pruebas de permutación, con corrección de Holm para comparaciones múltiples entre capas.

3. Análisis Formal e Intervencionista:

   • Sensibilidad Lingüística: Se computaron las correlaciones entre $\bar{\Delta}t$ y características lingüísticas (posición en la oración, distancia sintáctica).
   • Dependencia de Largo Alcance: Se utilizó una tarea de recuperación de "passkey" basada en intervenciones para evaluar qué capas son esenciales para mantener la información sobre contextos largos.
   • Derivación Teórica: Los autores analizaron el espectro de autovalores de la matriz de transición de Mamba para caracterizar las capacidades de retención de memoria. Además, introdujeron un término de ruido en las ecuaciones de transición de estado para derivar teóricamente que la magnitud de $\Delta t$ corresponde a la entropía condicional (incertidumbre) de la transición del estado oculto.

Resultos Clave

• Poder Predictivo: El paso de tiempo de discretización $\bar{\Delta}t$ es un predictor significativo de los tiempos de lectura palabra por palabra de los humanos. El poder predictivo de la mejor capa con mayor rendimiento (por ejemplo, la Capa 17 en Mamba-130M para Historias Naturales) es comparable al de la sorpresa de GPT-2 ($R^2 \approx 0.22$).
• Varianza Única: Crucialmente, $\bar{\Delta}t$ sigue siendo un predictor significativo incluso cuando se controla por la sorpresa de GPT-2 y otras variables de bajo nivel. Esto indica que el tiempo de procesamiento interno de Mamba captura la varianza en el comportamiento de lectura humana que no es explicada por los modelos estándar basados en la sorpresa.
• Especialización de Capas:
  • La mayoría de las capas muestran sensibilidad a características lingüísticas locales (por ejemplo, límites de oraciones, distancia sintáctica).
  • Las Capas 16 y 17 exhiben un comportamiento distinto: son menos sensibles a la estructura de la oración local pero se correlacionan fuertemente con la información a nivel de historia y la posición en la historia. Estas capas también mostraron el mayor poder predictivo para Historias Naturales.
  • Los experimentos de intervención confirmaron que eliminar las Capas 16 y 17 degrada significativamente el rendimiento en tareas de dependencia de largo alcance (recuperación de passkey), sugiriendo que estas capas son críticas para mantener el contexto a largo plazo.
• Alineación Teórica:
  • Retención de Memoria: El análisis de autovalores de la matriz de transición $exp(A)$ revela que las Capas 16 y 17 tienen una mayor proporción de autovalores cercanos a 0.5 (en comparación con la distribución general que tiene su pico cerca de 0), lo que teóricamente respalda su papel en la retención de memoria a largo plazo.
  • Incertidumbre: El análisis teórico sugiere que los valores de $\Delta t$ más grandes corresponden a una mayor incertidumbre en las transiciones de estado. Los datos muestran que $\Delta t$ alcanza su máximo en los límites de las oraciones, que son puntos de alta incertidumbre respecto al contexto venidero, alineándose con la necesidad del modelo de actualizar su estado de manera más agresiva.

Significancia y Reivindicaciones
El artículo afirma que Mamba ofrece una "nueva y valiosa lente" para estudiar el procesamiento del lenguaje humano en tiempo real. A diferencia de los Transformers, que procesan secuencias en paralelo (o mediante mecanismos de atención que no codifican inherentemente la duración del procesamiento), la arquitectura de Mamba modela explícitamente el tiempo a través de pasos de tiempo dinámicos.

Los autores argumentan que:

1. Alineación: El "tiempo de procesamiento" interno ($\Delta t$) de un modelo basado en SSM se alinea con la carga cognitiva humana, lo que sugiere que el mecanismo de ajustar dinámicamente las velocidades de transición de estado es un análogo computacional plausible de la dinámica de lectura humana.
2. Memoria y Ruido: El modelo permite a los investigadores investigar cómo diferentes capas ponderan la retención de información a corto vs. largo plazo (vía el espectro de autovalores) y cómo el "ruido" (incertidumbre en las transiciones de estado) interactúa con las representaciones de memoria continua.
3. Más allá de la Sorpresa: Los hallazgos demuestran que factores más allá de la predictibilidad de la palabra (sorpresa) —específicamente, la duración dinámica de las actualizaciones de estado— son relevantes para el comportamiento de lectura humana.

El estudio concluye que, si bien la dinámica exacta de aprendizaje de por qué $\Delta t$ alcanza su máximo en límites lingüísticos específicos sigue siendo una cuestión abierta, la alineación empírica y teórica entre los pasos de tiempo de Mamba y los tiempos de lectura humana proporciona un marco novedoso para comprender el procesamiento del lenguaje bajo restricciones de memoria.