Transformers Remember First, Forget Last: Dual-Process Interference in LLMs

Resumen Técnico: Interferencia Dual en Modelos de Lenguaje (LLMs)

1. El Problema

A pesar de los avances en ventanas de contexto de millones de tokens, la forma en que los Grandes Modelos de Lenguaje (LLMs) manejan la interferencia de memoria en contextos con información conflictiva sigue siendo poco comprendida.

• Contexto: En la memoria humana, la interferencia retroactiva (RI) (donde el aprendizaje nuevo perturba el recuerdo de lo antiguo) suele dominar sobre la interferencia proactiva (PI) (donde el conocimiento previo bloquea el aprendizaje nuevo).
• La Brecha: No se sabía si los LLMs siguen este patrón humano o si exhiben un comportamiento inverso. Además, no estaba claro si la RI y la PI en los LLMs reflejan un único mecanismo de "capacidad de memoria" o procesos computacionales distintos.
• Importancia: Aplicaciones críticas (registros médicos, documentos legales) requieren que el modelo recuerde estados iniciales tras múltiples actualizaciones (RI) o acceda al estado más reciente ignorando datos antiguos (PI).

2. Metodología

Los autores adaptaron paradigmas clásicos de interferencia de la psicología cognitiva (específicamente el paradigma AB-AC) para probar sistemáticamente 39 LLMs de diversas arquitecturas y escalas (desde 1B hasta 2.5T de parámetros).

• Diseño de la Tarea:

  1. Se presentan al modelo 46 pares de categorías y valores iniciales (ej. "Arte visual: Impresionismo").
  2. Se insertan $N$ actualizaciones intercaladas para cada categoría, asignando nuevos valores (ej. "Arte visual: Barroco"). $N$ varía entre 3 y 300 actualizaciones.
  3. Consulta Retroactiva (RI): Se pregunta por el valor inicial (desafiando la memoria contra actualizaciones nuevas).
  4. Consulta Proactiva (PI): Se pregunta por el valor más reciente (desafiando la memoria contra la intrusión de datos antiguos).
  • Nota: Ambas tareas usan la misma secuencia de estímulos; solo cambia el objetivo de la consulta.

• Métricas:

  • RIES (Retroactive Interference Endurance Score): Área bajo la curva de precisión vs. interferencia para RI.
  • PIES (Proactive Interference Endurance Score): Equivalente para PI.
  • Se analizó la correlación entre RIES y PIES, el impacto del tamaño del modelo y el análisis de errores.

3. Contribuciones Clave

1. Evidencia de Memoria de Doble Proceso: Demostraron que la RI y la PI son procesos computacionalmente distintos en los LLMs, no reflejos de una única capacidad de memoria.
2. Perfil de Interferencia Invertido: Descubrieron que todos los LLMs probados exhiben un patrón opuesto al humano: PI > RI. Los modelos protegen las codificaciones tempranas a expensas de la información reciente.
3. Taxonomía de Fallos Cognitivos: Diferenciaron los modos de fallo: la RI falla por "retrieval pasivo" (no se puede acceder al dato), mientras que la PI falla por "intrusión activa" (datos antiguos invaden la respuesta).

4. Resultados Principales

• Dominancia Universal de la Interferencia Proactiva (PI > RI):

  • Todos los 39 modelos mostraron que la PI causa una degradación de rendimiento mucho mayor que la RI.
  • Efecto: Cohen's $d = 1.73$ ($p < 0.0001$). Mientras que la precisión en RI se mantiene alta (96% hasta $N=50$) y luego cae, la precisión en PI colapsa drásticamente (de 85% a 2% en modelos grandes).
  • Esto indica un sesgo de primacía en la atención de los Transformers: las primeras codificaciones están "protegidas" y bloquean el acceso a la información reciente.

• Desacoplamiento de Mecanismos (RI vs. PI):

  • Sin Correlación: El rendimiento en RI y PI no está correlacionado ($R^2 = 0.044$). Un modelo bueno en una tarea no necesariamente es bueno en la otra.
  • Escala y Parámetros:
    • El tamaño del modelo predice fuertemente la resistencia a la RI ($R^2 = 0.49$). Los modelos más grandes conservan mejor la información inicial.
    • El tamaño no predice la resistencia a la PI ($R^2 = 0.06$, no significativo). La dificultad para acceder a lo reciente es una restricción arquitectónica, no de capacidad.
    • La longitud del contexto no correlaciona con la resistencia a la interferencia en ningún caso.

• Modelos de Razonamiento (Chain-of-Thought):

  • Los modelos de razonamiento (ej. o1, o3) tienen un 18% más de resistencia a la RI, pero sufren una desventaja significativa en PI.
  • Ejemplo: o1 es el #1 en RI pero el #35 en PI. Esto sugiere que el razonamiento optimiza la consolidación de memoria histórica, pero perjudica el acceso al estado más reciente.

• Análisis de Errores:

  • RI (Fallo Pasivo): El 51% de los errores son "fallos de recuperación" (el modelo no encuentra ningún valor). Es un fallo de acceso.
  • PI (Fallo Activo): El 56% de los errores son "intrusiones de misma clave" (el modelo devuelve un valor antiguo correcto de la misma categoría). Es un fallo de selección/competencia.
  • Alucinación: Mínima (<1% en ambos casos). Los modelos confunden posiciones, no inventan datos.

5. Significado e Implicaciones

• Mecanismo Computacional:

  • La RI parece depender de la capacidad de representación (hipótesis de superposición): los modelos grandes tienen vectores más ortogonales, permitiendo que las codificaciones iniciales sobrevivan a las actualizaciones.
  • La PI parece depender de la arquitectura de atención: el mecanismo de atención causal de los Transformers acumula fuerza en los tokens iniciales ("attention sinks"), creando un sesgo de primacía que no se puede superar simplemente aumentando el tamaño del modelo.

• Contraste con la Memoria Humana:

  • Los humanos sufren más RI (lo nuevo borra lo viejo). Los LLMs sufren más PI (lo viejo bloquea lo nuevo). Esto es una inversión fundamental de la biología.

• Recomendaciones Prácticas:

  • Para tareas de memoria histórica (análisis de documentos largos, recuperación de hechos iniciales): Se prefieren modelos grandes y de razonamiento (ej. O-series), ya que tienen alta resistencia a la RI.
  • Para tareas de seguimiento de estado reciente (diálogos, actualizaciones en tiempo real): Los modelos de razonamiento son subóptimos. Se requieren arquitecturas con diseños más equilibrados (ej. Claude mostró una asimetría menor) o mecanismos de mitigación de sesgo de posición.
  • Selección de Modelo: El número de parámetros es más crítico que la longitud de la ventana de contexto para la resistencia a la interferencia.

Conclusión: El estudio revela que los Transformers poseen una arquitectura de memoria intrínsecamente sesgada hacia el pasado (primacía), operando bajo mecanismos duales distintos para la retención de información antigua frente a la selección de información nueva. Esto exige un cambio en cómo se diseñan y seleccionan los modelos para aplicaciones sensibles a la interferencia.