$\delta$-mem: Efficient Online Memory for Large Language Models

Resumen Técnico de $\delta$-mem: Memoria Eficiente en Línea para Modelos de Lenguaje Grandes

1. Declaración del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) se despliegan en asistentes a largo plazo y sistemas de agentes, enfrentan un desafío crítico: la necesidad de acumular, actualizar y reutilizar información histórica a lo largo de interacciones prolongadas. Las estrategias actuales a menudo dependen simplemente de expandir la ventana de contexto de entrada. Sin embargo, este enfoque es computacionalmente costoso debido al costo cuadrático de la atención estándar en relación con la longitud del contexto. Además, simplemente aumentar el tamaño de la ventana no garantiza una utilización efectiva; los modelos a menudo sufren de "degradación del contexto" o "podredumbre del contexto" al manejar secuencias muy largas, lo que sugiere que las ventanas de un millón de tokens no resuelven fundamentalmente el problema de la memoria.

Los mecanismos de memoria existentes caen en tres paradigmas, cada uno con limitaciones:

• Mecanismos de Memoria Textual (TMMs): Almacenan la memoria como texto inyectado en el contexto de entrada. Aunque son flexibles, sufren de límites de ventana de contexto, ruido en la recuperación y pérdida de compresión.
• Mecanismos de Memoria de Canal Externo (OMMs): Mantienen la memoria en módulos externos accesibles mediante recuperación. Esto introduce sobrecarga, complejidad de integración y una posible desalineación con el núcleo (backbone).
• Mecanismos de Memoria Paramétrica (PMMs): Codifican la memoria en prefijos o adaptadores. Aunque son eficientes para núcleos congelados, su naturaleza estática limita la adaptación a información que evoluciona dinámicamente.

Existe la necesidad de un mecanismo que mantenga un estado de memoria compacto y en evolución dinámica, y que dirija el núcleo a través de una trayectoria estrechamente alineada con su cálculo de atención interno, sin requerir un ajuste fino completo ni una extensión explícita del contexto.

2. Metodología: $\delta$-mem

Los autores proponen $\delta$-mem, un mecanismo de memoria ligero que augmenta un núcleo de atención completa congelado con un Estado en Línea de Memoria Asociativa (OSAM) compacto. El diseño central sigue un ciclo "Leer-Guiar-Escribir" en cada posición, dejando los parámetros del núcleo congelados.

A. Estado en Línea de Memoria Asociativa (OSAM)
En lugar de almacenar todos los tokens históricos, $\delta$-mem comprime la información pasada en una matriz de estado de tamaño fijo $S \in \mathbb{R}^{r \times r}$ (específicamente una matriz $8 \times 8$ en los experimentos). Este estado almacena asociaciones clave-valor ($k \to v$) del contexto histórico.

• Regla de Actualización: El estado se actualiza secuencialmente utilizando un enfoque de aprendizaje de regla delta inspirado en la regresión en línea. Dada una clave de memoria $k_t$ y un valor $v_t$, el estado predice $\hat{v}_t = S_{t-1}k_t$. La actualización minimiza el error residual:
  $$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$$
  Aquí, $\lambda_t$ (puerta de olvido) controla la retención de la memoria anterior, y $\beta_t$ (puerta de escritura) controla la fuerza de la actualización residual. Esto permite que el estado corrija discrepancias predictivas dinámicamente mientras retiene información histórica estable.

B. Proyecciones de Memoria
El estado oculto $x_t$ del núcleo congelado se proyecta en un espacio de memoria de baja dimensión ($r$ dimensiones) para generar vectores de consulta ($q^m_t$), clave ($k^m_t$) y valor ($v^m_t$) para el estado de memoria. Se aplica normalización a $q^m_t$ y $k^m_t$ para reducir la inestabilidad durante la recurrencia de secuencias largas.

C. Guiado mediante Correcciones de Baja Rango
Durante la generación, $\delta$-mem lee del estado anterior $S_{t-1}$ utilizando la consulta actual $q^m_t$ para producir un vector de lectura $r_t = S_{t-1}q^m_t$. Este vector proporciona señales relevantes para el contexto que guían la atención del núcleo sin recuperar tokens de texto.

• La señal de lectura se transforma en correcciones de baja rango para los lados de consulta ($\Delta q_t$) y salida ($\Delta o_t$) del mecanismo de atención:
  $$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$$
  donde $q^0_t$ es la consulta original y $a_t$ es la salida estándar de atención. Estas correcciones permiten que la memoria asociativa participe directamente en el cálculo hacia adelante.

D. Estrategias de Granularidad de Escritura
El artículo investiga tres estrategias para actualizar el estado:

1. Escritura Token-Estado (TSW): Actualiza el estado en cada token. Preserva detalles de grano fino pero es sensible al ruido.
2. Escritura Secuencia-Estado (SSW): Promedia los estados ocultos dentro de un mensaje o segmento antes de actualizar. Reduce la redundancia y suaviza la evolución.
3. Escritura Multi-Estado (MSW): Mantiene múltiples sub-estados paralelos (por ejemplo, para hechos, preferencias, progreso de tareas) para reducir la interferencia, agregando sus lecturas.

E. Entrenamiento
$\delta$-mem se entrena utilizando la pérdida estándar de Ajuste Fino Supervisado (SFT). Los tokens de contexto se escriben en el estado en línea, pero el estado en sí (no los tokens de contexto crudos) guía el núcleo congelado durante la predicción de la respuesta.

3. Contribuciones Clave

1. Mecanismo Novel: Propone $\delta$-mem, que acopla un estado en línea compacto y dinámicamente actualizado directamente con el cálculo de atención de un núcleo congelado, evitando el ajuste fino completo o el reemplazo del núcleo.
2. Eficiencia Compacta: Demuestra que un estado de memoria extremadamente pequeño (matriz $8 \times 8$) es suficiente para retener señales históricas útiles y recuperar información relevante para el contexto incluso cuando se elimina el historial explícito.
3. Mejoras de Rendimiento: Muestra mejoras significativas en benchmarks pesados en memoria mientras preserva capacidades generales, sin depender de extender el contexto explícito ni de módulos pesados de recuperación externa.

4. Resultados Experimentales

El método fue evaluado en benchmarks de capacidades generales (IFEval, GPQA-Diamond, HotpotQA) y benchmarks pesados en memoria (LoCoMo, MemoryAgentBench) utilizando los núcleos Qwen3-4B-Instruct, Qwen3-8B y SmolLM3-3B.

• Rendimiento General: $\delta$-mem mejoró la puntuación promedio en 1.10$\times$ sobre el núcleo congelado y en 1.15$\times$ sobre la línea base de memoria más fuerte que no es $\delta$-mem (Context2LoRA).
• Tareas Pesadas en Memoria:
  • MemoryAgentBench: Logró una mejora de 1.31$\times$ (de 29.54% a 38.85% promedio).
  • LoCoMo: Logró una mejora de 1.20$\times$ (de 40.79% a 49.12% promedio).
  • Subtarea TTL: La puntuación se duplicó casi, pasando de 26.14 a 50.50.
• Variaciones de Núcleo:
  • En Qwen3-4B, la variante TSW logró el mejor promedio (51.66%).
  • En Qwen3-8B, SSW funcionó mejor (50.86%), lo que sugiere que la escritura a nivel de segmento mitiga el ruido para modelos más fuertes.
  • En SmolLM3-3B, MSW impulsó un salto sustancial (de 26.08% a 36.96%), indicando que los modelos más pequeños se benefician de separar tipos de memoria para minimizar la interferencia.
• Recuperación de Contexto: En configuraciones "Sin Contexto" (donde se elimina el historial explícito), $\delta$-mem recuperó un rendimiento significativo, aumentando la EM de HotpotQA de 0.08% a 6.48% y el promedio de LoCoMo de 3.49% a 8.05%, demostrando que el estado almacena señales reutilizables.
• Estudios de Ablación:
  • Cabezas: Inyectar correcciones en ambas ramas de consulta y salida ($qo$) proporcionó el mejor equilibrio entre rendimiento y parámetros.
  • Profundidad: Aplicar correcciones en todas las capas produjo los mejores resultados, indicando que las señales de memoria benefician a toda la jerarquía de representación.

5. Significado y Afirmaciones

El artículo afirma que la memoria efectiva para LLMs puede realizarse a través de un estado en línea compacto acoplado directamente con el cálculo de atención. El significado de $\delta$-mem radica en su capacidad para:

• Desacoplar el mantenimiento de la memoria de la reinyección de prompts: A diferencia de la memoria textual, no enruta el historial comprimido de vuelta a través del espacio de tokens, evitando los límites de la ventana de contexto y el ruido de recuperación.
• Permitir una evolución dinámica: A diferencia de la memoria paramétrica, el estado evoluciona continuamente con la secuencia mediante aprendizaje de regla delta, adaptándose a nuevas interacciones sin pasos de edición discretos.
• Mantener la eficiencia: Logra estas ganancias con un tamaño de estado fijo y diminuto ($8 \times 8$) y sin modificar la arquitectura del núcleo, ofreciendo una interfaz escalable para la memoria en tiempo de prueba en Transformers congelados.

Los autores concluyen que este enfoque ofrece una alternativa robusta a la expansión de contexto, permitiendo que los modelos aprovechen la información histórica de manera efectiva sin la carga computacional del procesamiento de contexto largo ni la complejidad de los sistemas de recuperación externos.