Resumen Técnico: Gated DeltaNet-2

Enunciado del Problema

Los mecanismos de atención lineal ofrecen una alternativa convincente a la atención softmax estándar al reemplazar la memoria caché ilimitada con un estado recurrente de tamaño fijo, reduciendo así la mezcla de secuencias a tiempo lineal y la decodificación a memoria constante. Sin embargo, persiste un cuello de botella fundamental en los modelos de regla delta (como DeltaNet, Gated DeltaNet y Kimi Delta Attention/KDA). Aunque estos modelos mejoran la gestión de memoria permitiendo sobrescrituras dirigidas de asociaciones, dependen de una puerta escalar ($\beta_t$) para controlar simultáneamente dos operaciones distintas:

1. Borrado: Decidir cuánto del contenido antiguo (leído desde el lado de la clave) debe eliminarse.
2. Escritura: Decidir cuánto del contenido nuevo (desde el lado del valor) debe comprometerse.

El artículo argumenta que tratar estas operaciones como una única decisión escalar es una restricción de modelado. El borrado actúa sobre el eje de la clave (determinando qué coordenadas de la lectura antigua eliminar), mientras que la escritura actúa sobre el eje del valor (determinando qué coordenadas del valor entrante comprometer). Acoplar estas decisiones limita la capacidad del modelo para editar selectivamente la memoria comprimida sin desordenar las asociaciones existentes, particularmente en escenarios de contexto largo donde muchas asociaciones compiten por el mismo espacio de estado finito.

Metodología: Gated DeltaNet-2

Los autores proponen Gated DeltaNet-2, una capa de atención recurrente que desacopla las operaciones de borrado y escritura dentro de la regla delta.

1. Regla Delta Puerta-2

La innovación central es la separación de la puerta escalar en dos puertas independientes, canal a canal:

• Puerta de Borrado ($b_t \in [0, 1]^{d_k}$): Un vector aplicado a la dimensión de la clave. Pondera las coordenadas de la lectura actual ($e_t = b_t \odot k_t$) para determinar qué partes del estado antiguo se borran.
• Puerta de Escritura ($w_t \in [0, 1]^{d_v}$): Un vector aplicado a la dimensión del valor. Pondera las coordenadas del valor entrante ($z_t = w_t \odot v_t$) para determinar qué partes del nuevo valor se comprometen.

La ecuación de actualización del estado se convierte en:
$$S_t = (I - k_t(b_t \odot k_t)^\top) D_t S_{t-1} + k_t(w_t \odot v_t)^\top$$
Donde $D_t = \text{Diag}(\alpha_t)$ representa el decaimiento canal a canal heredado de KDA.

Esta formulación generaliza modelos anteriores:

• Si $b_t$ y $w_t$ están vinculados al mismo escalar $\beta_t$, se recupera KDA.
• Si el decaimiento $\alpha_t$ también está vinculado a un escalar, se recupera Gated DeltaNet.

2. Perspectiva de Actualización de Pesos Rápidos

Los autores interpretan la actualización como un paso de optimización en línea sobre una pérdida de regresión local. El modelo minimiza la distancia entre el nuevo estado y una memoria decaída, sujeto a una edición asociativa que corrige el valor leído ($\bar{S}_{t-1}^\top e_t$) hacia el objetivo con puerta ($z_t$). Esta visión aclara que la actualización resta la lectura antigua con puerta antes de añadir el nuevo valor con puerta.

3. Entrenamiento Paralelo Eficiente por Bloques

Para mantener la eficiencia en el entrenamiento, los autores derivan un algoritmo WY (similar a KDA) que absorbe el decaimiento acumulativo canal a canal en los factores de borrado de rango uno.

• Absorción del Decaimiento: El decaimiento canal a canal se normaliza en las matrices de borrado ($\bar{E}$) y escritura ($Z$), permitiendo que la recurrencia se exprese como una actualización delta puramente asimétrica.
• Resolución Triangular: El cálculo por bloques implica resolver un sistema triangular inferior $(I+T)^{-1}$ para calcular las matrices auxiliares $Y$ (lado de borrado) y $U$ (lado de escritura).
• Paso Inverso Consciente de Puertas: Una contribución técnica crítica es la derivación del paso inverso. A diferencia de los modelos con puerta escalar donde el factor de puerta puede extraerse de los productos punto, Gated DeltaNet-2 requiere que las puertas canal a canal ($b_t$ y $w_t$) se incrusten directamente en la acumulación de gradientes para las matrices auxiliares. Esto asegura un flujo de gradiente correcto sin romper la estructura eficiente por bloques.

4. Arquitectura

El modelo se implementa como un mezclador de tokens en un bloque estándar estilo Transformer. Soporta configuraciones solo recurrentes e híbridas. La variante híbrida entrelaza el mezclador Gated DeltaNet-2 con Atención de Ventana Deslizante (SWA) para manejar interacciones locales exactas, mientras que la capa recurrente gestiona dependencias de largo alcance.

Resultados Clave

El modelo fue evaluado con 1.3B de parámetros entrenados en 100B de tokens de FineWeb-Edu, comparado contra Mamba-2, Gated DeltaNet, KDA, Mamba-3 (SISO/MIMO) y Transformers.

• Modelado de Lenguaje y Razonamiento: Gated DeltaNet-2 logró los resultados generales más fuertes tanto en configuraciones recurrentes como híbridas en todas las métricas de perplejidad (WikiText, LAMBADA) y en benchmarks de razonamiento de sentido común sin entrenamiento previo (PIQA, HellaSwag, etc.).
• Recuperación de Contexto Largo (RULER): Las ganancias más significativas se observaron en las tareas de Aguja en un Pajero Multi-Clave (MK-NIAH). En estos escenarios, donde un estado de tamaño fijo debe separar asociaciones competidoras, Gated DeltaNet-2 superó a todos los modelos base, particularmente a medida que aumentaba la longitud del contexto (hasta 8K tokens).
• Recuperación del Mundo Real: En tareas que involucran extracción y respuesta a preguntas (SQuAD, TriviaQA, DROP), el modelo híbrido Gated DeltaNet-2 logró la precisión promedio más alta, demostrando robustez en contextos ruidosos y del mundo real.
• Eficiencia: El análisis de rendimiento en GPUs H100 mostró que Gated DeltaNet-2 mantiene una escalabilidad casi plana a medida que crece la longitud de la secuencia, con solo una sobrecarga constante modesta en comparación con KDA debido a las puertas adicionales canal a canal.

Significado y Afirmaciones

El artículo afirma que desacoplar la edición de memoria activa ataca directamente el punto de presión principal de la recurrencia de estado fijo: la interferencia entre muchas asociaciones comprimidas.

• Flexibilidad de Modelado: Al separar el borrado y la escritura, el modelo puede limpiar el contexto amplio mediante decaimiento, eliminar asociaciones obsoletas específicas mediante la puerta de borrado e insertar solo los canales de valor necesarios mediante la puerta de escritura. Esta flexibilidad permite que el modelo recupere KDA y Gated DeltaNet como casos especiales mientras aprende estructuras de canales más complejas cuando es necesario.
• Validación Empírica: Los estudios de ablación confirman que ambas puertas contribuyen al rendimiento, siendo la puerta de borrado canal a canal ($b_t$) la responsable de la mayoría de las ganancias en el modelado de lenguaje y la recuperación.
• Practicidad: El trabajo demuestra que mecanismos avanzados de control de memoria pueden integrarse en la atención lineal sin sacrificar la eficiencia de entrenamiento paralelo requerida para el entrenamiento a gran escala.

Los autores concluyen que Gated DeltaNet-2 representa un paso adelante en la "frontera de la atención recurrente", ofreciendo un mecanismo más expresivo y eficiente para gestionar la memoria comprimida en escenarios de contexto largo.