Resumen Técnico: Atención Delta de Fourier Semidirecta (SFDA)

Planteamiento del Problema

Los mecanismos de atención lineal buscan reemplazar la complejidad cuadrática y el crecimiento del caché KV de la atención softmax con un estado recurrente de tamaño fijo. Sin embargo, la memoria de estado fijo suele tener dificultades para realizar copias exactas, el seguimiento preciso de estados algorítmicos y la recuperación en contextos largos. Kimi Delta Attention (KDA) representa un enfoque reciente sólido en esta dirección, utilizando un estado de memoria con valores de matriz actualizado mediante un decaimiento diagonal y una corrección delta de rango uno. Aunque KDA logra eficiencia práctica a través de una representación de estilo WY por bloques (chunk-wise), su decaimiento diagonal puramente real limita su capacidad para realizar memoria cíclica acotada o rastrear estados oscilatorios. La cuestión central abordada en este trabajo es si se pueden añadir dinámicas de fase/control algebraico a la memoria recurrente tipo KDA sin destruir el kernel estructurado por bloques requerido para la eficiencia.

Metodología

El artículo introduce la Atención Delta de Fourier Semidirecta (SFDA), una capa de regla delta controlada por fase que contiene estrictamente a KDA como un caso especial.

Arquitectura Central

SFDA reemplaza el decaimiento diagonal real de KDA con un operador de control de Fourier de rotación por bloques. En coordenadas complejas, la actualización recurrente se define como:
$$S_t = (I - \beta_t k_t k_t^*) \Lambda_t S_{t-1} + \beta_t k_t v_t^*$$
donde $\Lambda_t = \text{diag}(\alpha_t \odot e^{i\theta_t})$.

• Control de Fase: $\Lambda_t$ introduce una fase de Fourier aprendible $\theta_t$ junto al decaimiento $\alpha_t$.
• Corrección Delta: El término de actualización de rango uno $\beta_t k_t v_t^*$ permanece, preservando la estructura de la regla delta.
• Implementación Real: En coordenadas reales, la diagonal compleja $\Lambda_t$ se implementa como una suma directa de bloques de rotación-decaimiento de $2 \times 2$, evitando la necesidad de FFTs y manteniendo la compatibilidad con el hardware.

El Teorema de Chunk-WY Constructivo

La contribución técnica central es un teorema de chunk-WY constructivo de izquierda a derecha. Para una secuencia de transiciones $A_t = \Lambda_t - u_t r_t^*$ (donde $u_t = \beta_t k_t$ y $r_t = \Lambda_t^* k_t$), el producto $P_t = A_t A_{t-1} \cdots A_1$ puede actualizarse explícitamente como:
$$P_t = \Gamma_t - Y_t M_t W_t^*$$
donde:

• $\Gamma_t$ es el producto de las matrices de fase-decaimiento.
• $Y_t, W_t$ son matrices de tamaño $d \times t$ (acotadas por el tamaño del bloque $C$).
• $M_t$ es una matriz triangular de tamaño $t \times t$.

Crucialmente, el rango del término de corrección crece únicamente dentro de un bloque fijo de tamaño $C$. Esto convierte la clausura bajo composición en una recursión local por bloques implementable, proporcionando un resumen de escritura afín exacto y límites de costo formales.

Expresividad de Estado Finito

El artículo distingue entre la plantilla afín de escritura ligada generalizada (utilizada para pruebas de expresividad teórica) y la familia SFDA compatible con kernels (utilizada para la implementación).

• Plantilla Generalizada: Los autores demuestran que cada autómata finito determinista (DFA) puede ser realizado exactamente por un sistema afín de escritura ligada generalizado mediante elevación one-hot, incluso con la restricencia de acoplamiento borrado-escritura (al establecer el coeficiente de escritura en cero).
• Realización Compacta: Para la familia SFDA real compatible con kernels ($\Lambda_t - u_t r_t^*$), el artículo caracteriza la expresividad compacta para familias estructuradas específicas:
  • SFDA de solo fase: Realiza exactamente contadores cíclicos de producto y filtros oscilatorios.
  • Con Reflexiones: Realiza memoria de orientación de fase diedral.
  • Con Corrección Delta: Realiza memorias de registro/reinicio (register/reset).
  • Con Permutaciones Parciales: Realiza pilas (stacks) acotadas.

Principales Contribuciones

1. Definición de SFDA Ligada: Una arquitectura formal que generaliza a KDA insertando una matriz de control de rotación por bloques, recuperando KDA cuando las fases son cero.
2. Teorema de Chunk-WY Constructivo: Una prueba de que el decaimiento de fase más las correcciones de rango uno admiten una recursión explícita de izquierda a derecha para los productos de bloques, manteniendo un rango acotado por el tamaño del bloque $C$.
3. Transferencia de Bloque Afín Exacta: Un teorema que muestra cómo calcular el resumen de escritura del bloque $B_{\text{chunk}}$ mediante una recurrencia de estado inicial cero, permitiendo actualizaciones de estado de frontera exactas.
4. Caracterización de la Expresividad Compacta: Pruebas de que SFDA realiza de forma compacta contadores cíclicos, memoria diedral, registros y pilas acotadas bajo controles estructurados específicos, mientras señala que los autómatas finitos arbitrarios requieren elevación one-hot en la plantilla generalizada.
5. Realizabilidad de Estado Finito: Una prueba de que la restricción de escritura ligada no es un obstáculo para la expresividad de los DFA cuando se utiliza la plantilla generalizada.
6. Enrutamiento de Órbita Restringida: Un teorema que caracteriza cuándo una dirección de escritura ligada puede ser enrutada a una dirección desacoplada utilizando solo la familia de control estructurado del modelo (por ejemplo, rotaciones por bloques).

Resultados

El artículo valida sus afirmaciones algebraicas y su mecanismo mediante verificaciones numéricas y experimentos de juguete, evitando explícitamente realizar afirmaciones de superioridad en modelos de lenguaje a gran escala en esta etapa.

• Verificación Numérica: La recursión constructiva de chunk-WY, la transferencia de bloque afín y la reducción a KDA fueron verificadas contra la verdad de base (ground truth) por fuerza bruta, mostrando residuos en la precisión numérica (por ejemplo, $10^{-10}$ a $10^{-15}$).
• Experimentos de Memoria Cíclica:
  • Contador Construido: En una tarea de contador mod-5 sin entrenamiento, SFDA rastreó el estado exactamente desde la longitud 27 hasta la 213, mientras que la línea base de decaimiento de diagonal real colapsó al nivel del azar.
  • Contador Aprendido: Un modelo mínimo de SFDA entrenado a una longitud de 48 logró extrapolar exitosamente hasta longitudes de 768 (aprox. 4 veces la longitud de entrenamiento) en una tarea de contador mod-5, mientras que la línea base KDA sin fase permaneció cerca del nivel del azar.
  • Contador de Reinicio (Reset): SFDA extrapoló casi perfectamente hasta 8 veces la longitud de entrenamiento en una tarea de contador de reinicio, mientras que KDA se estancó alrededor de una precisión de 0.68.

Significado y Reivindicaciones

El artículo posiciona a SFDA como un marco teórico y orientado a sistemas para la memoria delta controlada por fase.

• Significado Teórico: Resuelve la tensión entre el cómputo paralelo de atajo (shortcut computation) y el seguimiento del estado recurrente al demostrar que las dinámicas de fase pueden integrarse en el marco de la regla delta sin sacrificar el invariante del kernel estructurado. Establece que la restricción de "escritura ligada" no impide la realización exacta de estados finitos, aunque la realización compacta de baja dimensión depende de la familia de control específica.
• Objetivo de Sistemas: Los autores declaran que el objetivo empírico inmediato no es superar a KDA en tareas de juguete, sino probar si la capa lineal de SFDA, al ser más fuerte, puede soportar una mayor proporción de atención lineal-a-global (por ejemplo, 7:1 o 15:1) comparada con el híbrido típico de 3:1 de KDA, igualando o superando el rendimiento bajo un cómputo igual.
• Modestia de las Reivindicaciones: El artículo se abstiene explícitamente de afirmar:
  • Una representación exacta de rango fijo global para toda la secuencia (el rango crece dentro de los bloques).
  • Que SFDA supere a KDA en el modelado de lenguaje a gran escala o en la velocidad de kernel fusionado (estos temas se reservan para futuros trabajos de sistemas).
  • Que cada autómata finito admite una representación pequeña y compacta en la familia estricta de fase más rango uno (solo se demuestran ciertas familias estructuradas específicas).

Este trabajo sirve como una base formal para una nueva clase de capas de atención lineal que combinan la eficiencia de las actualizaciones de regla delta con las capacidades de seguimiento de estado de las dinámicas de fase de Fourier.