🤖 machine learning

DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding

DeltaLog es un esquema de decodificación de estado recurrente que acelera los modelos de atención lineal al posponer la materialización completa del estado en favor de anexar actualizaciones compactas a un registro logarítmico acotado y fusionarlas periódicamente, reduciendo así significativamente el tráfico de memoria y mejorando la velocidad de servicio de extremo a extremo.

Autores originales: Junqing Lin, Jingwei Sun, Guangzhong Sun

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Junqing Lin, Jingwei Sun, Guangzhong Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los sistemas modernos de inteligencia artificial que generan texto, desde chatbots hasta asistentes de escritura creativa, dependen de un proceso fundamental llamado decodificación autorregresiva. En este proceso, la computadora predice la siguiente palabra en una oración una a la vez, utilizando las palabras que ya ha generado para informar su siguiente suposición. Durante años, los modelos más potentes han utilizado un mecanismo conocido como atención para decidir qué palabras anteriores son más importantes para la predicción actual. Si bien este enfoque es increíblemente efectivo, crea un cuello de botella creciente: a medida que la conversación se alarga, el sistema debe almacenar y recuperar constantemente una lista cada vez más extensa de cada palabra vista hasta el momento, consumiendo vastas cantidades de memoria informática y ralentizando el tiempo de respuesta. Para resolver esto, los investigadores han desarrollado una nueva clase de modelos que reemplazan la lista en expansión con un resumen de tamaño fijo, o estado, que se actualiza con cada nueva palabra. Este cambio elimina la necesidad de recordar cada uno de los tokens pasados, pero introduce un problema diferente: el sistema aún debe reescribir constantemente este resumen completo cada vez que se añade una nueva palabra, creando un pesado atasco de tráfico en la memoria de la computadora.

Un equipo de investigadores de la Universidad de Ciencia y Tecnología de China ha identificado este reescrito constante como una ineficiencia importante y ha diseñado una solución que llaman DeltaLog. En lugar de obligar a la computadora a reescribir el resumen completo de la conversación después de cada palabra, DeltaLog permite que el sistema mantenga una versión estable y completa del resumen y simplemente adjunte una nota pequeña y compacta que describa el cambio más reciente. El sistema solo reescribe el resumen completo ocasionalmente, después de haber acumulado un cierto número de estas pequeñas notas. Este enfoque es como mantener un libro contable maestro y una pila de notas adhesivas; en lugar de reescribir todo el libro contable cada vez que ocurre una nueva transacción, simplemente se añade la transacción a la pila y se actualiza el libro contable solo cuando la pila es demasiado alta. Al hacer esto, los investigadores descubrieron que podían reducir drásticamente la cantidad de datos que la computadora necesita mover, lo cual es a menudo la parte más lenta del proceso.

Los investigadores probaron este método en varios tipos diferentes de modelos de lenguaje modernos, incluyendo Gated DeltaNet, Kimi Delta Attention y RWKV6. En sus experimentos, midieron cuánto tiempo le tomó a la computadora generar una sola palabra y cuánto tráfico de memoria hubo involucrado. Descubrieron que, al posponer el reescrito completo del resumen, podían acelerar el cálculo central que actualiza la memoria del modelo hasta 1.86 veces en tarjetas gráficas de alta gama. Más importante aún, observaron que la cantidad de datos escritos en la memoria de alta velocidad de la computadora disminuyó hasta 7.83 veces. Esta reducción de tráfico es significativa porque, en este tipo de modelos, la velocidad a menudo está limitada no por qué tan rápido puede calcular la computadora, sino por qué tan rápido puede mover datos dentro y fuera de su memoria.

Cuando los investigadores integraron este método en un sistema completo diseñado para atender a muchos usuarios a la vez, los beneficios se tradujeron en tiempos de respuesta más rápidos para el usuario final. En pruebas con modelos grandes que contienen decenas de miles de millones de parámetros, el sistema generó palabras entre un 5% y un 20% más rápido que antes. La mejora fue más notable cuando el sistema estaba manejando muchas solicitudes simultáneamente, un escenario común para aplicaciones del mundo real. Los investigadores confirmaron que esta aceleración no se produjo a costa de la precisión; el texto generado por el sistema modificado seguía siendo matemáticamente equivalente al original, lo que significa que la calidad de la salida se preservó mientras que la entrega se volvió mucho más eficiente.

La clave de este trabajo es que la forma en que una computadora almacena y actualiza físicamente la información no siempre necesita coincidir con los pasos lógicos que toma el modelo. Aunque el modelo actualiza lógicamente su estado con cada palabra, el hardware físico no necesita reescribir inmediatamente el estado completo para reflejar ese cambio. Al separar la historia estable de los cambios recientes y fusionarlos solo periódicamente, DeltaLog reduce el "impuesto de actualización de estado", un término que los autores usan para describir el exceso de tráfico de memoria causado por las actualizaciones ansiosas e inmediatas. Esta estrategia no cambia el modelo subyacente ni sus pesos; simplemente cambia el horario de cómo la computadora maneja los datos. Los resultados sugieren que, para los modelos de lenguaje a gran escala, optimizar el movimiento físico de los datos es tan crítico como mejorar los algoritmos matemáticos mismos, ofreciendo un camino claro hacia una inteligencia artificial más rápida y eficiente.

Resumen Técnico: DeltaLog

Problema: El impuesto de actualización de estado en la decodificación de atención lineal

Los modelos de atención lineal (por ejemplo, GDN, KDA, RWKV6) ofrecen una alternativa convincente a la atención softmax al reemplazar el cómputo cuadrático del prefijo y el caché de Clave-Valor (KV) de crecimiento de contexto con actualizaciones de estado recurrente de tamaño fijo. En estos modelos, el estado $S_t$ es una matriz densa de tamaño $d_k \times d_v$ , independiente de la longitud de la secuencia.

Sin embargo, las implementaciones de decodificación existentes sufren una ineficiencia significativa denominada el impuesto de actualización de estado (state-update tax). Aunque la actualización lógica contribuida por un solo token es compacta (representada por vectores de tamaño $O(d_k + d_v)$ ), las implementaciones "eager" estándar materializan inmediatamente esta actualización en el estado denso completo y escriben todo el tensor $[B, H, d_k, d_v]$ de vuelta a la Memoria de Alto Ancho de Banda (HBM) después de cada generación de token.

Desajuste de tráfico de memoria: Para un tamaño de lote $B$ y $H$ cabezales, la información real añadida es $O(BH(d_k + d_v))$ , pero el tráfico físico involucra la lectura y escritura de $O(BH d_k d_v)$ elementos.
Cuello de botella limitado por memoria: Esta materialización ansiosa crea una intensidad aritmética de aproximadamente 0.5–1.0 FLOPs/byte, lo cual está muy por debajo del balance de la máquina de las GPU modernas (por ejemplo, ~208 FLOPs/byte para H200). En consecuencia, el mantenimiento del estado recurrente se convierte en una fuente primaria de tráfico de memoria, dominando la latencia de decodificación, especialmente a medida que aumentan los tamaños de lote y de estado. Las mediciones muestran que esto puede consumir hasta el 44.6% de la latencia de decodificación en escenarios de gran tamaño de lote.

Metodología: Materialización diferida mediante DeltaLog

El artículo propone DeltaLog, un esquema de decodificación que desacopla la recurrencia lógica de la materialización física del estado. DeltaLog no altera los pesos del modelo ni la recurrencia matemática; solo cambia el cronograma físico de las actualizaciones de estado.

Mecanismo central: Base + Log

DeltaLog representa el estado recurrente vivo como dos componentes:

Estado base denso ( $\bar{S}$ ): Una matriz densa que almacena el historial acumulado hasta el último punto de "fusión" (merge point).
Log de actualización acotado: Un búfer que almacena factores de actualización compactos recientes ( $a_t, b_t$ ) y su metadato de decaimiento logarítmico asociado ( $\Lambda$ ).

El ciclo de decodificación opera en dos fases:

Fase de anexión (Caso común): Durante $M-1$ pasos, el sistema no escribe de vuelta el estado denso completo. En su lugar, anexa los factores de actualización compactos y la instantánea del decaimiento logarítmico actual al búfer del log. La base densa $\bar{S}$ permanece sin cambios.
Fase de fusión (Periódica): Cada $M$ pasos, el sistema materializa el estado lógico acumulado (base + entradas de log reproducidas) de vuelta en la base densa $\bar{S}$ , reinicia el log y elimina las actualizaciones diferidas.

Modelo de tráfico

Al diferir la escritura de vuelta del estado denso, DeltaLog reemplaza las frecuentes escrituras de estado completo con:

Anexiones ligeras de factores compactos ( $O(d_k + d_v)$ ).
Escrituras densas amortizadas que ocurren solo una vez cada $M$ pasos.
Reproducción de las entradas del log durante el paso de fusión.

El intervalo de fusión óptimo $M$ equilibra el costo del aumento del tráfico de reproducción frente al ahorro de las reducciones de escrituras densas.

Implementación del Kernel

Para implementar esto eficientemente en GPUs, los autores emplean una descomposición de kernel por bloques (tiled kernel decomposition):

Paralelismo de bloque de valor: El estado se particiona a lo largo de la dimensión de valor ( $d_v$ ). Cada unidad de trabajo maneja un segmento de la base densa y la partición correspondiente del log del lado del valor.
Metadatos compartidos: Los factores del lado de la clave y los metadatos de decaimiento logarítmico se comparten entre los bloques de valor para evitar el cómputo redundante.
Ejecución por etapas: El kernel se divide en una etapa de "ReplayPrep" compartida (que computa los coeficientes una vez por slot-head) y etapas de "AppendDecode" paralelas para los bloques de valor.

El método se instancia para tres operadores con diferentes granularidades de decaimiento y semánticas de actualización:

GDN (Gated DeltaNet): Decaimiento escalar por cabezal; utiliza corrección de regla Delta.
KDA (Kimi Delta Attention): Decaimiento por clave; utiliza corrección de regla Delta.
RWKV6: Decaimiento por clave; utiliza actualizaciones de valor bruto (sin corrección de regla Delta).

Contribuciones clave

Identificación del impuesto de actualización de estado: El artículo caracteriza la sobrecarga por token causada por la materialización ansiosa del estado denso en el servicio de atención lineal de gran lote, identificándola como un cuello de botella de ancho de banda de memoria distinto al costo de la recurrencia lógica.
Estrategia de ejecución de DeltaLog: Un enfoque de materialización diferida que representa el estado como una base densa aumentada con un log acotado de actualizaciones compactas, permitiendo que la mayoría de los pasos realicen anexiones ligeras en lugar de reescrituras completas de estado.
Implementación del sistema y evaluación: Una implementación completa para tres operadores con diferentes granularidades de decaimiento y semánticas de actualización, integrada en un stack de servicio basado en vLLM, demostrando que la optimización preserva la equivalencia aritmética exacta (dentro de la tolerancia de punto flotante) mientras mejora el rendimiento.

Resultados

Los experimentos se realizaron en GPUs NVIDIA H200 y RTX 4090 a través de varios tamaños de lote y longitudes de contexto.

Rendimiento a nivel de Kernel:
- DeltaLog acelera el kernel de actualización de estado recurrente de 1.19× a 1.86× en comparación con la línea base altamente optimizada de Fast Linear Attention (FLA).
- Reduce el tráfico de escritura del estado recurrente de hasta 7.83×.
- GDN se beneficia más debido a sus metadatos de decaimiento escalar compactos, mientras que RWKV6 y KDA muestran ganancias significativas a pesar de tener metadatos por clave más pesados.
Rendimiento de servicio de extremo a extremo:
- Integrado en un prototipo de stack de servicio, DeltaLog logra aceleraciones de extremo a extremo de 1.05× a 1.20× sobre las líneas base de recurrencia densa en modelos como Qwen3.6-35B y Kimi-Linear-48B.
- Las ganancias son menores que las mejoras a nivel de kernel debido a la ley de Amdahl, ya que la actualización recurrente es solo un componente del paso de decodificación completo (que incluye MLP, normalización y programación).
Corrección numérica:
- El método mantiene la equivalencia numérica con la decodificación ansiosa, con errores relativos máximos de salida muy dentro de las tolerancias estándar de los repositorios (por ejemplo, < 0.005 para todos los operadores probados).

Significancia

El artículo argumenta que la materialización del estado recurrente es un cuello de botella crítico y a menudo pasado por alto en la decodificación de la atención lineal, particularmente para el servicio de grandes lotes. Al optimizar el cronograma físico de las actualizaciones de estado en lugar de la recurrencia algorítmica, DeltaLog demuestra que se pueden lograr ganancias de eficiencia significativas sin modificar las arquitecturas de los modelos.

El trabajo destaca que, si bien la atención lineal elimina la dependencia de la longitud del contexto de los cachés KV, introduce un nuevo costo de mantenimiento de estado fijo que está fuertemente limitado por la memoria. DeltaLog proporciona una solución práctica a este "impuesto de actualización de estado", mostrando que diferir las escrituras densas es una estrategia viable para mejorar el rendimiento de la inferencia para modelos de atención lineal recurrentes. Los autores señalan que los beneficios son más pronunciados en regímenes donde la escritura de vuelta del estado recurrente constituye una parte dominante del tráfico de memoria (lotes grandes, tamaños de estado grandes).