🤖 machine learning

DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding

DeltaLog è uno schema di decodifica a stato ricorrente che accelera i modelli di attenzione lineare differendo la materializzazione completa dello stato a favore dell'aggiunta di aggiornamenti compatti a un log limitato e fondendoli periodicamente, riducendo così significativamente il traffico di memoria e migliorando la velocità di serving end-to-end.

Autori originali: Junqing Lin, Jingwei Sun, Guangzhong Sun

Pubblicato 2026-08-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Junqing Lin, Jingwei Sun, Guangzhong Sun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I moderni sistemi di intelligenza artificiale che generano testo, dai chatbot agli assistenti per la scrittura creativa, si basano su un processo fondamentale chiamato decodifica autoregressiva. In questo processo, il computer prevede la parola successiva in una frase una alla volta, utilizzando le parole già generate per informare la sua successiva ipotesi. Per anni, i modelli più potenti hanno utilizzato un meccanismo noto come attenzione per decidere quali parole precedenti siano più rilevanti per la previsione corrente. Sebbene questo approccio sia incredibilmente efficace, crea un collo di bottiglia crescente: man mano che la conversazione si allunga, il sistema deve memorizzare e recuperare costantemente un elenco in continua espansione di ogni parola vista finora, consumando enormi quantità di memoria del computer e rallentando il tempo di risposta. Per risolvere questo problema, i ricercatori hanno sviluppato una nuova classe di modelli che sostituiscono l'elenco in espansione con un riassunto di dimensioni fisse, o stato, che si aggiorna con ogni nuova parola. Questo cambiamento elimina la necessità di ricordare ogni singolo token passato, ma introduce un problema diverso: il sistema deve comunque riscrivere costantemente l'intero riassunto ogni volta che viene aggiunta una nuova parola, creando un pesante ingorgo nel traffico della memoria del computer.

Un team di ricercatori dell'Università di Scienza e Tecnologia della Cina ha identificato questa continua riscrittura come una grande inefficienza e ha ideato una soluzione che chiamano DeltaLog. Invece di costringere il computer a riscrivere l'intero riassunto della conversazione dopo ogni singola parola, DeltaLog consente al sistema di mantenere una versione stabile e completa del riassunto e di allegare semplicemente una nota piccola e compatta che descrive il cambiamento più recente. Il sistema riscrive l'intero riassunto solo occasionalmente, dopo che ha accumulato un certo numero di queste piccole note. Questo approccio è simile al tenere un registro mastro e una pila di post-it; invece di riscrivere l'intero registro ogni volta che avviene una nuova transazione, si aggiunge semplicemente la transazione alla pila e si aggiorna il registro solo quando la pila diventa troppo alta. Facendo questo, i ricercatori hanno scoperto di poter ridurre drasticamente la quantità di dati che il computer deve spostare, che è spesso la parte più lenta del processo.

I ricercatori hanno testato questo metodo su diversi tipi di modelli linguistici moderni, tra cui Gated DeltaNet, Kimi Delta Attention e RWKV6. Nei loro esperimenti, hanno misurato quanto tempo impiegava il computer per generare una singola parola e quanto traffico di memoria era coinvolto. Hanno scoperto che, differendo la riscrittura completa del riassunto, potevano velocizzare il calcolo principale che aggiorna la memoria del modello fino a 1,86 volte sulle schede grafiche di fascia alta. Ancora più importante, hanno osservato che la quantità di dati scritti nella memoria ad alta velocità del computer è diminuita fino a 7,83 volte. Questa riduzione del traffico è significativa perché, in questi tipi di modelli, la velocità è spesso limitata non dalla velocità con cui il computer può calcolare, ma dalla velocità con cui può spostare i dati in entrata e in uscita dalla sua memoria.

Quando i ricercatori hanno integrato questo metodo in un sistema completo progettato per servire molti utenti contemporaneamente, i benefici si sono tradotti in tempi di risposta più rapidi per l'utente finale. Nei test con modelli di grandi dimensioni contenenti decine di miliardi di parametri, il sistema ha generato parole tra il 5% e il 20% più velocemente rispetto a prima. Il miglioramento è stato più evidente quando il sistema gestiva molte richieste simultaneamente, uno scenario comune per le applicazioni reali. I ricercatori hanno confermato che questo aumento di velocità non è avvenuto a scapito dell'accuratezza; il testo generato dal sistema modificato rimaneva matematicamente equivalente all'originale, il che significa che la qualità dell'output è stata preservata mentre la consegna è diventata molto più efficiente.

La chiave di volta di questo lavoro è che il modo in cui un computer memorizza e aggiorna fisicamente le informazioni non deve sempre corrispondere ai passaggi logici che il modello compie. Mentre il modello aggiorna logicamente il suo stato con ogni parola, l'hardware fisico non deve riscrivere immediatamente l'intero stato per riflettere tale cambiamento. Separando la storia stabile dai cambiamenti recenti e fondendoli solo periodicamente, DeltaLog riduce la "tassa di aggiornamento dello stato", un termine che gli autori usano per descrivere l'eccessivo traffico di memoria causato dagli aggiornamenti immediati e voraci. Questa strategia non cambia il modello sottostante o i suoi pesi; cambia semplicemente la pianificazione di come il computer gestisce i dati. I risultati suggeriscono che, per i modelli linguistici su larga scala, ottimizzare il movimento fisico dei dati è importante quanto quanto migliorare gli algoritmi matematici stessi, offrendo una via chiara per un'intelligenza artificiale più veloce ed efficiente.

Riepilogo Tecnico: DeltaLog

Problema: La Tassa di Aggiornamento dello Stato nel Decoding della Linear Attention

I modelli di attenzione lineare (es. GDN, KDA, RWKV6) offrono un'alternativa convincente alla softmax attention, sostituendo il calcolo del prefisso quadratico e la crescita del cache Key-Value (KV) con aggiornamenti di stato ricorrenti a dimensione fissa. In questi modelli, lo stato $S_t$ è una matrice densa di dimensione $d_k \times d_v$ , indipendente dalla lunghezza della sequenza.

Tuttavia, le attuali implementazioni di decoding soffrono di un'inefficienza significativa denominata tassa di aggiornamento dello stato (state-update tax). Sebbene l'aggiornamento logico contribuito da un singolo token sia compatto (rappresentato da vettori di dimensione $O(d_k + d_v)$ ), le implementazioni "eager" standard materializzano immediatamente questo aggiornamento nella matrice densa completa e riscrivono l'intero tensore $[B, H, d_k, d_v]$ nella memoria ad alta larghezza di banda (HBM) dopo ogni generazione di token.

Discrepanza del Traffico di Memoria: Per un batch size $B$ e $H$ teste, l'informazione effettivamente aggiunta è $O(BH(d_k + d_v))$ , ma il traffico fisico coinvolge la lettura e la scrittura di $O(BH d_k d_v)$ elementi.
Collo di Bottiglia Limitato dalla Memoria: Questa materializzazione eager crea un'intensità aritmetica di circa 0,5–1,0 FLOPs/byte, ben al di sotto del bilanciamento macchina delle moderne GPU (es. ~208 FLOPs/byte per H200). Di conseguenza, la manutenzione dello stato ricorrente diventa una fonte primaria di traffico di memoria, dominando la latenza di decoding, specialmente all'aumentare dei batch size e delle dimensioni dello stato.

Metodologia: Materializzazione Differita tramite DeltaLog

Il paper propone DeltaLog, uno schema di decoding che scinde la ricorrenza logica dalla materializzazione fisica dello stato. DeltaLog non altera i pesi del modello o la ricorrenza matematica; cambia solo lo schema fisico degli aggiornamenti dello stato.

Meccanismo Core: Base + Log

DeltaLog rappresenta lo stato ricorrente attivo come due componenti:

Stato Base Denso ( $\bar{S}$ ): Una matrice densa che memorizza la storia accumulata fino all'ultimo punto di "fusione" (merge).
Log di Aggiornamento Limitato: Un buffer che memorizza i fattori di aggiornamento compatti recenti ( $a_t, b_t$ ) e i relativi metadati di decadimento logaritmico ( $\Lambda$ ).

Il ciclo di decoding opera in due fasi:

Fase di Append (Caso Comune): Per $M-1$ passi, il sistema non riscrive lo stato denso completo. Inveve, esegue l'append dei fattori di aggiornamento compatti e dello snapshot di decadimento logaritmico corrente nel buffer di log. La base densa $\bar{S}$ rimane invariata.
Fase di Merge (Periodica): Ogni $M$ passi, il sistema materializza lo stato logico accumulato (base + voci di log riprodotte) nuovamente nella base densa $\bar{S}$ , resetta il log e libera gli aggiornamenti differiti.

Modello di Traffico

Differendo la scrittura densa, DeltaLog sostituisce i frequenti riscrivi dello stato completo con:

Append leggeri di fattori compatti ( $O(d_k + d_v)$ ).
Scritture dense ammortizzate che avvengono solo una volta ogni $M$ passi.
Riproduzione (replay) delle voci di log durante il passo di merge.

L'intervallo di merge ottimale $M$ bilancia il costo dell'aumento del traffico di replay con il risparmio derivante dalla riduzione delle scritture dense.

Implementazione del Kernel

Per implementarlo efficientemente su GPU, gli autori utilizzano una decomposizione a tile del kernel:

Parallelismo dei Tile di Valore: Lo stato è partizionato lungo la dimensione del valore ( $d_v$ ). Ogni unità di lavoro gestisce una porzione della base densa e il relativo shard del log lato valore.
Metadati Condivisi: I fattori lato chiave e i metadati di decadimento logaritmico sono condivisi tra i tile di valore per evitare computazioni ridondanti.
Esecuzione a Stadi: Il kernel è diviso in uno stadio di "ReplayPrep" condiviso (che calcola i coefficienti una sola volta per slot-head) e stadi "AppendDecode" paralleli per i tile di valore.

Il metodo è istanziato per tre operatori con diverse granularità di decadimento e semantiche di aggiornamento:

GDN (Gated DeltaNet): Decadimento scalare per testa; utilizza la correzione Delta-rule.
KDA (Kimi Delta Attention): Decadimento per chiave; utilizza la correzione Delta-rule.
RWKV6: Decadimento per chiave; utilizza aggiornamenti di valore grezzi (senza correzione Delta-rule).

Contributi Chiave

Identificazione della Tassa di Aggiornamento dello Stato: Il paper caratterizza l'overhead per token causato dalla materializzazione eager della densità nella linear attention serving, identificandolo come un collo di bottiglia della larghezza di banda di memoria distinto dal costo della ricorrenza logica.
Strategia di Esecuzione DeltaLog: Un approccio di materializzazione differita che rappresenta lo stato come una base densa aumentata da un log limitato di aggiornamenti compatti, permettendo alla maggior parte dei passi di eseguire append leggere invece di riscrivere l'intero stato.
Implementazione di Sistema e Valutazione: Un'implementazione completa per GDN, KDA e RWKV6 integrata in uno stack di serving basato su vLLM, dimostrando che l'ottimizzazione preserva l'equivalenza aritmetica esatta (entro la tolleranza del floating-point) migliorando al contempo le prestazioni.

Risultati

Gli esperimenti sono stati condotti su GPU NVIDIA H200 e RTX 4090 attraverso vari batch size e lunghezze di contesto.

Prestazioni a Livello di Kernel:
- DeltaLog accelera il kernel di aggiornamento dello stato ricorrente di 1,19× fino a 1,86× rispetto alla baseline altamente ottimizzata Fast Linear Attention (FLA).
- Riduce il traffico di scrittura dello stato ricorrente profilato fino a 7,83×.
- GDN beneficia maggiormente grazie ai suoi metadati di decadimento scalare compatto, mentre RWKV6 e KDA mostrano guadagni significativi nonostante i metadati per chiave più pesanti.
Prestazioni di Serving End-to-End:
- Integrato in uno stack di serving prototipo, DeltaLog ottiene accelerazioni end-to-end da 1,05× a 1,20× rispetto alle baseline ricorrenti dense su modelli come Qwen3.6-35B e Kimi-Linear-48B.
- I guadagni sono minori rispetto ai miglioramenti a livello di kernel a causa della legge di Amdahl, poiché l'aggiornamento ricorrente è solo una componente del passo di decode completo (che include MLP, normalizzazione e scheduling).
Correttezza Numerica:
- Il metodo mantiene l'equivalenza numerica con il decoding eager, con errori relativi massimi dell'output ben entro le tolleranze standard dei repository (es. < 0,005 per tutti gli operatori testati).

Significato

Il paper sostiene che la materializzazione dello stato ricorrente sia un collo di bottiglia critico e spesso trascurato nel decoding della linear attention, in particolare per il serving con grandi batch. Ottimizzando lo schema fisico degli aggiornamenti dello stato piuttosto che la ricorrenza algoritmica stessa, DeltaLog dimostra che è possibile ottenere significativi guadagni di efficienza senza modificare le architetture dei modelli.

Il lavoro evidenzia che, sebbene la linear attention rimuova la dipendenza della lunghezza del contesto dai cache KV, essa introduce un nuovo costo di manutenzione dello stato fisso che è fortemente limitato dalla memoria. DeltaLog fornisce una soluzione pratica a questa "tassa di aggiornamento dello stato", mostrando che differire le scritture dense è una strategia valida per migliorare il throughput di inferenza per i modelli di linear attention ricorrente. Gli autori notano che i benefici sono più pronunciati nei regimi in cui il riscrivo dello stato ricorrente costituisce una porzione dominante del traffico di memoria (grandi batch, grandi dimensioni dello stato).