🤖 machine learning

DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding

DeltaLog est un schéma de décodage à état récurrent qui accélère les modèles d'attention linéaire en différant la matérialisation complète de l'état au profit de l'ajout de mises à jour compactes à un log borné et en les fusionnant périodiquement, réduisant ainsi considérablement le trafic mémoire et améliorant la vitesse de service de bout en bout.

Auteurs originaux : Junqing Lin, Jingwei Sun, Guangzhong Sun

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junqing Lin, Jingwei Sun, Guangzhong Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les systèmes d'intelligence artificielle modernes qui génèrent du texte, des chatbots aux assistants d'écriture créative, reposent sur un processus fondamental appelé décodage autorégressif. Dans ce processus, l'ordinateur prédit le mot suivant dans une phrase un par un, en utilisant les mots déjà générés pour éclairer sa prochaine supposition. Pendant des années, les modèles les plus puissants ont utilisé un mécanisme appelé attention pour décider quels mots précédents sont les plus importants pour la prédiction actuelle. Bien que cette approche soit incroyablement efficace, elle crée un goulot d'étranglement croissant : à mesure que la conversation s'allonge, le système doit constamment stocker et récupérer une liste de plus en plus longue de chaque mot vu jusqu'à présent, consommant de vastes quantités de mémoire informatique et ralentissant le temps de réponse. Pour résoudre cela, des chercheurs ont développé une nouvelle classe de modèles qui remplacent la liste en expansion par un résumé de taille fixe, ou état, qui se met à jour à chaque nouveau mot. Ce changement élimine la nécessité de se souvenir de chaque jeton passé, mais introduit un problème différent : le système doit toujours réécrire l'intégralité de ce résumé chaque fois qu'un nouveau mot est ajouté, créant un lourd embouteillage dans la mémoire de l'ordinateur.

Une équipe de chercheurs de l'Université de science et technologie de Chine a identifié cette réécriture constante comme une inefficacité majeure et a conçu une solution qu'ils appellent DeltaLog. Au lieu de forcer l'ordinateur à réécrire l'intégralité du résumé de la conversation après chaque mot, DeltaLog permet au système de conserver une version stable et complète du résumé et de simplement y attacher une petite note compacte décrivant le changement le plus récent. Le système ne réécrit le résumé complet que de manière occasionnelle, après avoir accumulé un certain nombre de ces petites notes. Cette approche est comparable au fait de tenir un grand livre de comptes et une pile de notes autocollantes ; plutôt que de réécrire l'intégralité du grand livre à chaque nouvelle transaction, vous ajoutez simplement la transaction à la pile et ne mettez à jour le grand livre que lorsque la pile devient trop haute. En procédant ainsi, les chercheurs ont découvert qu'ils pouvaient réduire considérablement la quantité de données que l'ordinateur doit déplacer, ce qui est souvent la partie la plus lente du processus.

Les chercheurs ont testé cette méthode sur plusieurs types différents de modèles de langage modernes, notamment Gated DeltaNet, Kimi Delta Attention et RWKV6. Dans leurs expériences, ils ont mesuré le temps nécessaire à l'ordinateur pour générer un seul mot et la quantité de trafic mémoire impliquée. Ils ont découvert qu'en différant la réécriture complète du résumé, ils pouvaient accélérer le calcul central qui met à jour la mémoire du modèle jusqu'à 1,86 fois sur des cartes graphiques haut de gamme. Plus important encore, ils ont observé que la quantité de données écrites dans la mémoire haute vitesse de l'ordinateur a chuté jusqu'à 7,83 fois. Cette réduction de trafic est significative car, dans ces types de modèles, la vitesse est souvent limitée non pas par la rapidité avec laquelle l'ordinateur peut calculer, mais par la rapidité avec laquelle il peut déplacer des données entrant et sortant de sa mémoire.

Lorsque les chercheurs ont intégré cette méthode dans un système complet conçu pour servir de nombreux utilisateurs simultanément, les bénéfices se sont traduits par des temps de réponse plus rapides pour l'utilisateur final. Lors de tests avec de grands modèles contenant des dizaines de milliards de paramètres, le système a généré des mots entre 5 % et 20 % plus rapidement qu'auparavant. L'amélioration était plus notable lorsque le système gérait de nombreuses requêtes simultanément, un scénario courant pour les applications réelles. Les chercheurs ont confirmé que cette accélération ne se faisait pas au détriment de la précision ; le texte généré par le système modifié restait mathématiquement équivalent à l'original, ce qui signifie que la qualité de la production était préservée tandis que la livraison devenait beaucoup plus efficace.

L'idée clé derrière ce travail est que la manière dont un ordinateur stocke et met à jour physiquement l'information ne doit pas toujours correspondre aux étapes logiques que suit le modèle. Bien que le modèle mette logiquement à jour son état à chaque mot, le matériel physique n'a pas besoin de réécrire immédiatement l'état complet pour refléter ce changement. En séparant l'historique stable des changements récents et en ne les fusionnant que périodiquement, DeltaLog réduit la « taxe de mise à jour d'état », un terme utilisé par les auteurs pour décrire le trafic mémoire excessif causé par les mises à jour immédiates et impatientes. Cette stratégie ne modifie pas le modèle sous-jacent ni ses poids ; elle change simplement l'échéancier de la gestion des données par l'ordinateur. Les résultats suggèrent que pour les modèles de langage à grande échelle, optimiser le mouvement physique des données est tout aussi critique que d'améliorer les algorithmes mathématiques eux-mêmes, offrant une voie claire vers une intelligence artificielle plus rapide et plus efficace.

Résumé Technique : DeltaLog

Problème : La taxe de mise à jour d'état dans le décodage de l'attention linéaire

Les modèles d'attention linéaire (ex. GDN, KDA, RWKV6) offrent une alternative séduisante à l'attention softmax en remplaçant le calcul de préfixe quadratique et le cache Clé-Valeur (KV) à croissance de contexte par des mises à jour d'état récurrentes de taille fixe. Dans ces modèles, l'état $S_t$ est une matrice dense de taille $d_k \times d_v$ , indépendante de la longueur de la séquence.

Cependant, les implémentations de décodage existantes souffrent d'une inefficacité significative appelée la taxe de mise à jour d'état (state-update tax). Bien que la mise à jour logique contribuée par un seul jeton soit compacte (représentée par des vecteurs de taille $O(d_k + d_v)$ ), les implémentations « eager » standards matérialisent immédiatement cette mise à jour dans l'état dense complet et réécrivent l'intégralité du tenseur $[B, H, d_k, d_v]$ dans la mémoire à haute bande passante (HBM) après chaque génération de jeton.

Décalage de trafic mémoire : Pour une taille de lot $B$ et $H$ têtes, l'information réellement ajoutée est de $O(BH(d_k + d_v))$ , mais le trafic physique implique la lecture et l'écriture de $O(BH d_k d_v)$ éléments.
Goulot d'étranglement lié à la mémoire : Cette matérialisation immédiate crée une intensité arithmétique d'environ 0,5 à 1,0 FLOPs/octet, ce qui est bien en dessous de l'équilibre machine des GPU modernes (ex. ~208 FLOPs/octet pour l'H200). Par conséquent, la maintenance de l'état récurrent devient une source primaire de trafic mémoire, dominant la latence de décodage, en particulier lorsque les tailles de lots et d'états augmentent. Les mesures montrent que cela peut consommer jusqu'à 44,6 % de la latence de décodage dans des scénarios à grands lots.

Méthodologie : Matérialisation différée via DeltaLog

Le papier propose DeltaLog, un schéma de décodage qui découple la récurrence logique de la matérialisation physique de l'état. DeltaLog ne modifie ni les poids du modèle ni la récurrence mathématique ; il change uniquement le calendrier physique des mises à jour d'état.

Mécanisme central : Base + Log

DeltaLog représente l'état récurrent actif comme deux composantes :

État de base dense ( $\bar{S}$ ) : Une matrice dense stockant l'historique accumulé jusqu'au dernier point de « fusion » (merge).
Journal de mise à jour borné (Bounded Update Log) : Un tampon stockant les facteurs de mise à jour compacts récents ( $a_t, b_t$ ) et leurs métadonnées de déclin logarithmique associées ( $\Lambda$ ).

Le cycle de décodage opère en deux phases :

Phase d'ajout (Cas courant) : Pour $M-1$ étapes, le système ne réécrit pas l'état dense complet. Au lieu de cela, il ajoute les facteurs de mise à jour compacts et l'instantané actuel du déclin logarithmique au journal de bord. La base dense $\bar{S}$ reste inchangée.
Phase de fusion (Périodique) : Toutes les $M$ étapes, le système matérialise l'état logique accumulé (base + rejeu des entrées du journal) dans la base dense $\bar{S}$ , réinitialise le journal et efface les mises à jour différées.

Modèle de trafic

En différant la réécriture de l'état dense, DeltaLog remplace les écritures fréquentes de l'état complet par :

Des ajouts légers de facteurs compacts ( $O(d_k + d_v)$ ).
Des écritures denses amorties se produisant seulement une fois tous les $M$ pas.
Le rejeu des entrées du journal lors de l'étape de fusion.

L'intervalle de fusion optimal $M$ équilibre le coût de l'augmentation du trafic de rejeu par rapport aux économies réalisées grâce à la réduction des écritures denses.

Implémentation du noyau (Kernel)

Pour implémenter cela efficacement sur GPU, les auteurs utilisent une décomposition de noyau par tuiles (tiled kernel decomposition) :

Parallélisme des tuiles de valeur : L'état est partitionné selon la dimension de la valeur ( $d_v$ ). Chaque unité de travail gère une tranche de la base dense et le fragment correspondant du journal côté valeur.
Métadonnées partagées : Les facteurs côté clé et les métadonnées de déclin logarithmique sont partagés entre les tuiles de valeur pour éviter les calculs redondants.
Exécution par étapes : Le noyau est divisé en une étape de « ReplayPrep » partagée (calculant les coefficients une seule fois par slot-tête) et des étapes « AppendDecode » parallèles pour les tuiles de valeur.

La méthode est instanciée pour trois opérateurs avec différentes granularités de déclin et sémantiques de mise à jour :

GDN (Gated DeltaNet) : Déclin scalaire par tête ; utilise la correction de la règle Delta.
KDA (Kimi Delta Attention) : Déclin par clé ; utilise la correction de la règle Delta.
RWKV6 : Déclin par clé ; utilise des mises à jour de valeurs brutes (sans correction de la règle Delta).

Contributions clés

Identification de la taxe de mise à jour d'état : Le papier caractérise le surcoût par jeton causé par la matérialisation dense immédiate dans le service d'attention linéaire à grands lots, l'identifiant comme un goulot d'étranglement de la bande passante mémoire distinct du coût de la récurrence logique.
Stratégie d'exécution DeltaLog : Une approche de matérialisation différée qui représente l'état comme une base dense augmentée d'un journal borné de mises à jour compactes, permettant à la plupart des étapes d'effectuer des ajouts légers plutôt que des réécritures complètes d'état.
Implémentation système et évaluation : Une implémentation complète pour GDN, KDA et RWKV6 intégrée dans une pile de service basée sur vLLM, démontrant que l'optimisation préserve l'équivalence arithmétique exacte (dans la tolérance de virgule flottante) tout en améliorant les performances.

Résultats

Les expériences ont été menées sur des GPU NVIDIA H200 et RTX 4090 à travers diverses tailles de lots et longueurs de contexte.

Performance au niveau du noyau :
- DeltaLog accélère le noyau de mise à jour de l'état récurrent de 1,19× à 1,86× par rapport à la ligne de base hautement optimisée Fast Linear Attention (FLA).
- Il réduit le trafic d'écriture de l'état récurrent de profilé jusqu'à 7,83×.
- GDN bénéficie le plus de l'optimisation grâce à ses métadonnées de déclin scalaire compactes, tandis que RWKV6 et KDA montrent des gains significatifs malgré des métadonnées par clé plus lourdes.
Performance de service de bout en bout :
- Intégré dans une pile de service prototype, DeltaLog atteint des accélérations de bout en bout de 1,05× à 1,20× par rapport aux bases récurrentes denses sur des modèles comme Qwen3.6-35B et Kimi-Linear-48B.
- Les gains sont plus faibles que les améliorations au niveau du noyau en raison de la loi d'Amdahl, car la mise à jour récurrente n'est qu'une composante de l'étape de décodage complète (qui inclut MLP, normalisation et ordonnancement).
Correctitude numérique :
- La méthode maintient l'équivalence numérique avec le décodage immédiant, avec des erreurs relatives maximales de sortie bien en deçà des tolérances standards des dépôts (ex. < 0,005 pour tous les opérateurs testés).

Signification

Le papier soutient que la matérialisation de l'état récurrent est un goulot d'étranglement critique et souvent négligé dans le décodage de l'attention linéaire, particulièrement pour le service à grands lots. En optimisant le calendrier physique des mises à jour d'état plutôt que la récurrence algorithmique elle-même, DeltaLog démontre que des gains d'efficacité significatifs peuvent être obtenus sans modifier les architectures de modèles.

Ce travail souligne que, bien que l'attention linéaire supprime la dépendance à la longueur du contexte des caches KV, elle introduit un nouveau coût de maintenance d'état fixe qui est fortement limité par la mémoire. DeltaLog fournit une solution pratique à cette « taxe de mise à jour d'état », montrant que différer les écritures denses est une stratégie viable pour améliorer le débit d'inférence pour les modèles d'attention linéaire récurrents. Les auteurs notent que les bénéfices sont plus prononcés dans les régimes où la réécriture de l'état récurrent constitue une partie dominante du trafic mémoire (grands lots, grands états).