🤖 machine learning

Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

Cet article présente Sparse Delta Memory (SDM), une nouvelle architecture qui augmente la capacité de l'état caché des RNN linéaires à portes grâce à un adressage parcimonieux afin d'améliorer considérablement le rappel en contexte long et l'apprentissage en contexte, tout en maintenant des coûts de calcul et des nombres de paramètres fixes.

Auteurs originaux : Loïc Cabannes, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina, Justin Carpentier, Gabriel Synnaeve, Hervé Jégou

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Loïc Cabannes, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina, Justin Carpentier, Gabriel Synnaeve, Hervé Jégou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de vous souvenir d'une histoire qui fait un million de mots.

L'ancien problème : Le « Classeur » contre le « Sac à dos »
Les modèles d'IA actuels (les Transformers) fonctionnent comme un classeur. Chaque fois qu'ils lisent un nouveau mot, ils ajoutent un nouveau dossier dans le classeur. Si l'histoire est courte, le classeur est petit et facile à gérer. Mais si l'histoire fait un million de mots, le classeur devient massif, lourd et lent à consulter. L'ordinateur doit porter tout ce classeur avec lui à chaque étape de l'histoire. C'est pourquoi l'IA actuelle a du mal avec les contextes très longs ; elle manque de place ou devient trop lente.

D'autres modèles (les RNN linéaires comme GDN ou Mamba) essaient d'être plus intelligents. Ils utilisent un sac à dos. Au lieu de porter chaque dossier, ils résument l'histoire en quelques notes et jettent le reste. Cela permet de garder le sac à dos léger et rapide, peu importe la longueur de l'histoire. Cependant, le problème est que le sac à dos est trop petit. Il ne peut contenir qu'un minuscule résumé, donc l'IA oublie des détails importants du début de l'histoire lorsqu'elle arrive à la fin.

La nouvelle solution : La Mémoire Delta Sparse (SDM)
Les auteurs de cet article présentent un nouveau système appelé Mémoire Delta Sparse (SDM). Imaginez que c'est une immense bibliothèque magique à laquelle l'IA peut accéder instantanément, mais elle ne sort que les livres spécifiques dont elle a besoin à un instant donné.

Voici comment cela fonctionne, en utilisant des analogies simples :

La Grande Bibliothèque (La Mémoire) :
Au lieu d'un petit sac à dos, la SDM possède une immense bibliothèque avec des millions d'étagères (emplacements de mémoire). C'est énorme par rapport à l'ancien sac à dos. Elle peut contenir une quantité vaste d'informations sur l'histoire.
Le Bibliothécaire Intelligent (Accès Sparse) :
Vous pourriez penser : « Si la bibliothèque est si grande, ne prendra-t-elle pas une éternité pour trouver le bon livre ? »
L'article dit non. La SDM utilise un système « sparse » (parsemé/clairsemé). Imaginez que le bibliothécaire ne parcourt pas tous les rayons. Au lieu de cela, il possède un système spécial de fiches indexées. Lorsque l'IA a besoin d'informations, elle ne consulte qu'une petite poignée d'étagères spécifiques (peut-être 64 sur des millions) qui sont les plus pertinentes pour le mot actuel. Elle ignore le reste.

Le Résultat : L'IA bénéficie de l'avantage d'une mémoire massive (toute la bibliothèque) mais ne paie que le coût énergétique de la vérification de quelques étagères. C'est comme avoir un cerveau de super-ordinateur capable de tout mémoriser, mais qui ne « réfléchit » qu'aux choses les plus importantes à chaque instant précis.

La Mise à jour « Delta » (Le Post-it) :
Quand l'IA apprend quelque chose de nouveau, elle ne réécrit pas toute la bibliothèque. Elle utilise une règle « Delta ». Voyez cela comme le fait de coller un post-it sur une page spécifique dans un livre spécifique. Elle ne met à jour que les parties de la mémoire qui doivent être modifiées, laissant le reste intact. Cela empêche l'IA de s'embrouiller ou d'« écraser » de vieux souvenirs utiles.
Le Départ « Appris » (Le Cerveau Pré-chargé) :
L'article mentionne également que la SDM peut être « pré-chargée » avec des connaissances avant même qu'elle ne commence à lire l'histoire. Imaginez donner au bibliothécaire un ensemble d'encyclopédies sur les connaissances générales (comme l'histoire, la science ou le bon sens) avant qu'il ne commence son travail. Cela permet à l'IA de mieux comprendre le monde dès le départ, plutôt que de simplement mémoriser l'histoire qu'elle est en train de lire.

Ce que l'article a découvert
Les chercheurs ont testé cette nouvelle « Bibliothèque » contre l'ancien « Sac à dos » (GDN) et le lourd « Classeur » (Attention complète).

Mémoire vs Vitesse : Ils ont prouvé que vous pouvez rendre la mémoire des milliers de fois plus grande sans rendre l'ordinateur plus lent ou consommer plus d'électricité.
Histoires Longues : Testée sur des tâches très longues (comme la lecture d'un livre entier ou d'un long projet de code), la SDM se souvenait bien mieux des détails que les anciens modèles de type sac à dos. Elle était presque aussi performante que le lourd classeur, mais sans la pénalité de vitesse.
Une Pensée plus Intelligente : Parce que sa mémoire est immense, l'IA peut également stocker des connaissances générales à l'intérieur. Cela la rend meilleure pour le raisonnement et la réponse aux questions, et pas seulement pour la mémorisation de l'histoire.

Le Bémol
L'article admet une limite : bien que la vitesse soit rapide, l' espace de stockage requis pour cette immense bibliothèque est toujours important. Cela occupe beaucoup de mémoire informatique (RAM), de la taille même du modèle. Cependant, les auteurs soutiennent que cela reste préférable à l'alternative, car le « Classeur » (l'IA actuelle) finit par manquer totalement de mémoire lorsque les histoires deviennent trop longues.

En Résumé
La SDM est comme donner à une IA un carnet de notes massif et infini où elle peut tout écrire, mais elle n'a qu'à feuilleter quelques pages pour trouver ce dont elle a besoin. Cela permet à l'IA de se souvenir parfaitement de longues histoires sans se fatiguer ni ralentir.

Résumé Technique : Mémoire Delta Creuse (Sparse Delta Memory - SDM)

Énoncé du Problème

Les réseaux de neurones récurrents (RNN) linéaires, tels que le Gated DeltaNet (GDN) et Mamba2, offrent l'avantage d'une mémoire et d'un calcul fixes par jeton (token), ce qui les rend théoriquement adaptés à des contextes arbitrairement longs. Cependant, leurs performances pratiques sur le rappel de contexte long et l'apprentissage en contexte sont limitées par la petite taille de leur état caché. Augmenter la taille de l'état dans les RNN linéaires standards entraîne une augmentation linéaire des FLOPs en raison des mises à jour de matrices denses (multiplications matrice-vecteur), créant un goulot d'étranglement computationnel prohibitif. À l'inverse, les architectures Transformer standard avec l'attention softmax maintiennent un rappel élevé mais souffrent d'une croissance linéaire des coûts de mémoire et de calcul du cache Clé-Valeur (KV) à mesure que la longueur de la séquence augmente.

Le défi central abordé est de savoir comment augmenter l'ordre de grandeur de la capacité de l'état caché des RNN linéaires pour améliorer les performances en contexte long sans augmenter le coût de calcul (FLOPs) par jeton.

Méthodologie : Mémoire Delta Creuse (SDM)

Les auteurs introduisent la Mémoire Delta Creuse (Sparse Delta Memory - SDM), une architecture qui étend le Gated DeltaNet en remplaçant le produit extérieur dense clé-valeur par un schéma d'adressage creux basé sur la Product-Key Memory (PKM).

Mécanisme Central

Mémoire Creuse Explicite : Au lieu de maintenir une matrice dense $M_t \in \mathbb{R}^{d_{qk} \times d_v}$ , la SDM maintient une table de mémoire explicite $M_t \in \mathbb{R}^{N \times d_v}$ avec $N$ emplacements, où $N$ peut être orders de grandeur plus grand que la dimension cachée (par exemple, $N \approx 10^6$ ).
Sélection de Clés Creuses : À chaque étape temporelle, les clés projetées ( $k'$ ) et les requêtes ( $q'$ ) sont divisées en deux moitiés. Leur somme extérieure génère $N$ scores pour les emplacements de mémoire. En utilisant une stratégie de sélection top- $W$ (écriture) et top- $R$ (lecture), le modèle identifie les emplacements de mémoire spécifiques à mettre à jour ou à lire. Cette sélection est effectuée efficacement sans matérialiser la matrice de score complète de taille $N$ , en exploitant la propriété que $\text{topk}(s_1 \oplus s_2) = \text{topk}(\text{topk}(s_1) \oplus \text{topk}(s_2))$ .
Mises à jour Delta à Porte (Gated Delta Updates) : Pour les $W$ $W$ emplacements d'écriture sélectionnés, le modèle applique la règle de mise à jour Gated DeltaNet :
- Porte d'Oubli (Forget Gate) : $\tilde{M}_t[i] = \alpha_t \cdot M_{t-1}[i]$
- Mise à jour Delta : $M_t[i] = \tilde{M}_t[i] + \beta_t \cdot k^{(i)}_t \cdot (v_t - \tilde{M}_t[i])$
- Les emplacements non sélectionnés restent inchangés.
Lecture Creuse : La sortie est une somme pondérée des $R$ emplacements de lecture sélectionnés.

Conception IsoFLOP

Pour garantir une comparaison équitable, les auteurs conçoivent la SDM pour qu'elle corresponde au nombre de paramètres et aux FLOPs d'une ligne de base GDN dense :

FLOPs : Le coût par jeton est de $O((W+R) \times d_v)$ , indépendant de la taille de la mémoire $N$ . En fixant $W$ et $R$ égaux à la dimension de requête du GDN de référence, le coût de calcul reste identique.
Paramètres : Les projections linéaires sont dimensionnées de manière identique à la ligne de base. La taille de la mémoire $N$ est contrôlée via le nombre de têtes $H$ et les dimensions de projection, permettant à la taille de l'état de passer à l'échelle comme $O(1/H^2)$ sans affecter les FLOPs.

État Initial Appris

Contrairement au GDN, qui initialise généralement son petit état à zéro, la SDM traite l'état de mémoire initial $M_0$ comme un paramètre apprenable. Cela permet au modèle de stocker des connaissances de pré-entraînement directement dans la structure de la mémoire, agissant comme une mémoire paramétrique qui persiste à travers l'inférence.

Contributions Clés

Architecture : La proposition de la SDM, qui augmente la capacité de l'état des RNN linéaires de trois ordres de grandeur (par exemple, de quelques kilo-octets à des giga-octets) tout en maintenant des FLOPs constants par jeton.
Validation IsoFLOP : Démonstration que l'augmentation de la capacité de l'état (sans augmenter le calcul) améliore significativement les performances sur les tâches de contexte long.
Mémoire Paramétrique : L'introduction d'un état initial $M_0$ appris pour les RNN linéaires, montrant que ce mécanisme stocke efficacement les connaissances communes et améliore les tâches de raisonnement.
Lois d'Échelle (Scaling Laws) : Validation empirique que la SDM suit des lois d'échelle prévisibles, surpassant le GDN dense et, à une échelle plus grande (8B paramètres), dépassant les modèles Full Attention en termes de perte d'entraînement.

Résultats Expérimentaux

Les auteurs ont entraîné des modèles allant de 1,4B à 8B de paramètres sur plus de 1 billion de jetons.

Lois d'Échelle : Sur une échelle de montée en charge, la SDM a systématiquement obtenu une perte d'entraînement plus faible que le GDN à tous les niveaux de calcul. À l'échelle 8B, la SDM a atteint une perte plus faible que le GDN et le modèle Full Attention.
Rappel de Contexte Long (Benchmark RULER) : La SDM a nettement surpassé le GDN sur les tâches de récupération de contexte long. Aux échelles 1,4B et 8B, la SDM a obtenu des scores de 31,2 et 50,2 respectivement, contre 20,0 et 34,2 pour le GDN. Notamment, la SDM a égalé ou dépassé les performances de Full Attention sur plusieurs sous-tâches de RULER malgré l'utilisation d'une représentation de mémoire fixe.
Contexte Court et Raisonnement : La SDM a obtenu une perplexité plus faible sur les données de code et une précision moyenne plus élevée sur les benchmarks de raisonnement (ex. MMLU, GSM8K, HumanEval) par rapport au GDN. À l'échelle 8B, la SDM a surpassé Full Attention en précision moyenne.
Études d'Ablation :
- Taille de l'État : Les performances se sont dégradées de manière monotone à mesure que la taille de la mémoire diminuait, confirmant que la grande taille de l'état est le principal moteur des gains.
- Initialisation Apprise : L'apprentissage de $M_0$ a amélioré les performances pour la SDM mais n'a apporté que des gains négligeables pour le GDN, suggérant que la grande capacité est nécessaire pour utiliser efficacement cette initialisation apprise.
- Efficacité : Bien que le débit d'entraînement de la SDM soit 1,49x plus lent que celui du GDN à l'échelle 8B (en raison de l'accès mémoire HBM vs SRAM), elle est 6x plus rapide que Full Attention lors de l'inférence.

Signification et Revendications

L'article affirme que la SDM comble avec succès le fossé entre l'efficacité des RNN linéaires et les capacités de contexte long des Transformers. En découplant la capacité de la mémoire du coût de calcul grâce à la parcimonie (sparsity), la SDM permet :

Espace/Calcul Constants : Traiter des séquences arbitrairement longues (jusqu'à 1 million de jetons démontrés) sans la croissance de la mémoire du cache KV.
Performances de Contexte Long Supérieures : Atteindre des résultats de pointe parmi les RNN linéaires et des résultats compétitifs face à Full Attention pour la récupération de contexte long et l'apprentissage en contexte.
Stockage de Connaissances Paramétriques : La capacité d'apprendre et de stocker des connaissances de pré-entraînement au sein même de l'état de la mémoire, améliorant le raisonnement général et les tâches de connaissance commune.

Les auteurs reconnaissent des limites, notamment le fait que l'empreinte mémoire importante (comparable aux paramètres du modèle) nécessite des ressources HBM significatives, et que les implémentations actuelles de noyaux (kernels) sont moins efficaces que les noyaux optimisés du GDN dense. Cependant, ils postulent que la SDM ouvre de nouvelles possibilités pour le développement d'agents dotés d'une meilleure mémoire à long terme et pour le traitement de vidéos longues ou de traces de raisonnement étendues.