💻 computer science

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

Gated DeltaNet-2 introduit un nouveau mécanisme d'attention linéaire qui découple les opérations d'effacement et d'écriture par canal via des portes distinctes pour surmonter les limites de l'édition liée par scalaire dans les modèles antérieurs, atteignant des performances de pointe dans les tâches de modélisation du langage et de récupération de contexte long.

Auteurs originaux : Ali Hatamizadeh, Yejin Choi, Jan Kautz

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Hatamizadeh, Yejin Choi, Jan Kautz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Le Problème de la « Trop Grande Mémoire »

Imaginez une bibliothécaire ultra-intelligente (le modèle d'IA) qui doit lire un livre très long pour répondre à une question.

L'Ancienne Méthode (Transformers Standard) : La bibliothécaire conserve une pile gigantesque et grandissante de fiches pour chaque mot qu'elle a déjà lu. Si le livre compte 100 000 mots, la pile est énorme. Cela prend beaucoup d'espace sur le bureau (mémoire) et rend la recherche lente.
La Méthode Plus Récente (Attention Linéaire) : Pour économiser de l'espace, la bibliothécaire utilise un seul carnet de taille fixe. Au lieu d'écrire tout, elle résume l'histoire au fur et à mesure. Si le carnet est plein, elle doit effacer quelque chose pour écrire quelque chose de nouveau.

Le problème de ce « carnet fixe » est l'interférence. Si la bibliothécaire efface une page pour écrire une nouvelle histoire, elle risque d'effacer par accident un détail important du passé dont elle aura encore besoin plus tard. C'est comme essayer d'écrire une nouvelle liste de courses sur un post-it qui contient déjà votre numéro de téléphone ; si vous barbouillez le numéro, vous le perdez.

La Solution Précédente : L'Effaceur « Taille Unique »

Les chercheurs ont tenté de résoudre ce problème avec des modèles comme KDA et Gated DeltaNet. Ils ont donné à la bibliothécaire un « effaceur » spécial et un « stylo ».

Cependant, ces modèles présentaient un défaut : L'effaceur et le stylo étaient liés.
Imaginez un seul interrupteur qui contrôle deux choses à la fois :

La quantité de l'écriture ancienne à effacer.
La quantité de l'écriture nouvelle à inscrire.

Si la bibliothécaire voulait effacer un mot spécifique du passé mais garder le reste de la page, elle ne le pouvait pas. L'interrupteur l'obligeait soit à effacer toute la page, soit à écrire toute la nouvelle histoire. Elle ne pouvait pas être précise. Ils étaient « liés par la hanche ».

La Nouvelle Solution : Gated DeltaNet-2

Gated DeltaNet-2 est une nouvelle version du système de carnet de cette bibliothécaire. Son innovation principale est le découplage (démêlage) de l'effaceur par rapport au stylo.

Au lieu d'un seul interrupteur, le modèle dispose désormais de deux contrôles indépendants :

La « Porte d'Effacement » (L'Effaceur) : Ce contrôle examine les informations anciennes. Il décide exactement quelles parties spécifiques de l'ancienne histoire effacer. C'est comme avoir un effaceur de précision capable d'effacer uniquement le mot « pomme » sans toucher au mot « orange » à côté.
La « Porte d'Écriture » (Le Stylo) : Ce contrôle examine les informations nouvelles. Il décide exactement quelles parties de la nouvelle histoire écrire. C'est comme avoir un stylo capable d'écrire uniquement les nouveaux ingrédients que vous avez achetés, sans réécrire toute la liste.

L'Analogie :
Imaginez la page du carnet comme un tableau blanc numérique.

Ancien Modèle : Vous avez une télécommande. Si vous appuyez sur « Mise à jour », elle efface 50 % du tableau et écrit 50 % de nouvelles choses. Vous ne pouvez pas choisir quoi est effacé ni quoi est écrit.
Gated DeltaNet-2 : Vous avez un pointeur laser et un marqueur. Vous pouvez utiliser le laser pour zapper uniquement les vieux faits spécifiques qui sont faux (la « Porte d'Effacement »), puis utiliser le marqueur pour écrire uniquement les nouveaux faits spécifiques qui comptent (la « Porte d'Écriture »).

Pourquoi Cela Compte (Les Résultats)

Le papier a testé ce nouveau système à « deux portes » contre d'autres modèles intelligents (comme Mamba-2, Mamba-3 et le KDA original) sur un modèle de 1,3 milliard de paramètres entraîné sur une quantité massive de textes éducatifs.

Voici ce qu'ils ont découvert :

Meilleure Capacité à Trouver l'Aiguille dans la Botte de Foin :
Imaginez un test où la bibliothécaire doit trouver une phrase spécifique cachée dans un document de 100 pages.
- Les anciens modèles se perdaient parfois car l'effaceur « lié » effaçait par accident l'aiguille tout en essayant d'écrire de nouvelles informations.
- Gated DeltaNet-2 était le meilleur dans ce domaine. Parce qu'il pouvait effacer sélectivement uniquement les informations distrayantes tout en protégeant l'« aiguille » importante, il se souvenait beaucoup mieux de la bonne réponse, même dans des documents très longs.
Raisonnement Plus Intelligent :
Sur des tests impliquant le bon sens (comme « Si je pose une tasse sur une table, où est la tasse ? »), le nouveau modèle a obtenu un score supérieur à ses concurrents. Il semble que la capacité d'éditer la mémoire avec précision aide le modèle à mieux comprendre les relations.
Vitesse et Efficacité :
Malgré des contrôles plus complexes (deux portes au lieu d'une), le modèle n'est pas devenu significativement plus lent. Il traite toujours le texte à une vitesse similaire aux autres modèles efficaces, ce qui le rend pratique pour une utilisation réelle.

Résumé

Gated DeltaNet-2 est une manière plus intelligente pour l'IA de gérer sa mémoire à court terme. En séparant l'acte d'oublier (effacer les anciennes données) de l'acte d'apprendre (écrire de nouvelles données), le modèle évite les « dommages collatéraux » de la suppression accidentelle d'informations importantes. Cela lui permet de gérer des histoires plus longues et des tâches complexes avec plus de précision que les méthodes précédentes, tout en maintenant une utilisation de la mémoire faible et une vitesse élevée.

Résumé Technique : Gated DeltaNet-2

Énoncé du Problème

Les mécanismes d'attention linéaire offrent une alternative convaincante à l'attention softmax standard en remplaçant le cache illimité par un état récurrent de taille fixe, réduisant ainsi le mélange de séquences à un temps linéaire et le décodage à une mémoire constante. Cependant, un goulot d'étranglement fondamental persiste dans les modèles à règle delta (tels que DeltaNet, Gated DeltaNet et Kimi Delta Attention/KDA). Bien que ces modèles améliorent la gestion de la mémoire en permettant des écrasements ciblés d'associations, ils reposent sur une porte scalaire ( $\beta_t$ ) pour contrôler simultanément deux opérations distinctes :

Effacement : Décider de la quantité de ancien contenu (lu depuis le côté clé) qui doit être supprimé.
Écriture : Décider de la quantité de nouveau contenu (provenant du côté valeur) qui doit être engagé.

L'article soutient que traiter ces opérations comme une décision scalaire unique constitue une restriction de modélisation. L'effacement agit sur l'axe des clés (déterminant quelles coordonnées de l'ancienne lecture supprimer), tandis que l'écriture agit sur l'axe des valeurs (déterminant quelles coordonnées de la valeur entrante engager). Le couplage de ces décisions limite la capacité du modèle à éditer sélectivement la mémoire compressée sans brouiller les associations existantes, en particulier dans les scénarios à contexte long où de nombreuses associations rivalisent pour le même espace d'état fini.

Méthodologie : Gated DeltaNet-2

Les auteurs proposent Gated DeltaNet-2, une couche d'attention récurrente qui découple les opérations d'effacement et d'écriture au sein de la règle delta.

1. Règle Delta Portée-2

L'innovation centrale est la séparation de la porte scalaire en deux portes indépendantes, canal par canal :

Porte d'Effacement ( $b_t \in [0, 1]^{d_k}$ ) : Un vecteur appliqué canal par canal à la dimension des clés. Il pondère les coordonnées de la lecture actuelle ( $e_t = b_t \odot k_t$ ) pour déterminer quelles parties de l'ancien état sont effacées.
Porte d'Écriture ( $w_t \in [0, 1]^{d_v}$ ) : Un vecteur appliqué canal par canal à la dimension des valeurs. Il pondère les coordonnées de la valeur entrante ( $z_t = w_t \odot v_t$ ) pour déterminer quelles parties de la nouvelle valeur sont engagées.

L'équation de mise à jour de l'état devient :
$S_t = (I - k_t(b_t \odot k_t)^\top) D_t S_{t-1} + k_t(w_t \odot v_t)^\top$
Où $D_t = \text{Diag}(\alpha_t)$ représente le déclin canal par canal hérité de KDA.

Cette formulation généralise les modèles précédents :

Si $b_t$ et $w_t$ sont liés au même scalaire $\beta_t$ , on retrouve KDA.
Si le déclin $\alpha_t$ est également lié à un scalaire, on retrouve Gated DeltaNet.

2. Perspective de Mise à Jour des Poids Rapides

Les auteurs interprètent la mise à jour comme une étape d'optimisation en ligne sur une perte de régression locale. Le modèle minimise la distance entre le nouvel état et une mémoire déclinée, soumis à une édition associative qui corrige la valeur lue ( $\bar{S}_{t-1}^\top e_t$ ) vers la cible portée ( $z_t$ ). Cette perspective clarifie que la mise à jour soustrait la lecture ancienne portée avant d'ajouter la nouvelle valeur portée.

3. Entraînement Parallèle Efficace par Blocs

Pour maintenir l'efficacité de l'entraînement, les auteurs dérivent un algorithme WY (similaire à KDA) qui absorbe le déclin cumulatif canal par canal dans les facteurs d'effacement de rang un.

Absorption du Déclin : Le déclin canal par canal est normalisé dans les matrices d'effacement ( $\bar{E}$ ) et d'écriture ( $Z$ ), permettant d'exprimer la récurrence comme une mise à jour delta asymétrique pure.
Résolution Triangulaire : Le calcul par blocs implique la résolution d'un système triangulaire inférieur $(I+T)^{-1}$ pour calculer les matrices auxiliaires $Y$ (côté effacement) et $U$ (côté écriture).
Passage Arrière Conscient des Portes : Une contribution technique cruciale est la dérivation du passage arrière. Contrairement aux modèles à porte scalaire où le facteur de porte peut être extrait des produits scalaires, Gated DeltaNet-2 exige que les portes canal par canal ( $b_t$ et $w_t$ ) soient intégrées directement dans l'accumulation des gradients pour les matrices auxiliaires. Cela assure un flux de gradient correct sans briser la structure parallèle par blocs efficace.

4. Architecture

Le modèle est implémenté comme un mélangeur de tokens dans un bloc de style Transformer standard. Il prend en charge les configurations récurrentes uniquement et hybrides. La variante hybride entrelace le mélangeur Gated DeltaNet-2 avec une Attention à Fenêtre Glissante (SWA) pour gérer les interactions locales exactes, tandis que la couche récurrente gère les dépendances à longue portée.

Résultats Clés

Le modèle a été évalué avec 1,3 milliard de paramètres entraînés sur 100 milliards de tokens FineWeb-Edu, comparé à Mamba-2, Gated DeltaNet, KDA, Mamba-3 (SISO/MIMO) et aux Transformers.

Modélisation du Langage et Raisonnement : Gated DeltaNet-2 a obtenu les meilleurs résultats globaux dans les deux configurations récurrente et hybride, tant sur la perplexité (WikiText, LAMBADA) que sur les benchmarks de raisonnement de bon sens en zéro-shot (PIQA, HellaSwag, etc.).
Récupération en Contexte Long (RULER) : Les gains les plus significatifs ont été observés dans les tâches Multi-Key Needle-In-A-Haystack (MK-NIAH). Dans ces scénarios, où un état de taille fixe doit séparer des associations concurrentes, Gated DeltaNet-2 a surpassé toutes les lignes de base, en particulier à mesure que la longueur du contexte augmentait (jusqu'à 8 000 tokens).
Récupération Réelle : Sur des tâches impliquant l'extraction et la réponse à des questions (SQuAD, TriviaQA, DROP), le modèle hybride Gated DeltaNet-2 a atteint la précision moyenne la plus élevée, démontrant une robustesse dans des contextes réels bruyants.
Efficacité : L'analyse du débit sur des GPU H100 a montré que Gated DeltaNet-2 maintient une mise à l'échelle quasi plate à mesure que la longueur de séquence augmente, avec seulement une surcharge constante modeste par rapport à KDA due aux portes canal par canal supplémentaires.

Signification et Revendications

L'article revendique que le découplage de l'édition de mémoire active cible directement le principal point de pression de la récurrence à état fixe : l'interférence parmi de nombreuses associations compressées.

Flexibilité de Modélisation : En séparant l'effacement et l'écriture, le modèle peut effacer un contexte large via le déclin, supprimer des associations obsolètes spécifiques via la porte d'effacement, et n'insérer que les canaux de valeur nécessaires via la porte d'écriture. Cette flexibilité permet au modèle de retrouver KDA et Gated DeltaNet comme cas particuliers tout en apprenant des structures de canaux plus complexes lorsque nécessaire.
Validation Empirique : Les études d'ablation confirment que les deux portes contribuent aux performances, la porte d'effacement canal par canal ( $b_t$ ) représentant la majorité des gains en modélisation du langage et en récupération.
Praticité : Ce travail démontre que des mécanismes avancés de contrôle de la mémoire peuvent être intégrés dans l'attention linéaire sans sacrifier l'efficacité de l'entraînement parallèle requise pour l'entraînement à grande échelle.

Les auteurs concluent que Gated DeltaNet-2 représente une avancée dans la « frontière de l'attention récurrente », offrant un mécanisme plus expressif et efficace pour gérer la mémoire compressée dans les scénarios à contexte long.