🤖 machine learning

Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences

Cet article propose des variantes de DeltaNet, GDN et KDA préconditionnées qui intègrent la courbure de la perte des moindres carrés en ligne pour améliorer les performances de la modélisation de séquences à contexte long, tout en conservant une complexité computationnelle sous-quadratique.

Auteurs originaux : Neehal Tumma, Noel Loo, Daniela Rus

Publié 2026-04-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Neehal Tumma, Noel Loo, Daniela Rus

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de lire un livre extrêmement long, comme une encyclopédie entière, et que vous devez vous souvenir de détails précis apparus au début pour répondre à une question à la fin. C'est le défi des modèles d'intelligence artificielle (LLM) avec de longs contextes.

Le problème, c'est que la méthode actuelle pour lire ce livre (l'attention "softmax") est comme essayer de comparer chaque mot du livre avec tous les autres mots en même temps. Plus le livre est long, plus cela devient lent et coûteux en énergie (comme essayer de faire des milliers de calculs à la main pour chaque phrase).

Pour résoudre cela, les chercheurs ont inventé des méthodes plus rapides, appelées "récurrentes". Elles fonctionnent comme une mémoire qui se met à jour à chaque mot lu. Cependant, ces méthodes actuelles ont un défaut : elles sont un peu "bêtes". Elles mettent à jour leur mémoire de manière trop brutale, comme si elles effaçaient tout ce qu'elles savaient d'un coup pour écrire quelque chose de nouveau, sans tenir compte de la forme de la montagne qu'elles gravissent.

Voici l'idée centrale de ce papier, expliquée simplement :

1. Le problème : Grimper une montagne dans le brouillard

Imaginez que votre mémoire est une personne essayant de trouver le point le plus bas d'une vallée (la meilleure réponse) en suivant une pente.

Les anciennes méthodes (DeltaNet, etc.) : C'est comme si cette personne marchait en ligne droite, en ignorant la courbure du terrain. Si la pente est très raide d'un côté et douce de l'autre, elle risque de faire des pas trop grands d'un côté et de rater le chemin de l'autre. Elle avance, mais elle oscille et met du temps à arriver au but.
L'objectif idéal : On veut que cette personne sache exactement comment la terre est courbée sous ses pieds pour faire le pas parfait. C'est ce qu'on appelle la "préconditionnement" en mathématiques.

2. La solution : La "Boussole de Courbure" (Preconditioned DeltaNet)

Les auteurs de ce papier disent : "Et si on donnait à notre mémoire une boussole qui lui dit exactement comment le terrain est courbé ?"

Ils ont créé une nouvelle version de ces mémoires, qu'ils appellent Preconditioned DeltaNet.

L'analogie du GPS : Au lieu de juste avancer vers la prochaine information, le modèle regarde maintenant la "forme" de l'information passée. Il ajuste son pas en fonction de l'importance et de la direction de ce qu'il a déjà vu.
L'astuce intelligente : Calculer cette courbure exacte est trop lent (comme calculer la carte topographique de toute la planète à chaque pas). Alors, ils ont inventé une approximation intelligente. Au lieu de calculer toute la courbure, ils ne regardent que les axes principaux (comme regarder seulement le nord, le sud, l'est et l'ouest, sans se soucier des diagonales). C'est beaucoup plus rapide et ça suffit pour faire de grands progrès.

3. Les résultats : Plus rapide, plus précis, moins fatigué

En ajoutant cette "boussole" à leurs modèles :

Mieux pour la mémoire : Le modèle se souvient beaucoup mieux des détails lointains (comme retrouver une aiguille dans une botte de foin, même si la botte est énorme).
Plus rapide : Ils ont réussi à faire tout ça sans ralentir le processus. C'est comme si on avait donné un turbo à la voiture sans ajouter de poids.
Plus stable : Le modèle apprend plus facilement et ne "casse" pas pendant l'entraînement.

En résumé

Ce papier propose d'ajouter un petit "réglage de précision" aux moteurs de mémoire des IA. Au lieu de simplement écrire et effacer des souvenirs de manière brute, le modèle apprend maintenant à adapter la force de son écriture en fonction de la forme de ses souvenirs passés.

C'est comme passer d'un peintre qui jette de la peinture au hasard sur une toile, à un artiste qui ajuste chaque coup de pinceau en fonction de la texture de la toile pour obtenir un résultat parfait, le tout sans perdre de temps.

Le mot de la fin : C'est une avancée qui rend les IA plus intelligentes pour les tâches de longue durée, tout en restant économiques en énergie, ce qui est crucial pour les faire tourner sur des ordinateurs grand public à l'avenir.

1. Problématique et Contexte

L'extension des modèles de langage (LLM) à des contextes longs est actuellement limitée par la complexité quadratique de l'attention softmax. Pour y remédier, des opérateurs récurrents sous-quadratiques ont été développés, tels que Mamba-2, DeltaNet, Gated DeltaNet (GDN) et Kimi Delta Attention (KDA).

Ces modèles peuvent être interprétés dans le cadre de la régression au moment du test (Test-Time Regression - TTR), où l'état récurrent apprend une carte linéaire des clés vers les valeurs en minimisant une perte aux moindres carrés en ligne.

Limitation actuelle : Les récurrences de type "delta-rule" (comme DeltaNet) sont vues comme des approximations de premier ordre (descente de gradient stochastique) de ce problème d'optimisation convexe. Elles ignorent la courbure de la fonction de perte (la géométrie de la régression), ce qui les rend moins efficaces que la solution exacte.
Alternatives existantes : Des méthodes comme Mesalayer ou MesaNet tentent de résoudre exactement les moindres carrés, mais souffrent soit d'un manque de parallélisation (séquentiel), soit d'instabilités numériques (méthodes de gradient conjugué).

L'objectif de cet article est d'introduire un préconditionnement dans les récurrences linéaires pour capturer cette information de second ordre (courbure) tout en conservant l'efficacité et la stabilité.

2. Méthodologie

Les auteurs proposent d'appliquer un préconditionneur aux mises à jour des récurrences linéaires, inspiré par la théorie de la régression aux moindres carrés en ligne.

A. Équivalence théorique et Préconditionnement Exact

Les auteurs démontrent que, dans le cas d'un préconditionneur exact (l'inverse de la matrice de Gram des clés, $G_t^{-1}$ ), l'attention linéaire et DeltaNet deviennent équivalents et récupèrent la solution exacte des moindres carrés.

Attention Linéaire Préconditionnée (PLA) : Applique le préconditionneur à la requête (ATQ : Apply-To-Query).
DeltaNet Préconditionné (PDN) : Applique le préconditionneur à la clé d'écriture (ATK : Apply-To-Key).

B. Approximation Diagonale pour l'Efficacité

Calculer l'inverse exact de la matrice de Gram est coûteux et séquentiel. Pour permettre un calcul parallèle par blocs (chunkwise parallel), les auteurs proposent une approximation diagonale de la matrice de Gram.

Ils accumulent les seconds moments des clés de manière élément par élément : $A_t = A_{t-1} + k_t \odot k_t$ .
Le préconditionneur est alors $P_t = \text{Diag}(A_t)^{-1}$ .
Cette approximation permet de maintenir la forme parallèle par blocs tout en intégrant une information de second ordre.

C. Stabilisation et Paramétrisation

L'accumulation brute de $A_t$ conduit à des distributions log-normales avec des queues lourdes, causant des instabilités numériques. Pour y remédier, les auteurs introduisent une transformation non linéaire pour le préconditionneur $B_t$ :

Transformation en espace logarithmique et centrage ( $\log(A_t) - \mu$ ).
Fonction de "squash" (écrasement) rapide : $s_t = r_t / (1 + |r_t|)$ .
Exponentielle inverse pour obtenir $B_t$ , garantissant que les valeurs restent dans un intervalle stable $[1/x, x]$ (avec $x \le 2$ pour assurer la stabilité des valeurs propres).

D. Taxonomie DGPS

Les auteurs introduisent une nouvelle taxonomie DGPS pour classifier les récurrences linéaires selon quatre axes orthogonaux :

Décroissance (Decay) : $\alpha_t$ .
Gain (Gain) : $\beta_t$ .
Préconditionneur : $P_t$ (ATQ ou ATK).
Solution (Solve) : En ligne (Online) vs Hors ligne (Offline).

Cette taxonomie permet de combiner ces axes pour créer de nouvelles variantes, comme PGDN (Gated DeltaNet Préconditionné) et PKDA (Kimi Delta Attention Préconditionné).

3. Contributions Clés

Dérivation théorique : Preuve de l'équivalence entre l'attention linéaire et DeltaNet sous un préconditionnement exact, reliant les deux approches via la régression aux moindres carrés.
Algorithmes efficaces : Conception de formes parallèles par blocs pour l'attention linéaire préconditionnée (PLA) et DeltaNet préconditionné (PDN) en utilisant une approximation diagonale.
Implémentation pratique : Développement de noyaux Triton personnalisés pour PGDN et PKDA, intégrant le préconditionneur de manière stable et efficace.
Nouvelle Taxonomie (DGPS) : Proposition d'un cadre unifié pour concevoir des récurrences linéaires en découplant les axes de conception (décroissance, gain, préconditionneur, solveur).

4. Résultats Expérimentaux

Les modèles ont été évalués à l'échelle de 340M et 1 milliard de paramètres sur le jeu de données SlimPajama.

Tâches Synthétiques (MQAR) : Les récurrences préconditionnées (PDN, PGDN) maintiennent ou améliorent les performances par rapport aux versions non préconditionnées sur des tâches de rappel associatif, en particulier pour des séquences longues.
Modélisation du Langage :
- Les modèles préconditionnés surpassent systématiquement leurs homologues non préconditionnés sur les benchmarks de raisonnement commun (PIQA, HellaSwag, etc.) et de récupération en contexte (ICR).
- PGDN se distingue comme le meilleur modèle à l'échelle 340M pour le raisonnement commun.
Rappel à Long Terme (S-NIAH) : Sur le benchmark "Needle In A Haystack" (RULER), les modèles préconditionnés montrent des améliorations significatives, en particulier pour PGDN et PKDA, démontrant une meilleure capacité à retenir des informations clés sur de longues distances.
Efficacité : Le surcoût computationnel est d'environ 10% par rapport aux modèles de base (GDN/KDA), mais ils sont plus de 20% plus rapides que MesaNet, tout en évitant les instabilités de ce dernier.

5. Signification et Impact

Ce travail établit un lien crucial entre l'optimisation de second ordre (préconditionnement) et l'architecture des modèles de séquence linéaires.

Théorique : Il montre que l'ajout d'un préconditionneur diagonal permet de s'approcher de la solution exacte des moindres carrés sans sacrifier l'efficacité du calcul parallèle.
Pratique : Il offre une nouvelle "poignée" (le préconditionneur) pour améliorer les performances des modèles récurrents existants (DeltaNet, Mamba, etc.) avec un coût paramétrique et computationnel minime.
Futur : La taxonomie DGPS ouvre la voie à l'exploration systématique de nouvelles architectures en combinant différents axes de conception, et suggère que le préconditionnement pourrait être une clé pour résoudre les problèmes de rétention à long terme dans les modèles de langage efficaces.

En résumé, Preconditioned DeltaNet démontre que l'intégration d'informations de courbure (via un préconditionneur diagonal) dans les récurrences linéaires améliore significativement la capacité de modélisation et de rappel des LLM, tout en restant compatible avec les contraintes de calcul modernes.