💬 NLP

OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention

Le papier présente le DeltaNet à échelle en ligne (OSDN), un modèle d'attention linéaire qui améliore la règle de Delta en incorporant un préconditionneur diagonal mis à jour en ligne pour l'échelle par caractéristique, atteignant ainsi une convergence super-géométrique prouvée et améliorant considérablement la récupération associative en contexte tout en maintenant un parallélisme efficace sur le plan matériel.

Auteurs originaux : Chenyu Zhou, Hongpei Li, Yuerou Liu, Jianghao Lin, Dongdong Ge, Yinyu Ye

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenyu Zhou, Hongpei Li, Yuerou Liu, Jianghao Lin, Dongdong Ge, Yinyu Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de mémoriser une histoire très longue afin de pouvoir répondre plus tard à des questions à son sujet. Dans le monde de l'IA, cela s'appelle « l'apprentissage en contexte ». L'IA lit l'histoire (le contexte) et met à jour sa mémoire interne pour se souvenir des détails importants.

Pendant longtemps, la meilleure façon de faire cela ressemblait à une immense bibliothèque avec un index parfait (appelé « Attention Softmax »). Mais cette bibliothèque est lente et occupe un espace considérable. Des méthodes plus récentes et plus rapides (comme DeltaNet) agissent davantage comme une personne prenant des notes dans un petit carnet. Elles sont rapides et efficaces, mais elles ont parfois du mal à se souvenir de détails spécifiques si l'histoire devient trop longue ou si les mêmes mots apparaissent de nombreuses fois. Elles ont tendance à « brouiller » les notes entre elles.

Ce papier présente une nouvelle méthode appelée OSDN (Online Scaled DeltaNet) pour corriger ce flou. Voici comment elle fonctionne, en utilisant des analogies simples :

1. Le Problème : Le Stylo « Taille Unique »

Imaginez que l'IA écrit dans son carnet. Chaque fois qu'elle voit un nouveau mot (un « token »), elle écrit une note.

Ancienne méthode (DeltaNet) : L'IA utilise un seul stylo avec un débit d'encre fixe. Si elle doit écrire un détail minuscule et délicat, le stylo est trop épais et l'efface. Si elle doit écrire un gros titre en gras, le stylo est trop fin et l'encre s'épuise. Elle traite chaque élément d'information avec exactement la même « taille de pas » ou intensité.
Le Problème : Certains faits dans l'histoire sont rares et nécessitent une note forte et claire. D'autres sont courants et nécessitent une touche légère. Utiliser la même « pression de stylo » pour tout conduit à des erreurs de rappel.

2. La Solution : Le « Stylo Intelligent et Réglable » (OSDN)

OSDN donne à l'IA un stylo intelligent et réglable. Au lieu d'un réglage fixe, le stylo possède un cadran pour chaque lettre de l'alphabet (ou chaque caractéristique des données).

Comment elle apprend : Alors que l'IA lit l'histoire, elle vérifie constamment : « Ai-je écrit cette note correctement ? » Si la note est trop pâle, elle tourne le cadran vers le haut pour cette lettre spécifique la prochaine fois. Si elle est trop sombre, elle le tourne vers le bas.
Le Tour de Magie : Le papier démontre que ce « cadran » n'a pas besoin d'un ordinateur complexe et lent pour être calculé. Il peut être déterminé instantanément, simplement en regardant le mot en cours d'écriture. Cela permet à l'IA de conserver sa vitesse tout en devenant beaucoup plus intelligente sur la manière dont elle écrit.

3. Le Mécanisme d'« Oubli » (APF)

Parfois, l'histoire change de sujet. Un fait qui était important au début peut devenir sans pertinence à la fin.

Le Problème : Si l'IA continue d'ajuster son stylo en fonction d'anciens sujets, elle risque de se confondre lorsque l'histoire passe à un nouveau sujet.
La Correction (APF) : OSDN inclut une fonctionnalité appelée Oubli par Préconditionneur Adaptatif. Imaginez cela comme un bouton « page fraîche ». Si l'IA remarque que le sujet a changé, elle réinitialise doucement ses cadrans de stylo pour le nouveau sujet, afin qu'elle ne reste pas bloquée avec les réglages du chapitre précédent.

4. Pourquoi Cela Compte (Les Résultats)

Les auteurs ont testé cela sur des modèles d'IA de différentes tailles (de petits à très grands).

Le « Test de Mémoire » : Ils ont donné une histoire à l'IA, puis lui ont demandé de se souvenir de détails spécifiques, en particulier lorsque ces détails apparaissaient deux fois (comme un personnage présenté, puis mentionné plus tard).
Le Résultat :
- À une taille moyenne, OSDN a amélioré la capacité à se souvenir des détails répétés de 32 % par rapport à l'ancienne méthode.
- À une taille massive (1,3 milliard de paramètres), elle a amélioré le rappel de mémoire de 39 % tout en maintenant l'IA aussi performante pour les tâches générales (comme écrire des phrases ou répondre à des questions générales).
- Crucialement, elle a fait cela sans ralentir l'IA de manière significative. C'est comme améliorer le moteur d'une voiture pour plus de précision sans rendre la voiture plus lourde ou plus lente.

Résumé

Pensez à OSDN comme à l'enseignement d'un IA pour devenir un meilleur preneur de notes. Au lieu de griffonner tout avec la même pression, elle apprend à appuyer plus fort sur les détails importants et rares, et plus légèrement sur les courants. Elle sait aussi quand effacer la ardoise pour un nouveau sujet. Cela permet à l'IA de se souvenir beaucoup mieux d'histoires complexes sans perdre sa vitesse ni son efficacité.

Ce que le papier NE prétend PAS :

Il ne prétend pas que cela rend l'IA « consciente » ou capable de ressentir des émotions.
Il ne prétend pas que cela résout tous les problèmes de l'IA (comme le raisonnement ou les mathématiques) ; il cible spécifiquement la capacité à se souvenir et à récupérer des informations d'un texte long.
Il ne suggère pas que cela est prêt pour un diagnostic médical ou un déploiement critique dans le monde réel ; c'est une percée de recherche sur la façon dont les modèles d'IA traitent les séquences de texte.

Résumé technique : OSDN : Amélioration de la règle Delta avec une préconditionnement en ligne prouvable dans l'attention linéaire

1. Énoncé du problème

L'attention linéaire et les modèles à espace d'état (SSM) offrent une complexité d'inférence de $O(N)$ et des alternatives à mémoire constante par rapport à l'attention softmax, les rendant adaptées au traitement de séquences longues. Cependant, ils éprouvent souvent des difficultés avec le rappel associatif en contexte, en particulier par rapport aux transformateurs basés sur le softmax.

La règle Delta (telle qu'implémentée dans DeltaNet) tente de combler ce fossé en interprétant la mise à jour de l'état récurrent comme une seule étape de descente de gradient en ligne (OGD) sur une perte de régression par token : $f_t(S) = \frac{1}{2}\|S k_t - v_t\|_F^2$ . La règle de mise à jour est $S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$ , où $\beta_t$ est une porte scalaire.

La limitation fondamentale : La porte scalaire $\beta_t$ agit comme un taux d'apprentissage uniforme appliqué à toutes les dimensions de la clé. Cela ignore la courbure spécifique aux caractéristiques de l'objectif interne. Dans les tâches de rappel associatif, différentes clés (par exemple, identifiants fréquents vs rares, valeurs stables vs à haute entropie) présentent des courbures empiriques différentes. Une seule taille de pas scalaire force un compromis : l'augmenter pour aider à écraser une mémoire obsolète dans une direction peut sur-corriger une autre direction déjà bien calibrée. Les optimiseurs adaptatifs standards (comme Adam) utilisent un préconditionnement diagonal pour résoudre ce problème, mais l'application de tels mécanismes aux couches récurrentes nécessite généralement des états d'ordre deux denses ou brise les pipelines de parallélisation par blocs compatibles avec le matériel (comme la transformée WY) qui rendent DeltaNet efficace.

2. Méthodologie : DeltaNet à échelle en ligne (OSDN)

Les auteurs proposent OSDN, qui enrichit la porte scalaire avec un préconditionneur diagonal $D_t = \text{diag}(d_t)$ , appris en ligne via un retour d'hypergradient.

2.1. Équivalence algébrique et préservation du matériel

Une idée clé d'OSDN est que le préconditionnement à droite de l'étape de gradient est algébriquement équivalent à un réglage par caractéristique de la clé côté écriture.
La mise à jour standard :
$S_t = S_{t-1} - \beta_t \nabla f_t(S_{t-1}) D_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)(d_t \odot k_t)^\top$
En définissant une clé préconditionnée $\tilde{k}_t = d_t \odot k_t$ , la mise à jour devient :
$S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)\tilde{k}_t^\top$
Cette transformation permet à OSDN de préserver strictement le pipeline parallèle WY par blocs de DeltaNet. L'implémentation nécessite uniquement de substituer la clé de stockage $K$ par $\tilde{K}$ dans la matrice de Gram par bloc et les scores intra-bloc, n'engendrant aucune surcharge d'état de haute dimension au-delà du vecteur préconditionneur $O(K)$ .

2.2. Retour d'hypergradient découplé

Le préconditionneur $d_t$ est mis à jour via la descente de gradient en ligne (OGD) sur un surrogat d'hypergradient dérivé du cadre de la méthode de gradient à échelle en ligne (OSGM) [18].
Le surrogat de perte pour le préconditionneur est :
$h_t(d_t) = \frac{f_t(S_t) - f_t(S_{t-1})}{\|\nabla f_t(S_{t-1})\|_F^2}$
Crucialement, en raison de la structure exactement quadratique de la perte de régression interne $f_t$ , ce surrogat admet une expression fermée qui dépend uniquement de la clé $k_t$ et de la porte scalaire $\beta_t$ , le découplant de l'état de haute dimension $S_t$ , de la valeur $v_t$ ou du résidu $u_t$ .
$h_t(d_t) = \frac{(1 - \beta_t \langle d_t, k_t^2 \rangle)^2 - 1}{2 \|k_t\|_2^2}$
Ce découplage permet une implémentation en deux phases :

Phase 1 : Un scan léger $O(K)$ sur le flux de clés pour calculer la séquence de clés préconditionnées $\{\tilde{k}_t\}$ et mettre à jour $d_t$ .
Phase 2 : Le passage standard DeltaNet par blocs utilisant $\tilde{K}$ au lieu de $K$ .

2.3. Oubli adaptatif du préconditionneur (APF)

Pour gérer les contextes linguistiques non stationnaires où les distributions de clés évoluent, les auteurs introduisent APF. Cela ajoute une porte de rétention apprise, par token et par tête, $r_{t,h}$ appliquée uniquement à l'état du préconditionneur $d_t$ (et non à l'état de mémoire $S_t$ ) :
$\bar{d}_{t+1} = r_{t,h} d_t + \eta \nabla_d h_t(d_t)$
Cela maintient la structure de récurrence affine requise pour le scan en deux phases tout en permettant à l'optimiseur méta d'"oublier" un calibrage obsolète.

3. Garanties théoriques

L'article établit deux garanties de convergence basées sur la nature exactement quadratique de la perte interne :

Convergence super-géométrique en limite de population (Théorème 5.1) : Contre un comparateur de Newton à droite idéal ( $D^\star = \Sigma_k^\dagger$ ), si l'apprenant en ligne atteint un regret sous-linéaire, la sous-optimalité de l'objectif global se contracte à un taux super-géométrique de $O((C/T)^T)$ . Ceci est significativement plus rapide que la convergence géométrique (linéaire) standard.
Contraction résiduelle locale à l'algorithme (Théorème 5.2) : Pour la mise à jour diagonale implémentée, le produit des ratios de résidus locaux aux tokens $\prod_{t=1}^T \frac{f_t(S_t)}{f_t(S_{t-1})}$ est borné. Si un comparateur diagonal satisfait la condition de Newton à porte ( $\beta_t \langle d^\star, k_t^2 \rangle = 1$ ), le taux de contraction est également super-géométrique, spécifiquement $O((1/\sqrt{T})^T)$ sous les bornes de regret OGD standard.

4. Résultats expérimentaux

Les expériences ont été menées sur les architectures DeltaNet, Gated DeltaNet (GDN) et Kimi Delta Attention (KDA) aux échelles de 340M et 1,3B de paramètres.

4.1. Rappel en contexte (échelle 340M)

Performance : OSDN standard a amélioré le rappel en contexte de style JRT de 32 % par rapport à DeltaNet de base (0,150 $\to$ 0,198). Le gain était concentré sur les tâches à contexte répété (par exemple, variantes "JRT-deux fois"), où les clés réapparaissent, permettant au préconditionneur de se calibrer.
Impact de l'APF : OSDN-APF a conservé un gain de 17 % (0,176) et a fourni la meilleure perplexité WikiText/LAMBADA parmi les variantes DeltaNet (30,99 contre 32,00).
Généralisation : Sur des benchmarks plus larges (Commonsense, LongBench), les variantes OSDN sont restées à parité avec leurs bases, confirmant que le mécanisme est ciblé plutôt qu'un amplificateur de performance universel.

4.2. Passage à l'échelle 1,3B de paramètres

Contraction résiduelle : Le signal au niveau du mécanisme s'est amplifié à grande échelle. Le ratio de résidus géométrique moyen ( $q_{geo}$ ) est passé de 0,432 à 0,265 (une réduction de 39 %), presque doublant l'amélioration observée à 340M.
Parité en aval : Malgré l'amélioration massive de la contraction résiduelle interne, les métriques en aval (perplexité WikiText/LAMBADA, Commonsense, LongBench) sont restées à parité avec la base DeltaNet 1,3B, démontrant que le mécanisme se transfère efficacement sans dégrader les capacités générales.

4.3. Efficacité

Débit : Les variantes OSDN ont engendré une surcharge d'inférence minimale. À 340M, les changements de débit étaient compris dans $\pm 2,2\%$ . À 1,3B, OSDN-APF était 6,8 % plus lent que la base, attribué au scan séquentiel supplémentaire pour le préconditionneur.
Surcharge d'état : L'état récurrent persistant n'a augmenté que de $\le 0,05\%$ en raison du vecteur préconditionneur $O(K)$ .

5. Signification et revendications

L'article présente OSDN comme une extension minimale et ciblée de la règle Delta qui comble le fossé entre les mises à jour scalaires du premier ordre et l'optimisation adaptative.

Amélioration au niveau du mécanisme : La contribution principale est une amélioration prouvée, au niveau du mécanisme, du rappel associatif via un préconditionnement en ligne, validée par un diagnostic direct du ratio de contraction résiduelle.
Compatibilité matérielle : Contrairement à d'autres méthodes de préconditionnement d'ordre deux ou denses, OSDN préserve le pipeline parallèle par blocs et la complexité d'état $O(K)$ , le rendant pratique pour un déploiement à grande échelle.
Évolutivité : Les résultats démontrent que les avantages du préconditionnement en ligne se transfèrent et s'amplifient à l'échelle du milliard de paramètres, suggérant que le "décalage de courbure" dans l'attention linéaire est un goulot d'étranglement fondamental qui peut être résolu sans refonte architecturale.
Limites : Les auteurs notent explicitement que OSDN n'est pas un amélioreur universel de benchmarks ; les gains sont concentrés sur les tâches de récupération impliquant des clés répétées. Les garanties théoriques reposent sur l'hypothèse de perte interne exactement quadratique et la descente monotone, qui sont des conditions idéalisées. La méthode ne prétend pas résoudre toutes les limitations de l'apprentissage en contexte, mais adresse spécifiquement la géométrie de l'étape d'écriture de la règle Delta.