🤖 machine learning

Kaczmarz Linear Attention

L'article présente l'attention linéaire Kaczmarz (KLA), un DeltaNet à porte modifié qui remplace son coefficient de mise à jour appris empiriquement par une taille de pas Kaczmarz théoriquement dérivée et normalisée par la norme des clés, ce qui se traduit par une perplexité supérieure, une stabilité en contexte long et une efficacité de décodage accrues sans modifier l'architecture du modèle ni la forme de son état.

Auteurs originaux : Jiaxuan Zou, Ruifeng Ren, Yong Liu

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiaxuan Zou, Ruifeng Ren, Yong Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot la lecture d'un livre très long. Le robot doit se souvenir de ce qu'il a lu précédemment pour comprendre la phrase actuelle.

Le Problème : Le Goulot d'Étranglement « Quadratique »
Les modèles d'IA traditionnels (Transformers) fonctionnent comme un élève qui, pour chaque nouveau mot lu, doit feuilleter tout le livre pour vérifier chaque mot précédent et voir comment ils se relient. Si le livre est court, cela ne pose pas de problème. Mais si le livre compte 100 000 pages, l'élève doit effectuer une quantité massive de travail pour chaque mot unique. Cela devient si lent et coûteux qu'il est pratiquement impossible de passer à l'échelle supérieure.

La Solution : L'« État Récurrent »
Les modèles plus récents tentent de résoudre ce problème en agissant comme un élève disposant d'un petit carnet de taille fixe. Au lieu de feuilleter tout le livre, ils mettent simplement à jour leur carnet au fur et à mesure de la lecture. Ils notent les éléments les plus importants, oublient le reste, et continuent d'avancer. C'est rapide (temps linéaire), mais difficile à maîtriser correctement : Que doivent-ils écrire ? Combien doivent-ils effacer ? Et comment doivent-ils mettre à jour la note s'ils rencontrent à nouveau le même sujet ?

La Tentative Précédente : Gated DeltaNet (GDN)
Un modèle populaire, appelé Gated DeltaNet (GDN), utilise une approche de « carnet ». Lorsqu'il rencontre une nouvelle information, il calcule la différence entre ce qu'il pense savoir et ce qu'il voit réellement, puis inscrit cette différence dans le carnet.

Cependant, le GDN présente un défaut : il utilise une « supposition apprise » (un nombre qu'il déduit pendant l'entraînement) pour décider de quelle ampleur doit être le changement. C'est comme un élève qui devine : « Hmm, je pense que je devrais écrire ceci avec un feutre de taille 5. » Parfois, ils utilisent un feutre trop gros (ce qui éclabousse la page), et parfois trop petit (l'écriture est pâle et se perd). Cette supposition n'est qu'une habitude que le modèle a apprise, pas une règle mathématique.

La Nouvelle Idée : Kaczmarz Linear Attention (KLA)
Les auteurs de cet article, Jiaxuan Zou et ses collègues, se sont demandé : « Peut-on arrêter de deviner et utiliser les mathématiques pour décider exactement de l'ampleur du changement ? »

Ils ont examiné une ancienne méthode mathématique appelée la projection de Kaczmarz.

L'Analogie : Imaginez que vous essayez de tracer une ligne sur une feuille de papier qui passe par un point spécifique. Vous avez une règle (votre état actuel). Si votre règle ne touche pas le point, vous devez la pousser légèrement.
L'Insight : La méthode de Kaczmarz indique que la meilleure façon de pousser la règle est de mesurer à quel point le point est « fort » ou « bruyant ». Si le point est très bruyant (un signal fort), vous n'avez besoin que d'une toute petite poussette pour l'atteindre. Si le point est silencieux (un signal faible), vous avez besoin d'une grande poussette.

Dans le langage de l'article, ils examinent la « Clé » (le signal) et mesurent sa force (sa « norme »). Ils calculent ensuite une taille de pas précise :

Taille du Pas = (Taux d'Apprentissage) / (Force du Signal)

Ceci est le Coefficient de Kaczmarz.

Qu'est-ce qui a changé ?
Les auteurs n'ont pas construit un nouveau robot ni un nouveau carnet. Ils n'ont pas modifié le matériel. Ils ont simplement remplacé le nombre « de devinette » dans le modèle GDN par ce nombre précis, dérivé mathématiquement.

Ancienne Méthode : « Je vais écrire ceci avec un feutre de taille 0,5 parce que mes données d'entraînement me l'ont dit. »
Nouvelle Méthode (KLA) : « Je vais écrire ceci avec un feutre de taille 0,5 divisée par la force de ce signal. »

Les Résultats
Parce que cette nouvelle règle est mathématiquement parfaite pour la tâche spécifique de mise à jour de la mémoire, le modèle fonctionne mieux :

Plus Intelligent : Il prédit le mot suivant dans une phrase avec plus de précision (une « perplexité » plus faible) que les meilleurs modèles précédents.
Mémoire Plus Longue : Il peut gérer des contextes beaucoup plus longs (jusqu'à 65 000 mots) sans se confondre ni oublier des choses, alors que l'ancien modèle commençait à avoir des difficultés.
Meilleur dans les Tâches : Dans les tests où le modèle devait trouver une « aiguille » spécifique dans une immense « botte de foin » de texte, le KLA a obtenu 100 % de réussite, tandis que les autres ont échoué.
Tout aussi Rapide : Parce qu'ils n'ont changé que la formule mathématique de la mise à jour et non la structure du carnet, le modèle s'exécute aussi vite que l'ancien. En fait, il décode (génère du texte) 2,1 fois plus vite sur de longues longueurs.

En Résumé
L'article présente le KLA, un modèle qui conserve la même structure rapide et efficace que son prédécesseur, mais remplace une règle de mise à jour « de devinette » par une règle précise, dérivée mathématiquement. C'est comme prendre une voiture qui roule déjà bien et remplacer les suppositions du conducteur par un système de navigation GPS parfait. La voiture est la même, mais elle atteint sa destination plus précisément et plus efficacement.

Résumé technique : Attention linéaire Kaczmarz (KLA)

Énoncé du problème

La modélisation du langage en contexte long est entravée par les coûts computationnels et mémoire quadratiques de l'attention Softmax standard dans les Transformers. Bien que les modèles récurrents à temps linéaire pallient ce problème en compressant le contexte dans un état de taille fixe, la conception de la règle de mise à jour de l'état devient le goulot d'étranglement critique. Les approches existantes, telles que Gated DeltaNet (GDN), utilisent une « règle delta » pour écrire le résidu entre une valeur cible et la prédiction de l'état courant, modifiant ainsi les associations existantes plutôt que de simplement les accumuler.

Cependant, GDN repose sur un coefficient scalaire appris pour équilibrer l'oubli et la mise à jour. Les auteurs soutiennent que ce coefficient est un choix de conception empirique plutôt qu'un pas de taille dérivé théoriquement. Un coefficient inapproprié peut entraîner des amplitudes de mise à jour sous-optimales : une sur-correction pour les clés à grande norme et une sous-correction pour les clés à faible norme, résultant en une corruption de l'état et des performances de récupération sous-optimales.

Méthodologie : Attention linéaire Kaczmarz

L'article propose l'Attention linéaire Kaczmarz (KLA), une modification de GDN qui remplace le scalaire appris par un pas de taille dérivé théoriquement basé sur la méthode de projection de Kaczmarz.

Dérivation théorique

Les auteurs formulent l'opération d'écriture clé-valeur comme un problème d'optimisation sous contrainte. Pour un token $t$ , l'objectif est de trouver l'état $S_t$ le plus proche de l'état précédent décayé $\tilde{S}_{t-1}$ qui satisfait la contrainte linéaire $S_t^T k_t = v_t$ (où $k_t$ est la clé et $v_t$ est la valeur).

Objectif d'optimisation : $\min_S \frac{1}{2}\|S - \tilde{S}_{t-1}\|_F^2$ sous la contrainte $S^T k_t = v_t$ .
Solution : La solution optimale est la projection orthogonale de $\tilde{S}_{t-1}$ sur l'hyperplan de contrainte. Cela donne un pas de taille (coefficient) de $\beta_t = 1/\|k_t\|_2^2$ .

La règle de mise à jour KLA

KLA généralise cette projection exacte en une règle de mise à jour pratique incluant une porte de relaxation apprenable $\eta_t$ et un stabilisateur numérique $\epsilon$ :
$\beta_t = \frac{\eta_t}{\|k_t\|_2^2 + \epsilon}$
La mise à jour de l'état devient :
$S_t = \tilde{S}_{t-1} + \beta_t k_t e_t^T$
où $e_t = v_t - \tilde{S}_{t-1}^T k_t$ est l'erreur résiduelle.

Propriétés clés

L'article établit que ce coefficient satisfait simultanément trois propriétés souhaitables (dans le cas non relâché où $\eta_t=1, \epsilon=0$ ) :

Projection orthogonale : Il effectue le changement de norme minimale à l'état pour satisfaire la contrainte.
Recherche linéaire exacte : C'est le minimiseur exact de la perte par token le long de la direction de mise à jour.
Pas de gradient normalisé : Il agit comme un pas de Descente de Gradient Stochastique (SGD) normalisé.

Implémentation

KLA est conçu comme un remplacement direct pour GDN. Il préserve :

La forme de l'état ( $S \in \mathbb{R}^{d_k \times d_v}$ ).
Les mécanismes de porte (portes de décay et de mise à jour).
La structure de récurrence linéaire.
L'algorithme d'entraînement parallèle par blocs.

Le seul changement structurel réside dans le calcul de la matrice de coefficients diagonale $B = \text{Diag}(\beta_1, \dots, \beta_C)$ au sein du solveur par blocs. Aucun nouveau noyau matériel ou disposition d'état n'est requis.

Contributions clés

Règle delta auto-normalisée : Dérivation du coefficient KLA à partir de la projection de Kaczmarz, prouvant qu'il s'agit d'une projection orthogonale, d'un minimiseur de recherche linéaire exact et d'un pas de gradient normalisé pour la perte par token.
Algorithme récurrent direct : Démonstration que KLA conserve la récurrence GDN et le solveur par blocs, ne nécessitant qu'un changement de la matrice de coefficients diagonale.
Gains empiriques : Validation que KLA atteint une perplexité inférieure et un suivi d'état meilleur que GDN et d'autres bases de temps linéaire sans expansion architecturale.
Efficacité préservée : Confirmation que KLA maintient une complexité temps/mémoire de $O(n)$ et correspond à la latence de préremplissage de GDN tout en améliorant le débit de décodage.

Résultats expérimentaux

Les expériences ont été menées à l'échelle de 0,4 milliard de paramètres avec un budget de 1 milliard de tokens sur l'ensemble de données SlimPajama-672B.

Modélisation du langage

Perplexité de validation (PPL) : KLA a atteint 8,09 PPL, surpassant GDN (8,50), DeltaNet (8,26), GLA (8,42), Longhorn (8,79) et Mamba2 (9,41).
Extrapolation en contexte long : Sans fine-tuning en contexte long, KLA a maintenu la perplexité la plus faible sur des longueurs de contexte allant de 1K à 65K tokens, montrant un avantage constant de 3,7 à 4,1 PPL par rapport à GDN.

Tâches synthétiques

Aiguille unique dans une botte de foin (S-NIAH) : KLA a atteint 100 % de précision sur toutes les longueurs de contexte testées (1K–8K), tandis que GDN a légèrement baissé et Mamba2 a échoué de manière significative.
Rappel associatif multi-requêtes (MQAR) : KLA a amélioré la précision d'extrapolation de longueur par 8x de 7,03 points par rapport à GDN (73,84 % contre 66,81 %).
Pile et Palindrome : KLA a montré des performances compétitives ou supérieures dans les tâches de suivi d'état et d'inversion.

Efficacité

Latence de préremplissage : KLA a correspondu à la latence de préremplissage de GDN (par exemple, ~1220 ms à 131K de contexte), confirmant que le calcul du coefficient de Kaczmarz n'affecte pas le coût dominant du noyau par blocs.
Débit de décodage : À 32K de contexte, KLA a atteint 3,54 tokens/s, soit 2,1 fois plus élevé que GDN (1,65 tokens/s) et 1,7 fois plus élevé que Mamba2.

Études d'ablation

Les auteurs ont ablaté la stratégie de normalisation, le mécanisme de porte et l'expansion d'état. Les résultats ont indiqué que la normalisation par la norme des clés est cruciale pour la stabilité ; son retrait ou l'utilisation d'un scalaire appris seul a conduit à une dégradation significative de la stabilité du pré-entraînement (PPL) et des performances sur les tâches synthétiques.

Importance et affirmations

L'article affirme que le coefficient de Kaczmarz normalisé par la norme des clés est un « axe de conception de premier ordre » pour les modèles de séquences à règle delta. En traitant l'opération d'écriture comme une projection contrainte, KLA résout le problème des amplitudes de mise à jour sous-optimales inhérentes aux scalaires appris empiriquement.

L'importance réside dans le fait que ces améliorations sont obtenues sans changer l'état récurrent, le noyau matériel ou la complexité architecturale. Les auteurs postulent que le coefficient lui-même, plutôt que la capacité de l'état ou la structure de porte, est le facteur principal déterminant si une écriture à règle delta résout avec succès son problème de régression local. Cela suggère que les futurs modèles à temps linéaire peuvent réaliser des gains substantiels en précision, en extrapolation et en efficacité de décodage simplement en adoptant ce pas de taille fondé théoriquement.