🤖 machine learning

ATMA: Length-Invariant Language Modeling via Polar Attention and Gated-Delta Compression Memory

Le document introduit ATMA, une architecture hybride combinant un nouveau mécanisme d'attention polaire à trois canaux avec une mémoire de compression par delta à porte pour surmonter les contraintes de longueur basées sur le softmax, atteignant une réduction monotone de la perplexité et une récupération de haute fidélité à longue portée jusqu'à 64K jetons.

Auteurs originaux : Habibullah Akbar

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Habibullah Akbar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le dilemme de la « longue histoire »

Imaginez que vous essayiez de vous souvenir d'une histoire de 64 000 mots. Vous avez deux manières principales de gérer cela, mais les deux présentent un défaut fatal :

L'approche de la « fenêtre glissante » : Vous ne regardez que les dernières pages du livre.
- Avantages : Vous vous souvenez parfaitement des détails immédiats.
- Inconvénients : Vous êtes totalement aveugle à tout ce qui s'est passé 10 pages plus tôt. Si la réponse à votre question se trouve dans le premier chapitre, vous la manquerez complètement.
L'approche du « contexte complet » : Vous essayez de garder toute l'histoire de 64 000 mots dans votre tête en même temps.
- Avantages : Vous pouvez voir le début et la fin.
- Inconvénients : Votre cerveau est submergé. Le « signal » (les faits importants) est noyé par le « bruit » (tous les autres mots). C'est comme essayer d'entendre un chuchotement dans un stade rempli de gens qui crient ; finit par ne plus rien entendre clairement, et vos performances s'effondrent.

Les modèles d'IA actuels (Grands Modèles de Langage) utilisent principalement la seconde approche, mais à mesure que l'histoire s'allonge, ils commencent à « oublier » ou à s'embrouiller parce que le calcul qu'ils utilisent (appelé Attention Softmax) disperse trop leur attention.

La solution : ATMA

Les auteurs ont créé un nouveau modèle appelé ATMA. Considérez ATMA comme un bibliothécaire super intelligent qui utilise un système spécial en trois parties pour gérer une immense bibliothèque sans être submergé.

Au lieu d'une seule façon de lire le texte, ATMA divise le travail en trois canaux distincts :

1. Le canal du « Quoi » (Attention Polaire - Direction)

Imaginez que vous cherchez un livre spécifique. Au lieu de compter combien de personnes sont dans la pièce, vous vous concentrez simplement sur ce à quoi ressemble le livre (sa couleur, sa forme, son titre).

Comment ça marche : Cette partie d'ATMA ignore combien de fois un mot apparaît. Elle ne s'intéresse qu'à la direction ou au type d'information.
La Magie : Même si la bibliothèque passe de 100 livres à 100 000 livres, ce canal reste calme. Il ne s'embrouille pas avec la taille de la foule. Il pointe simplement vers la bonne « caractéristique » de la réponse.

2. Le canal du « Combien » (Attention Polaire - Magnitude)

Maintenant, imaginez que vous ayez besoin de savoir quelle est la force du signal. Est-ce qu'une seule personne a crié la réponse, ou est-ce toute une chorale ?

Comment ça marche : Ce canal compte les « correspondances effectives ». Mais voici l'astuce : il possède un limiteur de volume.
La Magie : Si 1 000 personnes crient la même chose, un cerveau normal pourrait être submergé. Le limiteur de volume d'ATMA plafonne le volume pour qu'il n'explose pas. Il dit : « D'accord, c'est un signal très fort, mais je vais le traiter comme un signal "très bruyant", et non comme un signal "haut-parleur cassé". » Cela maintient la stabilité mathématique, même pour des histoires immenses.

3. Le canal de la « Mémoire à long terme » (Compression Gated-Delta)

Même avec les canaux « Quoi » et « Combien », vous avez toujours besoin d'un endroit pour stocker l'essent de l'histoire afin de ne pas avoir à la relire entièrement à chaque fois.

Comment ça marche : C'est un système de « post-it » spécial. Il met constamment à jour un résumé de l'histoire au fur et à mesure de la lecture.
La Magie : La plupart des systèmes de résumé sont « avec perte » (lossy) — ils oublient des détails. Mais la mémoire d'ATMA est « filtrée » (gated). Elle décide soigneusement de ce qu'elle garde et de ce qu'elle écrase. Elle agit comme un algorithme de compression de haute qualité qui garde les points clés de l'intrigue (l'« aiguille ») en sécurité, même si l'histoire fait 64 000 mots.

Pourquoi la combinaison est la clé

Les auteurs ont découvert qu'on ne peut pas utiliser un seul de ces outils ; il faut que les trois travaillent ensemble :

Si vous utilisez seulement le canal « Quoi » (Attention Polaire), vous perdez la capacité de trouver des faits spécifiques dans une immense botte de foin.
Si vous utilisez seulement la Mémoire, vous obtenez un bon résumé mais vous ne pouvez pas trouver de détails précis (comme un code à 5 chiffres caché dans le texte).
ATMA combine les deux : le canal « Quoi » trouve l'aiguille exacte, et le canal « Mémoire » maintient le contexte stable pour que l'aiguille ne soit pas perdue.

Les résultats : Le test de « l'aiguille dans la botte de foin »

Les auteurs ont testé cela en cachant une « aiguille » spécifique (un code secret) à l'intérieur d'une immense « botte de foin » (un document long).

Les anciens modèles : Lorsque le document devenait très long (32 fois plus long que ce sur quoi ils avaient été entraînés), les anciens modèles échouaient complètement. Ils trouvaient l'aiguille moins de 20 % du temps.
ATMA : Même à 64 000 mots (32 fois la longueur d'entraînement), ATMA a trouvé l'aiguille plus de 90 % du temps.
Bonus : Non seulement il a trouvé l'aiguille, mais il a aussi mieux compris le reste de l'histoire (perplexité plus faible), ce qui signifie qu'il était moins confus par le texte long que n'importe quel autre modèle.

Le « Secret de fabrication » technique

Pour faire fonctionner cela sur de vrais ordinateurs, les auteurs ont dû construire des « moteurs » logiciels (kernels) personnalisés.

Ils ont créé une manière spéciale de faire les calculs qui économise la mémoire, comme une clé USB qui ne charge que les pages dont vous avez besoin maintenant, plutôt que d'essayer de charger tout le livre dans la RAM à la fois.
Ils ont optimisé la « mise à jour de la mémoire » pour qu'elle ne ralentisse pas l'ordinateur, maintenant une vitesse élevée même lors de calculs complexes.

Résumé

ATMA est une nouvelle façon pour l'IA de lire de longs livres. Il résout le problème de la submersion par du texte long en divisant le travail en :

Direction : Que cherchons-nous ? (Reste calme quelle que soit la taille).
Magnitude : Quelle est la force du signal ? (Empêche le volume d'exploser).
Mémoire : Un résumé intelligent et compressé qui retient l'idée générale.

En combinant ces éléments, ATMA peut lire un document de 64 000 mots et toujours trouver un détail minuscule caché à l'intérieur, ce que les modèles précédents ne pouvaient pas faire.

Résumé Technique : ATMA – Modélisation de Langage Invariante à la Longueur via l'Attention Polaire et la Mémoire de Compression Gated-Delta

1. Énoncé du Problème

Les modèles de langage modernes (LLM) reposant sur l'attention standard de type softmax scaled-dot-product (SDPA) font face à des limitations critiques lorsqu'ils généralisent à des séquences dont la longueur dépasse leur distribution d'entraînement. Le document identifie deux modes de défaillance primaires :

Dilution du Softmax et Décalage d'Activation : À mesure que la séquence clé-valeur croît, la masse de probabilité du softmax se propage sur une distribution plus large. Cette « dilution » fait tendre la coordonnée maximale du vecteur softmax vers zéro, aplatissant l'attention et induisant des décalages d'activation qui poussent le modèle hors de sa distribution de référence (out-of-distribution).
La Tension Structurelle : Les solutions existantes imposent un compromis entre cohérence locale et rappel global.
- L'Attention à Fenêtre Glissante (SWA) maintient une faible perplexité mais est aveugle aux dépendances à longue portée au-delà de la fenêtre.
- L'Attention Softmax Complète préserve le rappel global mais souffre d'une explosion de la perplexité et d'un effondrement de la récupération à des longueurs extrêmes.
- Les Mémoires Récurrentes/Linéaires (ex. Titans, DeltaNet) offrent une compression efficace à long terme mais agissent comme des systèmes « avec perte », échouant à récupérer des faits spécifiques et précis (le problème de « l'aiguille dans une botte de foin") au sein de contextes massifs.

2. Méthodologie : L'Architecture ATMA

ATMA (Attention with Memory and Attention) est une architecture hybride de type convolution-attention conçue pour résoudre le compromis fenêtre-récupération. Elle utilise une structure de décodeur seul à 16 couches avec un ratio de 3:1 de couches convolutionnelles gérées par porte (LFM2) par rapport aux couches d'Attention Polaire. L'innovation centrale réside dans le mécanisme d'Attention Polaire et son intégration avec une Mémoire Gated-Delta Titans.

2.1 Attention Polaire : Une Décomposition à Trois Canaux

Contrairement à l'attention standard qui entremêle magnitude et direction, ATMA factorise l'étape de mélange de l'attention en une combinaison additive de trois flux :
$\text{out} = \text{content} + \text{count} + \text{memory}$

Canal de Direction (« Quoi ») :
- Projette la somme des valeurs correspondantes sur la sphère unité.
- Cela crée un vecteur indépendant du compte et de la taille qui représente purement ce que les caractéristiques ont visé, indépendamment du nombre de correspondances ou de la longueur de la séquence.
- Il utilise un paramètre de Température de Longueur pour aiguiser les distributions à mesure que le contexte croît, ainsi qu'un Plancher de Valeur Nulle Corrigé par les Valeurs Extrêmes pour calibrer les logits contre le bruit aléatoire, empêchant le bruit de fond de submerger le signal.
Canal de Magnitude (« Combien ») :
- Calcule le ratio de participation (indice de Simpson inverse) de la distribution d'attention pour déterminer le nombre effectif de correspondances ( $n_{eff}$ ).
- Ce compte est régulé par la confiance de la détection du signal et est mappé via une fonction monotone bornée et saturante (tangente hyperbolique du logarithme). Cela garantit que l'entrée de magnitude reste dans la distribution de référence à n'importe quelle longueur de contexte, empêissant la croissance non bornée observée dans les comptes logarithmiques bruts.
Canal de Mémoire Récurrente :
- Un troisième flux additif piloté par une Mémoire Gated-Delta Titans (inspirée par Behrouz et al., 2025).
- Il agit comme un « gist » (essentiel) avec perte, capturant les tendances de perplexité à long terme, complétant la lecture haute fidélité et bornée de l'Attention Polaire.
- Mécanisme de Stabilité : Le document note que la normalisation RMS standard provoque une divergence exponentielle dans les mises à jour de la règle delta. ATMA résout cela en appliant une normalisation L2 aux clés et aux requêtes, bornant les valeurs propres de la règle de mise à jour pour assurer une stabilité absolue.

2.2 Co-conception Matériel-Logiciel

Pour garantir l'efficacité, les auteurs ont implémenté des noyaux Triton personnalisés :

Noyau de Fusion d'Attention Polaire : Calcule les ratios de participation en ligne avec une complexité mémoire de $O(\text{block})$ en utilisant des accumulateurs de flux et des facteurs de correction au carré, évitant le coût mémoire de $O(T^2)$ lié à la matérialisation des scores intermédiaires.
Noyau de Décodage Paginé GQA-Groupé : Optimise l'inférence en lisant directement depuis les blocs de cache KV paginés, réduisant le trafic HBM de 4 fois.
Noyau de Pas Gated-Delta In-Place : Effectue les mises à jour de la mémoire récurrente sur place, éliminant les cycles de collecte-dispersion (gather-scatter) et réduisant le trafic mémoire de 3 fois.

3. Résultats Expérimentaux

Les auteurs ont réalisé une analyse d'ablation factorielle de 100 passages en entraînant des modèles de 370 millions de paramètres sur 1 milliard de tokens de FineWeb-Edu (longueur d'entraînement 2K), en évaluant les performances jusqu'à 64K tokens (32x la longueur d'entraînement).

3.1 Principales Conclusions

Précision de Récupération : La combinaison de l'Attention Polaire + Mémoire Titans est la seule configuration qui maintient une précision de récupération de type « aiguille dans une botte de foin » d'induction supérieure à 90 % sur toute la plage de 2K à 64K.
- Softmax + Mémoire : Chute à 16 % de précision à 64K en raison du décalage d'activation corrompant la lecture de la mémoire.
- Polaire Uniquement : Chute à 0 % à 64K, prounant que l'attention seule ne peut généraliser sans la branche mémoire.
Perplexité : Le modèle ATMA démontre une réduction monotone de la perplexité, passant de 2,70 nats à 2K à 1,96 nats à 64K. Cela surpasse les bases de comparaison à mémoire basées sur le softmax, qui montrent une augmentation (effondrement) de la perplexité à des longueurs extrêmes.
Insights d'Ablation :
- L'ajout de Fenêtres Glissantes ou de Pertes de Distracteurs (objectifs auxiliaires pour calibrer le plancher de valeur nulle) a en réalité nuit aux performances lorsque la branche mémoire était active. La fenêtre a restreint l'entraînement sur les motifs de long contexte, et la perte de distracteur a trop aiguisé le plancher de valeur nulle, supprimant les signaux faibles nécessaires provenant de la mémoire.
- La configuration la plus simple (Polaire Complète + Mémoire, sans fenêtre, sans distracteur) était strictement supérieure.

3.2 Efficacité

La branche de mémoire récurrente entraîne une baisse de 4,5 points de pourcentage de l'Utilisation des FLOPs du Modèle (MFU) sur les GPU NVIDIA L4 par rapport à l'entraînement Polar-only, un surcoût gérable pour les gains significatifs en récupération et en perplexité.

4. Signification et Revendications

Le document affirme qu'ATMA résout avec succès la tension structurelle entre la perplexité locale et la récupération à longue portée dans la modélisation de langage. Sa principale importance réside dans la démonstration que :

L'Invariance de Longueur est Réalisable : En découplant la direction et la magnitude et en corrigeant le bruit des valeurs extrêmes, les mécanismes d'attention peuvent rester stables et efficaces à des longueurs dépassant largement les données d'entraînement.
L'Hybridation est Nécessaire : Ni l'Attention Polaire ni la Mémoire Récurrente ne sont suffisantes isolément. Leur combinaison permet une récupération de haute fidélité de faits spécifiques et une amélioration continue de la perplexité des documents.
Scalabilité Pratique : L'architecture, soutenue par une ingénierie de noyaux personnalisés, passe à 64K tokens (32x la longueur d'entraînement) sans le phénomène d'« effondrement » observé dans les bases de comparaison standard (softmax ou attention linéaire).

Les auteurs concluent que cette approche offre une voie viable pour des modèles capables d'ingérer et de raisonner sur des fenêtres de contexte massives tout en maintenant des représentations cohérentes et une récupération précise.