🤖 machine learning

A Controlled Study of Attention-Only Transformers

Cette étude démontre que les réseaux de propagation vers l'avant ne sont pas strictement nécessaires à la performance des transformers, car les modèles de type attention-only (SANs) appariés en termes de paramètres, de calcul et de profondeur atteignent une perte presque identique aux transformers standards, l'écart mineur restant étant attribuable uniquement aux différences de rappel paramétrique plutôt qu'à des limitations architecturales.

Auteurs originaux : Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Publié 2026-07-22

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de construire le cerveau ultime pour un robot. Pendant des années, des scientifiques ont empilé deux types de « neurones » les uns sur les autres pour rendre ces robots plus intelligents. Le premier type est comme un messager qui regarde ce qui se passe en ce moment et décide où porter l'attention. Le second type est comme un carnet de notes qui stocke les faits et les règles appris du passé. Le cerveau du robot est construit selon un motif répétitif : un messager, puis un carnet de notes, puis un messager, puis un carnet de notes.

Dans le monde de l'intelligence artificielle, ces « messagers » sont appelés mécanismes d'attention, et les « carnets de notes » sont appelés réseaux à propagation avant (FFN). Pendant longtemps, tout le monde a supposé que le carnet de notes était essentiel. En fait, dans les cerveaux de robots modernes, ces carnets de notes occupent environ les deux tiers de l'espace total (paramètres). La grande question était : Le carnet de notes est-il réellement nécessaire ? Ou le messager pourrait-il faire tout le travail si on lui donnait assez d'espace ? Cette publication est une expérience contrôlée géante pour découvrir si nous pouvons construire un robot super intelligent en utilisant uniquement des messagers, sans aucun carnet de notes.

L'expérience de la grande chirurgie cérébrale

Les chercheurs de Cactus Compute, Inc. ont décidé de pratiquer une « chirurgie cérébrale » très précise sur un modèle d'IA standard. Ils ont pris un modèle standard et, couche par couche, ont entièrement arraché le « carnet de notes » (le réseau de propagation avant), ne laissant que le « messager » (le mécanisme d'attention). Ils ont appelé ce nouveau modèle, épuré, un Simple Attention Network (SAN).

Mais voici le piège : on ne peut pas simplement supprimer une énorme partie d'un cerveau et s'attendre à ce qu'il fonctionne de la même manière. Si vous supprimez le carnet de notes, vous avez soudainement beaucoup d'espace vide. Ainsi, les chercheurs ont mené trois versions différentes de l'expérience pour voir ce qui compte réellement :

Même profondeur : Ils ont gardé le même nombre de couches mais ont supprimé les carnets de notes. (Cela rendait le SAN beaucoup plus petit et plus faible).
Même calcul : Ils ont ajusté la taille de sorte que les deux modèles utilisent exactement la même quantité d'électricité (FLOPs) pour réfléchir.
Même taille : Ils ont utilisé l'espace laissé par la suppression des carnets de notes pour ajouter plus de couches de messagers. C'est le test le plus équitable : « Si nous donnons au messager la même puissance cérébrale totale qu'au carnet de notes, peut-il faire le travail ? »

Le résultat choquant : Le carnet de notes n'est pas magique

Les résultats ont été surprenants. Lorsqu'ils ont simplement supprimé les carnets de notes sans donner plus d'espace aux messagers, le robot est devenu nettement moins intelligent. Mais lorsqu'ils ont pris cette puissance cérébrale « supprimée » pour construire des piles de messagers plus profondes, l'écart a presque totalement disparu.

Dans le test le plus équitable (correspondant à la taille totale), le modèle standard avec carnets de notes et le nouveau modèle composé uniquement de « messagers » étaient presque identiques. La différence était un infime 0,006 nat (une unité de mesure pour l'erreur de prédiction). Pour donner un ordre d'idée, c'est une différence de seulement 0,27 % dans leur performance. C'est si petit que si vous aviez lancé l'expérience avec différentes graines aléatoires, les résultats seraient reproductibles à une partie sur dix mille.

La publication conclut que pour le type de données utilisé (un corpus synthétique riche en raisonnement), le « carnet de notes » n'est pas un composant magique et irremplaçable. C'est juste une façon de stocker l'information. Si vous donnez assez de profondeur au « messager », il peut stocker cette information lui-même.

Où se cache le minuscule écart

Alors, s'ils sont presque les mêmes, pourquoi la différence n'est-elle pas exactement de zéro ? Les chercheurs ont creusé pour comprendre pourquoi. Ils ont découvert que le problème n'était pas partout ; il était très spécifique.

Le modèle uniquement composé de messagers était légèrement moins bon pour répondre à des questions où le contexte (l'histoire ou le texte fourni) ne lui donnait absolument rien pour travailler.

Le gain du « ancrage contextuel » : Lorsque la réponse était cachée quelque part dans le texte fourni (comme trouver un fait dans un article Wikipédia), le modèle uniquement composé de messagers était en fait meilleur ou égal.
La perte de « mémoire » : Le minuscule écart n'apparaissait que lorsque le modèle devait tirer un fait du néant — un rappel de mémoire pur où le texte n'offrait aucun indice.

Voyez cela comme ceci : le messager est excellent pour dire : « Hé, je vois un indice dans le texte, regardons là ! » Mais le carnet de notes était légèrement meilleur pour dire : « Je me souviens de ce fait de mon entraînement, même s'il n'y a pas d'indice ici. » Les chercheurs ont découvert que le modèle uniquement composé de messagers pouvait toujours mémoriser des choses, mais qu'il devait travailler un peu plus dur pour stocker ces faits dans ses couches d'« attention » plutôt que dans une couche de « carnet de notes » dédiée.

Comment le cerveau fonctionne réellement

La publication a également examiné les mécanismes internes pour voir comment ces modèles apprenaient. Ils ont découvert un rythme fascinant dans la croissance du cerveau :

Le routage se cristallise tôt : La partie du cerveau qui décide où regarder (le routage) se fixe très rapidement, dès le premier quart de l'entraînement, puis reste figée.
Le contenu croît lentement : La partie qui stocke réellement l'information continue de croître et de devenir plus complexe tout au long du processus d'entraînement.

Lorsqu'ils ont supprimé le carnet de notes, la tâche de « stockage » n'a pas disparu ; elle a simplement été déplacée. La couche de sortie du messager a pris le relais pour stocker les faits. C'est comme si vous retiriez un classeur d'un bureau ; les employés (les messagers) commenceraient simplement à porter les dossiers dans leurs poches. Cela fonctionne, mais c'est une façon légèrement différente d'organiser les choses.

La recette secrète : La normalisation

L'une des découvertes les plus pratiques concernait la manière d'empêcher ces cerveaux profonds composés uniquement de messagers de s'effondrer. Les chercheurs ont découvert qu'une astuce spécifique appelée normalisation QK était absolument cruciale. Sans elle, les modèles profonds uniquement composés de messagers s'effondreraient et cesseraient d'apprendre. Il s'avère que ce n'était pas le « carnet de notes » qui maintenait la stabilité du cerveau, mais cette technique de normalisation spécifique.

L'essentiel à retenir

Cette publication ne dit pas que les carnets de notes sont inutiles. Elle dit que pour le type spécifique de données riches en raisonnement testées, le « carnet de notes » n'est pas une exigence fondamentale pour l'intelligence. Si vous avez un budget limité pour la taille du cerveau, vous pouvez échanger le carnet de notes contre plus de couches de messagers et obtenir un résultat presque identique.

Le seul moment où le carnet de notes brille vraiment, c'est lorsque le modèle doit se rappeler des faits qui n'ont aucun rapport avec le texte actuel. Mais même là, la différence est infime. L'idée principale est que le « messager » est incroyablement puissant et flexible, capable de faire le travail du « carnet de notes » si on lui donne suffisamment de profondeur. L'écart entre les deux est si faible qu'il est presque négligeable, prouvant que l'architecture du transformeur est plus flexible que nous ne le pensions.

Résumé Technique : Une Étude Contrôlée des Transformers à l'Attention Seule

Énoncé du Problème
Le réseau de neurones à propagation avant (FFN - Feed-Forward Network) constitue environ les deux tiers des paramètres non-embeddings d'un transformer et est largement interprété comme la mémoire paramétrique du modèle (Geva et al. 2021, 2022 ; Meng et al. 2022 ; Dai et al. 2022). Cependant, la nécessité du FFN n'a jamais été rigoureusement testée dans des conditions contrôlées. Les tentatives précédentes de suppression des FFN ont soit réintégré leur capacité dans l'attention via des vecteurs de mémoire persistants (Sukhbaatar et al. 2019), laissant la question de la nécessité en suspens, soit analysé des contextes théoriques sans connexions résiduelles qui ne sont pas utilisées en pratique (Dong, Cordonnier, et Loukas 2021). Le défi expérimental central est que la suppression du FFN perturbe simultanément trois variables critiques : le nombre de paramètres, le calcul par jeton (FLOPs) et le nombre d'étapes de composition non linéaires (profondeur). Un contrôle sur un seul axe est donc insuffisant pour isoler le véritable coût du FFF.

Méthodologie
Les auteurs mènent un « test de nécessité » en préentraînant des réseaux d'attention simples (SANs — Simple Attention Networks), des transformers dont les FFN ont été supprimés, contre des transformers standards. Pour contrôler les variables de confusion, l'étude emploie trois stratégies d'appariement distinctes (Tableau 1) :

Iso-profondeur (Iso-depth) : Appariement du nombre de couches (20 couches). Cela supprime 72 % des paramètres du transformer standard.
Iso-paramètre (Iso-param) : Appariement du nombre total de paramètres non-embeddings. Le budget libéré est réalloué dans la profondeur de l'attention (20 couches SAN contre 4 couches standards).
Iso-FLOP (Iso-FLOP) : Appariement du calcul d'entraînement (GFLOPs par jeton). Puisque l'attention entraîne un coût quadratique sans paramètres lié à la longueur de la séquence, le transformer standard porte plus de paramètres dans ce régime.

Contrôles Hyperparamétriques et Équité :

Équité des Hyperparamètres : Chaque branche architecturale subit sa propre recherche de taux d'apprentissage (de 0,5× à 16×) à un checkpoint de 5 milliards de jetons pour garantir qu'aucune branche ne soit en compétition avec les hyperparamètres préférés d'une autre.
Contrôle de l'Optimiseur : L'entraînement utilise Muon contre un contrôle AdamW, avec un plancher de bruit calibré de 0,0015 nat établi via des contrôles équivalents à l'optimiseur.
Régime de Données : Les modèles sont préentraînés sur SYNTH, un corpus synthétique dense en raisonnement, jusqu'à 105 milliards de jetons. Un test pré-enregistré distinct est réalisé sur Fineweb-edu (dense en connaissances).
Architecture : Les SAN utilisent une attention pre-norm avec GQA (Grouped Query Attention), RoPE, et des stratégies de normalisation spécifiques (ZCN, QK-normalization).

Résultats Clés
L'étude décompose l'écart de performance entre les SAN et les transformers standards en une séquence monotone basée sur la stratégie d'appariement :

Coût de la Suppression (Iso-profondeur) : La suppression des FFN sur place à profondeur égale entraîne une perte significative de 0,47 nat de perte de validation.
Efficacité de Calcul (Iso-FLOP) : À FLOPs d'entraînement égaux, le transformer standard mène toujours de 0,26 nat, car le modèle basé uniquement sur l'attention doit dépenser plus de calcul dans le terme quadratique sans paramètres, laissant moins de paramètres pour la capacité.
Efficacité des Paramètres (Iso-param) : Lorsque le budget de paramètres libéré est réalloué dans la profondeur de l'attention, l'écart s'effondre pour devenir un petit écart hautement reproductible de +0,0055 à +0,0054 nat (0,27 % de la perte totale) sur des paires de graines propres. Cette différence est stable à travers des budgets de 5B, 30B et 105B de jetons et reste proche de 0,02 nat sur une plage de 29× la taille des paramètres non-embeddings.

Localisation du Résidu de l'Écart
Le déficit de performance restant n'est pas diffus ; il est strictement localisé :

Régions de Jetons : Le déficit se concentre entièrement sur les jetons de requête à faible contexte (où le contexte offre peu de choses à router). Sur les traces de raisonnement et les régions de réponses (incluant les exercices de mémorisation), le SAN surpasse ou égale souvent le modèle FFN. À 105B de jetons, le SAN mène sur toutes les régions de réponse, le déficit ne survivant que sur les jetons de requête.
Types de Tâches : Sur les benchmarks nécessitant un rappel hors-distribution (ex: Lambada), le modèle FFN gagne systématiquement. Sur les tâches où la réponse est fournie dans le contexte (ex: SciQ), le SAN gagne, avec une marge qui croît au fil de l'entraînement.
Dépendance à la Distribution : Un test pré-enregistré sur Fineweb-edu (texte dense en connaissances) a mesuré un écart de 0,040 nat, confirmant la prédiction selon laquelle l'avantage du FFN est maximal sur le texte à faible contexte et dense en connaissances. Inversement, sur Lambada entraîné sur Fineweb-edu, la préférence s'est inversée, indiquant que le rapport « stockage vs routage » est une propriété de l'adéquation tâche-distribution, et non une propriété intrinsèque de la tâche.

Mécanisme : Dynamique du Spectre des Poids
Le papier identifie le mécanisme derrière ces résultats via l'analyse du spectre des poids :

Routage vs Contenu : Les matrices de routage (Query/Key) se cristallisent spectralement (se figent) au cours du premier quart de l'entraînement. Les matrices de contenu accumulent un rang stable tout au long de la phase d'entraînement stable.
Relocalisation du Stockage : Dans les transformers standards, l'accumulation de contenu se produit dans la projection descendante du FFN. Dans les SAN, cette accumulation se déplace vers la projection de sortie de l'attention ( $W_o$ ), qui devient le seul chemin d'écriture dans le flux résiduel.
Stabilité : L'étude identifie la QK-normalization comme le composant critique pour l'entraînement de piles d'attention profondes (48 couches). Sa suppression provoque une divergence immédiate. Les portes résiduelles scalaires ont été jugées neutres pour la performance mais utiles pour le diagnostic.

Signification et Revendications
Le papier affirme fournir le premier test de nécessité contrôlé du FFN du transformer. Ses principales conclusions sont :

Le FFF n'est pas un primitif de calcul distinct : Sa suppression ne brise pas le modèle ; elle représente plutôt une allocation spécifique de la capacité de paramètres à un chemin d'écriture.
Forme Fonctionnelle vs Capacité : Sur des données denses en raisonnement, la forme fonctionnelle du FFN importe peu ; ce qui compte est la capacité de paramètres. Réallouer cette capacité dans la profondeur de l'attention permet de récupérer presque toute la performance.
Déficit Spécifique : Le seul coût restant est un petit déficit prévisible sur les jetons où le contexte ne fournit aucune information pour le routage, forçant le recours à la mémoire paramétrique.
Robustesse : Les SAN présentent une plus grande stabilité d'entraînement que les transformers standards sous stress de taux d'apprentissage, aucun événement de divergence n'ayant été observé dans les exécutions SAN par rapport à l'instabilité des exécutions FFN.

Les auteurs concluent que, dans le régime testé, « l'attention fait le reste », à condition que le budget de paramètres soit égal et que l'architecture soit stabilisée avec la QK-normalization. L'étude recadre le FFF non pas comme un composant structurel essentiel, mais comme un mécanisme spécifique de stockage de la connaissance qui peut être efficacement remplacé par des couches d'attention plus profondes, avec pour compromis un impact de performance localisé sur les tâches de prédiction à faible contexte et riches en connaissances.