Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test

Résumé technique : Les activations massives sont architecturalement robustes

Énoncé du problème
Les modèles transformeurs entraînés présentent systématiquement des « activations massives » : un petit ensemble de dimensions de l'état caché dont les magnitudes sont des milliers de fois supérieures à la médiane. Ces valeurs aberrantes sont structurellement spécifiques, apparaissant sur des dimensions fixes à travers les entrées et se concentrant fortement sur le jeton de début de séquence (ou délimiteur). Elles émergent tôt dans le réseau, persistent à travers les couches suivantes et agissent comme des composants porteurs de charge ; les annuler provoque l'effondrement du modèle.

L'origine de ces activations fait l'objet d'un débat actif. Un camp les considère comme un artéfact du rôle surchargé du flux résiduel, où un flux unique doit servir à la fois de bloc-notes mutable pour le calcul intermédiaire et d'accumulateur stable pour la réponse finale. Les partisans de cette vue soutiennent que des interventions architecturales explicites (ex: normalisation QK, biais de clé/valeur) peuvent supprimer la magnitude de ces valeurs aberrantes avec une perte minimale de performance en modélisation de langage. Le camp opposé les considère comme des nécessités fonctionnelles, servant potentiellement de puits d'attention (attention sinks) pour éviter le mélange excessif, de régulateurs de gradient adaptatifs, ou de termes de biais requis pour des calculs spécifiques.

La question centrale abordée est de savoir si les activations massives sont un sous-produit supprimable de l'architecture ou une exigence fonctionnelle que le modèle reconstruira indépendamment du mécanisme utilisé pour séparer ses rôles de lecture/écriture.

Méthodologie : Résidus de Grand Livre (Ledger Residuals)
Pour tester directement l'hypothèse de l'artéfact, les auteurs introduisent les Résidus de Grand Livre (Ledger Residuals), une intervention architecturale qui divise le flux résiduel standard en deux canaux distincts :

1. Flux de Délibération ($D$) : Un « bloc-notes » mutable où les sous-couches peuvent librement écrire et, surtout, effacer du contenu. Cela permet aux calculs intermédiaires d'écraser les données obsolètes sans les enfouir.
2. Flux d'Engagement ($C$) : Un « grand livre » protégé et en mode ajout uniquement (append-only). Les sous-couches peuvent ajouter des éléments à ce flux via une porte apprise, mais ne peuvent pas l'écraser. Crucialement, la couche de désencodage (la tête de sortie du modèle) décode exclusivement à partir de ce flux.

La conception garantit que si les activations massives ne sont qu'une solution de fortune au conflit entre les rôles de bloc-notes et de réponse, fournir un canal de réponse dédié et protégé devrait rendre ces activations inutiles. L'architecture est paramétrée pour se réduire exactement à un transformeur pre-norm standard sous des réglages de portes spécifiques, garantissant que toute différence observée est due à la factorisation elle-même plutôt qu'à une augmentation de la capacité.

Les auteurs ont entraîné des transformeurs own-decoder à des échelles de 160M et 290M de paramètres sur le corpus FineWeb-Edu. Ils ont comparé quatre configurations à perte de validation égale :

• Vanilla : Transformeur pre-norm standard.
• Suppress : Vanilla avec normalisation QK (connue pour réduire la magnitude des valeurs aberrantes).
• Ledger : L'architecture à flux divisé proposée avec une légère pénalité de parcimonie sur les engagements.
• Ledger-HS : La même architecture avec une pénalité de parcimonie six fois plus forte pour forcer le canal d'engagement à être parcimonieux.

Résultats clés
L'intervention n'a pas réussi à éliminer les activations massives, menant à un résultat négatif clair pour l'hypothèse de l'artéfact :

1. Reconstruction dans le canal protégé : Dans les modèles Ledger, le flux d'Engagement ($C$) protégé a reconstruit l'aberration canonique à dimension fixe et au jeton de début. Bien que la magnitude de l'aberration dans $C$ fût inférieure à celle du modèle « Vanilla » standard, la signature structurelle est restée : la caractéristique était concentrée sur la même dimension fixe et fortement verrouillée sur le jeton de début (BOS).
2. La parcimonie intensifie la caractéristique : Contrairement à l'intuition selon laquelle forcer le canal d'engagement à être parcimonieux empêcherait la formation d'aberrations persistantes, la configuration Ledger-HS (haute parcimonie) a rendu la caractéristique plus forte. La persistance de la dimension dominante est passée de 0,58 à 0,96, et la concentration sur le jeton de début est passée de 3,36 à 4,69. Le modèle n'a pas abandonné la caractéristique ; il a concentré ses rares « engagements » en elle.
3. Magnitude vs Structure : L'étude distingue la magnitude d'une valeur aberrante de sa structure. Alors que la normalisation QK (la ligne de base « Suppress ») a réussi à réduire la magnitude et la concentration sur le jeton de début, l'architecture Ledger a montré que même lorsqu'on donne un canal propre, la structure (dimension fixe + verrouillage sur le jeton de début) réapparaît.
4. Aucune pénalité de performance : La relocalisation de la magnitude de l'aberration vers le flux d'engagement n'a eu aucun impact mesurable sur la perplexité de validation ou sur la robustesse du modèle à la quantification des poids (8-bit et 4-bit).

Signification et Revendications
L'article affirme que les activations massives sont architecturalement robustes. Le fait que le modèle reconstruise l'aberration spécifique à dimension fixe et au jeton de début dans un canal dédié et protégé — malgré l'existence d'un espace de travail séparé pour le calcul — suggère que ces activations ne sont pas simplement un artéfact du double rôle du flux résiduel. Au contraire, elles semblent être une nécessité fonctionnelle dont le modèle dépend activement, quel que soit l'endroit où il est forcé de stocker sa représentation finale.

Les auteurs positionnent cela comme une preuve soutenant le côté « fonctionnel » du débat. Ils soutiennent que si la magnitude des valeurs aberrantes peut être supprimée (comme le montre le travail antérieur utilisant des biais ou la normalisation), la structure sous-jacente persiste lorsque le modèle dispose de la liberté architecturale d'éviter l'artéfact. L'étude ne détermine pas la fonction spécifique de ces activations (ex: puits d'attention, régulateur de gradient ou terme de biais), mais démontre que le modèle reconstruira cette caractéristique structurelle spécifique chaque fois qu'il décode à partir d'une représentation.

Les auteurs publient l'architecture des Résidus de Grand Livre et le code de mesure pour faciliter la reproduction et le passage à l'échelle de ce test. Ils reconnaissent les limites, notamment la taille relativement petite des modèles (290M) et l'utilisation d'une seule graine (seed), notant que des tests supplémentaires sur des échelles plus larges et des tâches diverses sont nécessaires pour généraliser pleinement ces conclusions.