Résumé Technique : Mesure des Activations Maximales dans les Grands Modèles de Langage Ouverts

Énoncé du Problème

La plage dynamique des activations dans les Grands Modèles de Langage (LLM) constitue une contrainte critique pour la quantification à faible nombre de bits, la mise à l'échelle des activations et l'inférence stable. Les recherches antérieures ont caractérisé les « caractéristiques aberrantes » (outlier features) et les « activations massives » principalement sur des modèles de type LLaMA antérieurs à 2024 (par exemple, OPT, BLOOM). Cependant, le paysage du déploiement a considérablement évolué avec la publication de divers modèles ouverts post-LLaMA (par exemple, Qwen3.5, Gemma3, GPT-OSS) qui varient en termes de piles de normalisation, de MLP à portes, de routage de type Mixture-of-Experts (MoE), d'adaptation multimodale et de stades d'entraînement.

La littérature existante traite les activations massives soit comme un phénomène catégoriel binaire (existence d'aberrations), soit comme un obstacle spécifique aux techniques d'atténuation de la quantification (par exemple, SmoothQuant, AWQ). Il manque une mesure systématique et unifiée concernant :

1. L'ampleur que peuvent atteindre les activations dans les LLM ouverts modernes.
2. La manière dont l'ampleur des activations varie entre différentes familles, générations, architectures (denses vs MoE) et stades d'entraînement.
3. Si le nombre de paramètres seul sert de proxy fiable pour la plage des activations.

Méthodologie

Les auteurs proposent une enquête empirique unifiée pour mesurer l'ampleur globale de l'activation maximale, définie comme $M = \max |a|$, sur un ensemble diversifié de modèles.

1. Données et Corpus :

• Un corpus d'évaluation partagé de 5 000 échantillons de texte multi-domaines (Mathématiques, Code, Web anglais, Connaissance/Questions-Réponses, Chinois, Langues à faibles ressources, Web mixte).
• Les longueurs de séquence sont regroupées en classes (256 à 4096 tokens), avec une forte prédominance des contextes longs (93 % à 4096 tokens).
• Tokenisation : Le même texte brut est re-tokenisé pour chaque famille de modèles afin d'éviter les artefacts liés aux incohérences de tokenisation.

2. Suite de Modèles :

• 27 points de contrôle issus de 8 familles ouvertes : Qwen2.5, Qwen2.5-VL, Qwen3, Qwen3.5, Gemma2, Gemma3, Ling et GPT-OSS.
• Comprend des variantes denses, MoE, vision-langage, d'entraînement intermédiaire et d'adaptation aux instructions.
• Des comparaisons spécifiques sont effectuées pour des échelles appariées (par exemple, MoE vs Dense, Base vs Instruct).

3. Protocole de Mesure :

• Inférence unidirectionnelle uniquement : Poids figés ; aucune mise à jour des paramètres.
• Instrumentation : Des crochets (hooks) PyTorch avant (forward) collectent les statistiques d'activation à partir de six classes de composants :
  • Sorties d'embedding
  • États cachés par couche (post-résiduel)
  • Sorties d'attention
  • Sorties MLP ou MoE
  • Pré-activations des portes SwiGLU
  • Sorties finales de LayerNorm
• Statistiques : Pour chaque composant, le pipeline enregistre la moyenne, l'écart-type, la RMS, la valeur absolue moyenne, le max/min, et les quantiles de la valeur absolue.
• Vérification de la stabilité : Des expériences de sous-échantillonnage (1k et 2k échantillons répétés 5 fois) confirment que les maxima globaux rapportés sont statistiquement robustes et ne sont pas des artefacts d'échantillons uniques.

4. Cadre d'Analyse :

• L'étude passe d'un critère binaire d'« activation massive » (basé sur Sun et al. [29] : $|x_i| > 100$ et ratio local $> 1000\times$) à une métrique continue $M$.
• Des comparaisons sont effectuées selon : l'échelle intra-famille, l'ampleur inter-famille, l'évolution générationnelle, MoE vs Dense, Vision-Langage vs Texte uniquement, Base vs Instruct, et l'évolution du stade d'entraînement.
• Un contrôle de cohérence léger en INT-8 corrèle les maxima mesurés avec l'erreur de reconstruction (SQNR) sous différentes stratégies de mise à l'échelle.

Contributions Clés

1. Plus grande enquête inter-familles : La première mesure unifiée des activations maximales globales sur 24 points de contrôle post-LLaMA issus de 8 familles, dépassant la monoculture dérivée de LLaMA des travaux antérieurs.
2. Reformulation de l'ampleur continue : Remplace le drapeau d'aberration binaire par la statistique continue $M = \max |a|$. Les auteurs démontrent que le critère binaire et l'ampleur continue peuvent diverger ; certains modèles échouant au critère binaire sont plus faciles à quantifier, tandis que d'autres le dépassant sont plus difficiles.
3. Comparaisons de conception appariée : Fournit des décompositions observationnelles de la manière dont l'échelle, la famille, la génération, l'architecture (MoE/Dense), la modalité (VL/Texte) et les progrès de l'entraînement (Base/Instruct/Stage) affectent les pics d'activation.
4. Pipeline ouvert : Publie le code de mesure basé sur des crochets et les statistiques par point de contrôle pour soutenir la reproductibilité.

Résultats Clés

1. Variabilité de l'Ampleur et Mise à l'Échelle

• Ordres de grandeur : Les maxima globaux couvrent près de quatre ordres de grandeur ($10^2$ à $10^5$) pour des nombres de paramètres comparables.
  • Plage basse : Qwen3.5 et les points de contrôle MoE tombent souvent dans la plage $10^2$–$10^3$.
  • Plage haute : Gemma3-27B-it atteint $\sim 7 \times 10^5$.
• Mise à l'échelle non monotone : Les comparaisons inter-familles et inter-générations brisent la mise à l'échelle monotone simple. Par exemple, les activations de Qwen3.5 sont considérablement supprimées par rapport à Qwen3, tandis que Gemma3 montre une augmentation nette par rapport à Gemma2. Le nombre de paramètres seul est un proxy peu fiable pour la plage d'activation.

2. Effets Architecturaux et d'Entraînement

• MoE vs Dense : Les points de contrôle MoE présentent des amplitudes de pics 14,0 à 23,4 fois plus faibles que leurs homologues denses de même échelle (par exemple, Qwen3-30B-A3B vs Qwen3-32B).
• Dominance du flux résiduel : Le flux résiduel (états cachés par couche) porte le maximum global dans 22 des 24 principaux points de contrôle. GPT-OSS-20B est une exception où la sortie MLP porte le pic ; Qwen3.5-0.8B atteint son pic à la LayerNorm finale.
• Ajustement aux instructions (SFT) : Le SFT comprime principalement les pics des couches tardives (par exemple, Qwen2.5-32B Instruct montre une réduction de 1,4 fois du pic global par rapport à Base) sans réorganiser les structures des couches intermédiaires.
• Progrès de l'entraînement : Dans la série Ling-mini, l'augmentation des tokens d'entraînement (de 5T à 20T) entraîne une augmentation monotone de l'activation maximale globale (augmentation de 1,34 fois).

3. Modèles par Couche

Deux trajectoires par couche distinctes sont observées :

• Saut et Plateau : L'ampleur des activations augmente brusquement dans les couches précoces/moyennes et reste élevée (par exemple, Qwen2.5, GPT-OSS).
• Accumulation progressive : L'ampleur augmente régulièrement avec la profondeur, atteignant un pic dans les couches tardives (par exemple, Qwen3.5, Gemma).

4. Implications pour la Quantification

• Un contrôle de cohérence léger en INT-8 révèle que des maxima mesurés plus élevés ($M$) sont corrélés à un rapport signal-sur-bruit de quantification (SQNR) substantiellement plus faible lors de l'utilisation d'une mise à l'échelle standard par tenseur (max-abs ou troncature à 99,9 %).
• Les modèles à faible $M$ (par exemple, Qwen3.5-0.8B) maintiennent un SQNR élevé (~29 dB), tandis que les modèles à $M$ élevé chutent à ~10–14 dB ou moins sous troncature.

Importance et Revendications

L'article conclut que l'ampleur de l'activation maximale est une propriété du modèle liée à la famille, à l'architecture et au stade d'entraînement, et non un simple sous-produit de la taille.

• Pertinence pour le déploiement : $M$ doit être mesuré et rapporté avec toute publication de poids ouverts dans le cadre d'une carte de modèle orientée déploiement. Il informe directement la sélection des échelles d'activation et des stratégies de quantification.
• Complémentarité : Ce travail est orthogonal aux études mécanistiques (qui expliquent pourquoi les aberrations existent) et aux articles sur l'atténuation de la quantification (qui transforment la borne supérieure). Cet article fournit la base empirique de l'ampleur des bornes dans l'écosystème actuel.
• Limites : Les auteurs déclarent explicitement ne pas revendiquer de mécanismes causaux pour les différences observées. L'étude est observationnelle, limitée aux modèles ouverts, et utilise un corpus fixe (jusqu'à 4k tokens). Le contrôle INT-8 est un test de cohérence, pas une évaluation complète de la quantification de bout en bout.

Les auteurs recommandent que les pipelines de déploiement futurs traitent $M$ comme un prior critique pour le risque de quantification, reconnaissant que l'identité de la famille et la génération sont au moins aussi importantes que le nombre de paramètres pour déterminer la plage dynamique des activations.