📊 statistics

Numerical stability analysis of large language models

Cet article présente une analyse en précision mixte de l'inférence des transformeurs qui dérive de nouvelles bornes d'erreur et conditions de stabilité pour des composants clés tels que LayerNorm, RMSNorm et l'auto-attention, révélant finalement que la stabilité numérique est régie par l'interaction entre les magnitudes des poids et la croissance du flux résiduel, un résultat validé par des expériences sur GPT-2.

Auteurs originaux : Stanislav Budzinskiy, Wenyi Fang, Longbin Zeng, Philipp Petersen

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stanislav Budzinskiy, Wenyi Fang, Longbin Zeng, Philipp Petersen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (comme ceux qui alimentent les chatbots) comme une immense usine à plusieurs étages. À l'intérieur de cette usine, l'information circule du rez-de-chaussée vers le dernier étage, passant par des centaines de pièces (couches). Dans chaque pièce, l'information est traitée, mélangée et remodelée avant d'être transmise à la pièce suivante.

Le document que vous avez fourni est un rapport d'inspection de sécurité pour cette usine. Les auteurs se demandent : « Si nous partons d'un minuscule grain de poussière, presque invisible (une minuscule erreur d'arrondi informatique), dans la première pièce, quelle sera la taille de ce grain lorsqu'il atteindra le sommet ? »

Voici une décomposition de leurs conclusions en utilisant des analogies simples :

1. Le raccourci de la « basse précision »

Pour que ces usines fonctionnent rapidement et à moindre coût, les ingénieurs utilisent souvent des calculs en « basse précision ». Considérez cela comme le fait de mesurer des ingrédients avec une règle qui n'a que des graduations en pouces au lieu de millimètres. C'est plus rapide, mais on perd un peu de précision.

Le problème : Lorsque vous effectuez des milliers de calculs à la suite, ces minuscules erreurs de « graduation en pouces » peuvent s'accumuler. Les auteurs voulaient savoir : L'usine s'effondre-t-elle sous le poids de ces minuscules erreurs, ou reste-t-elle stable ?

2. Les portes de « normalisation » (LayerNorm vs RMSNorm)

Avant qu'une information n'entre dans une nouvelle pièce, elle doit passer par une « porte de normalisation » qui ajuste la taille des données.

L'ancienne porte (LayerNorm) : Cette porte soustrait la taille moyenne des données. Les auteurs ont découvert que si les données possèdent un énorme outlier (un seul nombre gigantesque qui est bien plus grand que les autres), cette porte peut devenir instable. C'est comme essayer d'équilibrer une balançoire où un côté porte un éléphant et l'autre une souris ; le calcul devient sensible.
La nouvelle porte (RMSNorm) : C'est la porte moderne utilisée dans les modèles de pointe. Elle ne soustrait pas la moyenne ; elle se contente de mettre à l'échelle en fonction de la taille totale. Les auteurs ont découvert que cette porte est inconditionnellement stable. Même avec cet éléphant sur la balançoire, la porte tient bon. C'est une conception plus robuste.

3. Le projecteur d'« attention »

La partie la plus célèbre de ces modèles est l'« auto-attention » (Self-Attention), qui décide quels mots d'une phrase sont importants les uns pour les autres.

L'interrupteur « Softmax » : C'est le mécanisme qui transforme les scores bruts en probabilités (pourcentages). Les auteurs ont analysé une astuce courante appelée « décalage » (soustraire le plus grand nombre avant le calcul) pour éviter que les calculs n'explosent (dépassement de capacité).
La conclusion : Ils ont prouvé que cette astuce de « décalage » est sûre. Elle peut rendre le système légèrement plus sensible au bruit (au maximum 4 fois plus), mais elle ne casse pas les calculs. C'est comme porter des lunettes de soleil pour regarder le soleil ; cela change légèrement votre perception, mais cela ne vous rend pas aveugle.
Le « puits d'attention » (Attention Sink) : Ils ont également remarqué que dans les conversations longues, le modèle se concentre souvent fortement sur les tout premiers mots (le « puits »). Leur mathématique montre que même avec ces séquences longues, les erreurs ne s'emballent pas aussi mal que les anciennes théories le suggéraient.

4. Le « flux résiduel » (Le tapis roulant)

Les données circulent à travers l'usine sur un « flux résiduel » — un tapis roulant qui transporte le message principal vers l'avant.

La croissance : À mesure que les données montent les étages, le tapis roulant devient naturellement plus « lourd » (les nombres deviennent plus grands).
Les poids : Les machines sur le tapis roulant (les poids) sont réduites en échelle à mesure que l'usine s'élève pour maintenir l'équilibre.
La grande découverte : Les auteurs ont trouvé une règle d'or : Si vous augmentez ou diminuez l'échelle du tapis roulant, l'erreur relative reste la même.
- Analogie : Imaginez que vous marchez sur un tapis roulant. Si vous doublez la vitesse du tapis et que vous doublez aussi la taille de vos chaussures, votre façon de marcher (par rapport à votre taille) ne change pas.
- Le piège : Cela ne fonctionne que si le tapis roulant se comporte de manière « linéaire » (prévisible). Si vous modifiez l'échelle des poids de manière trop importante, le tapis roulant pourrait soudainement passer à un mode de fonctionnement complètement différent (une « transition qualitative »). Dans ce cas spécifique, la stabilité se brise. Mais tant que le tapis conserve son rythme normal, modifier l'échelle des poids ne nuit pas à la précision.

5. L'expérience « GPT-2 »

Pour prouver que leur mathématique n'était pas seulement théorique, ils l'ont testée sur un modèle réel appelé GPT-2.

Poids aléatoires : Lorsqu'ils ont utilisé un modèle avec des poids aléatoires et non entraînés, les erreurs croissaient lentement et de manière prévisible.
Poids entraînés : Lorsqu'ils ont utilisé un vrai modèle entraîné, les erreurs croissaient un peu plus vite (exponentiellement), mais restaient dans des limites gérables.
Le verdict : La mathématique a tenu bon. L'« erreur relative » (l'erreur par rapport à la taille des données) est restée constante, à moins qu'ils ne forcent le modèle dans un état étrange et instable en modifiant les poids de manière trop drastique.

Résumé

Le document conclut que les grands modèles de langage sont numériquement stables.
Même s'ils utilisent des calculs « grossiers » (basse précision) et doivent gérer des nombres massifs, l'architecture est conçue de telle sorte que les erreurs ne s'accumulent pas pour créer un désastre. La clé de cette stabilité est l'interaction entre la taille des poids et la croissance du flux de données. Tant que le modèle n'est pas poussé dans un état étrange et instable, le « bruit » introduit par les calculs de basse précision reste un minuscule grain de poussière gérable, et non un glissement de terrain.

Résumé technique : Analyse de la stabilité numérique des grands modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM), basés sur les architectures Transformer, reposent largement sur l'arithmétique de faible précision pour l'efficacité de l'entraînement et de l'inférence. Bien que la quantification et les stratégies de précision mixte offrent des gains computationnels significatifs, elles introduisent des perturbations numériques qui se propagent à travers le réseau. Ces erreurs sont amplifiées par les erreurs d'arrondi inhérentes aux opérations en virgule flottante (FP). Bien que des études empiriques aient largement documenté l'impact de la quantification, les analyses théoriques rigoureuses de la stabilité numérique dans les architectures Transformer profondes restent rares. Ce travail comble ce déficit en développant une analyse numérique de précision mixte déterministe de l'inférence Transformer, visant à dériver des bornes pour les nombres de condition et les erreurs de propagation de l'architecture et de ses composants.

Méthodologie

Les auteurs emploient un cadre d'analyse d'erreur d'arrondi déterministe (Higham, 2002) adapté aux environnements de précision mixte. L'analyse distingue quatre précisions distinctes :

Précision de quantification ( $u_q$ ) : Utilisée pour l'arrondi des opérandes dans la multiplication de matrices générales (GEMM).
Précision d'accumulation ( $u_a$ ) : Utilisée pour la sommation des produits scalaires.
Précision de travail ( $u_w$ ) : Utilisée pour l'évaluation des fonctions non linéaires.
Précision résiduelle ( $u_r$ ) : Utilisée pour stocker les variables d'état dans le flux résiduel.

L'étude se concentre sur une architecture Transformer représentative de type décodeur seul, présentant une pré-normalisation, une auto-attention multi-têtes causale avec des plongements positionnels rotatifs (RoPE), et soit des mécanismes de type GELU, soit SwiGLU pour le feedforward (FF). L'analyse procède par :

Dérivation des nombres de condition (normaux, composant par composant et mixtes) pour les composants individuels : LayerNorm/RMSNorm, blocs FF, Softmax et Auto-attention.
Établissement de bornes d'erreur de propagation pour ces composants sous l'arithmétique FP, en tenant compte des algorithmes de sommation spécifiques (ex: récursive vs par paires) et des effets d'absorption dans le Softmax.
Agrégation de ces bornes locales pour analyser l'erreur de propagation globale de l'architecture Transformer profonde, en modélisant explicitement la dynamique de croissance du flux résiduel.

Contributions clés

1. Stabilité de la normalisation (LayerNorm vs RMSNorm)

Le document fournit une analyse comparative de la stabilité numérique de LayerNorm et RMSNorm, spécifiquement dans le régime des « valeurs aberrantes massives » caractéristique de l'inférence des LLM modernes.

Résultats : Aucune des deux fonctions n'est strictement supérieure en termes de sensibilité (nombres de condition). Cependant, l'erreur de propagation de LayerNorm est régie par la magnitude des entrées de fond de l'anomalie, tandis que RMSNorm présente une stabilité de propagation inconditionnelle.
Implication : La transition vers RMSNorm dans les LLM modernes réduit la complexité computationnelle sans dégrader strictement la stabilité numérique, bien que le comportement spécifique de l'erreur dépende de la distribution des entrées.

2. Stabilité du mécanisme Feedforward

Les auteurs analysent la stabilité de propagation des blocs FF utilisant des activations lisses de type ReLU (ex: GELU) et des mécanismes de porte (ex: SwiGLU).

Résultats : L'évaluation FP des mécanismes GELU et SwiGLU est prouvée comme étant stable en propagation. Les bornes d'erreur sont dominées par les erreurs de quantification et d'accumulation des GEMM sous-jacentes plutôt que par les non-linéarités elles-mêmes.

3. Sensibilité du Softmax et puits d'attention (Attention Sinks)

L'analyse traite du comportement numérique du Softmax, particulièrement en présence de « puits d'attention » (où la masse de probabilité se concentre sur les premiers jetons).

Évaluation décalée : Le document confirme que si l'algorithme d'évaluation décalée (soustraire le maximum pour éviter le dépassement de capacité) prévient l'instabilité numérique, il augmente la sensibilité aux perturbations d'un facteur de 4 au plus par rapport à l'évaluation non décalée.
Distributions concentrées : Pour les distributions de probabilité concentrées (courantes dans les puits d'attention), les auteurs dérivent une nouvelle borne d'erreur d'arrondi qui tient compte des effets d'absorption. Cette borne est proportionnelle à la longueur de séquence effective (le nombre de termes non absorbés) plutôt qu'à la longueur totale de la séquence, expliquant le succès empirique de l'inférence en contexte long.

4. Bornes de Lipschitz indépendantes de la longueur de séquence

Une contribution théorique significative est la dérivation de nouvelles bornes sur la constante de Lipschitz locale de l'auto-attention qui sont indépendantes de la longueur de la séquence d'entrée ( $N$ ).

Amélioration : Ces bornes améliorent les précédentes bornes de champ moyen (Castin et al., 2024) dans le cas discret. Les bornes sont strictement quadratiques par rapport à la norme de l'entrée, alors que les précédentes bornes discrètes contenaient des facteurs exponentiels.
Valeurs aberrantes : L'analyse montre que la présence d'une valeur aberrante massive peut renforcer ces bornes, réduisant le nombre de condition de la tête d'attention.

5. Stabilité de l'architecture globale et dynamique du flux résiduel

Le document agrège les bornes d'erreur locales pour analyser l'ensemble du Transformer profond.

Intuition clé : La stabilité numérique de l'inférence est déterminée par l'interaction entre la magnitude des poids et la dynamique de croissance du flux résiduel.
Lois d'échelle : L'analyse valide que le passage à l'échelle standard de la profondeur des poids de projection résiduelle (introduit dans GPT-2) préserve la propagation de l'erreur d'arrondi relative, à condition que cette mise à l'échelle ne force pas une transition qualitative dans la dynamique du flux résiduel. Si le flux résiduel répond linéairement à la mise à l'échelle des poids, l'erreur relative reste invariante.

Résultats et validation expérimentale

Les bornes théoriques ont été validées par des expériences sur le modèle GPT-2 XL, comparant des poids initialisés aléatoirement contre des poids pré-entraînés.

Croissance de l'erreur : Pour les modèles initialisés aléatoirement, la croissance de l'erreur empirique était sous-exponentielle ( $O(e^{l^{0.24}})$ ), cohérente avec la prédiction théorique d'une croissance sous-exponentielle, bien que le taux empirique soit plus modéré que la borne du pire cas.
Modèles pré-entraînés : Les modèles pré-entraînés ont présenté une croissance exponentielle lente de l'erreur. La divergence avec les prédictions de taux polynomial est attribuée à la variation des magnitudes de poids avec la profondeur dans les modèles pré-entraînés, ce qui viole les hypothèses de mise à l'échelle uniforme du théorème.
Expériences de mise à l'échelle des poids : Les expériences de mise à l'échelle des poids de projection résiduelle ( $W_O$ $W_{O}$ et $W_{down}$ $W_{d o w n}$ ) ont confirmé l'hypothèse théorique :
- Dans le modèle initialisé aléatoirement, l'erreur d'arrondi absolue variait linéairement avec le facteur de mise à l'échelle $\xi$ .
- Dans le modèle pré-entraîné, une « transition qualitative » s'est produite entre les facteurs de mise à l'échelle $\xi=2$ et $\xi=5$ , menant à une réponse non linéaire de l'erreur absolue. Une fois que le modèle s'est stabilisé dans un nouveau régime ( $\xi > 5$ ), l'erreur est redevenue strictement proportionnelle à la mise à l'échelle.
- Crucialement, dans tous les cas, l'erreur d'arrondi relative est restée invariante par rapport à la mise à l'échelle, à moins que celle-ci n'induise une bifurcation dans la dynamique du flux résiduel.

Signification

Ce document établit un fondement théorique rigoureux pour comprendre la stabilité numérique de l'inférence Transformer. Sa principale importance réside dans :

Le pont entre théorie et pratique : Il fournit la première analyse déterministe complète des erreurs de précision mixte dans les Transformers, dépassant les heuristiques empiriques.
La validation des choix architecturaux : Il justifie mathématiquement l'utilisation de lois d'échelle spécifiques (ex: initialisation GPT-2) et de techniques de normalisation (RMSNorm) en montant qu'elles préservent la propagation de l'erreur relative sous des conditions dynamiques spécifiques.
L'explication du succès des contextes longs : Les bornes dérivées pour le Softmax avec effets d'absorption offrent une explication théorique de la raison pour laquelle les LLM peuvent gérer des contextes longs malgré le potentiel d'accumulation d'erreurs, car le nombre effectif de termes contribuant est souvent faible grâce aux puits d'attention.
La définition des limites de stabilité : Ce travail clarifie que la stabilité numérique n'est pas uniquement une fonction de la précision ou de la magnitude des poids, mais qu'elle est intrinsèquement liée au comportement dynamique du flux résiduel.

Les auteurs concluent que bien que leurs bornes du pire cas puissent être conservatrices (comme vu avec les poids pré-entraînés de GPT-2 XL), les principes dérivés concernant l'interaction entre la mise à l'échelle des poids et la dynamique du flux résiduel fournissent un cadre robuste pour analyser et concevoir des LLM numériquement stables.