🤖 machine learning

A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions

Cet article présente un cadre de distribution de Weibull à deux paramètres pour diagnostiquer les magnitudes des poids des transformateurs, révélant que les couches de projection d'entrée et de sortie convergent systématiquement vers un paramètre de forme spécifique (k ≈ 1,20) indépendamment de l'architecture, tandis que les projections d'entrée s'écartent en fonction des mécanismes de stockage et que le paramètre d'échelle (lambda) suit l'avancement de l'entraînement.

Auteurs originaux : Tiexin Ding

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tiexin Ding

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle Transformer (le type d'IA qui alimente les chatbots et les générateurs de code) comme un orchestre massif et complexe. Pendant des années, les chercheurs ont tenté de comprendre comment cet orchestre apprend en écoutant le « son » de l'ensemble du groupe ou en examinant la partition comme une unique feuille floue.

Ce papier présente une nouvelle façon d'écouter : un microscope pour les notes individuelles. Au lieu d'observer l'orchestre entier, les auteurs ont développé un outil pour examiner le « poids » (la force) de la corde de chaque instrument. Ils ont découvert que ces cordes ne deviennent pas simplement plus fortes ou plus faibles au hasard ; elles suivent un schéma très spécifique et prévisible qui révèle exactement ce que l'IA fait.

Voici la décomposition de leur découverte en utilisant des analogies simples :

1. La « Règle » qu'ils ont inventée (la distribution de Weibull)

Les auteurs ont utilisé une forme mathématique appelée distribution de Weibull. Imaginez cela comme une règle spéciale avec deux réglages :

La forme ( $k$ ) : Cela mesure la « personnalité » des poids. La distribution est-elle lisse et uniforme, ou présente-t-elle des queues lourdes et sauvages (valeurs aberrantes extrêmes) ?
L'échelle ( $\lambda$ ) : Cela mesure le « volume » ou la taille des poids.

L'Ancre Magique :
Lorsque l'IA commence l'entraînement (avant d'apprendre quoi que ce soit), ses poids sont définis au hasard, comme une courbe en cloche de Gauss. Les auteurs ont prouvé que si vous mesurez cet état initial avec leur règle, la « forme » ( $k$ ) atterrit toujours sur un nombre spécifique : 1,20.

Considérez 1,20 comme « Zéro ». C'est la ligne de base. Si une partie de l'IA reste à 1,20, elle n'a pas changé sa nature fondamentale. Si elle s'éloigne de 1,20, quelque chose d'intéressant s'est produit.

2. Les Deux Types de Musiciens

La découverte la plus excitante est que les parties internes de l'IA se divisent naturellement en deux groupes distincts, comme deux sections différentes d'un orchestre :

Groupe A : Les « Émetteurs » (Les Joueurs Stables)

Qui ils sont : Les parties qui transmettent l'information à travers le modèle (comme le réseau feed-forward et la sortie de l'attention).
Ce qu'ils font : Ils agissent comme une autoroute fiable. Ils déplacent les données du point A au point B sans changer la nature de la route.
Le Résultat : Même après l'entraînement, leur « forme » ( $k$ ) reste incroyablement proche du 1,20 de départ. Ils sont stables, cohérents et ne changent pas leur personnalité.
Analogie : Imaginez un camion de livraison qui emprunte le même trajet tous les jours. Il peut devenir plus gros (transporter plus de cargaison), mais c'est toujours le même camion.

Groupe B : Les « Sélecteurs » (Les Chasseurs Spécialisés)

Qui ils sont : Les parties qui décident quoi attentionner (les projections Query et Key dans le mécanisme d'attention).
Ce qu'ils font : Ils doivent être sélectifs. Ils doivent amplifier certains signaux et en ignorer d'autres pour prendre des décisions intelligentes.
Le Résultat : Leur « forme » ( $k$ ) dérive loin de 1,20, généralement en descendant plus bas (entre 0,76 et 1,16). Cela signifie qu'ils développent des « queues lourdes » : quelques connexions extrêmes et super-puissantes émergent tandis que le reste reste normal.
Analogie : Imaginez un détective qui commence avec un filet large. À mesure qu'il apprend, il arrête de lancer un filet large et développe plutôt quelques outils incroyablement précis et spécialisés pour attraper des indices spécifiques. Leur « personnalité » change radicalement par rapport au point de départ.

3. Comment l'Architecture Change le Jeu

Le papier a découvert que le type d'architecture d'IA modifie la façon dont les « Sélecteurs » dérivent :

Têtes Séparées (MHA) : Si l'IA possède de nombreuses « têtes » indépendantes (comme OLMo), les Sélecteurs deviennent fous. Leur forme chute le plus (jusqu'à ~0,76). Ils deviennent très spécialisés.
Têtes Groupées (GQA) : Si l'IA regroupe ses têtes ensemble (comme LLaMA-3 ou Mistral), les Sélecteurs sont moins extrêmes. Ils dérivent toujours, mais pas aussi loin (autour de 1,10–1,16). C'est comme avoir une équipe de détectives partageant des notes ; ils ne peuvent pas tous partir dans des directions totalement différentes.
Têtes Fusionnées (Pythia) : Si l'IA les fusionne complètement, ils se situent juste au milieu, agissant comme une transition entre les deux styles.

4. Volume vs Personnalité

Les auteurs ont découvert que les deux réglages de leur règle racontent deux histoires différentes :

L'Échelle ( $\lambda$ ) vous dit à quel point l'entraînement est avancé. À mesure que l'IA apprend, le « volume » des poids augmente. C'est comme si l'orchestre devenait plus fort. Cette croissance suit une règle mathématique prévisible liée à la vitesse d'apprentissage de l'IA (taux d'apprentissage) et à la mesure dans laquelle elle est « disciplinée » (décroissance des poids).
La Forme ( $k$ ) vous dit ce que fait la partie. Elle vous indique si une partie est un « Émetteur » (stable) ou un « Sélecteur » (spécialisé).

5. Les « Super-Poids » (Rois Dragons)

Le papier a également noté que, tandis que la plupart des poids restent normaux, une poignée minuscule de poids individuels deviennent des valeurs aberrantes massives (appelées « super-poids »).

L'Analogie : Imaginez un chœur où 99 % des chanteurs chantent à un volume normal, mais qu'un chanteur commence soudainement à hurler à un niveau 100 fois plus fort que tout le monde.
La Découverte : Ces « hurleurs » apparaissent dans chaque modèle. Cependant, la « règle du milieu-80 % » des auteurs (ignorant les 10 % les plus forts et les plus faibles lors de la mesure) leur permet d'ignorer ces hurleurs et d'obtenir tout de même une lecture précise du véritable caractère du chœur. Cela prouve que les « Émetteurs » restent stables même si quelques poids « voyous » deviennent fous.

Résumé

Le papier nous offre un nouvel outil de diagnostic. En mesurant la « Forme » et l'« Échelle » des poids d'une IA, nous pouvons :

Identifier quelles parties de l'IA sont stables (Émetteurs) et lesquelles apprennent à se spécialiser (Sélecteurs).
Voir comment l'architecture de l'IA (sa construction) force ces parties à se comporter différemment.
Suivre les progrès de l'IA en observant la croissance du « volume », sans être confus par les quelques poids « voyous » qui hurlent le plus fort.

Cela transforme la boîte noire de l'entraînement de l'IA en une carte lisible, nous montrant exactement où l'apprentissage se produit et comment le modèle structure ses connaissances.

Résumé technique : Un cadre Weibull à deux paramètres pour diagnostiquer les distributions de poids des transformateurs

Problème et motivation

Les outils de diagnostic actuels pour la dynamique d'entraînement des transformateurs opèrent dans des espaces orthogonaux qui ne parviennent pas à capturer la structure granulaire des poids appris. Des méthodes comme WeightWatcher et HT-SR analysent les spectres de valeurs propres, en compressant les éléments de matrice en distributions de valeurs singulières, tandis qu'AlphaDecay suit la dérive de la valeur singulière principale. L'analyse massive des activations mesure les magnitudes d'activation. Aucune de ces approches ne caractérise directement la distribution élément par élément des magnitudes de poids ( $|W_{ij}|$ ), que les auteurs affirment être la représentation la plus granulaire de ce qu'un modèle a appris.

Les auteurs postulent que les statistiques spectrales agrégées obscurcissent les différences systématiques entre les composants fonctionnels au sein d'un même modèle (par exemple, les couches FFN par rapport aux projections d'attention). Pour y remédier, l'article propose d'appliquer la distribution de Weibull — une famille à deux paramètres issue de la théorie des valeurs extrêmes — comme lentille de diagnostic pour les magnitudes de poids élément par élément.

Méthodologie

Le cadre de diagnostic Weibull

Le cadre repose sur l'ajustement des valeurs absolues des éléments de poids, $|w|$ , à une distribution de Weibull définie par un paramètre de forme $k$ et un paramètre d'échelle $\lambda$ :
$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$

1. L'ancre d'initialisation :
À l'initialisation, les poids des transformateurs sont i.i.d. Gaussiens ( $w \sim \mathcal{N}(0, \sigma_{init}^2)$ ), ce qui signifie que $|w|$ suit une distribution demi-normale. En ajustant cette distribution demi-normale à un modèle de Weibull selon un protocole spécifique, les auteurs établissent une ancre universelle :

Forme ( $k_0$ ) : Environ 1,20. Cette valeur est indépendante de l'échelle d'initialisation $\sigma_{init}$ et sert d'étalon sans dimension. Toute déviation par rapport à $k_0 \approx 1,20$ dans un modèle entraîné est attribuable à la dynamique d'entraînement.
Échelle ( $\lambda_0$ ) : Environ $0,8875 \cdot \sigma_{init}$ .

2. Le protocole d'ajustement (Élagage des 80 % centraux) :
Pour assurer la robustesse face aux valeurs aberrantes et aux artefacts de précision numérique, les auteurs emploient un protocole d'élagage des 80 % centraux. Avant l'ajustement, les 10 % les plus petits et les 10 % les plus grands des valeurs $|W_{ij}|$ sont écartés.

Justification théorique : Dans les coordonnées de probabilité de Weibull, la variance du bruit d'échantillonnage diverge aux extrémités ( $p \to 0$ et $p \to 1$ ) et atteint un minimum près de $p \approx 0,80$ . Les 10 % inférieurs portent environ 6,5 fois plus de bruit que la région centrale optimale.
Effet : L'ajustement sur l'ensemble des données sous-estime systématiquement $k$ de 3 à 7 %, poussant souvent les modèles en dehors de la bande de « Transmission » attendue. L'élagage à 80 % isole le « corps » de la distribution, rendant la métrique robuste aux valeurs aberrantes à queue lourde (super-poids).

3. Classification fonctionnelle :
Le cadre partitionne les composants des transformateurs en deux classes distinctes basées sur leurs trajectoires de $k$ :

Classe de Transmission : Modules FFN ( $W_{gate}, W_{up}, W_{down}$ ou $W_{FFN\_in}, W_{FFN\_out}$ ) et projections de sortie d'attention ( $W_o$ ).
Classe de Sélection : Projections d'entrée d'attention ( $W_q, W_k$ ).

Résultats clés

Le cadre a été appliqué à 12 entrées de modèles couvrant 7 familles architecturales (Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3) avec des nombres de paramètres allant de 70 M à 14 B.

1. La bande de Transmission (Stabilité)

Les composants de la Classe de Transmission présentent une stabilité remarquable de leur paramètre de forme $k$ .

À travers toutes les architectures, les fonctions d'activation (SwiGLU, GeLU), les placements de normalisation (Pre-LN, QK-Norm) et les tailles de modèles, la médiane de $k$ terminal pour ces composants tombe dans l'intervalle étroit $[1,186 ; 1,204]$ .
Le coefficient de variation (CV) sur les 12 entrées n'est que de 0,51 %.
Cette stabilité suggère que ces composants préservent la forme de distribution de l'initialisation, agissant comme des conduits d'information plutôt que comme des filtres sélectifs.

2. La classe de Sélection (Déviation)

Les composants de la Classe de Sélection ( $W_q, W_k$ ) s'écartent systématiquement de l'ancre d'initialisation ( $k_0 \approx 1,20$ ), développant des queues plus lourdes (k plus faible). La sévérité de cette déviation dépend de l'architecture :

MHA stockée séparément (OLMo-1, OLMo-2) : Montre la dérive la plus profonde, avec une médiane de $k$ terminal $\in [0,76 ; 0,99]$ .
Attention à requêtes groupées (GQA) (LLaMA-3, Mistral, Qwen2.5/3) : Montre une dérive plus modérée, avec une médiane de $k$ terminal $\in [1,10 ; 1,16]$ .
$W_{qkv}$ fusionné (Pythia) : Occupe une zone de transition $k \in [1,05 ; 1,18]$ , suivant de manière monotone le budget d'entraînement sans dimension $T/\tau$ .
Mécanisme : Les auteurs attribuent cette dérive à la nécessité fonctionnelle (attention sparse), à la dynamique de descente de signe d'AdamW et à la rétroaction de saturation du softmax. La contrainte architecturale du partage de têtes K dans la GQA semble limiter mécaniquement la liberté de spécialisation disponible pour les projections individuelles, résultant en une dérive moins sévère par rapport à la MHA.

3. Paramètre d'échelle ( $\lambda$ ) et progression de l'entraînement

Alors que $k$ étiquette la classe fonctionnelle, le paramètre d'échelle $\lambda$ étiquette la progression de l'entraînement.

$\lambda$ croît considérablement pendant l'entraînement (par des facteurs de 1,4 à 7,8).
Au sein de la famille Pythia, la moyenne terminale de $\lambda$ pour les composants de Transmission évolue avec $\sqrt{\eta / \lambda_{wd}}$ (Pearson $r = 0,94$ ), montrant une cohérence directionnelle avec l'analyse de mise à l'échelle à l'état stationnaire d'AdamW de Fan et al. [2025].
$\lambda$ croît uniformément à travers les types de composants (par exemple, $\lambda_O$ et $\lambda_{FFN\_out}$ sont fortement corrélés, $r=0,9967$ ), reflétant une dynamique couplée dans le flux résiduel.

4. Super-poids et comportement des queues

Alors que le corps de la distribution (ajusté via l'élagage à 80 %) reste conforme à Weibull, les auteurs observent l'émergence de « super-poids » isolés (valeurs aberrantes de type roi-dragon) dans les queues extrêmes des modèles entraînés.

Ces valeurs aberrantes apparaissent dans chaque famille architecturale, avec des rapports max/q99 allant d'environ 7 à plus de 100.
Le protocole des 80 % centraux est spécifiquement conçu pour être robuste à ces valeurs aberrantes, garantissant que le $k$ de diagnostic reflète la distribution de masse plutôt que d'être entraîné par des valeurs extrêmes.

Contributions

Un cadre de diagnostic : Les auteurs formalisent une méthode utilisant la distribution de Weibull avec une ancre d'initialisation principielle ( $k_0 \approx 1,20$ ) et un protocole d'ajustement optimal pour le bruit (élagage des 80 % centraux). Ce cadre identifie que $W_q$ et $W_k$ s'écartent systématiquement de l'ancre d'initialisation, l'ampleur de cet écart étant façonnée par l'architecture de stockage.
Preuves empiriques inter-familles : L'article documente une partition robuste « Transmission/Sélection » sur 12 modèles. Il reproduit la bande étroite de transmission FFN et la dérive de Sélection dépendante de l'architecture (MHA vs GQA) sans paramètres ajustables.
Outils open-source : Les auteurs publient npm-weibull-py v0.4, une bibliothèque Python implémentant huit fonctions de diagnostic (F1–F8) pour l'ajustement et les tests de référence, ainsi que DATABASE_v9_1, une base de données de référence de 12 entrées de modèles.

Importance et limites

Importance :
L'article affirme que les statistiques élément par élément révèlent une structure que les méthodes spectrales ne peuvent pas capturer. En séparant les composants en classes de Transmission et de Sélection, le cadre offre une vue granulaire de la dynamique d'entraînement où différentes couches et matrices de projection évoluent le long de trajectoires distinctes. Les deux paramètres de Weibull portent des informations indépendantes : $k$ identifie le rôle fonctionnel (Transmission vs Sélection), tandis que $\lambda$ suit l'ampleur de la progression de l'entraînement.

Limites (telles que déclarées par les auteurs) :

Mécanismes causaux : Bien que l'article identifie cinq forces motrices candidates pour la dérive de Sélection (nécessité fonctionnelle, descente de signe, saturation du softmax, couplage résiduel, budget d'entraînement), il ne fournit pas d'expériences d'ablation contrôlées pour isoler la contribution de chacune. La corrélation entre l'architecture MHA/GQA et la sévérité de la dérive est observationnelle.
Mise à l'échelle inter-familles : La loi de mise à l'échelle $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ est validée au sein de la famille Pythia mais n'est que observationnelle entre différentes familles en raison de facteurs de confusion tels que les recettes d'initialisation différentes et les placements de normalisation.
Performance en aval : L'article caractérise la structure statistique des poids mais n'établit pas de corrélation directe entre la signature $(k, \lambda)$ et la performance des tâches en aval.
Couverture des données : Pour Qwen2.5-14B, les statistiques par bloc sont limitées aux 27 premières des 48 couches en raison des contraintes de mémoire GPU, bien que les affirmations qualitatives devraient rester valables.

Les auteurs concluent que ce cadre offre un nouvel étalon indépendant de l'architecture pour diagnostiquer l'entraînement des transformateurs, révélant que les composants de « Sélection » ( $W_q, W_k$ ) sont les principaux sites de changement structurel, tandis que les composants de « Transmission » restent statistiquement stables.