🤖 machine learning

Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

Cet article analyse l'évolution du paramètre d'échelle de Weibull $\lambda$ durant l'entraînement par AdamW en dérivant une décomposition à trois forces de la norme au carré des poids, démontrant qu'une force d'alignement domine la phase de croissance initiale tandis qu'un équilibre entre alignement et décroissance des poids pilote la relaxation ultérieure, avec une méthode de déplacement par spline proposée permettant une reconstruction précise de ces dynamiques à partir de points de contrôle épars.

Auteurs originaux : Tiexin Ding

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tiexin Ding

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que l'entraînement d'un modèle d'IA géant comme AdamW revienne à essayer de construire une sculpture massive et complexe composée de millions de minuscules briques Lego invisibles. L'objectif est de façonner ces briques pour qu'elles fonctionnent parfaitement ensemble. Mais comment les briques se déplacent-elles et se stabilisent-elles réellement dans leurs positions finales ?

Ce papier agit comme une histoire de détective, enquêtant sur pourquoi la taille de ces briques Lego (les « poids ») croît, dépasse sa cible (overshoot), puis se stabilise pendant le processus d'entraînement. Les auteurs utilisent un outil de mesure spécial appelé l'échelle de Weibull (appelons-la le « Jauge de Taille ») pour suivre cela.

Voici la décomposition simple de ce qu'ils ont découvert :

1. Le mystère de la « Jauge de Taille »

Dans des études précédentes, les chercheurs avaient remarqué un motif étrange : la « Jauge de Taille » ( $\lambda$ ) des poids de l'IA ne croît pas de manière constante. Elle grimpe en flèche, devient trop grande (dépasse la cible), puis rétrécit pour revenir à une taille de repos confortable.

La Question : Pourquoi cela se produit-il ? Quelles forces poussent les poids vers le haut et les tirent vers le bas ?

2. Les trois mains invisibles

Les auteurs ont découvert que le mouvement de ces poids est contrôlé par trois forces distinctes, comme trois personnes poussant et tirant une boîte lourde :

La Force d'Alignement (Le « Pousseur ») : C'est le moteur principal. Il pousse les poids dans la direction où ils veulent aller en fonction du signal d'apprentissage. Considérez cela comme un vent fort qui façonne la sculpture. Le papier a découvert que durant la phase de « croissance », cette force effectue 88 % à 94 % du travail. C'est le moteur dominant.
La Force d'Injection (Le « Tremblement ») : C'est une petite poussée constante causée par le caractère aléatoire des données (le bruit). C'est comme une légère vibration sur la table. Elle est toujours présente, mais elle est très faible (environ 4 % de l'effort).
La Force de Décroissance (Le « Tireur ») : C'est un frein intégré. Il essaie constamment de réduire les poids vers zéro pour garder le modèle simple et éviter qu'il ne devienne trop incontrôlable. C'est comme un élastique qui tire la sculpture vers le centre.

3. L'histoire de la courbe (Montée, Pic, Relaxation)

Le papier explique la courbe étrange de « haut en bas » de la Jauge de Taille en utilisant ces trois forces :

La Montée : Au début, le Pousseur (Alignement) est beaucoup plus fort que le Tireur (Décroissance). Les poids croissent rapidement car la poussée l'emporte.
Le Pic : À mesure que le modèle se rapproche de la « fin », le Pousseur se fatigue (il s'aligne moins parfaitement) et le Tireur devient plus fort à mesure que les poids grandissent. Finalement, ils se rencontrent au milieu. La Poussée et la Traction s'équilibrent parfaitement. La croissance s'arrête. C'est le pic.
La Relaxation : Si le Tireur devient un peu plus fort que le Pousseur, les poids rétrécissent légèrement jusqu'à trouver un nouvel équilibre stable. Cela crée le « plancher » où le modèle se stabilise.

4. Le « Pont Magique » (Relier les points)

Il y avait un problème : le calcul mathématique de ces forces s'applique à la taille totale du poids (RMS), mais la « Jauge de Taille » (Weibull) mesure la distribution des poids.

La Solution : Les auteurs ont trouvé un « pont magique ». Ils ont découvert que la forme de la distribution des poids reste presque parfaitement verrouillée en place (comme un moule rigide) tout au long de l'entraînement. Comme la forme ne change pas, la taille totale et la « Jauge de Taille » se déplacent en parfaite synchronisation. Cela leur a permis de traduire directement la mathématique des forces en le comportement de la Jauge de Taille.

5. Résoudre l'énigme des « Données Manquantes »

Les modèles d'IA du monde réel sont souvent publiés sans le « journal intime interne » (moments de l'optimiseur) qui montre exactement comment les forces ont été appliquées à chaque étape. Nous n'avons que des instantanés des poids finaux.

L'Astuce : Les auteurs ont inventé une « Méthode de Déplacement par Spline ». Imaginez que vous avez un film d'une voiture, mais que vous n'avez que des photos toutes les 10 secondes. Vous ne pouvez pas voir la vitesse entre les photos. Mais, si vous tracez une courbe lisse reliant les points (une spline), vous pouvez deviner la vitesse très précisément.
Le Résultat : Cette méthode a permis de deviner la force du « Pousseur » à partir d'instantanés épars avec une précision de 92 à 94 %, ce qui est deux fois meilleur que de simplement deviner entre deux points.

6. Un aperçu des données

Les auteurs ont également remarqué quelque chose d'intéressant : la hauteur du pic (la taille que les poids atteignent avant de rétrécir) semble dépendre de ce que l'IA lit.

Si l'IA lit un type de texte unique (comme un wiki spécifique), les poids deviennent très grands (pic élevé).
Si l'IA lit un mélange de nombreux sujets différents, le pic est plus bas.
Note : Les auteurs précisent qu'il ne s'agit que d'une « piste » pour de futures recherches. Ils n'ont pas encore prouvé exactement pourquoi, mais ils soupçonnent que la lecture de données diverses crée des directions conflictuelles qui empêchent les poids de croître de manière aussi massive.

Résumé

En bref, ce papier explique que le motif de « respiration » des poids de l'IA (croissance, dépassement de cible et stabilisation) n'est pas aléatoire. C'est une danse précise entre une forte force de poussée (apprentissage) et une force de traction constante (décroissance). Quand la poussée gagne, les poids croissent. Quand elles s'équilibrent, le modèle se stabilise. Les auteurs ont également trouvé comment observer cette danse même lorsque nous n'avons pas la vidéo complète, mais seulement quelques instantanés.

Résumé technique : Évolution du paramètre d'échelle de la loi de Weibull sous AdamW

Énoncé du problème
Comprendre l'évolution des poids des réseaux de neurones pendant l'entraînement est central pour l'optimisation et la généralisation. Un cadre antérieur (Ding, 2026) a établi une distribution de Weibell à deux paramètres pour diagnostiquer les magnitudes de poids des transformeurs, identifiant une régularité de « classe de Transmission » où le paramètre de forme $k$ reste verrouillé près de $k_0 \approx 1,20$ , tandis que le paramètre d'échelle $\lambda$ suit une trajectoire caractéristique : montée, dépassement (overshoot), relaxation et plancher. Cependant, le mécanisme pilotant cette trajectoire restait inexpliqué. Bien que la dynamique d'AdamW soit définie au niveau de chaque paramètre individuel et de ses états d'optimiseur, et que les paramètres de Weibull soient des résumés de distribution, un pont manquait pour expliquer pourquoi $\lambda$ augmente puis se relaxe. Plus précisément, il n'était pas clair quels mécanismes au niveau de l'optimiseur déplacent le modèle le long de la coordonnée $\lambda$ .

Méthodologie
L'article comble l'écart entre la dynamique des paramètres individuels et les statistiques de distribution via une approche en trois étapes :

Décomposition en trois forces : En partant de la règle de mise à jour décorrélée d'AdamW, les auteurs dérivent une décomposition de premier ordre de la dynamique de la norme au carré des poids ( $\Delta \Sigma W^2$ ) en trois forces distinctes :
- Force d'alignement ( $F_{align}$ ) : $-2\eta \langle W, \hat{u} \rangle$ , mesurant la corrélation entre les poids actuels et la direction de mise à jour adaptative.
- Force d'injection ( $F_{inj}$ ) : $+\eta^2 \|\hat{u}\|^2$ , représentant la magnitude au carré de l'étape adaptative (bruit stochastique).
- Force de décroissance ( $F_{decay}$ ) : $-2\eta \lambda_{wd} \Sigma W^2$ , la contribution structurelle de la décroissance de poids décorrélée (weight decay).
Le pont du verrouillage de $k$ : Pour connecter ces forces de norme au carré au paramètre d'échelle de Weibull $\lambda$ , l'article utilise l'observation selon laquelle $k$ reste approximativement constant ( $k \approx 1,20$ ) pour les composantes de classe Transmission. Cela permet de relier la RMS ( $\sigma$ ) et $\lambda$ par un facteur multiplicatif presque fixe ( $\sigma = \lambda \sqrt{\Gamma(1+2/k)}$ ), permettant ainsi de traduire la dynamique des forces sur $\sigma^2$ vers la trajectoire de $\lambda(t)$ .
Récupération par points de contrôle épars (Déplacement par spline) : Étant donné que les versions publiques des modèles ne fournissent pas les moments de l'optimiseur ( $\hat{m}, \hat{v}$ ), les auteurs introduisent une méthode pour récupérer l'information de force à partir de points de contrôle (checkpoints) de poids épars. En ajustant une spline cubique aux trajectoires de poids sauvegardées, ils estiment le déplacement par unité de pas requis pour calculer la force d'alignement. Cette méthode est validée par rapport aux moments de vérité terrain de modèles auto-entraînés.

Résultats clés

Dominance de la phase de montée : Sur des modèles Pythia-70M auto-entraînés avec les moments d'optimiseur de vérité terrain, la force d'alignement domine la phase de montée, contribuant à 88–94 % du budget de force absolu. Cette dominance est robuste à travers quatre graines aléatoires et reste stable même après avoir supprimé les valeurs aberrantes de type « super-poids ». La force d'injection ne contribue qu'à environ 4 %, et la décroissance à environ 2–7 %.
Transition vers la relaxation : La transition de la croissance de l'échelle des poids vers la relaxation correspond à un changement dans l'équilibre des forces. À mesure que l'entraînement progresse vers la saturation, la force d'alignement diminue tandis que la force de décroissance augmente. Près du pic et durant la phase de relaxation, l'alignement et la décroissance atteignent un équilibre ( $F_{align} \approx |F_{decay}|$ ), provoquant l'annulation de la force nette et stabilisant ou réduisant l'échelle des poids.
Robustesse inter-architectures : Le mécanisme de dominance de l'alignement s'applique aux architectures de style Pythia (GPT-NeoX) et Llama, avec des parts d'alignement restant dans la plage de 88–94 % durant la phase de montée.
Précision de la récupération : La méthode de déplacement par spline récupère la force d'alignement à partir de points de contrôle épars avec une précision de 92–94 %, soit environ le double de la performance d'une base naïve à deux points.
Décalage RMS-vers-Weibull : L'intégration en boucle fermée des forces pour prédire $\lambda(t)$ montre un décalage systématique d'environ 5–6 % dans les régions échantillonnées de manière dense. Cela se décompose en une erreur de pont de ~4,6 % (reconstruction RMS-vers-Weibull) et une erreur d'intégration de ~1,9 %, confirmant que la dynamique des forces régit la composante dominante de la trajectoire.
Modulation dépendante des données : Une observation exploratoire suggère que la valeur de pic absolue de $\lambda(t)$ varie selon la cohérence des données d'entraînement. Les modèles entraînés sur des données à domaine unique (wikitext-103) atteignent des valeurs de pic $\lambda$ plus élevées (~0,069–0,076) que ceux entraînés sur des données multi-domaines (The Pile, ~0,035). Une intervention de ré-entraînement continu sur un modèle entraîné sur The Pile passant à wikitext-103 a entraîné une augmentation de 2,6x de $\lambda$ , suggérant que la cohérence des données module la force d'alignement.

Signification et affirmations
L'article affirme fournir la première explication mécaniste de la trajectoire observée de montée, de dépassement et de relaxation du paramètre d'échelle de Weibull $\lambda$ durant l'entraînement d'AdamW. Ses principales contributions sont :

Connexion des niveaux de description : Il réussit à jeter un pont entre les règles de mise à jour de bas niveau d'AdamW et les diagnostics de haut niveau de distribution, montrant que $\lambda(t)$ suit la composante d'échelle de poids d'un budget de force de premier ordre.
Identification du moteur : Il identifie la force d'alignement comme le moteur dominant de la croissance de l'échelle des poids durant la phase de montée de l'entraînement, contestant l'idée que la décroissance de poids ou le bruit sont les facteurs primaires dans cette phase.
Explication de la trajectoire : Il explique le dépassement et la relaxation comme une conséquence de la transition de la dominance de l'alignement vers un équilibre alignement-décroissance près de la saturation.
Applicabilité pratique : Il fournit une méthode validée (déplacement par spline) pour récupérer la dynamique des forces à partir de modèles réels où les états de l'optimiseur ne sont pas disponibles, étendant l'analyse au-delà des environnements auto-entraînés.

Les auteurs précisent explicitement que l'observation sur la cohérence des données est exploratoire et qu'une caractérisation complète des effets de la diversité des données nécessite des études de suivi contrôlées. La contribution principale demeure l'explication du budget de force de la dynamique de l'échelle de Weibull, le résultat sur les données servant de motivation pour de futures expériences contrôlées.