🤖 machine learning

The Stability of Singular Distribution: A Spectral Perspective on the Two-Phase Dynamics of Language Model Pre-training

Ce papier identifie la Stabilité de la Distribution Singulière (SoSD) comme un phénomène spectral fondamental dans le pré-entraînement des modèles de langage, démontrant que la stabilisation précoce du spectre des valeurs singulières normalisées régit la transition vers la phase de descente lente de la perte et fournit un cadre théorique pour comprendre et optimiser les dynamiques d'entraînement à travers des architectures et des stratégies diverses.

Auteurs originaux : Hongtao Zhang, Wenjie Zhou, Chenxi Jia, Wei Chen, Xueqi Cheng

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongtao Zhang, Wenjie Zhou, Chenxi Jia, Wei Chen, Xueqi Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraînez un cerveau numérique géant (un grand modèle de langage) à parler la langue humaine. Vous pourriez vous attendre à ce que ce cerveau apprenne à un rythme régulier et prévisible. Cependant, les chercheurs ont observé un phénomène étrange : le cerveau apprend incroyablement vite au tout début, puis, pendant une longue période, il semble avancer au pas de tortue, ne réalisant que de minuscules améliorations.

Ce papier, "La Stabilité de la Distribution Singulière", tente de comprendre pourquoi cela se produit. Les auteurs proposent une nouvelle façon d'examiner les mécanismes internes du cerveau en utilisant un concept qu'ils appellent SoSD (Stabilité de la Distribution Singulière).

Voici l'explication détaillée à l'aide d'analogies simples :

1. Le voyage en deux phases : Le sprint et la marche

Imaginez l'entraînement d'un modèle de langage comme courir un marathon.

Phase 1 (Le sprint) : Au début, le modèle apprend des choses énormes et évidentes très rapidement. La "perte" (une mesure de l'erreur du modèle) chute comme une pierre.
Phase 2 (La marche) : Après un certain temps, le modèle heurte un mur. Il continue de courir, mais n'avance que d'un pouce à la fois. La perte diminue très lentement.

La grande question que pose le papier est : Qu'est-ce qui provoque le passage du sprint à la marche ?

2. L'ingrédient secret : La "forme" du cerveau

À l'intérieur du modèle, il existe de gigantesques grilles de nombres appelées matrices de poids. Ce sont les "poids" qui déterminent la façon dont le modèle pense.

Habituellement, nous pensons que le modèle apprend parce que ces nombres changent constamment.
Les auteurs ont découvert quelque chose de surprenant : la forme globale de ces nombres (plus précisément, leur "distribution des valeurs singulières") cesse de changer très tôt.

L'analogie : Imaginez une sculpture en argile en cours de modelage.

Les poids : Ce sont les grains individuels d'argile. Ils continuent de se déplacer et de bouger pendant longtemps.
La distribution singulière : C'est la silhouette globale ou la forme générale de la statue.
La découverte : Les auteurs ont constaté que la silhouette se stabilise (cesse de changer de forme) très rapidement, même si les grains individuels d'argile continuent de se déplacer à l'intérieur.

Ils appellent ce phénomène SoSD (Stabilité de la Distribution Singulière).

3. La synchronisation : Quand la forme s'arrête, la vitesse s'arrête

La découverte la plus importante est que le moment où la "silhouette" cesse de changer (SoSD), la vitesse d'apprentissage du modèle immédiatement passe du "Sprint" à la "Marche".

Avant le SoSD : La forme est encore en cours de réorganisation. Cela permet au modèle de réaliser de grandes améliorations rapides.
Après le SoSD : La forme s'est installée dans un motif stable. Même si le modèle continue d'être entraîné, il ne peut plus effectuer de grands changements structurels. Il se contente maintenant d'affiner les détails au sein d'une forme fixe. C'est pourquoi les progrès ralentissent considérablement.

4. Pourquoi cela se produit-il ? (La physique de l'apprentissage)

Le papier utilise les mathématiques pour prouver que cela est inévitable.

Au fur et à mesure que le modèle s'entraîne, la "taille" (ou la norme) de ses nombres internes croît naturellement.
Imaginez cela comme une boîte de vitesses. Lorsque les engrenages sont petits (entraînement précoce), une petite poussée (étape d'apprentissage) fait avancer la voiture sur une longue distance.
À mesure que les engrenages deviennent énormes (entraînement ultérieur), cette même petite poussée ne fait presque plus bouger la voiture du tout.
Parce que les "engrenages" (les normes des poids) continuent de croître, la capacité du modèle à modifier sa "forme" (distribution singulière) est mathématiquement restreinte. Une fois qu'il atteint une certaine taille, la forme se verrouille et l'apprentissage rapide prend fin.

5. Comment pirater le système (Stratégies d'apprentissage)

Les auteurs expliquent que les astuces courantes d'entraînement fonctionnent en manipulant cette "boîte de vitesses" ou la "stabilité de la forme".

Programmes de taux d'apprentissage (Ralentissement) :
- C'est quoi : Réduire progressivement l'ampleur de la "poussée" pendant l'entraînement.
- Le point de vue du papier : En rendant la poussée plus petite, vous forcez la "forme" à changer plus lentement. Cela empêche le modèle de se verrouiller trop tôt dans une mauvaise forme, lui permettant de continuer à apprendre efficacement plus longtemps. C'est comme passer à une vitesse inférieure pour continuer à gravir une colline.
Décroissance des poids (Garder le tout léger) :
- C'est quoi : Une pénalité qui empêche les nombres internes de devenir trop énormes.
- Le point de vue du papier : Si les nombres ne deviennent pas trop grands, les "engrenages" ne deviennent pas trop lourds. Cela maintient la capacité du modèle à modifier sa forme en vie plus longtemps, lui permettant de continuer à s'améliorer même dans la phase lente.
Différents optimiseurs (Muon vs Adam) :
- Le papier a testé un nouvel optimiseur appelé Muon. Il a constaté que Muon maintient le changement de "forme" plus efficacement que l'optimiseur Adam standard, permettant au modèle d'apprendre plus vite et d'atteindre un taux d'erreur plus faible, même si le phénomène de "stabilité de la forme" se produit toujours.

Résumé

Le papier soutient que le modèle "rapide puis lent" dans l'entraînement de l'IA n'est pas un bug ; c'est une caractéristique fondamentale de l'évolution de ces modèles.

Phase rapide : Le modèle remodèle activement sa structure interne.
Phase lente : La structure interne s'est stabilisée (SoSD), et le modèle se contente maintenant de polir les détails.

Comprendre cette "Stabilité de la Distribution Singulière" offre aux scientifiques un nouvel angle pour voir pourquoi l'entraînement ralentit et comment ajuster les paramètres (comme les taux d'apprentissage) pour maintenir l'efficacité de l'apprentissage du modèle plus longtemps.

Résumé Technique : La Stabilité de la Distribution Singulière (SoSD)

Énoncé du Problème

Le pré-entraînement des modèles de langage de grande taille (LLM) présente systématiquement une trajectoire caractéristique en deux phases « rapide puis lente » : un régime initial de décroissance précipitée de la perte, suivi d'une longue période d'amélioration asymptotique à queue lourde. Bien que ce schéma empirique soit bien documenté dans les principaux rapports techniques, les mécanismes théoriques sous-jacents dictant la transition de la phase d'apprentissage rapide vers la phase de saturation lente restent fondamentalement sous-explorés. Les analyses existantes reposent souvent sur des formulations de tâches restreintes (par exemple, l'apprentissage en contexte ou la régression linéaire) ou se concentrent sur des phénomènes structurels spécifiques comme l'effondrement du rang, échouant à fournir une perspective spectrale unifiée sur l'évolution temporelle macroscopique du paysage de perte dans des scénarios de pré-entraînement généraux.

Méthodologie

Les auteurs étudient les dynamiques d'optimisation des LLM en déplaçant le prisme analytique de la convergence des matrices de paramètres vers l'évolution temporelle de leurs propriétés spectrales.

Approche Empirique

L'étude mène des expériences de pré-entraînement sur deux familles de modèles décodeur uniquement :

GPT-2 (Petit et Moyen) entraîné sur le jeu de données FineWeb.
LLaMA (0,5B et 2B) entraîné sur le jeu de données C4.

Les auteurs surveillent la similarité cosinus entre les états courants et les états finaux entraînés pour les matrices de paramètres ( $W$ ) et leurs matrices de valeurs singulières ( $\Sigma$ ). Ils définissent la Distribution Singulière (SD) comme le spectre normalisé par la trace ( $\hat{\Sigma}_t = \Sigma_t / \text{tr}(\Sigma_t)$ ) et mesurent la Variation de la Distribution Singulière (Variation SD) comme la norme de Frobenius de la mise à jour de ce spectre normalisé ( $\Delta \Sigma_t = \|\hat{\Sigma}_{t+1} - \hat{\Sigma}_t\|_F$ ).

Cadre Théorique

Pour expliquer les phénomènes observés, les auteurs analysent un Transformer simplifié à une seule couche et une seule tête sous une descente de gradient par lot complet avec une petite initialisation. Ils établissent un cadre théorique basé sur :

Normes Strictement Croissantes : Les normes des poids augmentent de manière monotone pendant l'entraînement (en l'absence de décroissance des poids).
Non-Dégénérescence et Bornitude du Gradient : Les paramètres restent de rang plein avec des nombres de conditionnement bornés, et les gradients sont non nuls mais bornés.
Conditions de Régularité et de Marge : Hypothèses concernant la régularité locale du paysage de perte et des marges positives dans les distributions d'attention et de logits durant le régime tardif de l'entraînement.

Contributions Clés

1. Identification de la Stabilité de la Distribution Singulière (SoSD)

L'article identifie un phénomène nommé Stabilité de la Distribution Singulière (SoSD). Les résultats empiriques démontrent que le spectre normalisé par la trace des valeurs singulières ( $\hat{\Sigma}$ ) se stabilise significativement plus tôt que les matrices de paramètres ( $W$ ) elles-mêmes.

Découplage Spectral : Bien que les entrées des poids restent éloignées de leur configuration finale, la forme relative du spectre des valeurs singulières sature près de 1.
Synchronisation : Le début de la SoSD (où la Variation SD chute vers un plancher métastable) correspond précisément à la transition de la perte de validation de la phase de descente rapide vers le régime de descente lente (asymptotique). Cette synchronisation est observée à travers diverses architectures (GPT-2, LLaMA), modules (Attention, MLP) et paramètres d'optimisation.

2. Analyse Théorique de la SoSD et des Dynamiques en Deux Phases

Les auteurs prouvent que l'émergence de la SoSD est inévitable dans des conditions d'entraînement standard et qu'elle borne mécaniquement le taux de réduction de la perte.

Théorème 4.5 (Émergence de la SoSD) : Sous l'hypothèse de normes de poids croissant de manière monotone, la borne de stabilité pour la distribution singulière s'échelonne comme $\varepsilon \propto \eta / \|W\|$ . À mesure que l'entraînement progresse et que $\|W\|$ croît, la variation permise dans la distribution singulière diminue, forçant le système dans un état stable.
Théorème 4.9 (Dynamiques en Deux Phases) :
- Phase I (Descente Rapide) : Avant le seuil de la SoSD ( $t < T^*$ ), des normes de paramètres modérées permettent des décalages spectraux significatifs, permettant une diminution de la perte d'ordre constant ( $\Delta L(t) = O(1)$ ).
- Phase II (Descente Lente) : Après le seuil de la SoSD ( $t > T^*$ ), la distribution singulière se stabilise. La diminution de la perte devient cinétiquement contrainte et est théoriquement bornée par l'amplitude de la Variation SD ( $\Delta L(t) \le O(\varepsilon^p)$ ). La stabilisation de $\hat{\Sigma}$ agit comme un goulot d'étranglement, forçant la perte vers un plateau asymptotique.

3. Interprétation des Stratégies de Pré-entraînement

L'article interprète les stratégies d'optimisation standard à travers le prisme de la modulation de la borne de stabilité de la SoSD ( $\varepsilon \propto \eta / \|W\|$ ) :

Programmes de Taux d'Apprentissage : Des stratégies comme la Décroissance Échelonnée, Warmup-Stable-Decay (WSD) et la Décroissance Cosinus fonctionnent en réduisant le taux d'apprentissage $\eta$ . Cela resserre la borne de stabilité, forçant le système hors de son quasi-équilibre actuel et permettant une minimisation supplémentaire de la perte en résolvant des caractéristiques plus fines.
Décroissance des Poids : En supprimant la croissance de la norme des poids $\|W\|$ , la décroissance des poids relâche la contrainte de stabilité (augmentant $\varepsilon$ ). Cela permet des mises à jour plus importantes de la distribution singulière, augmentant efficacement la borne supérieure théorique pour la réduction de la perte et empêchant une saturation prématurée.
Optimiseurs (Muon vs Adam) : Le phénomène de SoSD persiste même avec l'optimiseur Muon, confirmant qu'il s'agit d'une caractéristique fondamentale du pré-entraînement des Transformers. Cependant, Muon maintient une amplitude de Variation SD significativement plus faible que Adam, suggérant qu'il navigue dans le paysage spectral avec une efficacité supérieure.

Résultats

Validation Empirique : Les expériences sur les modèles GPT-2 et LLaMA confirment que les distributions singulières se stabilisent tôt (souvent au cours des 10 à 20 % premiers des étapes d'entraînement), tandis que les paramètres continuent d'évoluer. Cette stabilisation coïncide avec l'entrée de la perte de validation dans un régime de descente lente à queue lourde.
Corrélation : Une synchronisation étroite est observée entre la décroissance de la Variation SD et la transition vers la phase de descente lente de la courbe de perte.
Efficacité des Stratégies :
- Réduire le taux d'apprentissage induit une chute brutale de la Variation SD, synchronisée avec une reprise de la descente de la perte.
- Les modèles avec décroissance des poids atteignent des pertes finales plus faibles que les bases non régularisées, corrélées à une Variation SD soutenue plus élevée (due à des contraintes relâchées sur $\|W\|$ ).
- L'optimiseur Muon atteint une perte plus faible et une convergence plus rapide tout en maintenant des amplitudes de Variation SD plus faibles qu'Adam.

Importance et Revendications

L'article revendique offrir une compréhension mécaniste novatrice des trajectoires d'optimisation des Transformers en reliant les comportements spectraux microscopiques aux dynamiques d'entraînement macroscopiques.

Perspective Unifiée : Il fournit une lentille spectrale pour expliquer le schéma de convergence omniprésent « rapide puis lent », postulant que la transition n'est pas simplement un artefact de couches spécifiques mais une contrainte cinétique globale caractérisée par la saturation de la distribution singulière.
Fondement Théorique : Le travail établit un cadre théorique prouvant que la croissance des normes de poids précipite inévitablement un seuil précoce de SoSD, après quoi le taux de diminution de la perte est strictement borné par la variation de la distribution singulière.
Insight Pratique : En encadrant les programmes de taux d'apprentissage et la décroissance des poids comme des mécanismes pour moduler l'échelle de la SoSD, l'article offre une justification de la raison pour laquelle ces stratégies facilitent un pré-entraînement efficace, suggérant que surmonter la barrière spectrale est la clé pour atteindre des pertes d'entraînement plus faibles.

Les auteurs adoptent une stance modeste, notant que si la SoSD agit comme une caractérisation des dynamiques des valeurs singulières et un indicateur du régime de descente lente, une valeur de SoSD plus faible n'implique pas intrinsèquement de meilleures performances (comme en témoignent les expériences de décroissance des poids où une SoSD plus élevée coexiste avec une perte plus faible). La contribution principale est l'identification de la synchronisation entre la stabilité spectrale et la saturation de l'optimisation.