🤖 machine learning

Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence

Cet article fournit une explication géométrique fondée sur les principes de la stabilité et de la convergence supérieures de l'optimiseur Muon en démontrant que son mécanisme d'orthogonalisation réalise un aplatissement spectral, ce qui déplace la contrainte de stabilité de la plus grande vers la valeur singulière moyenne du gradient et améliore le facteur de convergence effectif dans le cadre d'un modèle de courbure factorisé par Kronecker.

Auteurs originaux : Tien-Phat Nguyen, Truong Nguyen, Minh-Phuc Truong, Tuc Nguyen, James Bailey, Trung Le

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tien-Phat Nguyen, Truong Nguyen, Minh-Phuc Truong, Tuc Nguyen, James Bailey, Trung Le

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de pousser un gros rocher lourd et de forme étrange vers le haut d'une colline. Ce rocher représente la « perte » (l'erreur) lors de l'entraînement d'un cerveau informatique (un réseau de neurones). Votre objectif est d'emmener ce rocher au fond de la vallée (la solution parfaite) aussi rapidement que possible.

Pendant longtemps, la méthode standard pour y parvenir était la descente de gradient stochastique (SGD). Imaginez la SGD comme une équipe de personnes poussant le rocher. Elles observent la pente et poussent dans la direction qui semble la plus raide. Cependant, le rocher a une forme bizarre : un côté est incroyablement glissant et raide, tandis que les autres côtés sont doux.

Le problème de l'ancienne méthode (SGD) :
Parce que le rocher est si glissant d'un côté, l'équipe doit pousser très doucement. Si elles poussent trop fort, elles glissent et dévalent de manière incontrôlable du mauvais côté, faisant échouer toute l'opération. Cela signifie qu'elles doivent faire des pas minuscules et prudents, rendant le voyage très lent.

Le nouveau héros : Muon
L'article présente une nouvelle méthode appelée Muon. Au lieu de simplement pousser, Muon agit comme un mécanicien magique capable de remodeler le rocher avant chaque poussée.

Voici comment Muon fonctionne, en utilisant les concepts clés de l'article :

1. Aplatissement spectral : L'astuce du « nivellement »

L'article qualifie l'arme secrète de Muon d'« aplatissement spectral ».

L'analogie : Imaginez que le rocher a un côté « pointu » (une direction très raide et dangereuse) et des côtés « plats ». En termes mathématiques, ce sont appelées des « valeurs singulières ». Le côté pointu est le problème car il force l'équipe à marcher très lentement.
Ce que fait Muon : Muon utilise un outil mathématique (les itérations de Newton-Schulz) pour « aplatir » le côté pointu. Il ne change pas la direction dans laquelle l'équipe doit aller ; il rend simplement la pente raide moins raide et les pentes douces un peu plus raides. Il transforme un rocher irrégulier et accidenté en une boule lisse et ronde.
Le résultat : Parce que le rocher est maintenant rond et équilibré, l'équipe peut pousser beaucoup plus fort sans glisser. Elles peuvent faire des pas massifs (de grands taux d'apprentissage) qui auraient fait échouer immédiatement l'ancienne méthode.

2. Pourquoi c'est plus rapide : La « moyenne » contre le « pire »

L'article prouve deux choses principales sur le fonctionnement de cette méthode :

La limite de vitesse :
- SGD est limitée par la pire partie du rocher (le pic le plus raide). Si le pic est 100 fois plus raide que le reste, l'équipe doit marcher à 1/100e de vitesse.
- Muon est limitée par la moyenne de la raideur. En aplatissant le pic, Muon ignore le scénario du « pire cas » et se concentre sur la moyenne. Cela permet à l'équipe de marcher à une vitesse beaucoup plus proche de son véritable potentiel.
La convergence (l'arrivée au fond) :
- L'article montre que Muon ne fait pas seulement des pas plus grands ; elle fait de meilleurs pas. Elle agit comme un « préconditionneur », ce qui est une manière élégante de dire qu'elle ajuste le terrain afin que chaque pas rapproche le rocher de l'objectif plus efficacement.
- Même si vous forcez l'ancienne équipe (SGD) et la nouvelle équipe (Muon) à marcher exactement à la même vitesse, Muon atteint le fond de la vallée plus vite car son chemin est plus direct et moins cahoteux.

3. Les expériences : Prouver que ça marche

Les auteurs ont testé cela sur une tâche standard de vision par ordinateur (reconnaître des images de chats, de chiens, etc., à partir de l'ensemble de données CIFAR-10).

Le test de « plongée » : Ils ont essayé de pousser le rocher à une vitesse très élevée. L'ancienne équipe (SGD) est immédiatement tombée du précipice (divergence) et l'entraînement a échoué. La nouvelle équipe (Muon) a continué à marcher fluidement et a atteint l'objectif.
Le test de « course » : Lorsqu'ils ont forcé les deux équipes à marcher à la même vitesse modérée, Muon a tout de même gagné la course, atteignant des scores de précision élevés plusieurs « tours » (époches) avant l'ancienne équipe.

4. Une nouvelle perspective sur la « normalisation »

L'article a également découvert pourquoi un outil courant appelé « normalisation par lots » (Batch Normalization) est utile.

La découverte : Les auteurs ont réalisé que la normalisation par lots fonctionne parce qu'elle « aplatit » naturellement les données d'entrée, de manière similaire à ce que Muon fait au rocher.
La nouvelle idée : Ils ont proposé une nouvelle règle pour concevoir ces outils : Ne vous contentez pas d'équilibrer les nombres ; équilibrez la « forme » des données. Si vous pouvez vous assurer que les données d'entrée n'ont pas une direction « super raide », vous pouvez entraîner le cerveau informatique beaucoup plus vite et avec des pas plus grands. Ils ont testé une nouvelle méthode appelée « FrobNorm » qui fait exactement cela et ont constaté qu'elle permettait un entraînement à des vitesses incroyablement élevées là où d'autres méthodes échouaient.

Résumé

En bref, Muon est une manière plus intelligente d'entraîner l'IA. Elle prend le paysage désordonné et irrégulier du problème et l'« aplatit » avant chaque pas. Cela empêche l'entraînement de rester coincé sur les pentes raides et dangereuses, permettant à l'IA d'apprendre plus vite, de faire des pas plus grands et d'atteindre la solution plus fiablement que les méthodes précédentes.

Résumé Technique : L'Aplatissement Spectral Est Tout Ce Dont Muon a Besoin

Énoncé du Problème

L'entraînement des réseaux de neurones modernes implique une optimisation sur des paysages hautement non convexes caractérisés par des régions plates, des directions abruptes et des points selle. Le choix de l'optimiseur est critique pour la stabilité et l'efficacité. Bien que les méthodes adaptatives par coordonnées comme Adam et AdamW aient amélioré la robustesse, elles ne répondent pas entièrement aux défis géométriques posés par les paramètres à valeur matricielle. Récemment, Muon est apparu comme une alternative haute performance qui orthogonalise le tampon de momentum avant les mises à jour, permettant des taux d'apprentissage plus élevés et une convergence plus rapide. Cependant, les mécanismes théoriques expliquant pourquoi Muon surpasse la Descente de Gradient standard (SGD) en termes de tailles de pas stables maximales et de taux de convergence restent sous-explorés. Plus précisément, la théorie existante n'a pas expliqué quantitativement comment l'orthogonalisation modifie le goulot d'étranglement du taux d'apprentissage ou le nombre de conditionnement effectif du problème d'optimisation.

Méthodologie

L'article fournit une analyse théorique de Muon en présentant sa règle de mise à jour comme une forme d'aplatissement spectral. Les auteurs développent deux résultats théoriques principaux et les valident expérimentalement :

Cadre Théorique :
- Définition de Muon : Muon met à jour les poids $W$ en calculant le gradient $G_t$ , puis en appliquant des itérations de Newton–Schulz pour approximer le facteur polaire $O_t \approx (G_t G_t^\top)^{-1/2} G_t = UV^\top$ . Cette opération préserve les vecteurs singuliers du gradient tout en remplaçant les valeurs singulières par des un.
- Approximation de la Hessienne : L'analyse utilise un modèle de courbure factorisé par Kronecker (K-FAC), approximatant la Hessienne comme $H \approx X^\top X \otimes G_t G_t^\top$ , où $X$ représente les activations d'entrée et $G_t$ le gradient.
- Analyse du Taux d'Apprentissage : Les auteurs dérivent des seuils de descente exacts en une étape pour SGD et Muon. Ils comparent le taux d'apprentissage stable maximal ( $\eta_{max}$ ) pour les deux optimiseurs, montrant que SGD est limité par la plus grande valeur singulière du gradient ( $\sigma_{max}$ ), tandis que la stabilité de Muon est régie par la moyenne des valeurs singulières ( $\frac{1}{m}\sum \sigma_i$ ).
- Analyse de Convergence : Muon est reformulé comme une méthode de gradient préconditionnée avec le préconditionneur $P = I_n \otimes (G_t G_t^\top)^{-1/2}$ . Sous les conditions de Polyak–Łojasiewicz (PL) et de régularité relative, les auteurs analysent le facteur de convergence. Ils prouvent que le rapport de conditionnement effectif pour Muon ( $\tilde{\alpha}/\tilde{\beta}$ ) est strictement meilleur que celui de SGD ( $\alpha/\beta$ ) lorsque la covariance du gradient est anisotrope, s'améliorant spécifiquement d'un facteur lié à l'étalement spectral du gradient.
Conception Expérimentale :
- Configuration : Les expériences ont été menées sur CIFAR-10 en utilisant CifarNet. Pour isoler l'effet de l'optimiseur sur les paramètres à valeur matricielle, une stratégie à double optimiseur a été employée : les noyaux de convolution étaient mis à jour par l'optimiseur cible (Muon ou SGD), tandis que les biais et autres paramètres utilisaient un optimiseur de référence fixe.
- Tests de Stabilité : Des balayages de taux d'apprentissage ont été effectués sans Normalisation par Lots (BN) pour observer la stabilité intrinsèque.
- Tests de Convergence : Les deux optimiseurs ont été exécutés à des taux d'apprentissage identiques (et séparément à leurs meilleurs taux respectifs) pour mesurer la vitesse de convergence et les ratios de convergence par étape ( $r_t$ ).
- Principe de Normalisation : Un nouveau schéma de normalisation, FrobNorm (normalisation par la norme de Frobenius), a été proposé et testé pour vérifier l'affirmation théorique selon laquelle la réduction de l'échelle spectrale des entrées ( $\lambda_{max}(X^\top X)$ ) permet des taux d'apprentissage plus élevés.

Contributions Clés

Dérivation du Taux d'Apprentissage Maximal : L'article prouve que la taille de pas stable maximale de Muon est proportionnelle à la valeur singulière moyenne du gradient plutôt qu'à la plus grande.
- Pour SGD : $\eta_{max} \propto \frac{2}{\lambda_{max}(H)} \approx \frac{2}{\lambda_{max}(X^\top X) \sigma_{max}(G)}$ .
- Pour Muon : $\eta_{max} \propto \frac{2}{\lambda_{max}(H)} \frac{\sum \sigma_i}{m} \approx \frac{2}{\lambda_{max}(X^\top X) \sigma_{max}(G)} \frac{\sum \sigma_i}{m \sigma_{max}(G)}$ .
- Cela démontre que l'aplatissement spectral empêche une seule direction singulière dominante de dicter la contrainte de taille de pas, permettant à Muon de tolérer des taux d'apprentissage significativement plus élevés.
Accélération du Taux de Convergence : Les auteurs montrent que Muon agit comme un préconditionneur qui améliore le rapport de conditionnement effectif.
- Sous K-FAC, le facteur de convergence pour Muon est $1 - \frac{\tilde{\alpha}}{\tilde{\beta}}$ , où $\frac{\tilde{\alpha}}{\tilde{\beta}} = \frac{\alpha}{\beta} \sqrt{\frac{\lambda_{min}(G_t G_t^\top)}{\lambda_{max}(G_t G_t^\top)}}$ .
- Puisque $\frac{\lambda_{min}}{\lambda_{max}} < 1$ , le terme $\sqrt{\dots}$ est inférieur à 1, mais la dérivation montre que $\frac{\tilde{\alpha}}{\tilde{\beta}} > \frac{\alpha}{\beta}$ dans le contexte du système préconditionné, conduisant à un taux de convergence linéaire strictement plus rapide lorsque la covariance du gradient est mal conditionnée.
Nouveau Principe de Normalisation : L'analyse révèle que le taux d'apprentissage stable maximal est inversement proportionnel à $\lambda_{max}(X^\top X)$ . Les auteurs proposent que les couches de normalisation devraient viser à réduire cette échelle spectrale. Ils valident cela avec FrobNorm, montrant qu'il permet un entraînement à des taux d'apprentissage élevés (par exemple 0,25) où l'entraînement standard échoue, en particulier pour SGD.

Résultats Expérimentaux

Stabilité : En l'absence de Normalisation par Lots, SGD divergeait au cours des premières itérations à des taux d'apprentissage où Muon restait stable et continuait de réduire la perte. Muon a démontré une croissance contrôlée des normes des paramètres et des gradients, tandis que SGD présentait une explosion catastrophique.
Vitesse de Convergence : À taux d'apprentissage identiques (par exemple $\eta=0,05$ ), Muon a atteint des jalons de précision (70 %–91 %) plusieurs époques plus tôt que SGD. Le ratio de convergence empirique $r_t$ était constamment plus faible pour Muon, confirmant la prédiction théorique d'un taux linéaire plus rapide.
Impact de la Normalisation : L'application de FrobNorm a permis aux deux optimiseurs d'entraîner de manière stable à des taux d'apprentissage élevés (0,25 pour CifarNet, 0,2 pour un Transformer de style GPT-2), validant l'hypothèse que le contrôle de l'échelle spectrale des entrées de la couche est un principe général permettant des tailles de pas plus grandes.

Importance et Revendications

L'article revendique offrir une explication géométrique et fondée sur des principes du succès empirique de Muon. Il postule que l'avantage de Muon n'est pas simplement une heuristique mais une conséquence directe de l'aplatissement spectral, qui :

Découple la contrainte de taux d'apprentissage de la plus grande valeur singulière, permettant des tailles de pas plus grandes.
Agit comme un préconditionneur unilatéral qui améliore le nombre de conditionnement effectif du paysage d'optimisation, conduisant à une convergence plus rapide.

Les auteurs reconnaissent les limites, notant que leur analyse théorique suppose des paramètres déterministes de lots complets et des facteurs polaires exacts, tandis que les implémentations pratiques utilisent des gradients stochastiques, un nombre fini d'itérations de Newton–Schulz et du momentum. Ils déclarent que l'extension de ces résultats aux paramètres stochastiques et aux architectures à plus grande échelle reste une direction importante pour les travaux futurs. L'article conclut que ces résultats aident à transformer la performance empirique de Muon en une compréhension théorique plus précise, pouvant potentiellement guider la conception des futurs optimiseurs et stratégies de normalisation.