🤖 machine learning

Why Muon Outperforms Adam: A Curvature Perspective

Cet article démontre que Muon surpasse Adam dans l'entraînement de grands modèles de langage en réalisant une diminution de la perte sur un pas plus importante, principalement grâce à une pénalité de courbure de la Netteté Directionnelle Normalisée (NDS) plus faible, un avantage géométrique qui est amplifié par le déséquilibre des données et soutenu par une réduction de la courbure intra-couche.

Auteurs originaux : Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver le point le plus bas d'une vaste chaîne de montagnes embrumée. C'est ce que représente l'entraînement d'un modèle d'IA géant (comme un Grand Modèle de Langage) : la « montagne » est le taux d'erreur, et le « point le plus bas » est le modèle parfait, le plus précis. Pour y parvenir, vous avez besoin d'un optimiseur — un guide qui vous indique dans quelle direction marcher.

Pendant longtemps, Adam a été le guide standard. Récemment, un nouveau guide nommé Muon est arrivé et a commencé à atteindre le bas de la montagne deux fois plus vite. Mais pourquoi ? Ce document agit comme un détective, utilisant une « perspective de courbure » (en observant la forme du terrain) pour résoudre le mystère.

Voici l'histoire de leurs découvertes, expliquée simplement :

1. Les deux guides prennent la même taille de pas, mais Muon est plus fluide

Imaginez que vous et un ami descendiez une colline en randonnée. Vous décidez tous les deux de faire un pas de la même longueur exacte.

Le premier pas (la poussée) : Vous et votre ami poussez vers l'avant avec la même force. En termes mathématiques, le papier appelle cela le « gain de premier ordre ». Ils sont égaux.
La bosse (la pénalité de courbure) : Le sol n'est pas parfaitement plat ; il est accidenté. Si vous faites un pas trop fort dans une direction bosselée, vous rebondissez un peu vers le haut, gaspillant ainsi de l'énergie.
- Adam a tendance à faire des pas dans les parties les plus « bosselées » du terrain. Il frappe une bosse élevée, rebondit et perd une partie de sa progression vers l'avant.
- Muon est plus intelligent. Il regarde la forme du sol et dirige son pas vers les chemins plus lisses et plus plats. Il fait toujours un pas de la même longueur, mais il frappe une bosse beaucoup plus petite.

Le résultat : Parce que Muon frappe moins de bosses (une « pénalité de courbure » plus faible), il parcourt en réalité une plus grande distance en bas de la colline en un seul pas qu'Adam, même s'ils ont poussé avec la même force initiale.

2. L'arme secrète : la « Netteté Directionnelle Normalisée » (NDS)

Le papier introduit un terme sophistiqué, le NDS, qui mesure essentiellement « à quel point le sol est tranchant dans la direction dans laquelle vous marchez ».

La découverte : Muon et Adam font des pas de la même taille (même « norme de mise à jour »), mais les pas de Muon sont toujours dans des directions où le sol est moins tranchant.
L'analogie : Imaginez marcher dans un champ de maïs haut et tranchant.
- Adam marche droit à travers les tiges les plus épaisses et les plus tranchantes. Il se fait couper (NDS élevé), et le maïs le repousse.
- Muon utilise une boussole spéciale pour trouver les interstices entre le maïs. Il parcourt la même distance, mais le maïs est beaucoup moins dense (NDS faible). Il glisse à travers avec moins de résistance.

3. Pourquoi Muon trouve-t-il mieux les interstices ? (Déséquilibre des données)

Le papier a découvert que le « terrain » devient plus accidenté lorsque les données sont déséquilibrées.

Le scénario : Imaginez une bibliothèque où 90 % des livres parlent de « chats » et seulement 10 % de « chiens ». C'est un ensemble de données déséquilibré.
L'effet : Dans ces bibliothèques déséquilibrées, le sol devient extrêmement dentelé et rempli de pics tranchants.
Le vainqueur : Adam reste vraiment coincé dans les pics de « chats ». Muon, cependant, est bien meilleur pour naviguer dans ces paysages dentelés et irréguliers. Plus les données sont déséquilibrées, plus l'écart entre le chemin fluide de Muon et le chemin accidenté d'Adam est grand.

4. Où la magie opère-t-elle ? (À l'intérieur des couches)

Les modèles d'IA sont construits comme une pile de couches (comme un gâteau multicouche). Le papier a examiné si l'avantage de Muon provenait de tout le gâteau ou seulement de tranches spécifiques.

La découverte : Au fur et et à mesure de l'entraînement, l'avantage de Muon se déplace. Il cesse de se soucier de la façon dont les couches interagissent entre elles (inter-couches) et se concentre entièrement sur le fait de rendre les pas fluides au sein de chaque couche individuelle (intra-couche).
L'analogie : Pensez à une course de relais. Au début, tout le monde s'inquiète de passer le témoin entre les coureurs (inter-couches). Mais à mesure que la course s'intensifie, Muon réalise que le secret de la vitesse est simplement de courir sa propre étape de manière parfaitement fluide (intra-couche), en ignorant le bruit des autres coureurs.

5. La preuve théorique : l'« Égaliseur »

Enfin, les auteurs ont construit un modèle mathématique simple (un « problème quadratique stylisé ») pour prouver pourquoi cela fonctionne.

Le problème : Imaginez que la montagne possède quelques falaises très abruptes et tranchantes (courbure élevée) et une immense zone de pentes douces (courbure faible).
L'erreur d'Adam : Comme les « falaises » sont si abruptes, Adam est attiré par elles. Il dépense toute son énergie à essayer de descendre ces falaises abruptes, mais comme elles sont si tranchantes, il rebondit de manière sauvage.
La stratégie de Muon : Muon utilise une astuce de « normalisation spectrale ». Imaginez qu'il possède un égaliseur magique qui le force à consacrer la même quantité d'énergie aux falaises abruptes qu'aux pentes douces.
Le résultat : En ne se concentrant pas excessivement sur les falaises dangereuses, Muon évite les rebonds sauvages. Il distribue son énergie de manière uniforme, ce qui lui permet de faire des progrès constants et efficaces en bas de la montagne, ce que Adam ne peut pas égaler.

Résumé

Muon bat Adam non pas parce qu'il fait des pas plus grands ou qu'il pousse plus fort, mais parce qu'il est un meilleur navigateur. Il évite les parties « tranchantes » du paysage mathématique qui font rebondir l'IA. En lissant son chemin, surtout lorsque les données sont désordonnées ou déséquilibrées, il atteint le bas de la montagne (le meilleur modèle) beaucoup plus rapidement.

Résumé Technique : Pourquoi Muon surpasse Adam : Une perspective de courbure

Énoncé du Problème

Muon est apparu comme un optimiseur hautement efficace pour le pré-entraînement des Grands Modèles de Langage (LLM), démontrant une convergence d'entraînement environ 2 $\times$ plus rapide que l'optimiseur standard Adam à travers diverses échelles de modèles. Alors que des travaux récents ont attribué cet avantage à des mécanismes tels que la mémoire associative et la queue longue des données, l'origine géométrique locale de la supériorité de Muon reste obscure. Ce document aborde deux questions primordiales :

Quelle propriété spécifique du paysage d'optimisation soutient l'avantage de Muon sur Adam ?
Comment les facteurs de pré-entraînement, spécifiquement la distribution des données d'entraînement et la structure du modèle, influencent-ils cette propriété ?

Méthodologie

Les auteurs emploient une combinaison d'analyse empirique sur les trajectoires d'entraînement de LLM et d'analyse théorique sur des problèmes d'optimisation quadratiques stylisés.

Analyse Empirique :

Décomposition de Taylor du second ordre : Les auteurs analysent la diminution de la perte en une étape ( $\Delta D$ ) en la décomposant en un gain de premier ordre (alignement du gradient) et une pénalité de courbure du second ordre via un développement de Taylor : $\Delta D \approx \langle G, Z \rangle - \frac{1}{2}\langle Z, H[Z] \rangle$ .
Définition de la Métrique : Pour isoler l'effet de la direction de mise à jour de l'échelle de mise à jour, ils introduisent la Netteté Directionnelle Normalisée (NDS - Normalized Directional Sharpness), définie par $SF(W; Z) = \langle Z, H[Z] \rangle / \|Z\|_F^2$ . Cela permet de factoriser la pénalité de courbure dans la norme de la mise à jour et la NDS.
Configuration Expérimentale : Les expériences sont menées sur un modèle NanoGPT de 124 millions de paramètres entraîné sur le jeu de données FineWeb. Les comparaisons entre Muon et Adam sont effectuées à des niveaux de perte de validation équivalents pour garantir l'équité.
Variations de Données et de Structure :
- Déséquilibre des Données : Des données synthétiques sont générées à l'aide d'une grammaire non contextuelle probabiliste (PCFG) de type Zipf, avec des niveaux de déséquilibre contrôlés (exposant de Zipf $s$ ), pour tester l'effet des distributions à queue lourde.
- Décomposition par Couches : La NDS est décomposée en contributions intra-couche (blocs Hessiens diagonaux) et inter-couches (interactions hors-diagonales) pour comprendre comment les différents composants du modèle contribuent à l'avantage de courbure.

Analyse Théorique :

Modèle Quadratique Stylisé : Les auteurs construisent un problème d'optimisation quadratique reflétant les caractéristiques du paysage des LLM, basé sur quatre hypothèses vérifiées empiriquement :
1. Faible Rang de Kronecker : Le Hessien admet une approximation de Kronecker de faible rang.
2. Diagonalisation Simultanée : Les facteurs de Kronecker partagent des bases propres orthogonales communes.
3. Hétérogénéité de Courbure : Le spectre du Hessien présente une forte hétérogénéité (distribution des valeurs propres à queue longue).
4. Alignement du Gradient : Les gradients s'alignent fortement avec les directions propres de haute courbure.
Comparaison : Des preuves théoriques comparent Muon (mises à jour à normalisation spectrale) contre la Descente de Gradient (GD). Il est noté qu'Adam se comporte de manière similaire à la GD dans ce cadre stylisé spécifique, permettant aux auteurs de se concentrer sur le contraste entre la normalisation spectrale et les mises à jour basées sur le gradient.

Principales Contributions et Résultats

1. La Source de l'Avantage de Muon : Réduction de la Pénalité de Courbure
L'analyse révèle que Muon obtient une diminution de la perte en une étape plus importante que Adam principalement parce qu'il incorpore une pénalité de courbure du second ordre nettement plus faible, et non parce qu'il obtient un gain de gradient de premier ordre plus important.

Observation 1 : À pertes de validation égales, Muon et Adam présentent des diminutions de premier ordre comparables, mais la pénalité de courbure de Muon est substantiellement plus basse.

2. Le Mécanisme : Netteté Directionnelle Normalisée (NDS) Plus Faible
La réduction de la pénalité de courbure est pilotée par la direction de mise à jour de Muon plutôt que par sa taille de pas.

Observation 2 : Muon et Adam ont des normes de mise à jour ( $\|Z\|_F$ ) comparables. Cependant, Muon présente une NDS notablement plus faible (environ 1,76 $\times$ plus faible que Adam en moyenne). Cela indique que la normalisation spectrale de Muon dirige les mises à jour vers des directions possédant une courbure locale plus faible.

3. Le Rôle du Déséquilibre des Données
L'avantage de NDS de Muon est amplifié par le déséquilibre des données.

Observation 3 : En utilisant des données Zipf-PCFG, les auteurs montrent qu'à mesure que le jeu de données devient plus déséquilibré (exposant de Zipf $s$ plus élevé), la NDS pour les deux optimiseurs augmente, mais l'écart entre Adam et Muon s'élargit considérablement (augmentant de 1,8 $\times$ de $s=0$ à $s=1$ ). Muon est plus robuste à l'augmentation de la netteté induite par les données à queue lourde.

4. Le Rôle de la Structure du Modèle
L'avantage de courbure évolue au cours de l'entraînement.

Observation 4 : Bien que les composantes intra-couche et inter-couches de la NDS soient plus faibles pour Muon, la composante intra-couche devient de plus en plus dominante dans l'avantage de Muon durant les phases intermédiaire et tardive de l'entraînement. La contribution inter-couche de Muon chute rapidement, tandis qu'Adam maintient un équilibre stable entre la netteté intra-couche et inter-couche.

5. Justification Théorique
Le papier prouve que sur des problèmes quadratiques présentant une courbure hétérogène et un alignement de gradient vers les modes de haute courbure :

Muon atteint une NDS moyenne plus petite que la GD car sa normalisation spectrale équilibre l'énergie de mise à jour entre les groupes de courbure, alors que la GD concentre l'énergie sur les modes de haute courbure.
Lorsque l'hétérogénéité de la courbure est suffisamment forte, Muon atteint une perte quadratique locale plus faible que la GD après le même nombre d'étapes.

Signification et Revendications

Le papier affirme faire le "premier pas" vers la démystification de la supériorité de Muon d'un point de vue de la courbure locale. La conclusion centrale est que l'efficacité de Muon provient de sa capacité à effectuer des mises à jour à normalisation spectrale qui possèdent intrinsèquement une netteté directionnelle plus faible, minimisant ainsi le coût de second ordre des étapes d'optimisation.

Les auteurs positionnent explicitement ce travail comme complémentaire aux explications existantes "centrées sur la mémoire" (ex: Wang et al., 2025b), offrant un mécanisme géométrique distinct : à l'itération égale, Muon paie une pénalité de netteté directionnelle plus faible qu'Adam. Le travail est modeste dans sa portée, se concentrant sur les LLM causaux et l'identification d'un mécanisme local plutôt que de revendiquer des garanties de convergence globale ou une applicabilité à toutes les classes de modèles (telles que les modèles de diffusion), qui sont laissées pour des travaux futurs.