🤖 machine learning

Convergence Bound and Critical Batch Size of Muon Optimizer

Cet article fournit des preuves de convergence théoriques pour l'optimiseur Muon dans divers contextes, démontre que la décroissance des poids (weight decay) garantit des normes de paramètres et de gradients bornées sans nécessiter d'hypothèses de gradient borné, et dérive une borne inférieure dépendante des hyperparamètres sur la taille de lot critique qui régit son efficacité d'entraînement.

Auteurs originaux : Naoki Sato, Hiroki Naganuma, Hideaki Iiduka

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Naoki Sato, Hiroki Naganuma, Hideaki Iiduka

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot géant et complexe (un réseau de neurones) à reconnaître des chats sur des photos ou à écrire des histoires. Pour ce faire, vous avez besoin d'un « entraîneur » (un optimiseur) qui lui indique comment ajuster ses paramètres internes pour s'améliorer. Pendant longtemps, l'entraîneur standard a été AdamW, un entraîneur très fiable. Mais récemment, un nouvel entraîneur nommé Muon est arrivé, et il affiche des résultats incroyables en pratique.

Ce document est comme un rapport de détective qui tente d'expliquer pourquoi Muon est si bon et nous donne un manuel de règles pour l'utiliser le plus efficacement possible. Voici la décomposition en termes simples :

1. L'idée centrale : Voir la forme, pas seulement la liste

La plupart des entraîneurs traitent le cerveau du robot comme une immense liste de nombres désordonnée. Ils regardent les erreurs et disent : « Augmente ce nombre, diminue celui-là ».

Muon est différent. Il regarde le cerveau du robot comme une collection de formes (matrices).

L'analogie : Imaginez que vous essayez de redresser une feuille de papier froissée.
- Les anciens entraîneurs (AdamW) : Ils essaient de la lisser en poussant des points individuels sur le papier de manière aléatoire. Cela fonctionne, mais c'est un peu désordonné.
- Muon : Il regarde la feuille entière. Il réalise que le papier possède un « pli » ou une structure spécifique. Au lieu de simplement pousser, il effectue une manœuvre spéciale (appelée orthogonalisation) pour redresser le papier parfaitement selon ses lignes naturelles. Il trouve la direction la plus « propre » pour avancer, en ignorant la force ou le bruit du signal d'erreur.

2. Le secret de la « Stabilité » : La pédale de frein

Le document a découvert une règle cruciale pour utiliser Muon avec une fonctionnalité appelée Décroissance des poids (Weight Decay), qui agit comme un frein pour empêcher le robot de devenir trop agité).

La découverte : Il existe une relation stricte entre la force avec laquelle vous poussez le robot (le Taux d'apprentissage ou Learning Rate) et la force avec laquelle vous appuyez sur le frein (Décroissance des poids).
La règle : Si vous poussez trop fort sans assez de frein, le robot devient incontrôlable. Le document prouve mathématiquement que la « poussée » ne doit jamais dépasser la capacité du « frein ». Plus précisément, le Taux d'apprentissage doit être inférieur à 1 / Décroissance des poids.
Le résultat : Lorsque vous suivez cette règle, les réglages du robot restent dans des limites sûres et prévisibles. Il n'explose pas et ne devient pas fou. C'est un avantage majeur car cela signifie que vous n'avez pas besoin de supposer que les erreurs sont petites ; les mathématiques garantissent que le robot reste stable de lui-même.

3. La taille de lot idéale (La taille de lot critique)

Lors de l'entraînement de ces robots, vous pouvez leur montrer une photo à la fois, ou un tas entier de photos à la fois (un Lot ou Batch).

Le problème : Si vous montrez trop peu de photos, le robot apprend lentement. Si vous en montrez trop, l'ordinateur s'occupe beaucoup à traiter le tas, mais le robot n'apprend pas beaucoup plus vite. Il existe un point « juste milieu » où vous obtenez le plus d'apprentissage pour le moins de travail informatique. C'est ce qu'on appelle la Taille de lot critique.
La recette secrète de Muon : Le document a dérivé une formule pour ce point « juste milieu » pour Muon.
- Le facteur de Momentum : Muon utilise un réglage de « momentum » (comme un volant d'inertie lourd qui maintient le robot dans la même direction). Le document a découvert que si vous augmentez le momentum (si vous rendez le volant plus lourd), la taille de lot « juste milieu » devient plus petite. Vous pouvez utiliser des lots plus petits tout en restant efficace.
- Le facteur de Frein : Si vous utilisez un frein plus fort (Décroissance des poids), la taille de lot « juste milieu » devient plus grande. Vous devez montrer plus de photos au robot en même$ temps pour obtenir la meilleure efficacité.

4. Pourquoi cela compte (L'avantage du « Rang »)

Le document explique que Muon est efficace parce qu'il comprend que le cerveau du robot n'est pas aussi compliqué qu'il en a l'air.

L'analogie : Imaginez une grille de 100x100 lumières (10 000 lumières). La plupart du temps, seuls quelques motifs de lumières s'allument réellement. Le reste n'est que du bruit.
L'atout de Muon : Muon réalise que l'information « réelle » est de faible rang (des motifs simples). Il ignore le bruit. Grâce à cela, il n'a pas besoin d'une taille de lot massive pour trouver la bonne direction. Il peut apprendre efficacement avec des lots plus petits par rapport à d'autres méthodes, économisant ainsi du temps et de l'énergie.

Résumé des conclusions

Cela fonctionne : Il est mathématiquement prouvé que Muon converge (apprend avec succès) dans quatre configurations différentes (avec/sans momentum, avec/sans décroissance des poids).
C'est stable : L'utilisation de la décroissance des poids avec le bon taux d'apprentissage garantit que le robot ne deviendra pas fou, même sans supposer que les erreurs sont petites.
C'est efficace : Le document vous donne une formule pour trouver la taille de lot parfaite.
- Momentum élevé = Vous pouvez utiliser des lots plus petits.
- Décroissance des poids élevée = Vous devriez utiliser des lots plus grands.
Vérification en conditions réelles : Les auteurs ont testé cela sur la reconnaissance d'images (chats/chiens) et les modèles de langage (écriture de texte). Les expériences confirment que les mathématiques correspondent à la réalité : Muon est plus rapide et plus efficace que l'ancien standard, AdamW, surtout lorsque vous ajustez la taille du lot selon leurs nouvelles règles.

En résumé, ce document prend un optimiseur de type « boîte noire » qui fonctionnait bien en pratique, l'ouvre et en explique les mécanismes, prouvant qu'il est sûr à utiliser et vous indiquant exactement comment le régler pour une vitesse maximale.

Résumé technique : Borne de convergence et taille de lot critique de l'optimiseur Muon

Énoncé du problème

Bien que l'optimiseur Muon ait démontré des performances empiriques solides en tant que successeur potentiel des optimiseurs standards comme AdamW, ses fondements théoriques restent sous-développés. La littérature existante manque de preuves de convergence formelles pour Muon, particulièrement dans les configurations pratiques impliquant le momentum de Nesterov et la décroissance du poids (weight decay). Ce document vise à combler ces lacunes en fournissant une analyse de convergence rigoureuse et en dérivant une borne inférieure pour la taille de lot critique de Muon.

Méthodologie

Les auteurs mènent une analyse théorique de Muon à travers quatre configurations pratiques :

Sans momentum de Nesterov et sans décroissance du poids.
Avec momentum de Nesterov et sans décroissance du poids.
Sans momentum de Nesterov et avec décroissance du poids.
Avec momentum de Nesterov et avec décroissance du poids.

Cadre théorique :

Analyse de convergence : Les auteurs dérivent des bornes supérieures sur la norme nucléaire moyenne attendue du gradient, $\frac{1}{T}\sum_{t=0}^{T-1} \mathbb{E}[\|\nabla f(W_t)\|_*]$ . Ils utilisent les hypothures standards de lissité $L$ et de variance bornée du gradient. Une innovation clé est l'analyse de la direction de recherche de Muon, obtenue par l'orthogonalisation d'une matrice de momentum $C_t$ . Les auteurs tiennent compte du rang de la matrice d'erreur de momentum ( $r_1$ ) et de la direction de recherche ( $r_2$ ), plutôt que de la dimension complète des paramètres.
Approximation de Newton-Schulz : Puisque Muon approxime pratiquement l'orthogonalisation via l'itération de Newton-Schulz plutôt qu'une SVD exacte, les auteurs analysent l'impact de cette erreur d'approximation ( $\delta(k)$ ) sur la convergence, montrant qu'elle n'introduit qu'un terme négligeable.
Dérivation de la taille de lot critique (CBS) : Les auteurs modélisent le nombre d'étapes d'entraînement $T$ nécessaires pour atteindre une précision cible $\epsilon$ en fonction de la taille de lot $b$ . En minimant la complexité SFO (Stochastic First-Order Oracle), soit $T \times b$ , ils dérivent une borne inférieure pour la taille de lot critique $b^*$ .

Validation expérimentale :
Les prédictions théoriques sont validées par une stratégie à deux niveaux :

Expériences Full-Muon contrôlées : Une tâche synthétique Enseignant-Étudiant où Muon met à jour tous les paramètres, correspondant strictement aux hypothèses théoriques.
Expériences hybrides à échelle pratique : Entraînement de ResNet-18/VGG-16 sur des jeux de données CIFAR et de Llama3.1 (320M) sur le corpus C4. Dans ces configurations, Muon est appliqué aux paramètres de forme matricielle tandis qu'AdamW gère le reste, reflétant un déploiement standard.

Contributions clés

1. Preuves de convergence pour quatre variantes

Le document établit des garanties de convergence pour les quatre variantes de Muon. Les bornes supérieures dérivées pour la norme de gradient moyenne attendue sont de l'ordre de :
$O\left(\frac{1}{\eta T} + \sqrt{\frac{(1-\beta)r_1}{b}} + \bar{r}\eta\right)$
(avec de légères variations pour les termes de Nesterov et de décroissance du poids).

Signification : Contrairement aux optimiseurs basés sur des vecteurs où la variance augmente avec le nombre total de paramètres, la borne de Muon dépend du rang $r_1$ de la matrice d'erreur de momentum. Les preuves empiriques suggèrent que $r_1 \ll n$ dans les régimes sur-paramétrés, impliquant une borne théorique plus serrée.
Norme nucléaire : L'analyse utilise la norme nucléaire, un critère plus strict que la norme de Frobenius utilisée dans de nombreuses analyses basées sur des vecteurs, suggérant que Muon respecte la structure matricielle intrinsèque des paramètres des réseaux de neurones.

2. Rôle de la décroissance du poids et stabilité

Les auteurs prouvent que l'incorporation de la décroissance du poids assure le caractère presque sûr borné des normes de paramètres ( $\|W_t\|_F$ ) et des normes de gradient ( $\|\nabla f(W_t)\|_F$ ) sans reposer sur l'hypothèse restrictive de gradients bornés.

Condition de stabilité : Ils dérivent une condition nécessaire pour la stabilité : le taux d'apprentissage $\eta$ et le coefficient de décroissance du poids $\lambda$ doivent satisfaire $\eta \leq 1/\lambda$ . Les résultats expérimentaux confirment que l'entraînement devient instable lorsque $\eta$ dépasse ce seuil.
Régularisation implicite : Bien que la décroissance du poids n'améliore pas l'ordre du taux de convergence asymptotique, elle fournit une régularisation implicite en bornant les normes, ce qui explique sa performance empirique supérieure.

3. Borne inférieure de la taille de lot critique (CBS)

Le document dérive une borne inférieure pour la taille de lot critique $b^*$ , montrant sa dépendance vis-à-vis des hyperparamètres :
$b^*_{\text{Muon}} > \frac{9(1-\beta)(1+\sqrt{2\beta})^2 r_1 \sigma^2}{(1-\lambda)^2 \epsilon^2}$

Dépendance aux hyperparamètres : La formule révèle que :
- Momentum ( $\beta$ ) : À mesure que $\beta \to 1$ , le terme $(1-\beta)$ s'annule, suggérant que la taille de lot critique diminue.
- Décroissance du poids ( $\lambda$ ) : Le facteur $1/(1-\lambda)^2$ indique qu'augmenter la décroissance du poids augmente la taille de lot critique.
- Rang ( $r_1$ ) : La borne est proportionnelle au rang de l'erreur de momentum, liant la CBS à la structure de bas rang des gradients.
Échelle qualitative : Les auteurs soulignent que la formule fournit une loi d'échelle qualitative plutôt qu'une prédiction absolue, car elle dépend de constantes spécifiques au problème ( $\sigma^2, r_1, \epsilon$ ). Cependant, le ratio de la CBS entre différentes variantes de Muon ne dépend que de $\beta$ et $\lambda$ .

Résultats

Résultats théoriques :

Le taux de convergence correspond aux méthodes standards de type SGD non-convexe ( $O(T^{-1/4})$ sous des programmes d'hyperparamètres spécifiques) mais avec un terme de variance plus serré dû à la dépendance au rang.
L'erreur d'approximation de Newton-Schulz a un effet limité sur la convergence, décroissant exponentiellement avec le nombre d'itérations.

Résultats expérimentaux :

Stabilité : Les expériences sur ResNet-18/CIFAR-10 valident la condition de stabilité $\eta \leq 1/\lambda$ . Les normes de gradient et la perte d'entraînement sont minimisées à proximité de cette limite.
Vitesse de convergence : Muon avec momentum de Nesterov et décroissance du poids atteint systématiquement la diminution la plus rapide de la perte et de la norme de gradient par rapport à AdamW, Momentum SGD et les autres variantes de Muon.
Validation de la taille de lot critique (CBS) :
- Effets des hyperparamètres : Les expériences confirment que l'ajout du momentum de Nesterov déplace la CBS vers des valeurs plus élevées, et que l'augmentation de la décroissance du poids augmente davantage la CBS. Par exemple, augmenter $\lambda$ de 0 à 0,5 a entraîné un décalage de la CBS de $\approx 1024$ à $\geq 4096$ , ce qui correspond à l'échelle prédite de $1/(1-\lambda)^2$ (ratio de 4,0).
- Échelle du rang : Faire varier la largeur du modèle a montré que le rang effectif $r_1$ évolue avec la largeur, et que le produit $r_1 \cdot \sigma^2$ reste relativement constant, expliquant pourquoi les valeurs empiriques de la CBS semblaient stables à travers les largeurs malgré la dépendance théorique au rang.
- Efficacité : Muon nécessite généralement moins d'étapes et une complexité SFO plus faible qu'AdamW, particulièrement pour des tailles de lots petites à modérées.

Signification et affirmations

Le document affirme fournir la première analyse de convergence rigoureuse de Muon qui intègre simultanément le momentum de Nesterov et la décroissance du poids, comblant ainsi une lacune dans la compréhension théorique de cet optimiseur émergent.

Aperçu théorique : Il démontre que la décroissance du poids n'est pas seulement un outil de régularisation, mais un mécanisme qui assure le caractère borné et la stabilité, supprimant le besoin d'hypothèses de gradients bornés.
Orientation pratique : La borne inférieure de la CBS dérivée offre des conseils exploitables pour les praticiens. Elle clarifie comment le réglage de $\beta$ et $\lambda$ affecte qualitativement la taille de lot optimale, suggérant que les configurations à haut momentum peuvent être entraînées efficacement avec des lots plus petits, tandis qu'une décroissance du poids plus élevée nécessite des lots plus grands pour maintenir l'efficacité.
Validation : Ce travail fait le pont entre théorie et pratique en validant ces prédictions à travers des charges de travail de vision et de modélisation de langage, confirmant que les lois d'échelle théoriques tiennent même dans des contextes d'optimisation hybrides où Muon n'est appliqué qu'aux paramètres de forme matricielle.

Les auteurs notent modestement que leur analyse sur une matrice unique ne modélise pas explicitement l'hétérogénéité par couche, mais ils soutiennent que la forte corrélation des échelles de bruit de gradient entre les couches soutient la généralisabilité de leurs conclusions. Ils reconnaissent également que bien que Muon surpasse Shampoo dans leurs expériences, dériver des bornes analogues pour Shampoo demeure un problème ouvert.