🤖 machine learning

Muon $^p$ : Muon with Fractional Spectral Powers

Le papier introduit Muon $^p$ , un nouvel optimiseur qui interpole entre Muon et la descente de gradient en appliquant des puissances spectrales fractionnaires aux valeurs singulières du gradient, en utilisant des récurrences bivariées efficaces pour approximer ces mises à jour et en démontrant une performance améliorée lors du fine-tuning de modèles à l'échelle du milliard tout en préservant les informations précieuses du spectre singulier.

Auteurs originaux : Yihe Dong, Will Sawin

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yihe Dong, Will Sawin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot géant et super intelligent (un réseau de neurones) comment parler, écrire du code ou résoudre des problèmes mathématiques. Pour l'enseigner, vous devez lui montrer des exemples et corriger ses erreurs. L'« optimiseur » est la méthode de l'enseignant pour décider comment ajuster le cerveau du robot après chaque erreur.

Le Problème : L'Enseignant « Tout ou Rien » (Muon)

Récemment, une méthode d'enseignement populaire appelée Muon est devenue célèbre. Voici comment elle fonctionne :

Imaginez que les erreurs du robot arrivent sous différentes « directions » ou « fréquences ». Certaines directions sont très fortes et évidentes (modes dominants), tandis que d'autres sont des chuchotements discrets (petites valeurs singulières).

Les anciens enseignants (comme la descente de gradient standard) criaient les corrections sur les directions fortes et ignoraient les chuchotements discrets.
Muon a décidé d'être un enseignant « plat ». Il a regardé toutes les directions et a dit : « Traitons-les toutes exactement de la même manière ! » Il a aplati le volume de chaque correction pour que les chuchotements discrets reçoivent autant d'attention que les cris forts.

Le Piège : Bien que cela soit excellent pour enseigner au robot à partir de zéro (pré-entraînement), cela supprime une information cruciale : quelle est la force réelle de chaque direction. Parfois, les directions fortes sont celles qui comptent vraiment, et aplatir leur volume revient à baisser le son d'une sirène juste parce que vous voulez entendre un chuchotement.

La Solution : L'Enseignant « Juste ce qu'il faut » (Muonp)

Les auteurs de ce document ont présenté Muonp. Voyez Muonp comme un enseignant qui trouve la zone « Goldilocks » (ni trop chaud, ni trop froid, mais juste ce qu'il faut).

Au lieu d'aplatir complètement le volume (comme Muon) ou de conserver la puissance d'origine (comme les enseignants standards), Muonp baisse le volume juste un peu. Il utilise un « variateur de lumière » mathématique (représenté par un nombre appelé p) pour conserver une partie de la force d'origine des directions fortes tout en donnant un coup de pouce aux directions discrètes.

Si p = 0 : C'est l'original Muon (aplatissement total).
Si p = 1 : C'est l'enseignant standard (aucun changement).
Si p se situe entre les deux (comme 1/3) : C'est Muonp. Il conserve la « forme » des corrections tout en les lissant.

La Partie Difficile : Le Tour de Magie Mathématique

Vous pourriez vous dire : « D'accord, baisse juste un peu le volume. » Mais dans le monde des matrices géantes (le cerveau du robot), faire ce calcul est incroyablement difficile. Habituellement, pour changer le volume de ces directions, vous devez démonter le cerveau, mesurer chaque partie, puis le remonter. C'est lent et coûteux.

Les auteurs ont prouvé que vous ne pouvez pas faire ce « réglage de volume » avec une recette simple en une seule étape. Vous avez besoin d'une recette plus complexe en deux étapes qui se souvient de la structure originale du cerveau tout en ajustant le volume.

Ils ont inventé une nouvelle recette rapide (utilisant des « récurrences polynomiales bivariées ») qui agit comme un raccourci magique. Cela permet à l'ordinateur de calculer ces corrections « modulées » en utilisant uniquement des multiplications de matrices standards — les mêmes puces mathématiques rapides (GPU) qui sont déjà construites pour cela. Cela signifie que Muonp est aussi rapide que Muon, mais plus intelligent.

Ce Qu'Ils Ont Découvert : Cela Dépend du Travail

Le document a testé ce nouvel enseignant sur des modèles à l'échelle du milliard et a trouvé une division fascinante des performances :

Lors de la construction d'un nouveau cerveau (Pré-entraînement) :
Si vous enseignez à un robot à partir de zéro, l'enseignant « plat » (Muon) est en fait meilleur. Vous voulez explorer toutes les directions de manière égale pour construire une base solide. Muonp, qui conserve les anciennes directions « fortes », était légèrement moins bon ici.
Lors de l'ajustement d'un expert (Fine-tuning) :
Si vous prenez un robot qui est déjà intelligent et que vous lui apprenez une nouvelle compétence spécifique (comme le codage ou les mathématiques), Muonp est le vainqueur.

Pourquoi ? À ce stade, le robot connaît déjà les bases. Les directions « fortes » sont celles qui comptent pour la nouvelle tâche. Muonp maintient l'attention sur ces directions importantes tout en aidant les directions discrètes.
Résultats : Sur des tâches comme le raisonnement mathématique, le codage et la compréhension du langage, Muonp a rendu le robot plus intelligent, plus rapide et plus précis que Muon et les enseignants standards.

L'Idée du « Curriculum »

Les auteurs ont également essayé une astuce ingénieuse : ils ont utilisé l'enseignant « plat » (Muon) pour la majeure partie de l'entraînement, puis sont passés à l'enseignant « avec variateur » (Muonp) pour les toutes dernières étapes. Cela a fonctionné de manière incroyable. C'est comme enseigner les bases à un étudiant avec un pinceau large, puis passer à un stylo à pointe fine pour les détails finaux.

Résumé

Muonp est une version plus intelligente et plus flexible de l'optimiseur Muon populaire. Il ne force pas toutes les directions d'apprentissage à être égales ; au lieu de cela, il ajuste doucement leur importance.

La Mathématique : Il utilise un raccourci intelligent et rapide pour calculer ces ajustements sans ralentir l'ordinateur.
Le Résultat : C'est l'outil idéal pour l'ajustement fin (fine-tuning) des grands modèles d'IA, aidant ces derniers à maîtriser des compétences spécifiques comme le codage et les mathématiques mieux que jamais. Cependant, pour l'entraînement à partir de zéro, l'original Muon « plat » reste le champion.

Résumé Technique : Muonp – Muon avec des Puissances Spectrales Fractionnaires

Énoncé du Problème

L'optimiseur Muon est apparu comme un outil puissant pour l'entraînement de réseaux de neurones profs, particulièrement pour les grands modèles de langage (LLM). Il fonctionne en remplaçant la matrice de gradient $G = USV^\top$ par son facteur polaire $UV^\top$ , ce qui aplatit efficacement le spectre des valeurs singulières. Cet « aplatissement du spectre » favorise un apprentissage équilibré entre les directions singulières et empêche les modes dominants de monopoliser les mises à jour d'entraînement.

Cependant, les auteurs identent une limitation critique de l'approche de Muon : l'aplatissement complet rejette toute l'information des valeurs singulières. Bien que cette uniformité soit bénéfique pour la découverte de caractéristiques larges lors du pré-entraînement, elle peut être sous-optimale pour les tâches d'adaptation (telles que le fine-tuning) où la magnitude des valeurs singulières encode quelles directions résiduelles sont les plus dignes d'être modifiées. La question centrale traitée par ce travail est la suivante : Pouvons-nous préserver les bénéfices spectraux de Muon au niveau de la matrice tout en conservant la structure de magnitude nécessaire à une adaptation efficace ?

Méthodologie

Formulation Théorique : Muonp

Les auteurs introduisent Muonp, une généralisation de l'optimiseur Muon qui met à jour les poids en utilisant des puissances spectrales fractionnaires :
$\text{Mise à jour} \propto US^pV^\top$
où $p \in (0, 1)$ est un nombre rationnel.

Interprétation Géométrique : Les auteurs prouvent (Théorème 2.1) que cette règle de mise à jour correspond à la direction de descente la plus raide sous la norme de Schatten $q$ , où $q = 1 + 1/p$ .
Interpolation :
- $p = 0$ : Correspond à Muon standard ( $UV^\top$ ), maximisant l'uniformité.
- $p = 1$ : Correspond à la descente de gradient standard ( $USV^\top = G$ ).
- $0 < p < 1$ : Interpole entre les deux, conservant une information de magnitude partielle.

Défi Algorithmique et Solution

Le calcul direct de $US^pV^\top$ nécessite une décomposition en valeurs singulières (SVD), ce qui est extrêmement coûteux pour les grands modèles. Les auteurs abordent le défi d'approximer cette mise à jour sans SVD explicite :

Impossibilité de l'Itération Univariée : Les auteurs prouvent (Lemme 2.2) qu'aucune itération polynomiale univariée fixe $S_{n+1} = f(S_n)$ ne peut converger vers $S^p$ pour un $p$ rationnel arbitraire. Contrairement au facteur polaire ( $p=0$ ), les puissances fractionnaires nécessitent que l'algorithme « se souvienne » de la matrice originale.
Récurrence Polynomiale Bivariée de Faible Degré : Pour résoudre cela, les auteurs dérivent des récurrences bivariées impaires de faible degré. L'algorithme calcule de manière itérative des matrices $G_n = US_nV^\top$ $G_{n} = U S_{n} V^{⊤}$ où les valeurs singulières évoluent via $S_{n+1} = f(S_n, S)$ $S_{n + 1} = f (S_{n}, S)$ .
- Le Théorème 2.3 démontre que pour tout polynôme bivarié impair $f(x, y)$ , le terme $Uf(S_n, S)V^\top$ peut être calculé en utilisant uniquement des multiplications de matrices et des transposées, préservant ainsi la structure de calcul de Muon.
- Le Théorème 2.4 établit l'existence de tels polynômes qui convergent vers $S^p$ pour tout $p \in (0, 1)$ rationnel.
Construction Explicite : Le papier fournit des formules explicites pour ces polynômes (par exemple, $f(x, y) = x + c(y - x^3)$ pour $p=1/3$ ). Les coefficients sont choisis pour garantir que $S^p$ est un point fixe attracteur.

Détails d'Implémentation

Complexité : La complexité de calcul reste en $O(\omega k N)$ , où $\omega$ est la complexité de la multiplication de matrices, $k$ est le nombre de multiplications par étape (dépendant du degré du polynôme), et $N$ est le nombre d'itérations. Muonp diffère de Muon que par un facteur constant dans le nombre de multiplications de matrices.
Stabilité : La méthode est numériquement stable lorsqu'elle est implémentée en bfloat16, ce qui la rend adaptée au matériel moderne.
Compatibilité avec le Curriculum : Puisque Muon ( $p=0$ ) est un cas particulier de Muonp, passer de l'un à l'autre pendant l'entraînement (par exemple, pré-entraînement avec Muon et fine-tuning avec Muonp) ne nécessite aucun réinitialisation d'état, seulement un changement de l'approximation polynomiale.

Contributions Clés

Optimiseur Muonp : Introduction d'un optimiseur généralisé calculant $US^pV^\top$ pour tout $p \in (0, 1)$ rationnel sans SVD explicite.
Limites Théoriques : Preuve que les puissances spectrales fractionnaires ne peuvent pas être calculées via des itérations polynomiales univariées fixes, nécessitant une nouvelle approche bivariée.
Algorithme Constructif : Dérivation de récurrences bivariées impaires de faible degré qui approchent les puissances fractionnaires tout en maintenant la structure de multiplication de matrices de Muon.
Validation Empirique : Démonstration que Muonp surpasse significativement Muon et AdamW dans les scénarios de fine-tuning pour le raisonnement mathématique, le code et les tâches en aval.
Analyse de la Géométrie Spectrale : Compréhension que la géométrie spectrale optimale dépend du régime : les mises à jour uniformes ( $p=0$ ) bénéficient au pré-entraînement, tandis que la préservation partielle ( $0 < p < 1$ ) bénéficie au fine-tuning.

Résultats Expérimentaux

Performance de Fine-tuning

Muonp démontre des améliorations constantes par rapport à Muon et AdamW lors du fine-tuning de modèles Llama3-1B et Llama3-3B :

Raisonnement Mathématique et Code : Sur GSM8K, Numina et OpenCodeInstruct, Muonp améliore la précision pass@8 et réduit la perte par rapport à Muon.
Perplexité : Muonp atteint une perplexité de validation plus faible sur les jeux de données Fineweb et Pile of Law.
Tâches en Aval : Muonp produit une précision plus élevée sur une suite de tests de raisonnement (PIQA, Winogrande, LAMBADA, etc.) par rapport à Muon et AdamW.
Inadéquation de l'Optimiseur : Même en pré-entraînant avec Muon (correspondant à l'optimiseur), Muonp surpasse Muon lors du fine-tuning, suggérant que le gain est fondamental pour la géométrie spectrale plutôt que simplement lié à la cohérence de l'optimiseur.

Dichotomie Pré-entraînement vs Fine-tuning

Le papier révèle une dichotomie distincte de performance basée sur la phase d'entraînement :

Pré-entraînement : Muon ( $p=0$ ) surpasse Muonp. Les auteurs soutiennent que le pré-entraînement bénéficie de l'« isotropisation » pour découvrir des caractéristiques larges et empêcher les directions dominantes de monopoliser les mises à jour.
Fine-tuning : Muonp ( $0 < p < 1$ ) surpasse Muon. Dans ce régime, le modèle possède une dimension intrinsèque faible, et la conservation de l'information des valeurs singulières aide à focaliser l'adaptation sur les directions résiduelles les plus pertinentes.
Expériences de Curriculum : Passer de Muon à Muonp dans les dernières étapes du pré-entraînement (un curriculum) produit des réductions immédiates de la perte, validant l'hypothèse selon laquelle l'augmentation de $p$ adapte le taux d'apprentissage effectif pour les directions singulières plus petites.

Temps d'Exécution

Muonp maintient un temps d'exécution comparable à celui de Muon. Par exemple, avec $p=1/3$ (récurrence cubique), Muonp est légèrement plus rapide que Muon (qui utilise une récurrence quintique pour $p=0$ dans certaines implémentations), avec des temps d'étape autour de 100–120ms sur des GPU H100.

Signification et Revendications

Le papier positionne Muonp comme une généralisation principielle de l'optimiseur Muon. Sa principale signification réside dans :

Combler le fossé : Il offre un moyen systématique d'interpoler entre l'uniformité de Muon et la sensibilité de magnitude de la descente de gradient, résolvant le compromis entre « aplatissement du spectre » et « rétention de la magnitude ».
Optimisation dépendante du régime : Il fournit la preuve que la « meilleure » géométrie spectrale n'est pas universelle ; le pré-entraînement nécessite un aplatissement complet, tandis que le fine-tuning nécessite un aplatissement partiel.
Efficacité Pratique : Il atteint ces bénéfices théoriques sans subir le coût de la SVD, maintenant la structure de multiplication de matrices, compatible avec le matériel, essentielle pour passer à l'échelle sur des modèles de milliards de paramètres.
Directions Futures : Les auteurs suggèrent que la sélection automatique du $p$ optimal pour des tâches spécifiques et l'intégration de Muonp dans les curriculums de pré-entraînement sont des voies prometteuses pour la recherche future.

Le travail conclut que la préservation du spectre singulier peut apporter des gains significatifs dans les scénarios d'adaptation, et que Muonp fournit un mécanisme efficace et fondé sur des principes pour y parvenir.