🤖 machine learning

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

Ce papier présente Pion, un optimiseur spectral passe-haut qui améliore Muon en supprimant les composantes de gradient bruyantes et en préservant la spécialisation par tête, permettant ainsi d'obtenir des performances et une stabilité supérieures dans l'entraînement vision-langage-action et l'apprentissage par renforcement avec récompenses vérifiables, domaines où Muon et AdamW peinent.

Auteurs originaux : Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Un Nouvel Optimiseur pour les Robots et le Raisonnement

Imaginez qu'entraîner une IA soit comme enseigner à un élève. Pendant longtemps, le meilleur professeur (optimiseur) pour les grands modèles de langage (LLM) était AdamW. Récemment, un nouveau professeur plus avancé, appelé Muon, est arrivé. Muon excelle dans la phase de « préentraînement » — où l'IA lit l'internet entier pour acquérir des connaissances générales. Muon fonctionne en traitant le cerveau de l'IA comme un instrument de musique, s'assurant que chaque note (direction mathématique) est jouée avec le même volume pour encourager une exploration audacieuse.

Cependant, les auteurs de ce papier ont découvert que Muon présente un défaut majeur lorsque vous essayez de l'utiliser pour deux tâches spécifiques et avancées :

Enseigner aux Robots (VLA) : Transformer un modèle de langage intelligent en un robot capable de voir, de parler et de bouger.
Enseigner les Mathématiques/la Logique (RLVR) : Utiliser des récompenses pour apprendre à une IA à résoudre des problèmes difficiles comme des énigmes mathématiques.

Dans ces nouveaux scénarios, Muon échoue souvent, provoquant des mouvements maladroits du robot ou faisant oublier à la résolveuse de mathématiques tout ce qu'elle avait appris. Les auteurs proposent un nouveau professeur appelé Pion qui résout ces problèmes.

Le Problème : Pourquoi Muon Échoue dans les Nouvelles Situations

Pour comprendre le problème, imaginez le processus d'apprentissage de l'IA comme un système audio avec de nombreux haut-parleurs (directions mathématiques).

1. Le Problème du Robot (Le Problème de « Rang Faible »)

Lors de l'entraînement d'un robot, la partie du cerveau qui contrôle les bras (le « module d'action ») est très simple. Il ne doit bouger que dans quelques directions spécifiques.

L'Analogie : Imaginez un chœur où seuls 3 chanteurs ont les bonnes paroles, mais où 97 ne font que fredonner du bruit aléatoire.
Ce que fait Muon : Muon agit comme un ingénieur du son qui monte le volume de chaque chanteur exactement au même niveau. Il rend les 3 bons chanteurs forts, mais il fait aussi exploser les 97 chanteurs bruyants au même volume. Le résultat ? Le robot est confus par le bruit et bouge de manière erratique.
La Solution : Vous avez besoin d'un système qui garde les bons chanteurs forts mais coupe le volume des bruyants.

2. Le Problème des Mathématiques (Le Problème de « Faible Rapport Signal/Bruit »)

Lorsqu'on enseigne à une IA à résoudre des problèmes mathématiques en utilisant des récompenses (RLVR), le retour d'information est très « bruyant ». L'IA devine, reçoit une récompense, et réessaie. Le signal (la véritable leçon de mathématiques) est faible, et le bruit (les devinettes aléatoires) est fort.

L'Analogie : Imaginez essayer d'entendre un chuchotement dans un ouragan.
Ce que fait Muon : Muon essaie de rendre le chuchotement et le vent de l'ouragan également forts. Cela noie complètement le chuchotement, provoquant un « effondrement » de l'IA qui arrête d'apprendre.
La Solution : Vous avez besoin d'un filtre qui amplifie le chuchotement mais bloque le vent de l'ouragan.

La Solution : Voici Pion

Les auteurs ont créé Pion (Optimisation Spectrale Haute-Passe sur le Moment). Considérez Pion comme un égaliseur audio intelligent que Muon avait oublié d'inclure.

Au lieu de monter le volume de tous les canaux de manière égale, Pion utilise un processus en deux étapes :

Promotion : Il booste les signaux importants et clairs (la « tête » du son).
Suppression : Il coupe activement les signaux bruyants et faibles (la « queue » du son).

Ceci s'appelle un filtre « Passe-Haut ». Tout comme un filtre passe-haut en musique coupe les basses graves et ronflantes pour laisser briller les voix claires, Pion coupe le bruit mathématique pour laisser briller les directions d'apprentissage utiles.

Caractéristiques Clés de Pion :

Remplacement Direct : Il s'intègre exactement là où Muon se trouve dans le code d'entraînement existant. Il ne nécessite ni plus de puissance informatique ni plus de temps ; il est tout aussi rapide.
Mode Par Tête : Pour les problèmes de mathématiques, Pion peut traiter différentes parties du cerveau de l'IA (appelées « têtes d'attention ») individuellement. C'est comme réaliser que certains élèves d'une classe sont bons en géométrie tandis que d'autres sont bons en algèbre, et leur donner des devoirs différents, plutôt que de traiter toute la classe comme un seul gros bloc.

Les Résultats : Les Robots et les Mathématiques Deviennent Plus Intelligents

Le papier a testé Pion dans deux domaines principaux :

1. Vrais Robots (VLA)

Le Test : Ils ont entraîné des robots à saisir des objets (comme des concombres ou des cubes) et à les placer dans des bols ou des assiettes.
Le Résultat :
- AdamW : Le robot a lutté, laissant souvent tomber les objets ou manquant sa cible.
- Muon : Le robot s'en est mieux sorti mais était encore saccadé et parfois entrait en collision avec des objets parce qu'il « écoutait » trop de bruit.
- Pion : Le robot était fluide et précis. Dans un test, Pion a atteint un taux de réussite de 100 % après 1 500 étapes, tandis que Muon n'obtenait que 97 % et AdamW seulement 32 %.
- Monde Réel : Ils ont même testé cela sur un vrai bras robotique physique (Franka Research 3), et Pion a encore gagné, saisissant et plaçant des objets de manière beaucoup plus fiable que les autres.

2. Raisonnement Mathématique (RLVR)

Le Test : Ils ont enseigné à des modèles d'IA (Qwen3) à résoudre des problèmes mathématiques (jeux de données MATH et GSM8K) en utilisant l'apprentissage par renforcement.
Le Résultat :
- Muon : Le modèle s'est effondré. Sa précision est tombée à presque zéro car le bruit a submergé le signal d'apprentissage.
- AdamW : Le modèle a appris lentement mais régulièrement.
- Pion : Le modèle a appris plus vite et a atteint une précision supérieure à AdamW, naviguant avec succès dans l'environnement mathématique bruyant.

Résumé

Le papier soutient que, bien que Muon soit un outil fantastique pour la phase initiale de « lecture » de l'entraînement de l'IA, il est trop « bruyant » et indiscriminé pour les tâches délicates de contrôle des robots ou de résolution de problèmes mathématiques. Pion est le nouvel outil qui agit comme un casque à réduction de bruit pour l'entraînement de l'IA : il maintient les signaux d'apprentissage importants clairs et forts tout en silenciant le bruit distrayant, conduisant à des robots plus intelligents et de meilleurs résolveurs de mathématiques sans ralentir quoi que ce soit.

Résumé technique : Repenser Muon au-delà du pré-entraînement

Énoncé du problème

L'article identifie les limitations fondamentales de Muon (MomentUm Orthogonalisé par Newton–Schulz), un optimiseur conscient des matrices ayant connu du succès dans le pré-entraînement des grands modèles de langage (LLM), lorsqu'il est appliqué à deux régimes d'entraînement émergents : l'entraînement Vision-Language-Action (VLA) et l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR).

Muon fonctionne en conduisant toutes les valeurs singulières de la matrice de moment vers 1 via des itérations de Newton–Schulz (NS), effectuant ainsi un blanchiment spectral uniforme. Bien que cela favorise l'exploration lors du pré-entraînement, les auteurs soutiennent qu'il induit un « désaccord spectral » dans les tâches en aval :

Dans l'entraînement VLA : Les gradients du module d'action sont intrinsèquement de faible rang (faible rang effectif, ou erank). Le blanchiment uniforme de Muon amplifie les directions de la queue bruyante (qui dominent le spectre de faible rang) jusqu'à la même magnitude que les valeurs singulières principales informatives, corrompant ainsi la mise à jour.
Dans le post-entraînement RLVR : Les gradients de politique présentent un faible rapport signal sur bruit (SNR) en raison des récompenses au niveau des trajectoires et des mécanismes de stabilisation (par exemple, le clipping, l'échantillonnage par importance). Le blanchiment uniforme de Muon amplifie ce bruit stochastique, conduisant à un effondrement de la politique. De plus, Muon traite les projections d'attention comme des blocs uniques, ignorant l'hétérogénéité par tête (échelles de mise à jour spécialisées) héritée du pré-entraînement.

Des variantes existantes comme Low-Rank Muon (LRMuon) abordent les problèmes de rang mais reposent sur des décompositions en valeurs singulières (SVD) ou des esquisses coûteuses en calcul, échouant à égaler l'évolutivité de Muon.

Méthodologie : Pion

Les auteurs proposent Pion (sPectral hIgh-pass Optimization on momeNtum), un remplacement direct de Muon qui conserve son efficacité computationnelle (coût par étape identique à Muon) mais remplace le blanchiment uniforme par un filtre passe-haut spectral.

Mécanisme central : Itération NS passe-haut

Pion réinvente l'itération NS comme une application polynomiale scalaire $f(\sigma)$ agissant sur les valeurs singulières normalisées $\sigma \in [0, 1]$ . Au lieu d'un seul polynôme conduisant tous les $\sigma \to 1$ , Pion divise les $k=5$ étapes NS en une séquence en deux étapes Promotion + Suppression :

Phase de Promotion ( $f_p$ ) : Appliquée pendant $k_p$ étapes. Ce polynôme est conçu pour amplifier de manière monotone les valeurs singulières, soulevant les directions informatives au-dessus d'un seuil de suppression tout en préservant leur ordre relatif. Les coefficients sont dérivés pour maximiser la pente à l'origine ( $a_p = 1.875$ ) tout en ancrant $\sigma=1$ .
Phase de Suppression ( $f_s$ ) : Appliquée pendant $k_s = k - k_p$ étapes. Ce polynôme ancre les valeurs singulières principales à 1 tout en conduisant les petites valeurs singulières bruyantes vers 0. Il impose une dérivée nulle à l'origine ( $f'_s(0)=0$ ) pour éliminer l'amplification linéaire du bruit.

La carte composite résultante crée un filtre passe-haut net : les valeurs singulières dominantes sont préservées (ancrées près de 1), tandis que la queue bruyante est supprimée (contractée vers 0). La force de la coupure est contrôlée par l'hyperparamètre $k_p$ (nombre d'étapes de promotion).

Mode par tête

Pour répondre à la limitation concernant la spécialisation des têtes d'attention, Pion introduit un mode par tête. Au lieu d'appliquer l'itération NS à toute la matrice de poids, il redimensionne les projections d'attention le long de la dimension de la tête et applique le NS passe-haut indépendamment à chaque tête. Cela préserve les échelles de mise à jour hétérogènes requises entre les têtes sans engendrer de coût computationnel supplémentaire au-delà d'un simple redimensionnement.

Contributions clés

Identification des défaillances spectrales : L'article est le premier à démontrer systématiquement que le blanchiment spectral uniforme de Muon est préjudiciable en VLA (en raison des gradients d'action de faible rang) et en RLVR (en raison des gradients à faible SNR), conduisant à des performances sous-optimales ou à un effondrement du modèle.
Optimiseur Pion : La proposition de Pion, qui redessine les itérations NS en un mécanisme en deux étapes Promotion+Suppression. Il atteint un effet passe-haut spectral au même coût computationnel que Muon, évitant les opérations SVD coûteuses.
Adaptation par tête : L'introduction d'un mode d'application par tête qui respecte l'hétérogénéité des têtes d'attention pré-entraînées, crucial pour un post-entraînement RLVR stable.
Validation empirique complète : Des expériences extensives montrant que Pion surpasse systématiquement AdamW et Muon dans divers contextes, y compris la simulation et le déploiement sur robot réel.

Résultats expérimentaux

Entraînement VLA (LIBERO & LIBERO-Plus)

Configuration : Entraînement de l'adaptateur VLA (régression $\ell_1$ ) et de VLANeXt (matching de flux) sur les suites LIBERO.
Constats :
- Pion surpasse systématiquement Muon et AdamW. Sur la tâche Object de LIBERO, Pion atteint un taux de réussite de 100 % après 1 500 étapes, contre 97,0 % pour Muon et 32,2 % pour AdamW.
- Pion démontre une convergence plus rapide et une plus grande robustesse sous des décalages de distribution (par exemple, bruit, perturbations du robot) dans le benchmark LIBERO-Plus.
- Évaluation sur robot réel : Sur un robot Franka Research 3 utilisant un backbone $\pi0.5$ , Pion a atteint un taux de réussite moyen de 85,6 % sur des tâches de saisie et de placement, surpassant significativement Muon (38,9 %) et AdamW (31,1 %).

Post-entraînement RLVR (Qwen3-1.7B/4B)

Configuration : Affinage des modèles Qwen sur MATH et GSM8K en utilisant les algorithmes GRPO et GMPO.
Constats :
- Effondrement de Muon : Muon échoue complètement dans les configurations RLVR, avec une précision chutant à près de zéro en raison de l'amplification du bruit.
- Succès de Pion : Pion récupère un signal d'entraînement significatif, surpassant AdamW sur toutes les tailles de modèles et tous les benchmarks. Par exemple, sur Qwen3-1.7B avec GRPO sur MATH, Pion réalise une croissance stable de la précision tandis que Muon s'effondre.
- Ablation : Une variante « Muon passe-bas » (LPMuon), qui filtre dans la direction opposée (gardant les petites valeurs, rejetant les grandes), échoue à entraîner, confirmant que la nature passe-haut de Pion est le facteur critique de succès.

Signification et affirmations

L'article affirme que Pion offre une solution directe et efficace en calcul aux problèmes de désaccord spectral inhérents à l'application de Muon à des régimes autres que le pré-entraînement. En remplaçant le blanchiment uniforme par un filtre passe-haut contrôlable, Pion stabilise l'entraînement dans des environnements bruyants (RLVR) et de faible rang (VLA) où Muon échoue.

Les auteurs soulignent que les avantages de Pion ne sont pas purement architecturaux mais découlent d'une correction fondamentale du biais inductif spectral de l'optimiseur. Le travail suggère que si l'exploration spectrale uniforme est bénéfique pour le pré-entraînement, la sélectivité spectrale (préserver le signal, supprimer le bruit) est essentielle pour une adaptation et un raisonnement efficaces en aval. Les résultats sur du matériel robotique réel valident en outre que ces améliorations algorithmiques se traduisent par des gains tangibles dans les performances des tâches physiques.