🤖 machine learning

When Does Muon Help Agentic Reinforcement Learning?

Cet article démontre que l'application de l'optimiseur Muon spécifiquement aux matrices de poids cachés lors de la Group-in-Group Policy Optimization surpasse de manière significative AdamW dans les tâches d'apprentissage par renforcement agentique à récompenses éparses, les gains de performance dépendant fortement de l'interaction entre l'estimateur d'avantage, le taux d'apprentissage et la stratégie d'optimisation de la politique.

Auteurs originaux : Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Publié 2026-07-20

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment naviguer dans une maison géante et désordonnée pour trouver un trésor caché. Le robot est un « cerveau » fait de code, et chaque fois qu'il fait un pas, il reçoit une petite poussée d'un enseignant lui indiquant si ce pas était bon ou mauvais. C'est le monde de l'Apprentissage par Renforcement (RL), où un agent apprend par essais et erreurs. L'« enseignant » dans cette histoire est un outil mathématique appelé optimiseur, qui décide à quel point le cerveau du robot doit changer après chaque erreur ou succès. Pendant des années, la méthode la plus populaire a été un système appelé AdamW, qui est comme un entraîneur prudent et régulier qui ajuste les pas du robot en fonction de la force du retour d'information.

Récemment, un nouvel entraîneur plus tape-à-l'œil nommé Muon est arrivé. Muon est célèbre pour être incroyablement rapide et efficace lorsqu'il enseigne aux robots à partir de zéro (un processus appelé pré-entraînement), accomplissant souvent la tâche avec moitié moins d'énergie. Mais voici la grande question : Muon fonctionne-t-il aussi bien lorsqu'il enseigne à un robot qui a déjà appris les bases et qui essaie maintenant de maîtriser une tâche spécifique et difficile ? Certains rapports préliminaires suggéraient que Muon pourrait être trop agressif pour cette étape de « fine-tuning » (ajustement fin), faisant oublier au robot ce qu'il savait ou le confondant avec le bruit. Ce document plonge dans ce mystère, testant si Muon peut être l'arme secrète pour enseigner aux agents comment résoudre des énigmes complexes à long terme où les récompenses sont rares et difficiles à trouver.

Le Duel des Optimiseurs

Dans le laboratoire, les chercheurs ont organisé une course à enjeux élevés. Ils ont pris un agent IA petit mais capable (basé sur le modèle Qwen2.5-0.5B-Instruct) et l'ont chargé de résoudre des énigmes dans ALFWorld, un environnement simulé où l'agent doit accomplir des tâches ménagères comme ramasser des objets, nettoyer ou chauffer des choses. Le piège ? L'agent ne reçoit une récompense de « succès » qu'à la toute fin d'une longue séquence d'actions, et il reçoit une pénalité pour chaque erreur commise en cours de route. C'est comme essayer de résoudre un labyrinthe où vous n'entendez « Vous avez gagné ! » que si vous atteignez la sortie, mais que vous recevez un « Bip ! » pour chaque mauvais tournant.

Pour voir si Muon pouvait aider, les chercheurs ne se sont pas contentés de jeter le robot dans le labyrinthe ; ils lui ont donné trois types différents de « coachs de feedback » (appelés estimateurs d'avantage) pour interpréter sa performance :

GRPO : Ce coach ne regarde que le résultat final. « As-tu gagné la partie ? Oui ? Bravo ! Non ? Réessaie. » Il ignore les étapes individuelles.
GiGPO : Ce coach est plus intelligent. Il regarde le résultat final mais aussi regroupe les moments où le robot a été confronté exactement à la même situation plusieurs fois. Il demande : « Quand tu étais devant le frigo, est-ce que tu l'as généralement ouvert correctement ? »
GraphGPO : Le coach le plus sophistiqué, qui cartographie tout le voyage sous forme de graphe, analysant à quel point chaque étape était proche de l'objectif.

La Découverte Surprenante

L'équipe a mené les expériences, opposant l'ancien et fiable coach AdamW au nouveau coach Muon. Ils ont gardé tout le reste exactement identique, changeant seulement l'optimiseur pour les poids « cachés » du cerveau du robot (les connexions internes complexes), tout en laissant les parties de base (comme le dictionnaire de mots) sur AdamW.

Les résultats étaient un mélange de « bof » et de « wow », dépendant entièrement du coach de feedback utilisé.

Le moment « Wow » : GiGPO
Lorsqu'ils ont utilisé le coach GiGPO, Muon a transformé le robot en un super-apprenant.

Avec le coach standard AdamW, le robot a réussi dans environ 29 % des tests finaux.
Avec Muon, ce chiffre a grimpé en flèche à 54,6 %.
Cela représente une amélioration relative de 88 %.
Plus impressionnant encore, alors que le robot AdamW s'effondrait complètement et ne parvenait plus à résoudre aucune tâche après un certain point, le robot Muon continuait d'apprendre et de réussir tout au long des 200 mises à jour.

Le moment « Bof » : GRPO
Lorsqu'ils ont utilisé le coach plus simple GRPO (qui ne s'intéresse qu'à la victoire finale), Muon a quand même aidé, mais pas de manière aussi spectaculaire. Il a amélioré le succès de 16,1 % à 26,8 %. C'était une victoire, mais le robot n'apprenait pas aussi vite ni aussi bien qu'avec GiGPO.

Le moment « Presque arrivé » : GraphGPO
Avec le coach super intelligent GraphGPO, le robot réussissait déjà très bien avec AdamW (environ 81 % de succès). Muon l'a poussé légèrement plus haut à 90,1 % avec un taux d'apprentissage spécifique, et il a appris à atteindre ce niveau de succès environ 30 à 60 étapes plus tôt qu'AdamW. Cependant, comme le robot était déjà proche du sommet, l'écart entre les deux coachs s'est réduit à mesure qu'ils approchaient de la ligne d'arrivée.

Pourquoi Muon a-t-il gagné ? (Et pourquoi il n'a pas toujours gagné)**

Les chercheurs ont une théorie sur la raison de ce résultat. Ils soupçonnent que cela a un rapport avec le bruit.

Imaginez que le cerveau du robot essaie de trouver un chemin à travers une forêt brumeuse.

AdamW est comme un randonneur qui suit le chemin le plus fort et le plus bruyant. Si le brouillard est épais (bruit élevé), il peut rester coincé ou s'égarer.
Muon est comme un randonneur qui aplatit le terrain, rendant les chemins faibles et silencieux aussi visibles que les chemins bruyants. C'est excellent si les chemins silencieux mènent réellement quelque part d'utile.

Le document suggère que dans la configuration GRPO (tâches à tour unique, faible récompense), les « chemins silencieux » ne sont principalement que du bruit aléatoire. L'effet d'aplatissement de Muon amplifie ce bruit, ce qui explique pourquoi il échoue ou peine parfois dans d'autres études. Cependant, dans la configuration GiGPO, le feedback « au niveau de l'étape » agit comme un phare. Il filtre le bruit et met en évidence les directions réellement utiles. Parce que GiGPO fournit des signaux plus clairs sur quelles étapes spécifiques étaient bonnes, la capacité de Muon à amplifier les signaux faibles devient un super-pouvoir plutôt qu'une malédiction.

Ce que l'étude écarte

Il est important de noter ce que cette étude n'a pas trouvé. Les chercheurs ont testé si le succès était simplement dû au fait que Muon utilisait un « taux d'apprentissage » (une taille de pas) plus élevé. Ils ont essayé d'augmenter la vitesse d'AdamW pour égaler le rythme de Muon, mais le robot s'est immédiatement effondré et a échoué. Cela prouve que le succès de Muon n'était pas seulement dû au fait de faire de plus grands pas ; c'était une question de manière dont il calculait ces pas.

De plus, le document ne prétend pas que Muon est la solution parfaite pour tout. En fait, il note explicitement que dans d'autres types de tâches (comme les problèmes mathématiques à tour unique), Muon a échoué par le passé. Le succès ici est spécifique aux tâches à long terme et à récompense éparse où le feedback est structuré soigneusement (comme avec GiGPO).

L'essentiel à retenir

Ce document suggère que Muon est un outil puissant pour l'apprentissage par renforcement agentique, mais seulement lorsqu'il est associé au bon type de feedback.

Si vous enseignez à une IA à résoudre des énigmes complexes à plusieurs étapes, simplement remplacer le système par Muon ne suffira peut-être pas. Vous avez besoin d'un système de feedback (comme GiGPO) qui décompose le problème en morceaux plus petits et plus clairs. En combinant la capacité de Muon à voir les chemins utiles « silencieux » avec la capacité de GiGPO à filtrer le bruit, l'IA apprend de manière nettement plus rapide et résout plus d'énigmes.

Les auteurs admettent qu'il s'agit d'une étude « exploratoire » utilisant une seule graine (un seul essai de l'expérience), et que des tests supplémentaires sont nécessaires pour voir si ce schéma se maintient sur différents modèles et tâches. Mais les résultats sont prometteurs : en ajustant l'optimiseur et le système de feedback ensemble, nous pourrions construire des agents d'IA qui sont bien meilleurs pour naviguer dans le monde réel et complexe.

Résumé Technique : Quand le Muon est-il bénéfique pour l'Apprentissage par Renforcement Agentique ?

Énoncé du Problème

Bien que le Muon ait démontré des performances compétitives face à AdamW lors du pré-entraînement à grande échelle (égalant la perte finale avec environ 52 % des FLOPs d'entraînement à des échelles de milliards de paramètres), son efficacité dans le post-entraînement par Apprentissage par Renforcement (RL) reste une question ouverte. La littérature existante présente des preuves mitigées : certains rapports suggèrent des améliorations mineures, tandis que d'autres indiquent que le Muon classique échoue sous le régime RLVR (Reinforcement Learning from Verifiable Rewards) avec des objectifs de type GRPO, attribuant cet échec au blanchiment spectral qui amplifie le bruit dans les gradients de politique à faible rapport signal sur bruit (SNR). De plus, des études sur le réglage fin supervisé (SFT) suggèrent que le passage d'un optimiseur d'Adam à Muon peut perturber les compromis apprentissage-oubli, particulièrement à des taux d'apprentissage élevés.

Le problème central abordé est de déterminer si la viabilité du Muon en post-entraînement RL dépend de la structure de l'estimateur d'avantage, spécifiquement dans les scénarios de RL agentique à horizon long et à récompenses éparses, où l'attribution de crédit est difficile.

Méthodologie

Les auteurs mènent une étude contrôlée à graine unique comparant le Muon classique à AdamW sur l'environnement ALFWorld en utilisant un modèle Qwen2.5-0.5B-Instruct. Le plan expérimental isole l'effet de l'optimiseur en faisant varier la structure de l'estimateur d'avantage tout en maintenant les autres hyperparamètres constants.

Configuration Expérimentale

Modèle : Qwen2.5-0.5B-Instruct.
Environnement : ALFWorld (tâches domestiques incarnées avec des récompenses terminales éparses et des pénalités pour actions invalides).
Optimiseurs :
- Muon : Appliqué exclusivement aux matrices de poids cachés 2D (poids d'attention et MLP) en utilisant des itérations de Newton–Schulz pour une normalisation spectrale approximative. Les paramètres non matriciels (embeddings, normes) utilisent AdamW.
- AdamW : Appliqué à tous les paramètres comme référence (baseline).
Estimateurs d'Avantage : Trois structures distinctes d'attribution de crédit sont testées :
1. GRPO : Utilise uniquement des avantages au niveau de l'épisode.
2. GiGPO (Group-in-Group Policy Optimization) : Combine des avantages au niveau de l'épisode avec un terme au niveau de l'étape dérivé du regroupement d'actions effectuées à partir d'« états ancres » répétés à travers les trajectoires.
3. GraphGPO : Agrège les rollouts en un graphe de transition d'état unifié, attribuant le crédit au niveau de la transition basé sur la distance de l'état successeur vers l'objectif.

Contrôles Clés

Sensibilité au Taux d'Apprentissage : L'étude teste le Muon à $3 \times 10^{-5}$ et $10^{-5}$ , en les comparant aux bases AdamW à $10^{-6}$ et aux contrôles à taux élevé à $10^{-5}$ et $3 \times 10^{-5}$ .
Ablation : Une ablation appariée $2 \times 2$ sur GiGPO désactive le terme de crédit au niveau de l'étape ( $\omega=0$ ) pour isoler la contribution des avantages au niveau de l'étape.
Métriques : Succès de validation en fenêtre finale (étapes 175–200), AUC de validation normalisée (efficacité de l'apprentissage), et dynamique d'entraînement (perte KL, normes de gradient, entropie).

Résultats Clés

1. Gains Significatifs avec GiGPO

Sous GiGPO, l'application du Muon aux matrices de poids cachés produit l'amélioration la plus spectaculaire :

Taux de Succès : Le succès de validation en fenêtre finale passe de 0,290 (AdamW) à 0,546 (Muon), soit une amélioration relative de 88 %.
Efficacité de l'Apprentissage : Le Muon atteint un succès de 0,5 vingt étapes avant AdamW (à l'étape 155 contre 175).
Stabilité : Alors que les contrôles AdamW à haut taux ( $10^{-5}$ et $3 \times 10^{-5}$ ) perdent tout succès de validation après les premières étapes (tombant à 0,000), le Muon à $3 \times 10^{-5}$ conserve le succès de la tâche à travers les 200 mises à jour sans défaillance catastrophique.

2. Performance Variable selon les Estimateurs

Le bénéfice du Muon n'est pas uniforme à travers toutes les structures d'attribution de crédit :

GRPO : Le Muon améliore le succès en fin de fenêtre (0,161 à 0,268) mais montre un gain minimal dans l'efficacité d'apprentissage de la trajectoire complète (l'AUC normalisée augmente seulement de 0,08 à 0,09).
GraphGPO : À $3 \times 10^{-5}$ , l'écart en fin de fenêtre se réduit à mesure que les courbes approchent de la saturation (0,83 contre 0,81). Cependant, à un taux plus bas ( $10^{-5}$ ), le Muon améliore considérablement l'efficacité de l'apprentissage, faisant passer l'AUC normalisée de 0,40 à 0,56 et atteignant les seuils de succès 30 à 60 mises à jour plus tôt.

3. Taux d'Apprentissage et Crédit au Niveau de l'Étape

Taux d'Apprentissage : Les gains ne sont pas simplement le résultat d'une taille de pas effective plus grande. Les contrôles AdamW à haut taux échouent complètement, tandis que le Muon réussit à $3 \times 10^{-5}$ .
Crédit au Niveau de l'Étape : L'étude d'ablation montre que le Muon améliore la performance tant avec ( $\omega=1$ ) qu'en l'absence ( $\omega=0$ ) de crédit au niveau de l'étape. Cependant, la combinaison du crédit au niveau de l'étape et du Muon produit les plus grands gains, suggérant qu'ils sont complémentaires.

Contributions Clés

Étude Contrôlée à Graine Unique : Fournit la première comparaison appariée de Muon classique vs AdamW dans un contexte de RL agentique à horizon long et à récompenses éparses, démontant une amélioration relative de 88 % des taux de succès sous GiGPO.
Découplage du Taux d'Apprentissage : Montre que les gains de performance ne sont pas reproductibles en augmentant simplement le taux d'apprentissage d'AdamW, car les contrôles AdamW à haut taux ne parviennent pas à maintenir le succès de la tâche.
Analyse Dépendante de l'Estimateur : Établit que l'efficacité du Muon varie selon l'estimateur d'avantage, les plus grands gains étant observés dans les estimateurs incorporant du crédit au niveau de l'étape ou de la transition (GiGPO et GraphGPO) par rapport aux estimateurs purs au niveau de l'épisode (GRPO).
Hypothèse du SNR du Gradient : Propose que le succès du Muon dépend du rapport signal sur bruit du spectre du gradient. Les auteurs conjecturent que les estimateurs fournissant des contrastes par état (comme GiGPO) peuvent améliorer la fiabilité des directions de gradient faibles, permettant au lissage spectral du Muon d'être bénéfique plutôt que d'amplifier le bruit.

Signification et Revendications

L'article affirme que le Muon peut considérablement bénéficier au RL agentique, mais que son utilité est contingente sur la conception conjointe de l'optimiseur de politique et de l'estimateur d'avantage. Les résultats défient l'idée que le Muon est universellement inapproprié pour le RL, suggérant plutôt que son échec dans les études RLVR précédentes pourrait être dû à la structure spécifique de l'estimation d'avantage au niveau de l'épisode dans les régimes à faible SNR.

Les auteurs soulignent que leurs conclusions sont exploratoires et basées sur une seule graine et une taille de modèle spécifique (0,5B). Ils ne revendiquent pas d'applicabilité universelle, mais visent à motiver des recherches supplémentaires sur l'interaction entre les optimiseurs et les mécanismes d'attribution de crédit. L'étude suggère que les travaux futurs devraient examiner directement le SNR du gradient et explorer si la combinaison du Muon avec un filtrage spectral de normalisation de la variance ou passe-haut (comme proposé dans d'autres travaux tels que Hopper et Pion) pourrait stabiliser davantage l'entraînement.

L'article conclut que bien que le Muon soit prometteur, une validation plus large à travers plusieurs graines, modèles et environnements est nécessaire pour déterminer la cohérence de ces schémas.