🤖 machine learning

When Does Muon Help Agentic Reinforcement Learning?

Dit artikel toont aan dat het specifiek toepassen van de Muon-optimizer op verborgen gewichtsmatrices tijdens Group-in-Group Policy Optimization significant beter presteert dan AdamW in sparse-reward agentic RL-taken, waarbij de prestatiewinst sterk afhankelijk is van de wisselwerking tussen de advantage estimator, de leersnelheid en de beleidsoptimalisatiestrategie.

Oorspronkelijke auteurs: Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Gepubliceerd 2026-07-20

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om door een gigantisch, rommelig huis te navigeren om een verborgen schat te vinden. De robot is een "brein" gemaakt van code, en elke keer dat hij een stap zet, krijgt hij een klein duwtje van een leraar die hem vertelt of die stap goed of slecht was. Dit is de wereld van Reinforcement Learning (RL), waar een agent leert door middel van trial-and-error. De "leraar" in dit verhaal is een wiskundig hulpmiddel genaamd een optimizer, die beslist hoeveel het brein van de robot moet veranderen na elke fout of succes. Jarenlang was de meest populaire leraar een methode genaamd AdamW, wat een soort zorgvuldige, gestage coach is die de stappen van de robot aanpast op basis van hoe luid de feedback was.

Onlangs arriveerde er een nieuwe, flitsende coach genaamd Muon. Muon staat bekend om het feit dat het ongelooflijk snel en efficiënt is bij het vanaf nul leren van robots (een proces dat pre-training wordt genoemd), waarbij het de taak vaak met de helft van de energie volbrengt. Maar hier komt de grote vraag: werkt Muon net zo goed wanneer het een robot leert die de basis al beheerst en nu probeert een specifieke, moeilijke taak te beheersen? Sommige vroege rapporten suggereerden dat Muon te agressief zou zijn voor deze "fine-tuning"-fase, waardoor de robot zou vergeten wat hij wist of in de war zou raken door de ruis. Dit artikel duikt in dat mysterie en onderzoekt of Muon het geheime wapen kan zijn voor het leren van agents om complexe, langdurige puzzels op te lossen waarbij beloningen zeldzaam en moeilijk te vinden zijn.

De Grote Optimizer Showdown

In het laboratorium zetten de onderzoekers een race met hoge inzet op. Ze namen een kleine maar capabele AI-agent (gebaseerd op het Qwen2.5-0.5B-Instruct model) en gaven hem de opdracht om puzzels op te lossen in ALFWorld, een gesimuleerde omgeving waarin de agent huishoudelijke taken moet uitvoeren zoals het oppakken van objecten, schoonmaken of dingen opwarmen. De crux? De agent krijgt pas een "succes"-beloning aan het einde van een lange reeks acties, en krijgt een straf voor alles wat hij fout doet onderweg. Het is also kind als je een doolhof probeert op te lossen waarbij je alleen "Je hebt gewonnen!" hoort als je de uitgang bereikt, maar een "Buzz!" krijgt voor elke verkeerde afslag.

Om te zien of Muon kon helpen, gaven de onderzoekers de robot niet zoma aantienlijk een doolhof; ze gaven hem drie verschillende soorten "feedback-coaches" (genaamd advantage estimators) om zijn prestaties te interpreteren:

GRPO: Deze coach kijkt alleen naar het eindresultaat. "Heb je het spel gewonnen? Ja? Goed gedaan! Nee? Probeer het opnieuw." Het negeert de individuele stappen.
GiGPO: Deze coach is slimmer. Hij kijkt naar het eindresultaat maar groepeert ook momenten waarop de robot precies dezelfde situatie meerdere keren tegenkwam. Hij vraagt: "Toen je voor de koelkast stond, heb je hem dan meestal correct geopend?"
GraphGPO: De meest geavanceerde coach, die de hele reis in kaart brengt als een graaf, waarbij hij analyseert hoe dicht elke enkele stap bij het doel was.

De Verrassende Ontdekking

Het team voerde de experimenten uit, waarbij ze de betrouwbare oude AdamW-coach tegenover de nieuwe Muon-coach zetten. Ze hielden alles anders exact hetzelfde, behalve dat ze de optimizer vervingen voor de "verborgen" breingewichten van de robot, terwijl ze de basisdelen (zoals het woordenboek) op AdamW lieten staan.

De resultaten waren een mix van "meh" en "wow", afhankelijk van welke feedback-coach werd gebruikt.

Het "Wow"-moment: GiGPO
Wanneer ze de GiGPO-coach gebruikten, veranderde Muon de robot in een super-learner.

Met de standaard AdamW-coach slaagde de robot in ongeveer 29% van de uiteindelijke testruns.
Met Muon schoot dat aantal omhoog naar 54,6%.
Dat is een relatieve verbetering van 88%.
Nog indrukwekkender: terwijl de AdamW-robot op een bepaald punt volledig crashte en geen enkele taak meer oploste, bleef de Muon-robot leren en succesvol zijn tot en met 200 updates.

Het "Meh"-moment: GRPO
Wanneer ze de simpelere GRPO-coach gebruikten (die alleen om de uiteindelijke overwinning geeft), hielp Muon nog steeds, maar niet zo spectaculair. Het verbeterde het succes van 16,1% naar 26,8%. Het was een winst, maar de robot leerde niet zo snel of zo goed als met GiGPO.

Het "Bijna Daar"-moment: GraphGPO
Met de superintelligente GraphGPO-coach deed de robot het al erg goed met AdamW (rond de 81% succes). Muon duwde het iets hoger naar 90,1% bij een specifieke learning rate, en de robot leerde dit succesniveau ongeveer 30 tot 60 stappen eerder te bereiken dan AdamW. Echter, omdat de robot al bijna aan de top zat, werd de kloof tussen de twee coaches kleiner naarmate ze dichter bij de finish kwamen.

Waarom won Muon? (En waarom niet altijd?)

De onderzoekers hadden een theorie over waarom dit gebeurde. Ze vermoedden dat het te maken had met ruis.

Stel je voor dat het brein van de robot een pad probeert te vinden door een mistig bos.

AdamW is als een wandelaar die het sterkste, luidste pad volgt. Als de mist dik is (hoge ruis), kan hij vast komen te zitten of verdwalen.
Muon is als een wandelaar die het terrein afvlakt, waardoor de zwakke, stille paden net zo zichtbaar worden als de luide paden. Dit is geweldig als de stille paden daadwerkelijk ergens nuttigs naartoe leiden.

Het paper suggereert dat in de GRPO-opstelling (single-turn, low-reward taken), de "stille paden" voornamelijk willekeurige ruis zijn. Het afvlakkingseffect van Muon versterkt deze ruis, wat is waarom het in andere studies soms faalt of moeite heeft. Echter, in de GiGPO-opstelling fungeert de "stap-niveau" feedback als een vuurtoren. Het filtert de ruis eruit en benadrukt de echt nuttige richtingen. Omdat GiGPO duidelijkere signalen geeft over welke specifieke stappen goed waren, wordt het vermogen van Muon om zwakke signalen te versterken een superkracht in plaats van een vloek.

Wat het Paper Uitsluit

Het is belangrijk om op te merken wat deze studie niet heeft gevonden. De onderzoekers testten of het succes simpelweg kwam doordat Muon een hogere "learning rate" (een grotere stapgrootte) gebruikte. Ze probeerden de snelheid van AdamW op te voeren om het tempo van Muon te evenaren, maar de robot crashte onmiddellijk en faalde. Dit bewijst dat het succes van Muon niet alleen ging over het nemen van grotere stappen; het ging over hoe het die stappen berekende.

Ook beweert het paper niet dat Muon de perfecte oplossing is voor alles. Sterker nog, het merkt expliciet op dat Muon in andere soorten taken (zoals single-turn wiskundeproblemen) in het verleden heeft gefaald. Het succes hier is specifiek voor long-horizon, sparse-reward taken waarbij de feedback zorgvuldig gestructureerd is (zoals met GiGPO).

De Kern van het Verhaal

Dit paper suggereert dat Muon een krachtig hulpmiddel is voor agentic Reinforcement Learning, maar alleen wanneer het gepaard gaat met het juiste soort feedback.

Als je een AI leert om complexe, meerstaps puzzels op te lossen, is het simpelweg vervangen door Muon misschien niet genoeg. Je hebt een feedbacksysteem nodig (zoals GiGPO) dat het probleem opdeelt in kleinere, duidelijkere stukken. Wanneer je de mogelijkheid van Muon om de "stille" nuttige paden te zien combineert met het vermogen van GiGPO om de ruis te filteren, leert de AI aanzienlijk sneller en lost hij meer puzzels op.

De auteurs geven toe dat dit een "exploratieve" studie is met een enkele seed (één run van het experiment), dus is er meer testen nodig om te zien of dit patroon standhoudt bij verschillende modellen en taken. Maar de resultaten zijn veelbelovend: door de optimizer en het feedbacksysteem samen af te stemmen, kunnen we wellicht AI-agents bouwen die veel beter zijn in het navigeren door de chaotische, echte wereld.

Technische Samenvatting: Wanneer helpt Muon bij Agentic Reinforcement Learning?

Probleemstelling

Hoewel Muon een competitieve prestatie heeft laten zien tegenover AdamW bij grootschalige pre-training (het matchen van de uiteindelijke loss met ongeveer 52% van de trainings-FLOPs op miljarden-parameter schaal), blijft de effectiviteit ervan in Reinforcement Learning (RL) post-training een open vraag. Bestaande literatuur presenteert gemengde bewijzen: sommige rapporten suggereren kleine verbeteringen, terwijl andere aangeven dat vanilla Muon faalt onder RLVR (Reinforcement Learning from Verifiable Rewards) met GRPO-stijl doelstellingen, waarbij de oorzaak wordt toegeschreven aan spectrale whitening die ruis versterkt in scenario's met een lage signaal-ruisverhouding (SNR) in de policy gradients. Bovendien suggereren studies naar supervised fine-tuning (SFT) dat het wisselen van optimizers van Adam naar Muon de leer-vergetelheid-tradeoffs kan verstoren, met name bij hogere leersnelheden.

Het kernprobleem dat wordt aangepakt, is of de levensvatbaarheid van Muon in RL post-training afhangt van de structuur van de advantage estimator, specifiek in langdurige, sparse-reward agentic RL-scenario's waar credit assignment uitdagend is.

Methodologie

De auteurs voeren een gecontroleerde, single-seed studie uit waarin vanilla Muon wordt vergeleken met AdamW op de ALFWorld-omgeving met een Qwen2.5-0.5B-Instruct model. Het experimentele ontwerp isoleert het effect van de optimizer door de structuur van de advantage estimator te variëren terwijl andere hyperparameters constant worden gehouden.

Experimentele Opzet

Model: Qwen2.5-0.5B-Instruct.
Omgeving: ALFWorld (belichaamde huishoudelijke taken met sparse terminal rewards en straffen voor ongeldige acties).
Optimizers:
- Muon: Exclusief toegepast op 2D hidden weight matrices (attention en MLP weights) met behulp van Newton–Schulz iteraties voor benaderende spectrale normalisatie. Niet-matrix parameters (embeddings, norms) gebruiken AdamW.
- AdamW: Toegepast op alle parameters als baseline.
Advantage Estimators: Drie verschillende credit-assignment structuren worden getest:
1. GRPO: Gebruikt alleen episode-level advantages.
2. GiGPO (Group-in-Group Policy Optimization): Combineert episode-level advantages met een step-level term afgeleid van het groeperen van acties genomen vanuit herhaalde "anchor states" over trajecten heen.
3. GraphGPO: Aggregeert rollouts in een verenigde state-transition graaf, waarbij transition-level credit wordt toegewezen op basis van de afstand van de successor-state tot het doel.

Belangrijke Controles

Leersnelheid Gevoeligheid: De studie test Muon bij $3 \times 10^{-5}$ en $10^{-5}$ , vergeleken met AdamW baselines bij $10^{-6}$ en high-rate controles bij $10^{-5}$ en $3 \times 10^{-5}$ .
Ablatie: Een gematchte $2 \times 2$ ablatie op GiGPO schakelt de step-level credit term uit ( $\omega=0$ ) om de bijdrage van step-level advantages te isoleren.
Metrics: Final-window validatie succes (stappen 175–200), genormaliseerde validatie AUC (leer-efficiëntie), en trainingsdynamiek (KL loss, gradient norms, entropie).

Belangrijkste Resultaten

1. Significante Winst met GiGPO

Onder GiGPO levert het toepassen van Muon op de hidden weight matrices de meest dramatische verbetering op:

Succesratio: De final-window validatie succes stijgt van 0,290 (AdamW) naar 0,546 (Muon), een relatieve verbetering van 88%.
Leer-efficiëntie: Muon bereikt 0,5 succes 20 stappen eerder dan AdamW (bij stap 155 vs. 175).
Stabiliteit: Terwijl high-rate AdamW controles ( $10^{-5}$ en $3 \times 10^{-5}$ ) al na de initiële stappen alle validatie succes verliezen (dalend naar 0,000), behoudt Muon bij $3 \times 10^{-5}$ de taaksucces gedurende alle 200 updates zonder catastrofale mislukking.

2. Variabele Prestaties over Estimators

Het voordeel van Muon is niet uniform over alle credit-assignment structuren:

GRPO: Muon verbetert de late-window success (0,161 naar 0,268) maar laat minimale winst zien in de volledige-traject leer-efficiëntie (genormaliseerde AUC stijgt slechts van 0,08 naar 0,09).
GraphGPO: Bij $3 \times 10^{-5}$ wordt de late-window kloof kleiner naarmate de curves verzadiging naderen (0,83 vs. 0,81). Echter, bij een lagere rate ( $10^{-5}$ ), verbetert Muon de leer-efficiëntie aanzienlijk, waarbij de genormaliseerde AUC stijgt van 0,40 naar 0,56 en succes-drempels 30–60 updates eerder wordt bereikt.

3. Leersnelheid en Step-Level Credit

Leersnelheid: De winsten zijn niet louter het result van een grotere effectieve stapgrootte. High-rate AdamW controles falen volledig, terwijl Muon slaagt bij $3 \times 10^{-5}$ .
Step-Level Credit: De ablatie-studie laat zien dat Muon de prestaties verbetert zowel met ( $\omega=1$ ) als zonder ( $\omega=0$ ) step-level credit. Echter, de combinatie van step-level credit en Muon levert de grootste winsten op, wat suggereert dat ze complementair zijn.

Kernbijdragen

Gecontroleerde Single-Seed Studie: Biedt de eerste gematchte vergelijking van vanilla Muon vs. AdamW in langdurige, sparse-reward agentic RL, wat een 88% relatieve verbetering in succesratio's laat zien onder GiGPO.
Leersnelheid Ontkoppeling: Toont aan dat de prestatiewinsten niet reproduceerbaar zijn door simpelweg de AdamW leersnelheid te verhogen, aangezien high-rate AdamW controles geen taaksucces behouden.
Estimator-Afhankelijke Analyse: Stelt vast dat de effectiviteit van Muon varieert per advantage estimator, met de grootste winsten in estimators die gebruikmaken van step-level of transition-level credit (GiGPO en GraphGPO) vergeleken met pure episode-level estimators (GRPO).
Gradient SNR Hypothese: Stelt voor dat het succes van Muon afhangt van de signaal-ruisverhouding van het gradiëntspectrum. De auteurs vermoeden dat estimators die per-state contrasten bieden (zoals GiGPO) de betrouwbaarheid van zwakke gradiëntrichtingen kunnen verbeteren, waardoor de spectrale flattening van Muon nuttig is in plaats van ruis te versterken.

Betekenis en Claims

Het artikel claimt dat Muon aanzienlijk kan profiteren bij agentic RL, maar dat de bruikbaarheid ervan afhankelijk is van het gezamenlijke ontwerp van de policy optimizer en de advantage estimator. De resultaten dagen het idee uit dat Muon universeel ongeschikt is voor RL, en suggereren in plaats daarvan dat de mislukking in eerdere RLVR-studies mogelijk te wijten is aan de specifieke structuur van episode-level advantage estimatie in lage-SNR regimes.

De auteurs benadrukken dat hun bevindingen exploratief zijn en gebaseerd op een enkele seed en een specifiek modelformaat (0.5B). Zij claimen geen universele toepasbaarheid, maar motiveren eerder verder onderzoek naar de interactie tussen optimizers en credit-assignment mechanismen. De studie suggereert dat toekomstig werk de gradient SNR direct moet onderzoeken en moet verkennen of het combineren van Muon met variance-normalized of high-pass spectral filtering (zoals voorgesteld in andere werken zoals Hopper en Pion) de training verder kan stabiliseren.

Het artikel concludeert dat hoewel Muon veelbelovend lijkt, bredere validatie over meerdere seeds, modellen en omgevingen vereist is om de consistentie van deze patronen te bepalen.