🤖 machine learning

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

Dit artikel introduceert Pion, een hoogdoorlaat spectrale optimizer die Muon verbetert door ruisachtige gradiëntcomponenten te onderdrukken en per-head specialisatie te behouden, waardoor superieure prestaties en stabiliteit worden bereikt in visie-taal-actie training en versterkingsleren met verifieerbare beloningen waar Muon en AdamW tekortschieten.

Oorspronkelijke auteurs: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Nieuwe Optimizer voor Robots en Redenering

Stel je voor dat het trainen van een AI lijkt op het onderwijzen van een student. Lange tijd was AdamW de beste leraar (optimizer) voor grote taalmodellen (LLMs). Onlangs kwam er een nieuwe, geavanceerdere leraar bij genaamd Muon. Muon is uitstekend in de "pretraining"-fase—waarbij de AI het hele internet leest om algemene kennis te verwerven. Muon werkt door het brein van de AI te behandelen als een muzikaal instrument, waarbij ervoor wordt gezorgd dat elke noot (wiskundige richting) met even groot volume wordt gespeeld om moedige exploratie te stimuleren.

Echter, de auteurs van dit paper ontdekten dat Muon een groot gebrek heeft wanneer je het probeert te gebruiken voor twee specifieke, geavanceerde taken:

Robots Onderwijzen (VLA): Het omzetten van een slim taalmodel in een robot die kan zien, praten en bewegen.
Wiskunde/Logica Onderwijzen (RLVR): Het gebruik van beloningen om een AI te leren moeilijke problemen op te lossen, zoals wiskundepuzzels.

In deze nieuwe scenario's faalt Muon vaak, waardoor de robot onhandig beweegt of de wiskundige oplossing alles wat het heeft geleerd vergeet. De auteurs stellen een nieuwe leraar voor genaamd Pion die deze problemen oplost.

Het Probleem: Waarom Muon Faalt in Nieuwe Situaties

Om het probleem te begrijpen, stel je het leerproces van de AI voor als een geluidssysteem met veel luidsprekers (wiskundige richtingen).

1. Het Robotprobleem (Het "Low-Rank" Probleem)

Bij het trainen van een robot is het deel van het brein dat de armen aanstuurt (de "actie-module") zeer eenvoudig. Het hoeft alleen maar in een paar specifieke richtingen te bewegen.

De Analogie: Stel je een koor voor waarbij slechts 3 zangers de juiste tekst hebben, maar 97 gewoon willekeurige geluiden neuriën.
Wat Muon doet: Muon is als een geluidsingenieur die het volume van elke zanger exact op hetzelfde niveau zet. Het maakt de 3 goede zangers luid, maar blaast ook de 97 lawaaierige zangers op tot hetzelfde volume. Het resultaat? De robot raakt in de war door het lawaai en beweegt onregelmatig.
De Oplossing: Je hebt een systeem nodig dat de goede zangers luid houdt maar de lawaaierige dempt.

2. Het Wiskundeprobleem (Het "Low Signal-to-Noise" Probleem)

Wanneer je een AI leert wiskundeproblemen op te lossen met behulp van beloningen (RLVR), is de feedback zeer "ruisachtig". De AI raadt, krijgt een beloning en probeert het opnieuw. Het signaal (de daadwerkelijke wiskundeleer) is zwak, en de ruis (willekeurig gissen) is sterk.

De Analogie: Stel je voor dat je probeert een fluistering te horen in een orkaan.
Wat Muon doet: Muon probeert de fluistering en de orkaanswind even luid te maken. Dit overspoelt de fluistering volledig, waardoor de AI "instort" en stopt met leren.
De Oplossing: Je hebt een filter nodig dat de fluistering versterkt maar de orkaanswind blokkeert.

De Oplossing: Pion Doet zijn Intrede

De auteurs hebben Pion ontwikkeld (sPectral hIgh-pass Optimization on momeNtum). Denk aan Pion als een slimme audio-equalizer die Muon vergeten was toe te voegen.

In plaats van alle volumes gelijk op te draaien, gebruikt Pion een tweestapsproces:

Promotie: Het versterkt de belangrijke, duidelijke signalen (het "hoofd" van het geluid).
Onderdrukking: Het dempt actief de lawaaierige, zwakke signalen (de "staart" van het geluid).

Dit wordt een "High-Pass" filter genoemd. Net zoals een high-pass filter in muziek de lage, grommende basruis weghaalt om de duidelijke zang te laten schitteren, snijdt Pion de wiskundige ruis weg om de nuttige leerrichtingen te laten schitteren.

Belangrijkste Kenmerken van Pion:

Plug-and-Play Vervanging: Het past precies in de bestaande trainingscode waar Muon ook gaat. Het vereist geen extra computerkracht of tijd; het is net zo snel.
Per-Head Modus: Voor de wiskundeproblemen kan Pion verschillende delen van het AI-brein (zogenaamde "attention heads") individueel behandelen. Het is alsof je beseft dat sommige studenten in een klas goed zijn in meetkunde terwijl anderen goed zijn in algebra, en je hen verschillende huiswerkopdrachten geeft, in plaats van de hele klas als één grote klomp te behandelen.

De Resultaten: Robots en Wiskunde Worden Slimmer

Het paper testte Pion op twee hoofdgebieden:

1. Echte Robots (VLA)

De Test: Ze trainden robots om objecten (zoals komkommers of kubussen) op te pakken en in kommen of borden te plaatsen.
Het Resultaat:
- AdamW: De robot had moeite, liet vaak dingen vallen of miste het doel.
- Muon: De robot deed het beter, maar was nog steeds onrustig en botste soms tegen dingen aan omdat het "luisterde" naar te veel ruis.
- Pion: De robot was soepel en precies. In één test behaalde Pion een 100% slagingspercentage na 1.500 stappen, terwijl Muon slechts 97% haalde en AdamW slechts 32%.
- Realiteit: Ze testten dit zelfs op een echte fysieke robotarm (Franka Research 3), en Pion won opnieuw, waarbij het objecten veel betrouwbaarder oppakte en plaatste dan de anderen.

2. Wiskundige Redenering (RLVR)

De Test: Ze leerden AI-modellen (Qwen3) wiskundeproblemen op te lossen (MATH en GSM8K datasets) met behulp van versterkend leren.
Het Resultaat:
- Muon: Het model stortte in. De nauwkeurigheid daalde tot bijna nul omdat de ruis het leersignaal overspoelde.
- AdamW: Het model leerde langzaam maar gestaag.
- Pion: Het model leerde sneller en behaalde een hogere nauwkeurigheid dan AdamW, waarbij het het lawaaierige wiskundige milieu succesvol doorkruiste.

Samenvatting

Het paper betoogt dat Muon, hoewel het een fantastisch hulpmiddel is voor de initiële "leesfase" van AI-training, te "luid" en indiscriminatie is voor de delicate taken van het besturen van robots of het oplossen van wiskundeproblemen. Pion is het nieuwe hulpmiddel dat werkt als een noise-canceling koptelefoon voor AI-training: het houdt de belangrijke leersignalen helder en luid terwijl het de afleidende ruis dempt, wat leidt tot slimmere robots en betere wiskundige oplossers zonder iets te vertragen.

Technische Samenvatting: Muon Heroverwogen Buiten Pretraining Voorbij

Probleemstelling

Het artikel identificeert fundamentele beperkingen van Muon (MomentUm Orthogonalized by Newton–Schulz), een matrixbewuste optimizer die succes heeft behaald bij het pretrainen van Large Language Models (LLM), wanneer deze wordt toegepast op twee opkomende trainingsregimes: Vision-Language-Action (VLA)-training en Reinforcement Learning with Verifiable Rewards (RLVR).

Muon werkt door alle singuliere waarden van de momentum-matrix via Newton–Schulz (NS)-iteraties naar 1 te drijven, wat effectief een uniforme spectrale whitening uitvoert. Hoewel dit exploratie tijdens pretraining bevordert, stellen de auteurs dat dit een "spectrale mismatch" veroorzaakt in downstream-taken:

In VLA-training: Gradiënten van de actiemodule zijn inherent laagrangig (lage effectieve rang, of erank). Muon's uniforme whitening versterkt de ruisachtige staartrichtingen (die de laagrangige spectrale verdeling domineren) tot dezelfde grootte als de informatieve leidende singuliere waarden, waardoor de update wordt aangetast.
In RLVR-posttraining: Policy-gradiënten vertonen een laag Signaal-Ruisverhouding (SNR) door beloningen op trajectniveau en stabilisatiemechanismen (zoals clipping en importance sampling). Muon's uniforme whitening versterkt deze stochastische ruis, wat leidt tot policy-collapse. Bovendien behandelt Muon attentieprojecties als enkele blokken en negeert het de heterogeniteit per kop (gespecialiseerde updateschalen) die is overgeërfd van pretraining.

Bestaande varianten zoals Low-Rank Muon (LRMuon) lossen rangproblemen op, maar vertrouwen op computatieduurzame SVD of schetsing, waardoor ze Muon's schaalbaarheid niet evenaren.

Methodologie: Pion

De auteurs stellen Pion (sPectral hIgh-pass Optimization on momeNtum) voor, een drop-in vervanging voor Muon die zijn computerefficiëntie behoudt (kosten per stap identiek aan Muon), maar uniforme whitening vervangt door een spectraal hoogdoorlaatfilter.

Kernmechanisme: Hoogdoorlaat NS-iteratie

Pion herinterpreteert de NS-iteratie als een scalaire polynoomafbeelding $f(\sigma)$ die werkt op genormaliseerde singuliere waarden $\sigma \in [0, 1]$ . In plaats van één polynoom dat alle $\sigma \to 1$ drijft, splitst Pion de $k=5$ NS-stappen op in een tweefasige Promotie + Suppressie-sequentie:

Promotiefase ( $f_p$ ): Toegepast voor $k_p$ stappen. Dit polynoom is ontworpen om singuliere waarden monotoon te versterken, informatieve richtingen boven een suppressiedrempel te tillen en hun onderlinge volgorde te behouden. Coëfficiënten zijn afgeleid om de helling bij de oorsprong te maximaliseren ( $a_p = 1.875$ ) terwijl $\sigma=1$ wordt verankerd.
Suppressiefase ( $f_s$ ): Toegepast voor $k_s = k - k_p$ stappen. Dit polynoom verankert leidende singuliere waarden bij 1 terwijl het kleine, ruisachtige singuliere waarden naar 0 drijft. Het dwingt een nul-afgeleide bij de oorsprong af ( $f'_s(0)=0$ ) om lineaire versterking van ruis te elimineren.

De resulterende samengestelde afbeelding creëert een scherp hoogdoorlaatfilter: dominante singuliere waarden worden behouden (verankerd nabij 1), terwijl de ruisachtige staart wordt onderdrukt (gecontracteerd naar 0). De afsnijsterkte wordt geregeld door de hyperparameter $k_p$ (aantal promotiestappen).

Modus Per Kop

Om de beperking betreffende specialisatie van attentiekoppen aan te pakken, introduceert Pion een modus per kop. In plaats van de NS-iteratie toe te passen op de volledige gewichtsmatrix, herschikt het attentieprojecties langs de kopdimensie en past het het hoogdoorlaat-NS onafhankelijk toe op elke kop. Dit behoudt de vereiste heterogene updateschalen over koppen heen zonder extra computatiekosten boven een eenvoudige herschikking.

Belangrijkste Bijdragen

Identificatie van Spectrale Falen: Het artikel is het eerste dat systematisch aantoont dat Muon's uniforme spectrale whitening schadelijk is in VLA (vanwege laagrangige actiegradiënten) en RLVR (vanwege gradiënten met laag SNR), wat leidt tot suboptimale prestaties of modelcollapse.
Pion-Optimizer: De voorstelling van Pion, dat NS-iteraties herontwerpt in een tweefasig Promotie+Suppressie-mechanisme. Het bereikt een spectraal hoogdoorlaat-effect tegen dezelfde computatiekosten als Muon, zonder dure SVD-bewerkingen.
Aanpassing Per Kop: De introductie van een toepassingmodus per kop die de heterogeniteit van voorgetrainde attentiekoppen respecteert, wat cruciaal is voor stabiele RLVR-posttraining.
Uitgebreide Empirische Validatie: Uitgebreide experimenten tonen aan dat Pion consistent AdamW en Muon overtreft in diverse settings, inclusief simulatie en inzet op echte robots.

Experimentele Resultaten

VLA-training (LIBERO & LIBERO-Plus)

Opzet: Training van VLA-Adapter ( $\ell_1$ -regressie) en VLANeXt (flow-matching) op LIBERO-suite.
Vondsten:
- Pion overtreft consistent Muon en AdamW. Op de LIBERO Object-taak bereikt Pion na 1.500 stappen een succespercentage van 100%, vergeleken met 97,0% voor Muon en 32,2% voor AdamW.
- Pion toont snellere convergentie en hogere robuustheid onder distributieveranderingen (bijv. ruis, robotverstoringen) in de LIBERO-Plus-benchmark.
- Evaluatie op Echte Robot: Op een Franka Research 3-robot met een $\pi0.5$ -ruggengraat bereikte Pion een gemiddeld succespercentage van 85,6% bij grijp-en-Plaats-taken, wat Muon (38,9%) en AdamW (31,1%) significant overtreft.

RLVR-posttraining (Qwen3-1.7B/4B)

Opzet: Fine-tunen van Qwen-modellen op MATH en GSM8K met GRPO- en GMPO-algoritmen.
Vondsten:
- Muon-collapse: Muon faalt volledig in RLVR-settings, waarbij de nauwkeurigheid door ruisversterking tot bijna nul daalt.
- Pion-succes: Pion herstelt een betekenisvol trainingssein en overtreft AdamW bij alle modelgroottes en benchmarks. Bijvoorbeeld, op Qwen3-1.7B met GRPO op MATH bereikt Pion stabiele groei in nauwkeurigheid terwijl Muon instort.
- Ablatie: Een variant "Low-pass Muon" (LPMuon), die in de tegenovergestelde richting filtert (kleine waarden behouden, grote weggooien), faalt om te trainen, wat bevestigt dat de hoogdoorlaat-aard van Pion de kritieke factor voor succes is.

Betekenis en Beweringen

Het artikel beweert dat Pion een drop-in, computerefficiënte oplossing biedt voor de spectrale mismatch-problemen inherent aan het toepassen van Muon op regimes buiten pretraining. Door uniforme whitening te vervangen door een controleerbaar hoogdoorlaatfilter, stabiliseert Pion training in ruisachtige (RLVR) en laagrangige (VLA) omgevingen waar Muon faalt.

De auteurs benadrukken dat Pion's voordelen niet louter architecturaal zijn, maar voortkomen uit een fundamentele correctie van de spectrale inductieve bias van de optimizer. Het werk suggereert dat terwijl uniforme spectrale exploratie gunstig is voor pretraining, spectrale selectiviteit (signaal behouden, ruis onderdrukken) essentieel is voor effectieve downstream-aanpassing en redenering. De resultaten op echte robothardware valideren verder dat deze algoritmische verbeteringen vertalen naar tastbare winsten in fysieke taakprestaties.