🤖 machine learning

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

Dieser Beitrag stellt Pion vor, einen Hochpass-Spektraloptimierer, der Muon verbessert, indem er verrauschte Gradientenkomponenten unterdrückt und die Kopf-spezifische Spezialisierung bewahrt, wodurch er in der Vision-Language-Action-Training und im Reinforcement Learning mit verifizierbaren Belohnungen, bei denen Muon und AdamW Schwierigkeiten haben, überlegene Leistung und Stabilität erzielt.

Ursprüngliche Autoren: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein neuer Optimierer für Roboter und logisches Denken

Stellen Sie sich vor, ein KI-Modell zu trainieren, ist wie einen Schüler zu unterrichten. Lange Zeit war AdamW der beste Lehrer (Optimierer) für große Sprachmodelle (LLMs). Vor kurzem kam ein neuer, fortschrittlicherer Lehrer namens Muon hinzu. Muon ist hervorragend in der „Pretraining"-Phase geeignet – also wenn die KI das gesamte Internet liest, um allgemeines Wissen zu erlernen. Muon funktioniert, indem es das Gehirn der KI wie ein Musikinstrument behandelt und sicherstellt, dass jede Note (mathematische Richtung) mit gleicher Lautstärke gespielt wird, um mutige Exploration zu fördern.

Die Autoren dieses Papers stellten jedoch fest, dass Muon einen gravierenden Mangel aufweist, wenn man versucht, ihn für zwei spezifische, fortgeschrittene Aufgaben einzusetzen:

Roboter unterrichten (VLA): Ein intelligentes Sprachmodell in einen Roboter verwandeln, der sehen, sprechen und sich bewegen kann.
Mathematik/Logik unterrichten (RLVR): Eine KI mithilfe von Belohnungen dazu bringen, schwierige Probleme wie Mathe-Rätsel zu lösen.

In diesen neuen Szenarien versagt Muon häufig, was dazu führt, dass der Roboter ungeschickt bewegt oder der Mathe-Löser alles Vergessene vergisst. Die Autoren schlagen einen neuen Lehrer namens Pion vor, der diese Probleme behebt.

Das Problem: Warum Muon in neuen Situationen versagt

Um das Problem zu verstehen, stellen Sie sich den Lernprozess der KI als Soundsystem mit vielen Lautsprechern (mathematische Richtungen) vor.

1. Das Roboter-Problem (Das „Low-Rank"-Problem)

Beim Training eines Roboters ist der Teil des Gehirns, der die Arme steuert (das „Action-Modul"), sehr einfach. Er muss sich nur in wenigen spezifischen Richtungen bewegen.

Die Analogie: Stellen Sie sich einen Chor vor, bei dem nur 3 Sänger die richtigen Texte haben, aber 97 nur zufälliges Gurren von sich geben.
Was Muon tut: Muon ist wie ein Tontechniker, der die Lautstärke bei jedem Sänger exakt auf denselben Pegel dreht. Er macht die 3 guten Sänger laut, bläst aber auch die 97 lärmenden Sänger auf dieselbe Lautstärke. Das Ergebnis? Der Roboter wird durch das Gurren verwirrt und bewegt sich unregelmäßig.
Die Lösung: Sie benötigen ein System, das die guten Sänger laut hält, aber das Gurren der anderen dämpft.

2. Das Mathe-Problem (Das „Low Signal-to-Noise"-Problem)

Wenn man einer KI beibringt, Matheprobleme mithilfe von Belohnungen zu lösen (RLVR), ist das Feedback sehr „laut". Die KI rät, erhält eine Belohnung und versucht es erneut. Das Signal (die eigentliche Mathe-Lektion) ist schwach, und das Rauschen (zufälliges Raten) ist stark.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Flüstern in einem Hurrikan zu hören.
Was Muon tut: Muon versucht, das Flüstern und den Hurrikan-Wind gleich laut zu machen. Dies ertränkt das Flüstern vollständig, wodurch die KI „zusammenbricht" und aufhört zu lernen.
Die Lösung: Sie benötigen einen Filter, der das Flüstern verstärkt, aber den Hurrikan-Wind blockiert.

Die Lösung: Pion tritt auf den Plan

Die Autoren haben Pion entwickelt (sPectral hIgh-pass Optimization on momeNtum). Denken Sie an Pion als einen intelligenten Audio-Equalizer, den Muon vergessen hat einzubauen.

Anstatt die Lautstärke aller Kanäle gleich hoch zu drehen, verwendet Pion einen zweistufigen Prozess:

Förderung: Es verstärkt die wichtigen, klaren Signale (den „Kopf" des Klangs).
Unterdrückung: Es dämpft aktiv die lärmenden, schwachen Signale (den „Schweif" des Klangs).

Dies wird als „High-Pass"-Filter bezeichnet. Genau wie ein High-Pass-Filter in der Musik das tiefe, dröhnende Bassrauschen herausschneidet, damit die klaren Gesangsstimmen leuchten können, schneidet Pion das mathematische Rauschen heraus, damit die nützlichen Lernrichtungen leuchten können.

Hauptmerkmale von Pion:

Drop-in-Ersatz: Es passt genau dort in den bestehenden Trainingscode, wo Muon hingehört. Es erfordert keine mehr Rechenleistung oder Zeit; es ist genauso schnell.
Per-Head-Modus: Für die Mathe-Probleme kann Pion verschiedene Teile des KI-Gehirns (sogenannte „Attention-Heads") individuell behandeln. Es ist wie die Erkenntnis, dass einige Schüler in einer Klasse gut in Geometrie sind, während andere gut in Algebra sind, und ihnen unterschiedliche Hausaufgaben zu geben, anstatt die ganze Klasse als einen großen Klumpen zu behandeln.

Die Ergebnisse: Roboter und Mathe werden schlauer

Das Paper testete Pion in zwei Hauptbereichen:

1. Echte Roboter (VLA)

Der Test: Sie trainierten Roboter, Objekte (wie Gurken oder Würfel) aufzunehmen und in Schüsseln oder Teller zu legen.
Das Ergebnis:
- AdamW: Der Roboter hatte Schwierigkeiten, ließ Dinge oft fallen oder verfehlte das Ziel.
- Muon: Der Roboter schaffte es besser, war aber immer noch zitterig und stieß manchmal gegen Dinge, weil er „zu viel Rauschen" hörte.
- Pion: Der Roboter war flüssig und präzise. In einem Test erreichte Pion nach 1.500 Schritten eine 100-prozentige Erfolgsrate, während Muon nur 97 % und AdamW nur 32 % erreichte.
- Realität: Sie testeten dies sogar an einem echten physischen Roboterarm (Franka Research 3), und Pion gewann immer noch, indem es Objekte viel zuverlässiger aufhob und platzierte als die anderen.

2. Mathematisches Denken (RLVR)

Der Test: Sie lehrten KI-Modelle (Qwen3), Matheprobleme (MATH- und GSM8K-Datensätze) mithilfe von Reinforcement Learning zu lösen.
Das Ergebnis:
- Muon: Das Modell brach zusammen. Seine Genauigkeit sank auf fast null, weil das Rauschen das Lernsignal überwältigte.
- AdamW: Das Modell lernte langsam, aber stetig.
- Pion: Das Modell lernte schneller und erreichte eine höhere Genauigkeit als AdamW, indem es erfolgreich durch die laute Mathe-Umgebung navigierte.

Zusammenfassung

Das Paper argumentiert, dass Muon zwar ein fantastisches Werkzeug für die initiale „Lesephase" des KI-Trainings ist, aber für die heiklen Aufgaben der Robotersteuerung oder des Lösen von Matheproblemen zu „laut" und unselektiv ist. Pion ist das neue Werkzeug, das wie eine Noise-Cancelling-Kopfhörer für das KI-Training wirkt: Es hält die wichtigen Lernsignale klar und laut, während es das ablenkende Rauschen zum Schweigen bringt, was zu schlaueren Robotern und besseren Mathe-Lösern führt, ohne etwas zu verlangsamen.

Technische Zusammenfassung: Muon über das Vor-Training hinaus neu denken

Problemstellung

Die Arbeit identifiziert fundamentale Einschränkungen von Muon (MomentUm Orthogonalized by Newton–Schulz), einem matrixbewussten Optimierer, der beim Vor-Training von Large Language Models (LLM) erfolgreich war, wenn er auf zwei aufkommende Trainingsregime angewendet wird: Vision-Language-Action (VLA)-Training und Reinforcement Learning with Verifiable Rewards (RLVR).

Muon funktioniert, indem es alle Singulärwerte der Impulsmatrix durch Newton–Schulz (NS)-Iterationen gegen 1 treibt und damit effektiv eine gleichmäßige spektrale Weißung durchführt. Während dies das Vor-Training fördert, argumentieren die Autoren, dass es in nachgelagerten Aufgaben eine „spektrale Fehlanpassung" verursacht:

Im VLA-Training: Gradienten des Aktionsmoduls sind inhärent niedrigrangig (niedriger effektiver Rang oder erank). Muons gleichmäßige Weißung verstärkt die verrauschten Schwanzrichtungen (die das niedrigrangige Spektrum dominieren) auf dieselbe Größe wie die informativen führenden Singulärwerte und korrumpiert damit die Aktualisierung.
Im RLVR-Nach-Training: Policy-Gradienten weisen aufgrund von Belohnungen auf Trajektorienebene und Stabilisierungsmechanismen (z. B. Clipping, Importance Sampling) ein niedriges Signal-zu-Rausch-Verhältnis (SNR) auf. Muons gleichmäßige Weißung verstärkt dieses stochastische Rauschen, was zum Zusammenbruch der Policy führt. Zudem behandelt Muon Aufmerksamkeitsprojektionen als einzelne Blöcke und ignoriert die Heterogenität pro Kopf (spezialisierte Aktualisierungsskalen), die vom Vor-Training geerbt wurde.

Bestehende Varianten wie Low-Rank Muon (LRMuon) adressieren Rangprobleme, verlassen sich jedoch auf rechenintensive SVD oder Skizzierung und können Muons Skalierbarkeit nicht erreichen.

Methodik: Pion

Die Autoren schlagen Pion (sPectral hIgh-pass Optimization on momeNtum) vor, einen Drop-in-Ersatz für Muon, der seine rechnerische Effizienz beibehält (Kosten pro Schritt identisch mit Muon), aber die gleichmäßige Weißung durch einen spektralen Hochpassfilter ersetzt.

Kernmechanismus: Hochpass-NS-Iteration

Pion stellt die NS-Iteration als skalare Polynomabbildung $f(\sigma)$ neu vor, die auf normalisierte Singulärwerte $\sigma \in [0, 1]$ wirkt. Anstatt eines einzigen Polynoms, das alle $\sigma \to 1$ treibt, unterteilt Pion die $k=5$ NS-Schritte in eine zweistufige Förder- + Unterdrückungs-Sequenz:

Förderphase ( $f_p$ ): Wird für $k_p$ Schritte angewendet. Dieses Polynom ist so konzipiert, dass es Singulärwerte monoton verstärkt, informative Richtungen über eine Unterdrückungsschwelle hebt und dabei ihre relative Ordnung bewahrt. Die Koeffizienten werden so abgeleitet, dass die Steigung am Ursprung maximiert wird ( $a_p = 1.875$ ), während $\sigma=1$ verankert bleibt.
Unterdrückungsphase ( $f_s$ ): Wird für $k_s = k - k_p$ Schritte angewendet. Dieses Polynom verankert führende Singulärwerte bei 1, während es kleine, verrauschte Singulärwerte gegen 0 treibt. Es erzwingt eine Nullableitung am Ursprung ( $f'_s(0)=0$ ), um eine lineare Verstärkung von Rauschen zu eliminieren.

Die resultierende zusammengesetzte Abbildung erzeugt einen scharfen Hochpassfilter: Dominante Singulärwerte werden erhalten (nahe 1 verankert), während der verrauschte Schwanz unterdrückt wird (gegen 0 kontrahiert). Die Stärke der Grenzfrequenz wird durch den Hyperparameter $k_p$ (Anzahl der Förderungsschritte) gesteuert.

Modus pro Kopf

Um die Einschränkung bezüglich der Spezialisierung von Aufmerksamkeitsköpfen zu adressieren, führt Pion einen Modus pro Kopf ein. Anstatt die NS-Iteration auf die gesamte Gewichtsmatrix anzuwenden, werden Aufmerksamkeitsprojektionen entlang der Kopf-Dimension umgeformt und der Hochpass-NS wird unabhängig auf jeden Kopf angewendet. Dies erhält die erforderlichen heterogenen Aktualisierungsskalen über die Köpfe hinweg, ohne zusätzliche Rechenkosten über eine einfache Umformung hinaus zu verursachen.

Hauptbeiträge

Identifikation spektraler Fehler: Die Arbeit ist die erste, die systematisch nachweist, dass Muons gleichmäßige spektrale Weißung im VLA (aufgrund niedrigrangiger Aktionsgradienten) und RLVR (aufgrund von Gradienten mit niedrigem SNR) schädlich ist und zu suboptimaler Leistung oder Modellzusammenbruch führt.
Pion-Optimierer: Die Vorstellung von Pion, das NS-Iterationen in einen zweistufigen Förder- + Unterdrückungs-Mechanismus neu gestaltet. Es erzielt einen spektralen Hochpass-Effekt zu denselben Rechenkosten wie Muon und vermeidet teure SVD-Operationen.
Anpassung pro Kopf: Die Einführung eines Anwendungsmodus pro Kopf, der die Heterogenität vortrainierter Aufmerksamkeitsköpfe respektiert, was für stabiles RLVR-Nach-Training entscheidend ist.
Umfassende empirische Validierung: Umfassende Experimente zeigen, dass Pion AdamW und Muon in verschiedenen Settings, einschließlich Simulation und Einsatz auf echten Robotern, konsistent übertrifft.

Experimentelle Ergebnisse

VLA-Training (LIBERO & LIBERO-Plus)

Setup: Training von VLA-Adapter ( $\ell_1$ -Regression) und VLANeXt (Flow-Matching) auf LIBERO-Suiten.
Ergebnisse:
- Pion übertrifft Muon und AdamW konsistent. Bei der LIBERO-Objekt-Aufgabe erreicht Pion nach 1.500 Schritten eine Erfolgsrate von 100 %, verglichen mit 97,0 % für Muon und 32,2 % für AdamW.
- Pion zeigt eine schnellere Konvergenz und höhere Robustheit unter Verteilungsverschiebungen (z. B. Rauschen, Roboterperturbationen) im LIBERO-Plus-Benchmark.
- Evaluierung auf echten Robotern: Auf einem Franka Research 3-Roboter mit einem $\pi0.5$ -Rückgrat erreichte Pion eine durchschnittliche Erfolgsrate von 85,6 % bei Greif-und-Platzieren-Aufgaben und übertraf Muon (38,9 %) und AdamW (31,1 %) signifikant.

RLVR-Nach-Training (Qwen3-1.7B/4B)

Setup: Feinabstimmung von Qwen-Modellen auf MATH und GSM8K unter Verwendung der GRPO- und GMPO-Algorithmen.
Ergebnisse:
- Muon-Zusammenbruch: Muon versagt in RLVR-Settings vollständig, wobei die Genauigkeit aufgrund von Rauschverstärkung nahe Null fällt.
- Pion-Erfolg: Pion stellt ein sinnvolles Trainingssignal wieder her und übertrifft AdamW über alle Modellgrößen und Benchmarks hinweg. Beispielsweise erzielt Pion auf Qwen3-1.7B mit GRPO auf MATH ein stabiles Genauigkeitswachstum, während Muon zusammenbricht.
- Ablation: Eine Variante „Low-pass Muon" (LPMuon), die in die entgegengesetzte Richtung filtert (kleine Werte behalten, große verwerfen), scheitert beim Training. Dies bestätigt, dass die Hochpass-Natur von Pion der kritische Faktor für den Erfolg ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Pion eine Drop-in-, rechnerisch effiziente Lösung für die spektralen Fehlanpassungsprobleme bietet, die inhärent bei der Anwendung von Muon auf Nicht-Vor-Trainings-Regime auftreten. Durch den Ersatz der gleichmäßigen Weißung durch einen kontrollierbaren Hochpassfilter stabilisiert Pion das Training in verrauschten (RLVR) und niedrigrangigen (VLA) Umgebungen, in denen Muon versagt.

Die Autoren betonen, dass die Vorteile von Pion nicht nur architektonischer Natur sind, sondern aus einer fundamentalen Korrektur der spektralen induktiven Bias des Optimierers resultieren. Die Arbeit legt nahe, dass zwar eine gleichmäßige spektrale Exploration für das Vor-Training vorteilhaft ist, spektrale Selektivität (Erhaltung des Signals, Unterdrückung von Rauschen) jedoch für eine effektive nachgelagerte Anpassung und Schlussfolgerung unerlässlich ist. Die Ergebnisse auf echter Roboter-Hardware validieren zudem, dass diese algorithmischen Verbesserungen in greifbare Gewinne bei der Leistung physischer Aufgaben übersetzt werden.