Stellen Sie sich vor, Sie bringen einem Roboter bei, durch ein riesiges, unordentliches Haus zu navigieren, um einen versteckten Schatz zu finden. Der Roboter ist ein „Gehirn“ aus Code, und jedes Mal, wenn er einen Schritt macht, bekommt er einen winzigen Anstoß von einem Lehrer, der ihm sagt, ob dieser Schritt gut oder schlecht war. Dies ist die Welt des Reinforcement Learning (RL), in der ein Agent durch Versuch und Irrtum lernt. Der „Lehrer“ in dieser Geschichte ist ein mathematisches Werkzeug namens Optimizer, der entscheidet, wie stark sich das Gehirn des Roboters nach jedem Fehler oder Erfolg verändern soll. Jahrelang war die beliebteste Methode eines solchen Lehrers eine Methode namens AdamW, die wie ein vorsichtiger, stetiger Coach ist, der die Schritte des Roboters basierend darauf anpasst, wie laut das Feedback war.

Kürzlich kam ein neuer, auffälligerer Coach namens Muon hinzu. Muon ist dafür bekannt, extrem schnell und effizient zu sein, wenn es darum geht, Roboter von Grund auf neu zu trainieren (ein Prozess, der Pre-training genannt wird), wobei es den Job oft mit der Hälfte der Energie erledigt. Aber hier ist die große Frage: Funktioniert Muon genauso gut, wenn es einen Roboter lehrt, der bereits die Grundlagen gelernt hat und nun versucht, eine spezifische, schwierige Aufgabe zu meistern? Einige frühe Berichte deuteten darauf hin, dass Muon für diese „Fine-Tuning“-Phase zu aggressiv sein könnte, was dazu führt, dass der Roboter das, was er wusste, vergisst oder durch das Rauschen verwirrt wird. Diese Arbeit taucht in dieses Geheimnis ein und testet, ob Muon die Geheimwaffe für das Lehren von Agenten sein kann, die komplexe Aufgaben mit langem Zeithorizont lösen sollen, bei denen Belohnungen selten und schwer zu finden sind.

---

Das große Optimizer-Duell

Im Labor richteten die Forscher ein hochkarätiges Rennen ein. Sie nahmen einen kleinen, aber fähigen KI-Agenten (basierend auf dem Qwen2.5-0.5B-Instruct-Modell) und gaben ihm die Aufgabe, Rätsel in ALFWorld zu lösen – einer simulierten Umgebung, in der der Agent Hausarbeiten wie das Aufheben von Objekten, Reinigen oder Erhitzen von Dingen erledigen muss. Der Haken dabei? Der Agent erhält nur eine „Erfolgsbelohnung“ am Ende einer langen Sequenz von Aktionen, und er erhält eine Strafe, wenn er unterwegs etwas falsch macht. Es ist, als würde man versuchen, ein Labyrinth zu lösen, bei dem man nur „Du hast gewonnen!“ hört, wenn man den Ausgang erreicht, aber für jede falsche Abzweigung ein „Buzz!“ bekommt.

Um zu sehen, ob Muon helfen kann, warfen die Forscher den Roboter nicht einfach nur in das Labyrinth; sie gaben ihm drei verschiedene Arten von „Feedback-Coaches“ (genannt Advantage Estimators), um seine Leistung zu interpretieren:

1. GRPO: Dieser Coach schaut nur auf das Endergebnis. „Hast du das Spiel gewonnen? Ja? Super Arbeit! Nein? Versuch es nochmal.“ Er ignoriert die einzelnen Schritte.
2. GiGPO: Dieser Coach ist intelligenter. Er betrachtet das Endergebnis, gruppiert aber auch die Momente zusammen, in denen der Roboter exakt dieselbe Situation mehrfach erlebt hat. Er fragt: „Als du vor dem Kühlschrank standest, hast du ihn normalerweise korrekt geöffnet?“
3. GraphGPO: Der ausgeklügeltste Coach, der die gesamte Reise als Graphen darstellt und analysiert, wie nah jeder einzelne Schritt am Ziel war.

Die überraschende Entdeckung

Das Team führte die Experimente durch und stellte den altbewährten AdamW-Coach dem neuen Muon-Coach gegenüber. Sie hielten alles andere exakt gleich und tauschten lediglich den Optimizer für die „verborgenen“ Gewichte des Robotergehirns (die komplexen internen Verbindungen) aus, während sie die Basisteile (wie das Wörterbuch der Wörter) auf AdamW ließen.

Die Ergebnisse waren eine Mischung aus „Naja“ und „Wow“, je nachdem, welcher Feedback-Coach verwendet wurde.

Der „Wow“-Moment: GiGPO
Als sie den GiGPO-Coach verwendeten, verwandelte Muon den Roboter in einen Super-Lerner.

• Mit dem Standard-AdamW-Coach gelang dem Roboter in etwa 29 % der abschließenden Testläufe ein Erfolg.
• Mit Muon schoss diese Zahl auf 54,6 % empor.
• Das ist eine relative Verbesserung von 88 %.
• Noch beeindruckender: Während der AdamW-Roboter ab einem gewissen Punkt völlig abstürzte und keine Aufgaben mehr lösen konnte, lernte der Muon-Roboter kontinuierlich weiter und war erfolgreich bis zu 200 Updates hinweg.

Der „Naja“-Moment: GRPO
Als sie den einfacheren GRPO-Coach verwendeten (der sich nur um den finalen Sieg kümmert), half Muon zwar auch, aber nicht so dramatisch. Es verbesserte den Erfolg von 16,1 % auf 26,8 %. Es war ein Gewinn, aber der Roboter lernte nicht so schnell oder so gut wie mit GiGPO.

Der „Fast geschafft“-Moment: GraphGPO
Mit dem hochintelligenten GraphGPO-Coach war der Roboter mit AdamW bereits sehr gut dabei (etwa 81 % Erfolg). Muon hob ihn bei einer bestimmten Lernrate auf 90,1 % an und brachte ihn etwa 30 bis 0 60 Schritte früher auf dieses Erfolgsniveau als AdamW. Da der Roboter jedoch bereits nahe am Maximum war, verringerte sich der Abstand zwischen den beiden Coaches, je näher sie der Ziellinie kamen.

Warum gewann Muon? (Und warum nicht immer?)

Das Team hatte eine Theorie darüber, warum das geschah. Sie vermuteten, dass es mit Rauschen (Noise) zu tun hatte.

Stellen Sie sich vor, das Gehirn des Roboters versucht, einen Pfad durch einen nebligen Wald zu finden.

• AdamW ist wie ein Wanderer, der dem stärksten, lautesten Pfad folgt. Wenn der Nebel dicht ist (hohes Rauschen), könnte er stecken bleiben oder vom Weg abkommen.
• Muon ist wie ein Wanderer, der das Gelände abflacht, sodass die schwachen, leisen Pfade genauso sichtbar werden wie die lauten. Das ist großartig, wenn die leisen Pfade tatsächlich irgendwohin führen, was nützlich ist.

Die Arbeit legt nahe, dass im GRPO-Setup (Single-Turn, Aufgaben mit geringer Belohnung) die „leisen Pfade“ hauptsächlich aus zufälligem Rauschen bestehen. Muons Abflachungseffekt verstärkt dieses Rauschen, weslement er in anderen Studien manchmal scheitert oder Schwierigkeiten hat. Im GiGPO-Setup hingegen fungiert das „Schritt-Level“-Feedback wie ein Leuchtturm. Es filtert das Rauschen heraus und hebt die wirklich nützlichen Richtungen hervor. Da GiGPO klarere Signale darüber liefert, welche spezifischen Schritte gut waren, wird Muons Fähigkeit, schwache Signale zu verstärken, zu einer Superkraft statt zu einem Fluch.

Was die Arbeit ausschließt

Es ist wichtig anzumerken, was diese Studie nicht gefunden hat. Die Forscher testeten, ob der Erfolg nur daran lag, dass Muon eine höhere „Lernrate“ (eine größere Schrittweite) verwendete. Sie versuchten, die Geschwindigkeit von AdamW hochzuschrauben, um dessen Tempo an das von Muon anzupassen, aber der Roboter stürzte sofort ab und scheiterte. Dies beweist, dass der Erfolg von Muon nicht nur darin bestand, größere Schritte zu machen, sondern darin, wie es diese Schritte berechnete.

Außerdem behauptet die Arbeit nicht, dass Muon die perfekte Lösung für alles ist. Tatsächlich stellt sie explizit fest, dass Muon in anderen Arten von Aufgaben (wie Single-Turn-Mathematikproblemen) in der Vergangenheit versagt hat. Der Erfolg hier ist spezifisch für Long-Horizon, Sparse-Reward-Aufgaben, bei denen das Feedback sorgfältig strukturiert ist (wie bei GiGPO).

Das Fazit

Diese Arbeit legt nahe, dass Muon ein mächtiges Werkzeug für agentisches Reinforcement Learning ist, aber nur, wenn es mit der richtigen Art von Feedback kombiniert wird.

Wenn Sie eine KI lehren wollen, komplexe, mehrstufige Rätsel zu lösen, reicht es vielleicht nicht aus, einfach nur Muon einzusetzen. Sie benötigen ein Feedbacksystem (wie GiGPO), das das Problem in kleinere, klarere Teile zerlegt. Wenn man die Fähigkeit von Muon, die „leisen“, nützlichen Pfade zu sehen, mit der Fähigkeit von GiGPO kombiniert, das Rauschen zu filtern, lernt die KI signifikant schneller und löst mehr Rätsel.

Die Autoren geben zu, dass dies eine „explorative“ Studie ist, die auf einem einzigen Seed (einem Durchlauf des Experiments) basiert, sodass weitere Tests erforderlich sind, um zu sehen, ob sich dieses Muster über verschiedene Modelle und Aufgaben hinweg bestätigt. Aber die Ergebnisse sind vielversprechend: Indem wir den Optimizer und das Feedback-System gemeinsam abstimmen, können wir KI-Agenten bauen, die in der Lage sind, die chaotische, reale Welt viel besser zu navigieren.