💬 NLP

OrScale: Orthogonalised Optimization with Layer-Wise Trust-Ratio Scaling

OrScale führt einen schichtweisen Trust-Ratio-Skalierungsmechanismus für orthogonalisierte Optimierung ein, der die tatsächliche Aktualisierungsrichtung im Parameterraum misst, um die Grenzen bestehender Muon-Hybriden zu überwinden und dadurch überlegene Konvergenzgarantien sowie empirische Leistung sowohl bei Bildklassifizierungsaufgaben als auch beim Vortraining großer Sprachmodelle zu erreichen.

Ursprüngliche Autoren: Yuxuan Lou, Yang You

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuxuan Lou, Yang You

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren ein riesiges Roboterhirn (ein Large Language Model), damit es sprechen, schreiben und Probleme lösen lernt. Um dies zu tun, müssen Sie ständig die internen „Gewichte" des Roboters (die Knöpfe und Regler, die bestimmen, wie er denkt) justieren.

Die Arbeit stellt ein neues Werkzeug namens OrScale vor, um diese Knöpfe effizienter zu justieren. Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Das Problem: Der „Einheitsgröße"-Fehler

Stellen Sie sich das Roboterhirn als ein riesiges Orchester vor. Es hat verschiedene Sektionen: die Streicher (Aufmerksamkeitsschichten), die Blechbläser (MLP-Schichten) und das Schlagzeug (Projektionsschichten).

Der alte Weg (Muon): Der Dirigent (der Optimierer) sagt jedem Musiker, einen Ton zu spielen. Die Richtung des Tons ist perfekt (sie wissen genau, wohin sie sich bewegen müssen), aber die Lautstärke wird von einem einzigen, globalen Hauptlautstärkeregler gesteuert.
Das Problem: Die Streicher müssen leise spielen, während das Schlagzeug hart schlagen muss. Wenn Sie eine globale Lautstärke verwenden, sind die Streicher möglicherweise zu leise, um gehört zu werden, oder die Trommeln sind ohrenbetäubend laut.
Bisherige Lösungen: Einige versuchten, eine statische Lautstärke für jede Sektion festzulegen (wie „Streicher = 20 %, Trommeln = 50 %"), aber das Orchester verändert sich während der Proben. Eine statische Einstellung kann sich nicht anpassen, wenn die Musik während des Auftritts lauter oder leiser wird.

2. Die Lösung: OrScale (Der intelligente Lautstärkemixer)

Die Autoren schlagen OrScale vor, das wie ein intelligenter, automatischer Lautstärkemixer für jede Sektion des Orchesters funktioniert.

Die Kernidee: Anstatt die Lautstärke zu erraten, misst OrScale den tatsächlichen Schritt, den der Robert gerade machen wird. Es fragt: „Wie groß ist die Veränderung, die wir wirklich gerade vornehmen?"
Das Vertrauensverhältnis: Es vergleicht die Größe des aktuellen „Gehirns" des Roboters (der Gewichte) mit der Größe des „Schritts", den er gerade machen wird.
- Wenn der Schritt im Vergleich zum Gehirn zu riesig ist, dreht es die Lautstärke herunter (Vertrauensverhältnis < 1).
- Wenn der Schritt winzig ist, dreht es die Lautstärke hoch (Vertrauensverhältnis > 1).
Das Geheimnis: Die Arbeit argumentiert, dass man dies richtig machen muss, indem man den tatsächlichen Schritt misst (der die Richtung und den Gewichtsverfall einschließt), nicht nur die rohe Richtung oder den rohen Impuls. Misst man das Falsche, bleibt der Lautstärkeregler auf Maximum oder Minimum stecken, und die Musik zerfällt.

3. Warum andere Versuche scheiterten (Die „Fehlermodi")

Die Arbeit testete drei andere Wege, um diesen Mixer zu bauen, und alle funktionierten auf spezifische, lustige Weise nicht:

Die „Form"-Falle: Eine Methode maß die Lautstärke basierend auf der Form des Instruments (z. B. „Das ist eine Trommel, also ist sie laut"). Aber die Form ändert sich während des Songs nicht, sodass sich die Lautstärke nie an die tatsächliche Musik anpasste. Es war, als würde man die Lautstärke basierend auf der Größe des Instruments einstellen, anstatt darauf, wie hart der Trommler schlägt.
Das „Einheiten"-Missverhältnis: Eine andere Methode versuchte, die „rohe Energie" der Drumsticks zu messen, bevor sie auf die Trommel treffen. Aber diese Energie wurde in „Kraft" gemessen, während das Gehirn in „Größe" gemessen wurde. Es war, als würde man versuchen, Äpfel mit Orangen zu vergleichen. Das Ergebnis? Der Lautstärkeregler blieb an der Obergrenze stecken (Sättigung), und das System hörte auf zu lernen.
Die „Entgleisende"-Schleife: Eine dritte Methode versuchte, die Lautstärke anzupassen, vergaß aber, sie an den Gewichtsverfall zu binden (einen Mechanismus, der verhindert, dass das Gehirn zu groß wird). Dies verursachte eine Rückkopplungsschleife, bei der das Gehirn unendlich groß wurde und der Lautstärkeregler außer Kontrolle geriet.

4. Die Ergebnisse: Eine bessere Leistung

Die Autoren testeten OrScale auf zwei Arten von Aufgaben:

Visuell (CIFAR-10): Stellen Sie sich vor, Sie bringen einem Roboter bei, Bilder von Katzen und Hunden zu erkennen. OrScale erreichte die höchste Punktzahl (94,05 %) und schlug die bisher beste Methode (Muon) sowie die Standardmethode (AdamW). Es war stabiler und lernte schneller.
Sprache (FineWeb-Edu): Sie trainierten Roboter unterschiedlicher Größen (von kleinen 125M Parametern bis zu riesigen 1,1B Parametern), um Text zu lesen und zu schreiben.
- OrScale schlug die bisher beste Methode (Muon + Moonlight) bei 3 von 4 Größen.
- Es schlug die Standardmethode (AdamW) bei jeder getesteten Größe.
- Entscheidend war, dass es den Forschern ermöglichte, dieselben „Lernraten"-Einstellungen zu verwenden, die sie bereits für andere Methoden optimiert hatten, was ihnen Zeit und Geld sparte.

5. Das Fazit

OrScale ist eine neue Art, KI-Modelle zu justieren, die einen spezifischen Fehler behebt, wie wir die „Lautstärke" des Lernens für verschiedene Teile des Gehirns anpassen.

Es misst den tatsächlichen Schritt, der gemacht wird, nicht einen gefälschten oder statischen.
Es verhindert, dass das System stecken bleibt oder explodiert.
Es lässt den Roboter schneller und genauer lernen, egal ob es sich um ein kleines Modell oder ein riesiges handelt.

Die Arbeit behauptet, dies sei eine „Drop-in"-Verbesserung: Sie können es in bestehende Trainingsaufbauten einfügen, um bessere Ergebnisse zu erzielen, ohne das gesamte System neu entwerfen zu müssen.

Technische Zusammenfassung: OrScale – Orthogonalisierte Optimierung mit schichtweiser Trust-Ratio-Skalierung

1. Problemstellung

Der Muon-Optimierer hat sich als praktisches Werkzeug für das Training in großem Maßstab etabliert, indem er orthogonalisierte Updates nutzt, um die Richtung matrixwertiger Schritte über Newton–Schulz-Iterationen (zur Approximation des Polarfaktors) zu fixieren. Muon leidet jedoch unter einer kritischen Einschränkung: Während er die Richtung der Updates optimiert, lässt er die Größe durch eine einzelne, im Wesentlichen globale Lernrate steuern.

Diese globale Skalierung ist suboptimal, da verschiedene Schichten (z. B. Attention-Projektionen, MLP-Up-/Down-Projektionen, Embeddings) stark unterschiedliche Gradientenverteilungen und effektive Krümmungen aufweisen. Während die Variante Moonlight einen statischen Faktor pro Form eingeführt hat, um das RMS pro Element zu equalisieren, kann sie nicht auf die dynamische Drift der Schichtskalen während des Trainings reagieren.

Frühere Versuche, Layer-wise Adaptive Rate Scaling (LARS) und Layer-wise Adaptive Moment Scaling (LAMB) – welche die Schrittkößen bei SGD und Adam erfolgreich von globalen Lernraten entkoppelt haben – auf Muon zu übertragen, sind gescheitert. Die Arbeit identifiziert, dass naive Übertragungen aus drei spezifischen strukturellen Gründen kollabieren:

Entartete Nenner: Die Verwendung der Frobenius-Norm der orthogonalisierten Richtung ( $\|Q_\ell\|_F$ ) als Nenner für die Trust-Ratio scheitert, da sie nahezu eine Konstante ist, die durch die Matrixform (Rang) bestimmt wird, nicht durch die Update-Größe.
Einheiteninkonsistenz & Clip-Sättigung: Die Verwendung der rohen Momentum-Norm ( $\|\tilde{M}_\ell\|_F$ ) führt zu einer Einheiteninkonsistenz (Gradienteneinheiten vs. Gewichtseinheiten), wodurch die Trust-Ratio fast universell die obere Clip-Grenze ( $r_{max}$ ) erreicht und die Anpassung wirkungslos wird.
Entkoppelter Weight-Decay-Auslauf: Die Kombination kalibrierter Nenner mit entkoppeltem Weight Decay erzeugt eine positive Rückkopplungsschleife, bei der die Gewichtsnormen unkontrolliert wachsen (10–50 $\times$ ) und das Training destabilisieren.

2. Methodik

Die Autoren schlagen OrScale vor, ein Framework, das auf einem einzigen Designprinzip basiert: Der Nenner einer schichtweisen Trust-Ratio muss die Frobenius-Norm der tatsächlichen Update-Richtung messen, die der Optimierer von den Parametern subtrahieren wird.

Kernprinzip

Sei $D_{\ell,t}$ die tatsächliche Richtung im Parameterraum, die von den Gewichten $W_{\ell,t}$ subtrahiert wird, bevor die globale Lernrate angewendet wird. Die Trust-Ratio ist definiert als:
$r_{\ell,t} = \frac{\|W_{\ell,t}\|_F}{\|D_{\ell,t}\|_F + \epsilon}$
Entscheidend ist, dass $D_{\ell,t}$ sowohl den Weight-Decay-Term als auch die orthogonalisierte Richtung enthalten muss.

Zwei Varianten

Das Framework ergibt zwei spezifische Implementierungen:

OrScale (Allgemein/Vision-Standard):
- Update-Richtung: $D_{\ell,t} = \lambda W_{\ell,t} + Q_{\ell,t}$ (wobei $\lambda$ Weight Decay und $Q$ die orthogonalisierte Richtung ist).
- Formfaktor: $s_\ell = 1$ (keine statische Skalierung).
- Kalibrierung: Keine.
- Weight Decay: Direkt in den Trust-Ratio-skalierten Update-Schritt integriert.
OrScale-LM (LLM-Standard):
- Update-Richtung: $D_{\ell,t} = \lambda W_{\ell,t} + s_\ell Q_{\ell,t}$ .
- Formfaktor: Nimmt den statischen Faktor von Moonlight an $s_\ell = 0.2\sqrt{\max(m_\ell, n_\ell)}$ , um das RMS pro Element von AdamW zu entsprechen.
- Kalibrierung: Führt eine träge schichtweise Kalibrierungskonstante ( $c_{\text{denom}, \ell}$ ) ein, die einmal bei der Initialisierung berechnet wird. Dies verankert das initiale Trust-Verhältnis exakt bei 1 ( $r_{\ell,0}=1$ ).
- Bedeutung der Kalibrierung: Dies ermöglicht es OrScale-LM, die für Moonlight (und damit AdamW) feinabgestimmten Lernraten- und Weight-Decay-Hyperparameter zu übernehmen, ohne eine neue Hyperparametersuche zu erfordern. Es gewährleistet eine Breiteninvarianz bei der Initialisierung.

Algorithmische Details

Gekoppelter Weight Decay: Weight Decay ist in die Trust-Ratio-Berechnung integriert ( $\lambda W$ ist Teil des Nenners), anstatt als separater Rückzug angewendet zu werden. Dies verhindert die beobachtete runaway-Rückkopplungsschleife bei entkoppelten Varianten.
Effizienz: Die Methode fügt einen vernachlässigbaren Overhead hinzu (<1% Wandzeit), erfordert nur einen zusätzlichen Skalar pro Matrixschicht und zwei Berechnungen der Frobenius-Norm pro Schritt, die von den bestehenden Newton–Schulz-Iterationen dominiert werden.

3. Hauptbeiträge

Algorithmus: Ein einheitliches, parameterleichtes Rezept (Algorithmus 1), das die schichtweise Trust-Ratio-Skalierung erfolgreich in Muon integriert. Die Autoren identifizieren die einzigartige „funktionierende Ecke" im Designraum (Nenner der realen Update-Richtung + Gekoppelter WD).
Fehleranalyse: Eine rigorose Kartierung des Muon Trust-Ratio-Designraums (Tabelle 1), die analytisch und empirisch drei Fehlermodi charakterisiert (entarteter Nenner, Clip-Sättigung und unkontrolliertes Gewichtswachstum), zeigt, warum diese scheitern und warum die vorgeschlagene Lösung erfolgreich ist.
Theorie:
- Konvergenz: Beweis einer nuklearen Norm $O(1/\sqrt{T})$ -Konvergenzgarantie für nicht-konvexe Probleme.
- Adaptiver Gewinn: Etablierung einer schichtadaptiven Abstiegskonstante $\kappa_{\text{eff}} > 1$ unter messbarer Schiftheterogenität, die die homogene Konstante von Muon strikt verbessert.
- Trennung: Beweis einer strikten Trennung von MuTrust/MuScale unter Bedingungen der Clip-Sättigung.
- Kalibrierung: Demonstration, dass OrScale-LM den $\mu$ P-artigen Lernraten-Transfer bei der Initialisierung bewahrt.
Empirik: Umfassende Evaluierung über Vision- und Sprachmodell-Aufgaben hinweg.

4. Experimentelle Ergebnisse

Vision (CIFAR-10 / DavidNet)

Leistung: OrScale erreichte eine Validierungs-Top-1-Genauigkeit von 94,05 % $\pm$ 0,08 und belegte unter fünf Baselines den ersten Platz.
Verbesserung: Dies entspricht einer Verbesserung von +0,35 Punkten gegenüber dem Standard-Muon (93,70 %) und +0,30 gegenüber Muon+Moonlight (93,75 %).
Stabilität: OrScale zeigte ein breiteres stabiles Lernratenfenster im Vergleich zu Muon, was mit theoretischen Vorhersagen schichtadaptiver Gewinne übereinstimmt.
Ablation: Eine Fehlermodus-Ablationsstudie bestätigte, dass Varianten, die den identifizierten Fehlermodi entsprechen (z. B. Verwendung von $\|Q_\ell\|_F$ oder rohem Momentum), die vorhergesagten Symptome zeigten (z. B. 99,5–100% Clip-Sättigung oder Gewichtsnorm-Auslauf) und die Leistung von OrScale nicht erreichten.

Large Language Models (FineWeb-Edu Vortraining)

Skalierung: Evaluierung über vier Modellskalen hinweg (125M bis 1,1B Parameter).
Vergleich: OrScale-LM übertraf Muon+Moonlight bei drei von vier Skalen (125M, 545M, 1,1B) und schlug AdamW bei jeder Skala.
Verlustreduktion: Bei der 1,1B-Skala erreichte OrScale-LM einen finalen Validierungs-Cross-Entropy-Wert von 2,6251, verglichen mit 2,6360 für Muon+Moonlight und 2,7304 für AdamW.
Effizienz: Der Vorteil blieb über den gesamten Rechenbereich erhalten, wobei OrScale-LM in dem Regime einen klaren Sieg zeigte, in dem Rechenleistung für LLMs am wichtigsten ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass OrScale erfolgreich die Lücke zwischen der spektralen Geometrie von Muon und der schichtweisen Adaptivität von LARS/LAMB schließt. Ihre primäre Bedeutung liegt in:

Lösung des Größenproblems: Sie bietet die erste zeitvariierende, schichtweise Größenkontrolle für Muon, die gegenüber strukturellen Fehlermodi robust ist.
Praktische Übertragbarkeit: Durch die Variante OrScale-LM und träge Kalibrierung ermöglicht sie Praktikern, für AdamW oder Moonlight feinabgestimmte Lernraten direkt auf OrScale-LM zu übertragen, ohne eine Neuabstimmung zu erfordern, was die Hürde für die Adoption senkt.
Theoretische Fundierung: Sie bietet eine rigorose theoretische Begründung dafür, warum frühere Hybridversuche gescheitert sind, und beweist, dass die vorgeschlagene Methode unter Heterogenität strikt bessere Konvergenzkonstanten liefert.
Empirische Validierung: Sie zeigt, dass diese theoretischen Verbesserungen in greifbare Gewinne sowohl bei kleinen Vision-Aufgaben als auch beim Vortraining großer LLMs übersetzt werden, und etabliert OrScale als State-of-the-Art-Optimierer für matrixwertige Schichten.

Die Autoren bewahren bezüglich der LLM-Ergebnis bescheiden, indem sie feststellen, dass der Vorteil bei der 1,1B-Skala mit dem Rauschen eines einzelnen Seeds bei kleineren Skalen vergleichbar ist, und daher die Ergebnisse eher als richtungsweisender Nachweis der Wirksamkeit der Methode zu betrachten sind als als definitive statistische Überlegenheit in allen Regimen. Dennoch unterstützen die konsistente Verbesserung über alle Skalen hinweg und die erfolgreiche Ablation der Fehlermodi das vorgeschlagene Designprinzip stark.