🤖 machine learning

Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors

Dieses Paper stellt die Magnitude–Direction (MD) Decoupling vor, eine Modifikation für Optimierer, die Gewichtmatrizen in Richtungen mit fester Norm und lernbare Magnituden faktorisiert, welche mit separaten Raten aktualisiert werden, wodurch die Trainingsdynamik stabilisiert und die Notwendigkeit von Weight Decay und Warmup über verschiedene Modellarchitekturen und Optimierer hinweg eliminiert wird.

Ursprüngliche Autoren: Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, komplexen Roboter (einem neuronalen Netzwerk) eine neue Sprache beizubringen. Das Gehirn des Roboters besteht aus Milliarden winziger Schalter, den sogenannten Gewichten. Um den Roboter zu lehren, benutzen Sie einen Lehrer namens Optimizer (wie Adam oder Muon), der diese Schalter anstößt, um den Roboter intelligenter zu machen.

Lange Zeit behandelten diese Lehrer jeden Schalter wie einen einzigen, soliden Block. Sie schoben den gesamten Block in eine bestimmte Richtung. Aber die Autoren dieser Arbeit haben erkannt, dass es ein Problem gibt: Jedes Gewicht besteht tatsächlich aus zwei unterschiedlichen Teilen:

Richtung: In welche Richtung der Schalter zeigt (wie die Nadel eines Kompasses).
Magnitude: Wie stark oder laut dieser Schalter ist (wie ein Lautstärkeregler).

Das Problem: Das Verheddern von „Lautstärke“ und „Richtung“

Beim Standardtraining versucht der Lehrer, den gesamten Block auf einmal zu bewegen. Dies erzeugt ein chaotisches Durcheinander:

Die Lautstärke driftet ab: Wenn der Lehrer versucht, die Richtung des Schalters zu drehen, wird die „Lautstärke“ (Magnitude) als Nebeneffekt versehentlich lauter oder leiser, selbst wenn der Lehrer das gar nicht beabsichtigt hat.
Die Richtung wird verwirrt: Wenn die Lautstärke zu hoch ist, bewirkt ein kleiner Stoß kaum eine Änderung der Richtung. Wenn die Lautstärke zu niedrig ist, lässt derselbe Stoß die Richtung wild herumwirbeln.
Das „Reparatur-Set“: Aufgrund dieses Chaos müssen Ingenieure komplizierte „Pflaster“ wie Weight Decay (eine Regel, die ständig versucht, die Lautstärke zu verringern) und Warmup (das sehr langsam beginnen, um Chaos zu vermeiden) verwenden, um das Training stabil zu halten.

Die Lösung: Magnitude-Direction (MD) Decoupling

Die Autoren schlagen einen neuen Weg vor, den Roboter zu lehren. Anstatt das Gewicht als einen soliden Block zu behandeln, spalten sie es innerhalb des Optimizers in zwei separate Teile auf:

Der Kompass (Richtung): Sie erzwingen, dass die Richtung auf einer festen „Sphäre“ bleibt (wie ein Globus). Der Lehrer kann die Kompassnadel um diesen Globus rotieren, aber die Länge der Nadel verändert sich nie.
Die Lautstärkeregler (Magnitude): Sie fügen separate, lernbare „Lautstärkeregler“ (Gains) für jede Zeile und Spalte der Schalter hinzu. Diese Regler steuern die Lautstärke unabhängig.

Die Analogie:
Stellen Sie sich vor, Sie steuern ein Schiff.

Der alte Weg: Sie haben einen riesigen Hebel, der sowohl das Ruder (Richtung) als als auch die Motorleistung (Magnitude) steuert. Wenn Sie versuchen, das Ruder zu drehen, beschleunigt oder bremst der Motor versehentlich, was das Steuern des Schiffes schwierig macht. Sie müssen ständig gegen den Motor ankämpfen, um ihn stabil zu halten.
Der neue Weg (MD Decoupling): Sie haben ein dediziertes Lenkrad für das Ruder und einen separaten Gashebel für den Motor. Sie können das Lenkrad genau so weit drehen, wie Sie wollen, ohne dass der Motor beschleunigt oder langsamer wird. Zudem können Sie den Gashebel unabhängig anpassen, um schneller oder langsamer zu fahren.

Was passiert, wenn man dies verwendet?

Das Paper zeigt, dass diese einfache Trennung zu einigen überraschenden Vorteilen führt:

Keine mehr „Pflaster“ nötig: Da die Richtung auf eine feste Größe fixiert ist und die Lautstärke separat gesteuert wird, benötigt der Roboter kein Weight Decay oder Warmup mehr. Das Training ist von Natur aus stabil.
Vorhersehbare Skalierung: Normalerweise, wenn man den Roboter größer macht (mehr Schalter hinzufügt), muss man die Einstellungen des Lehrers von Grund auf neu abstimmen. Mit dieser neuen Methode bleibt die „Steuersensitivität“ (Learning Rate) gleich, egal ob der Roboter klein oder riesig ist. Man kann ein kleines Modell abstimmen und exakt dieselben Einstellungen für ein massives Modell verwenden.
Schnelleres Lernen: Der Roboter lernt besser und schneller. In Tests mit riesigen Modellen (Mixture-of-Experts) erreichte diese Methode das gleiche Leistungsniveau wie die besten existierenden Methoden, verbrauchte dabei jedoch nur die halbe Rechenleistung.

Das Fazit

Das Paper argumentiert, dass wir KI-Modelle effizienter, mit weniger Regeln und mit besseren Ergebnissen trainieren können, indem wir die „Richtung“ und die „Lautstärke“ der Gewichte eines neuronalen Netzwerks als zwei separate Dinge behandeln, die unabhängig voneinander gesteuert werden können. Es ist so, als würde man erkennen, dass man ein Auto gut fahren kann, wenn man Lenkung und Gaspedal getrennt kontrolliert, anstatt zu versuchen, beides mit einer Hand zu machen.

Technisches Resümee: Verbesserung des Trainings neuronaler Netze durch Entkopplung von Betrag und Richtung von Gewichtsvektoren

1. Problemstellung

Das Training moderner neuronaler Netze stützt sich auf Optimierer wie Adam und Muon, die Gewichtsmatrizen als einzelne, monolithische Objekte behandeln. Jede Gewichtsmatrix $W$ trägt jedoch inhärent zwei unterschiedliche Größen in sich: einen Betrag ( $\|W\|$ ) und eine Richtung ( $\hat{W} = W/\|W\|$ ). In der Standardoptimierung sind diese beiden Größen gekoppelt, was zu instabilen und unvorhersehbaren Trainingsdynamiken führt:

Abhängigkeit der Richtungsänderung: Die durch ein Update induzierte Winkeländerung hängt invers vom aktuellen Betrag ab. Folglich steuert die Lernrate (LR) nicht direkt die Rate der Richtungsänderung, welche über Schichten hinweg variieren und im Zeitverlauf schwanken kann.
Unbeabsichtigte Betragsdrift: Updates tendieren dazu, senkrecht zu den aktuellen Gewichten zu verlaufen (aufgrund von Skaleninvarianz oder Rauschen), was den Betrag selbst ohne radialen Gradienten ansteigen lässt. Dieses „unkontrollierte Wachstum“ zwingt Praktiker dazu, indirekte Mechanismen wie Weight Decay zur Stabilisierung des Trainings und Warmup zur Vermein Vermeidung früher Instabilitäten einzusetzen.
Skalierungsbeschränkungen: Aktuelle Methoden zur Skalierung des Trainings (z. B. $\mu$ P) erfordern oft eine erneute Abstimmung der Hyperparameter beim Ändern der Modellbreite oder -tiefe. Zudem verfügen neuere Ansätze, die Gewichte auf einer Festnorm-Sphäre einschränken, oft über keine lernbaren Betragsparameter, wodurch die Skalenkontrolle allein den Normalisierungsschichten überlassen bleibt.

2. Methodik: Betrags–Richtungs-Entkopplung (MD-Entkopplung)

Die Autoren schlagen die Betrags–Richtungs-Entkopplung (MD-Entkopplung) vor, eine Modifikation des Optimierers, die jede Gewichtsmatrix in eine Richtungsmatrix mit fester Norm und lernbare Betragsgewinne faktorisiert, die mit separaten Lernraten aktualisiert werden.

Kernfaktorisierung

Jede Gewichtsmatrix $W$ wird wie folgt reparametrisiert:
$W = \text{diag}(\gamma_{\text{row}}) \, \hat{W} \, \text{diag}(\gamma_{\text{col}})$
Wobei:

$\hat{W}$ die Richtung ist, die auf einer festen Hypersphäre liegt (z. B. Frobenius-Norm).
$\gamma_{\text{row}}$ und $\gamma_{\text{col}}$ lernbare Betragsgewinne sind (Vektoren, die auf Zeilen bzw. Spalten wirken).

Optimierungsverfahren

Die Methode operiert vollständig innerhalb des Optimierungsschritts und hält den Forward-Pass des Modells unverändert (das Modell sieht einen einzigen fusionierten Tensor $W$ ):

Wiederherstellung: $\hat{W}$ und die Gewinne $\gamma$ werden aus dem fusionierten Gewicht $W$ wiederhergestellt.
Gradientensplit: Der Gradient $G = \partial L / \partial W$ wird in einen Richtungsgradienten ( $\partial L / \partial \hat{W}$ ) und Gewinngradienten (aufsummiert über die jeweiligen Achsen) aufgeteilt.
Richtungs-Update: $\hat{W}$ wird mit dem Basisoptimierer (z. B. Adam, Muon) unter Verwendung der Lernrate $\eta_W$ aktualisiert und anschließend zurück auf die Sphäre projiziert, um die feste Norm beizubehalten.
Gewinn-Update: Die Gewinne $\gamma$ werden (optional über eine glatte Abbildung wie Softplus, um Positivität zu gewährleisten) unter Verwendung einer separaten Lernrate $\eta_\gamma$ aktualisiert.
Rekonstruktion: $W$ wird für den nächsten Forward-Pass rekonstruiert.

Haupteigenschaften

Optimierer-agnostisch: Die Methode fungt als Wrapper um jeden Basisoptimierer (Adam, Muon, Shampoo usw.).
Direkte LR-Kontrolle: Durch das Fixieren der Richtung auf einer Sphäre setzt die Lernrate direkt die relative Winkeländerung, wodurch die Abhängigkeit vom aktuellen Gewicht betrag zu eliminieren.
Eliminierung von Heuristiken: Die Methode macht Weight Decay überflüssig (da die Gewichte bereits normbeschränkt sind) und Warmup (da große, destabilisierende frühe Updates von Beginn an reguliert werden).
Feingranulare Skalenkontrolle: Im Gegensatz zu Methoden, die sich ausschließlich auf die Gewinne von Normalisierungsschichten verlassen, bietet die MD-Entkopplung eine explizite, gelernte Kontrolle über die Skala einzelner Zeilen und Spalten, was es dem Modell ermöglicht, spezifische Merkmale zu verstärken oder abzuschwächen.

3. Wichtige Beiträge und Erkenntnisse

Empirische Ergebnisse

Die Autoren validieren die MD-Entkopplung über dichte Modelle (181M bis 1,29B Parameter) und große Mixture-of-Experts (MoE)-Modelle (bis zu 6,7B Gesamtparameter) hinweg.

Leistungssteigerung: Die MD-Entkopplung verbessert gegenüber gut abgestimmten Baselines (AdamW und Muon). Bei großen MoE-Modellen erreicht MuonMD (Muon mit MD-Entkopplung) den Verlust von AdamW mit etwa 2 $\times$ weniger Rechenaufwand.
Lernraten-Transfer: Die Methode ermöglicht Zero-Shot-Lernraten-Transfer über die Modellbreite hinweg. Die optimale Matrix-LR, die auf einem kleinen Modell gefunden wurde, bleibt auch für signifikant größere Modelle optimal, ohne dass ein erneutes Tuning erforderlich ist. Dies gilt sowohl für die Skalierung der Breite als auch der Tiefe.
Warmup-freies Training: Experimente zeigen, dass das Weglassen von Warmup nicht nur die Stabilität beibehält, sondern auch den endgültigen Verlust verbessert, da die frühen Trainingsschritte nicht mehr durch reduzierte Lernraten „verschwendet“ werden.
Ablationsstudien:
- Normalisierungsachse: Es wurde festgestellt, dass die Beschränkung der Richtung mittels Frobenius-Norm (gesamte Matrix) am flexibelsten ist und vergleichbar mit Zeilen-/Spaltenbeschränkungen performt.
- Gewinn-Parametrisierung: Eine kombinierte Gewinn-Parametrisierung pro Zeile und Spalte ( $\gamma_{\text{row}} + \gamma_{\text{col}}$ ) schneidet besser ab als skalare oder einachsige Gewinne. Die Softplus-Parametrisierung für Gewinne bietet einen leichten, konsistenten Vorteil gegenüber direkten oder exponentiellen Updates.
- Embeddings: Die Beschränkung von Embedding-Vektoren auf eine Einheits-L2-Norm performt etwas besser als das Belassen der unbeschränkten Form.

Vergleich mit verwandten Arbeiten

Das Paper ordnet die MD-Entkopplung in eine wachsende Gruppe von Arbeiten zu sphärischem Training und Reparametrisierung ein:

Im Gegensatz zu nGPT, das sphärische Beschränkungen mit spezifischen architektonischen Änderungen (z. B. L2-Normalisierung, interpolierte Residuen) koppelt, ist die MD-Entkopplung eine Modifikation auf der Optimierer-Seite, die auf Standardarchitekturen angewendet werden kann. Bei Anwendung auf die nGPT-Architektur verbessert die MD-Entkopplung die Leistung zusätzlich.
Im Gegensatz zu Muown oder HyperP, die Normen fixieren könnten, ohne lernbare Beträge bereitzustellen, oder die Methode an spezifische Optimierer binden, bietet die MD-Entkoppung explizit lernbare Beträge und ist optimierer-agnostisch.
Sie adressiert die „Betrags–Richtungs-Interferenz“, die in vorangegangenen Arbeiten (z. B. Kosson et al., 2024a) identifiziert wurde, indem sie die Dynamik der beiden Größen trennt.

4. Bedeutung und Ansprüche

Das Paper behauptet, dass die Behandlung von Betrag und Richtung als separat kontrollierte Größen vorhersehbarere Trainingsdynamiken und eine einfache, breit anwendbare Verbesserung moderner Optimierer liefert.

Einfachheit: Die Methode erfordert keine architektonischen Änderungen und verursacht nur einen minimalen Rechenaufwand (elementweise Operationen während des Optimierungsschritts).
Robustheit: Sie vereinfacht das Trainingsrezept durch das Entfernen von Weight Decay und Warmup, wodurch der Hyperparameter-Suchraum reduziert wird.
Skalierbarkeit: Sie bietet einen prinzipienbasierten Mechanismus für den Lernraten-Transfer über die Modellbreite hinweg und adressiert damit einen zentralen Engpass bei der Skalierung großer Sprachmodelle.

Die Autoren kommen zu dem Schluss, dass die zusätzliche Logik im Optimierungsschritt zwar einen moderaten Overhead verursacht, die Vorteile in Bezug auf Trainingsstabilität, Recheneffizienz und Hyperparameter-Transfer die MD-Entkopplung jedoch zu einem bedeutenden Fortschritt für das Training großskaliger neuronaler Netze machen.