📊 statistics

Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers

Dieser Beitrag stellt ein symmetriekompatibles Prinzip für das Optimierer-Design vor, das Gradienten-Update-Regeln mit den spezifischen Äquivarianzstrukturen verschiedener Parameterblöcke – wie Embeddings, LM-Köpfen, SwiGLU-MLPs und MoE-Routern – in Einklang bringt und durch umfangreiche Pre-Training-Experimente nachweist, dass diese maßgeschneiderten Optimierer AdamW in Bezug auf den finalen Validierungsverlust und die Trainingsstabilität konsistent übertreffen.

Ursprüngliche Autoren: Tim Tsz-Kit Lau, Weijie Su

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tim Tsz-Kit Lau, Weijie Su

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, komplexen Roboter beizubringen, eine neue Sprache zu sprechen. Dieser Roboter besteht aus vielen verschiedenen Teilen: einem Vokabelwörterbuch, einem Gehirn zur Verarbeitung von Sätzen und einem Entscheidungssystem zur Auswahl des zu konsultierenden Experten.

Seit Jahren ist die Standardmethode, um diesen Roboter zu unterrichten, wie die Verwendung eines generischen, universell einsetzbaren Pinsels. Sie tauchen den Pinsel in „Lernfarbe" und tupfen ihn einfach auf jeden einzelnen Teil des Roboters, unabhängig davon, was dieser Teil tatsächlich tut. Diese Methode (genannt AdamW) behandelt jede winzige Zahl im Gehirn des Roboters als einen unabhängigen, isolierten Punkt. Sie funktioniert einigermaßen, ignoriert jedoch die Tatsache, dass einige Teile des Roboters tatsächlich strukturierte Gitter, Tabellen oder vernetzte Netzwerke sind.

Dieser Artikel argumentiert, dass wir aufhören sollten, einen einzigen Pinsel für alles zu verwenden. Stattdessen sollten wir spezialisierte Werkzeuge verwenden, die der spezifischen Form und Symmetrie jedes Teils des Roboters entsprechen. Die Autoren nennen dies das „Symmetrie-kompatible Prinzip".

Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Das Problem: Der „koordinatenweise" Fehler

Die meisten aktuellen Optimierer behandeln das Gehirn des Roboters wie eine lange, flache Liste von Zahlen. Stellen Sie sich ein Foto einer Stadt vor. Ein „koordinatenweiser" Optimierer versucht, das Foto zu korrigieren, indem er die Helligkeit jedes einzelnen Pixels unabhängig voneinander, eins nach dem anderen, anpasst. Er erkennt nicht, dass ein Gebäude eine verbundene Struktur ist, oder dass der Himmel einen sanften Verlauf aufweist. Er ignoriert die Geometrie (die Form und Struktur) der Daten.

2. Die Lösung: Das Werkzeug an den Job anpassen

Die Autoren sagen, dass verschiedene Teile eines neuronalen Netzwerks unterschiedliche „Symmetrien" haben (Regeln darüber, wie sie neu angeordnet werden können, ohne zu brechen). Der Optimierer sollte diese Regeln respektieren.

Das Wörterbuch (Embeddings & LM Heads):
- Die Form: Stellen Sie sich die Vokabelliste als riesige Tabellenkalkulation vor, wobei die Zeilen Wörter und die Spalten Merkmale sind. Sie können die Reihenfolge der Wörter (Zeilen) mischen, ohne die Bedeutung zu ändern, aber Sie können die Merkmale (Spalten) nicht frei drehen.
- Der alte Weg: Der generische Optimierer behandelt jedes Wort-Merkmals-Paar als einen separaten Punkt.
- Der neue Weg: Der Artikel schlägt „Row-Norm"- oder „Right-Spectral"-Updates vor.
- Die Analogie: Anstatt jedes Pixel zu bemalen, passen Sie die Helligkeit jeder gesamten Zeile (Wort) basierend darauf an, wie aktiv dieses Wort ist. Wenn ein Wort selten verwendet wird, geben Sie ihm einen sanften Stoß; wenn es häufig verwendet wird, geben Sie ihm einen kräftigeren Schub. Dies respektiert die Tatsache, dass die Wörter distincte Einträge in einer Liste sind.
Die verborgenen Schichten des Gehirns (SwiGLU MLPs):
- Die Form: Diese Schichten haben „Neuronen", die ausgetauscht werden können. Wenn Sie Neuron A mit Neuron B tauschen, funktioniert die Mathematik immer noch genauso.
- Der neue Weg: Der Artikel schlägt „Row-Aware"- oder „Column-Aware"-Updates vor.
- Die Analogie: Stellen Sie sich ein Team von Arbeitern vor. Wenn Sie die Namen zweier Arbeiter tauschen, funktioniert das Team immer noch. Der Optimierer erkennt dies und passt die Anstrengung des gesamten Teams gemeinsam an, anstatt jeden Arbeiter als isoliertes Individuum zu behandeln.
Die Experten-Umschaltzentrale (MoE Router):
- Die Form: In „Mixture of Experts"-Modellen entscheidet der Router, welchen Experten er heranzieht. Die Experten sind austauschbar (Experte 1 ist dasselbe wie Experte 2, wenn Sie ihre Namen tauschen), und der Router hat eine „gemeinsame Verschiebung" (das Hinzufügen einer Konstante zu allen Werten ändert die Wahl nicht).
- Der neue Weg: Der Artikel schlägt „Centered Row-Norm"- oder „Left-Spectral"-Updates vor.
- Die Analogie: Stellen Sie sich einen Manager vor, der Aufgaben einem Team identischer Spezialisten zuweist. Dem Manager ist es egal, wer „Experte 1" oder „Experte 2" ist. Der neue Optimierer stellt sicher, dass der Manager das Team als Gruppe behandelt und ihre kollektive Arbeitslast anpasst, ohne sich durch willkürliche Bezeichnungen verwirren zu lassen.

3. Die Ergebnisse: Ein besserer Roboter

Die Autoren testeten diese Idee, indem sie verschiedene Arten von Sprachmodellen (wie Qwen, Gemma und OLMoE) trainierten. Sie ersetzten den generischen „universell einsetzbaren" Optimierer durch diese spezialisierten, symmetriebewussten Werkzeuge für bestimmte Teile des Modells.

Was passierte?

Bessere Leistung: In fast jedem Test lernte der Roboter schneller und endete mit einer niedrigeren Fehlerquote (besserer Validierungsverlust) als der Roboter, der mit der generischen Methode trainiert wurde.
Stabilität: Der Trainingsprozess war glatter, mit weniger plötzlichen Spitzen bei den Fehlern.
Skalierbarkeit: Die Vorteile waren bei größeren Modellen und Modellen mit massiven Vokabularen noch deutlicher spürbar.

Das Fazit

Der Artikel behauptet nicht, dass die alte Methode „kaputt" ist oder dass sie nie wieder verwendet werden wird. Stattdessen argumentiert er, dass Geometrie wichtig ist. Genau wie Sie keinen Hammer verwenden würden, um eine Glühbirne einzuschrauben, sollten Sie keinen generischen, koordinatenbasierten Optimierer für jeden Teil eines komplexen neuronalen Netzwerks verwenden.

Indem wir das „Lernwerkzeug" so gestalten, dass es der spezifischen Form und Symmetrie des Teils des Gehirns entspricht, das es aktualisiert, können wir bessere, effizientere und stabilere KI-Modelle bauen. Es ist ein Wandel davon, die KI als eine Tüte zufälliger Zahlen zu behandeln, hin dazu, sie als strukturiertes, geometrisches Objekt zu betrachten.

Technische Zusammenfassung: Symmetriekompatibles Prinzip für das Optimierer-Design

1. Problemstellung

In der modernen Deep-Learning-Praxis besteht eine fundamentale geometrische Diskrepanz. Während neuronale Netzwerkarchitekturen (Embeddings, LM-Heads, SwiGLU-MLPs, MoE-Router) reiche intrinsische Symmetrie- und Äquivarianzeigenschaften besitzen, arbeiten dominierende Optimierungsmethoden wie Adam, AdamW und RMSprop koordinatenweise. Diese Methoden behandeln Matrixparameter als abgeflachte Vektoren unabhängiger Koordinaten, vernachlässigen dabei die Matrixstruktur und brechen die natürliche Äquivarianz des Parameterraums.

Dieser „geometrieblinde" Ansatz versagt darin, die unterschiedlichen Geometrien verschiedener Schichttypen zu unterscheiden. Folglich können populäre Optimierer spektrale Strukturen verwerfen, geometrische Missverhältnisse erzeugen und die Invarianz- sowie Äquivarianzstrukturen, die spezifischen Parameterblöcken inhärent sind (z. B. Permutationsinvarianz in Vokabularen oder Expertenaustauschbarkeit in MoEs), nicht respektieren. Das aktuelle theoretische Verständnis und empirische Vergleiche zwischen koordinatenweisen adaptiven Methoden und spektralen Optimierern bleiben begrenzt und stützen sich häufig auf großskalige Benchmarks ohne tiefgehende Analyse des geometrischen Verhaltens.

2. Methodik: Das Symmetriekompatible Prinzip

Der Artikel schlägt ein schichtweises symmetriekompatibles Prinzip für das Optimierer-Design vor. Die Kernthese besagt, dass die Optimierer-Aktualisierungsregel $\mathcal{U}$ für einen Parameterblock $W$ unter der Symmetriegruppe $G$ , die auf diesen spezifischen Block wirkt, äquivariant sein sollte.

2.1 Theoretischer Rahmen

Sei $W \in \mathbb{R}^{m \times n}$ eine Parametermatrix. Wenn die Koordinaten der Eingabe- und Ausgabesysteme durch invertierbare Matrizen $P$ und $Q$ transformiert werden, transformiert sich die lineare Abbildung als $\tilde{W} = P W Q^{-1}$ . Der Gradient transformiert sich entsprechend kontravariant/kovariant. Die Optimierer-Aktualisierungsfunktion $\mathcal{U}$ muss erfüllen:
$\mathcal{U}(g \cdot D) = g \cdot \mathcal{U}(D)$
wobei $D$ eine Aktualisierungsrichtung (z. B. Gradient oder Momentum) und $g$ ein Element der Symmetriegruppe ist.

Der Artikel leitet spezifische Optimiererklassen basierend auf den Symmetriegruppen verschiedener Schichttypen ab:

Ordentliche Matrixschichten (Linear/Attention):
- Symmetrie: Bi-orthogonal ( $O_m \times O_n$ ).
- Optimiererklasse: Spektrale Optimierer. Die Aktualisierung muss ein spektraler Operator sein, der auf Singulärwerten wirkt und Singulärvektoren erhält. Dies vereint Stochastic Spectral Descent (SSD), Muon, Scion und Polar-Gradient-Methoden. Die Aktualisierung ist typischerweise der orthogonale Polarfaktor der Momentum-Richtung.
Embeddings und LM-Heads:
- Symmetrie: Links-Permutation ( $P_v$ ) und Rechts-Orthogonalität ( $O_d$ ). Zeilen indizieren Vokabularelemente (diskrete Permutation), Spalten indizieren versteckte Merkmale (kontinuierliche Rotation).
- Optimiererklasse: Links-Permutations-Rechts-Orthogonal (LPRO) äquivariante Aktualisierungen.
  - Rechts-spektral: Wirkt global über die rechte Gram-Matrix ( $D^\top D$ ).
  - Zeilen-Norm: Wirkt lokal auf Zeilennormen (Vokabularelemente).
  - Hybrid: Zusammensetzungen aus Zeilen-Norm- und rechts-spektralen Aktualisierungen.
SwiGLU-MLP-Projektionen:
- Symmetrie: Permutation der Zwischenneuronen ( $P_{d_{ff}}$ ). Die Gate- und Up-Projektionen haben Zeilen, die Zwischenneuronen entsprechen; die Down-Projektion hat Spalten, die ihnen entsprechen.
- Optimiererklasse: Zeilenbewusste und Spaltenbewusste Varianten. Gate-/Up-Projektionen verwenden LPRO-kompatible Aktualisierungen (Zeilen-Norm/rechts-spektral); Down-Projektionen verwenden die transponierte Geometrie.
MoE-Router:
- Symmetrie: Experten-Permutation ( $P_e$ ) und Invarianz gegenüber Shared-Logit-Verschiebungen (das Hinzufügen einer Konstante zu allen Logits ändert die Softmax-Verteilung nicht).
- Optimiererklasse: Router-kompatible Aktualisierungen. Diese wirken auf die zentrierte Richtung $D_c = \Pi^\perp D$ $D_{c} = Π^{⊥} D$ (Entfernung der gemeinsamen Verschiebung).
  - Zentriert Links-spektral: Wirkt auf die zentrierte Experten-Gram-Matrix.
  - Zentriert Zeilen-Norm: Wirkt auf zentrierte Experten-Zeilennormen.

2.2 Praktische Implementierung

Die Autoren setzen diese Prinzipien in praktische momentumbasierte Optimierer um:

RightPolarGradM / LeftPolarGradM: Einseitige spektrale Aktualisierungen unter Verwendung von Newton-Schulz-Iterationen für Matrix-Inversen-Wurzeln.
RowNormM: Zeilenweise Normalisierungsaktualisierungen.
HybridPolarGradM: Zusammensetzungen aus Zeilen-Norm- und einseitigen spektralen Schritten.
Zentrierung: Für MoE-Router werden Aktualisierungen auf das zentrierte Momentum $M_{k,c} = \Pi^\perp M_k$ angewendet.

3. Hauptbeiträge

Symmetriekompatibles Prinzip: Ein formales Argument, dass koordinatenweise Optimierer geometrisch nicht passend für matrixwertige Parameter sind. Der Artikel etabliert, dass Aktualisierungsregeln der Symmetriegruppe des Parameterblocks entsprechen sollten.
Vereinheitlichte Sicht spektraler Optimierer: Bietet eine symmetriebasierte Interpretation spektraler Optimierer (Muon, SSD, etc.) als die eindeutige Klasse bi-orthogonal äquivarianter Aktualisierungsfunktionen.
Neue äquivariante Optimiererklassen: Leitet spezifische Aktualisierungsregeln für Schichten mit nicht-standardisierten Symmetrien ab:
- LPRO-äquivariante Aktualisierungen für Embeddings und LM-Heads.
- Zeilen-/spaltenbewusste Aktualisierungen für SwiGLU-MLPs.
- Zentrierte Experten-Permutationsaktualisierungen für MoE-Router.
End-to-End-Pre-Training-Evidenz: Konstruiert einen vollständigen schichtweisen Optimierer-Stack, bei dem jede wichtige Matrixklasse eine symmetrieangepasste Aktualisierung erhält. Dies wird an dichten und spärlichen MoE-Sprachmodellen evaluiert (Qwen3-0.6B, Gemma 3 1B, OLMoE-1B-7B, verkleinertes gpt-oss).

4. Experimentelle Ergebnisse

Die Autoren führten Pre-Training-Experimente auf 10-Milliarden-Token-Teilmengen von FineWeb-Edu über vier Architekturen hinweg durch.

Dichte Modelle (Qwen3-0.6B, Gemma 3 1B):
- Das Ersetzen von AdamW auf vokalubular-indizierten Matrizen (Embeddings/LM-Heads) durch RowNormM oder HybridPolarGradM verbesserte konsistent den finalen Validierungsverlust.
- Die Gewinne waren für das kleinere Qwen3-Modell bescheiden, aber für das größere Gemma 3-Modell ausgeprägter, was darauf hindeutet, dass geometriebewusste Aktualisierungen kritischer werden, wenn Vokabular-Matrizen größer werden und Gradienten anisotroper werden.
- Die Verwendung von HybridPolarGradM für SwiGLU-MLP-Projektionen verbesserte die Leistung weiter, wahrscheinlich aufgrund der Korrektur von Zeilen-Skalen-Ungleichgewichten in hoch-schmalen Matrizen.
Spärliche MoE-Modelle (OLMoE-1B-7B, verkleinertes gpt-oss):
- Konfigurationen mit symmetriekompatiblen Aktualisierungen für Embeddings, LM-Heads und Router (z. B. RowNormM + LeftPolarGradM) schnitten besser ab als Konfigurationen, die AdamW für diese Komponenten verwendeten.
- Der vollständig koordinatenweise Baseline (AdamW überall) performte am schlechtesten.
- Symmetriekompatible Router-Aktualisierungen verbesserten sich gegenüber koordinatenweisen Router-Aktualisierungen und reduzierten in einigen Fällen Training-Verlust-Spitzen, was auf verbesserte Stabilität hindeutet.
Allgemeiner Trend: Über alle Modelle hinweg senkte das Ersetzen von AdamW auf großen vokalubular-indizierten Matrizen durch symmetriekompatible Optimierer konsistent den finalen Validierungsverlust. Die Vorteile blieben über verschiedene Architekturen und Spärlichkeitsgrade hinweg bestehen.

5. Bedeutung und Behauptungen

Der Artikel behauptet einen prinzipiellen Wandel im Optimierer-Design von einer „geometrieblinden" koordinatenweisen Sicht zu einer „symmetriebewussten" Matrix-Sicht.

Architektur-Optimierer-Co-Design: Die Arbeit argumentiert, dass Optimierer-Design ein architekturbewusstes Problem sein sollte. Unterschiedliche Parameterklassen (Embeddings, Router, Lineare Schichten) besitzen unterschiedliche natürliche Symmetrien und erfordern unterschiedliche Optimierer-Geometrien.
Theoretische Fundierung: Sie liefert eine rigorose mathematische Charakterisierung (via Äquivarianz), warum spektrale Optimierer für lineare Schichten funktionieren, und erweitert diese Logik, um neue Optimierer für andere Schichten abzuleiten.
Praktischer Nutzen: Die Ergebnisse zeigen, dass symmetriekompatible Zuordnungen nicht nur theoretisch fundiert, sondern praktisch vorteilhaft sind, indem sie den finalen Verlust und potenziell die Trainingsstabilität im großskaligen Pre-Training verbessern.
Bescheidenheit: Die Autoren stellen explizit fest, dass sie nicht behaupten, äquivariante Optimierer würden koordinatenweise Methoden in allen Regimen dominieren. Stattdessen präsentieren sie Evidenz, dass das schichtweise symmetriekompatible Prinzip zu wettbewerbsfähigen und oft vorteilhaften Zuordnungen in repräsentativen Pre-Training-Szenarien führt. Sie betrachten die Ergebnisse als Evidenz für den Nutzen des Prinzips und nicht als umfassende Benchmark.

Der Artikel schließt, dass die Einführung von Symmetrie und Äquivarianz in das Optimierer-Design einen Weg zu stabilerem, parametrisierungskonsistentem und theoretisch fundiertem großskaligem Modell-Pre-Training eröffnet.