📊 statistics

Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers

Dit artikel introduceert een symmetrie-compatibel principe voor optimizer-ontwerp dat gradient-update-regels afstemt op de specifieke equivariantiestructuren van verschillende parameterblokken—zoals embeddings, LM-heads, SwiGLU-MLP's en MoE-routers—en toont door middel van uitgebreide pre-training-experimenten aan dat deze op maat gemaakte optimizers consistent beter presteren dan AdamW wat betreft de uiteindelijke validatieverlies en trainingsstabiliteit.

Oorspronkelijke auteurs: Tim Tsz-Kit Lau, Weijie Su

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tim Tsz-Kit Lau, Weijie Su

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een reusachtige, complexe robot een nieuwe taal te leren. Deze robot bestaat uit vele verschillende onderdelen: een woordenboek voor de woordenschat, een hersenen voor het verwerken van zinnen, en een beslissingsysteem om te kiezen welk expert geraadpleegd moet worden.

Jarenlang is de standaardmanier om deze robot te leren geweest alsof je een generieke, universele verfstift gebruikt. Je doopt de stift in "leerverf" en deukt hem op elk enkel onderdeel van de robot, ongeacht wat dat onderdeel eigenlijk doet. Deze methode (genaamd AdamW) behandelt elk klein getal in de hersenen van de robot als een onafhankelijke, geïsoleerd punt. Het werkt wel redelijk, maar negeert het feit dat sommige onderdelen van de robot eigenlijk gestructureerde roosters, tabellen of onderling verbonden netwerken zijn.

Dit artikel betoogt dat we moeten stoppen met het gebruik van één enkele verfstift voor alles. In plaats daarvan moeten we gespecialiseerde gereedschappen gebruiken die passen bij de specifieke vorm en symmetrie van elk onderdeel van de robot. De auteurs noemen dit het "Symmetrie-Compatibiliteitsprincipe".

Hieronder wordt dit uiteengezet met eenvoudige analogieën:

1. Het Probleem: De "Coördinaatgewijze" Fout

De meeste huidige optimalisatoren behandelen de hersenen van de robot als een lange, platte lijst van getallen. Stel je een foto van een stad voor. Een "coördinaatgewijze" optimalisator probeert de foto te verbeteren door de helderheid van elke afzonderlijke pixel onafhankelijk van elkaar, één voor één, aan te passen. Het beseft niet dat een gebouw een samenhangende structuur is, of dat de lucht een gladde verloop heeft. Het negeert de geometrie (de vorm en structuur) van de data.

2. De Oplossing: Het Gereedschap Afstemmen op de Taak

De auteurs zeggen dat verschillende onderdelen van een neurale netwerken verschillende "symmetrieën" hebben (regels over hoe ze kunnen worden herschikt zonder te breken). De optimalisator moet deze regels respecteren.

Het Woordenboek (Embeddings & LM Heads):
- De Vorm: Denk aan de woordenlijst als een gigantisch spreadsheet waarbij rijen woorden zijn en kolommen kenmerken. Je kunt de volgorde van de woorden (rijen) door elkaar halen zonder de betekenis te veranderen, maar je kunt de kenmerken (kolommen) niet vrijelijk draaien.
- De Oude Manier: De generieke optimalisator behandelt elk woord-kenmerkpaar als een apart punt.
- De Nieuwe Manier: Het artikel stelt het gebruik voor van "Rij-Norm" of "Rechts-Spectrale" updates.
- De Analogie: In plaats van elke pixel te verven, pas je de helderheid van elke gehele rij (woord) aan op basis van hoe actief dat woord is. Als een woord zelden wordt gebruikt, geef je het een zachte duw; als het vaak wordt gebruikt, geef je het een stevige duw. Dit respecteert het feit dat de woorden afzonderlijke items in een lijst zijn.
De Verborgen Lagen van de Hersenen (SwiGLU MLP's):
- De Vorm: Deze lagen hebben "neuronen" die kunnen worden verwisseld. Als je Neuron A verwisselt met Neuron B, werkt de wiskunde nog steeds op dezelfde manier.
- De Nieuwe Manier: Het artikel stelt "Rij-bewuste" of "Kolom-bewuste" updates voor.
- De Analogie: Stel je een team van werknemers voor. Als je de namen van twee werknemers verwisselt, functioneert het team nog steeds. De optimalisator beseft dit en past de inspanning van het hele team gezamenlijk aan, in plaats van elke werknemer als een geïsoleerd individu te behandelen.
Het Expert-Schakelbord (MoE Routers):
- De Vorm: In "Mixture of Experts"-modellen beslist de router welke expert moet worden ingeschakeld. De experts zijn uitwisselbaar (Expert 1 is hetzelfde als Expert 2 als je hun namen verwisselt), en de router heeft een "gedeelde verschuiving" (het toevoegen van een constante aan alle scores verandert de keuze niet).
- De Nieuwe Manier: Het artikel stelt "Gecentreerde Rij-Norm" of "Links-Spectrale" updates voor.
- De Analogie: Stel je een manager voor die taken toewijst aan een team van identieke specialisten. De manager maakt niet uit wie "Expert 1" of "Expert 2" is. De nieuwe optimalisator zorgt ervoor dat de manager het team als een groep behandelt, hun gezamenlijke werkdruk aanpast zonder verward te raken door willekeurige labels.

3. De Resultaten: Een Betere Robot

De auteurs hebben dit idee getest door verschillende soorten taalmomenten (zoals Qwen, Gemma en OLMoE) te trainen. Ze vervingen de generieke "universele" optimalisator door deze gespecialiseerde, symmetrie-bewuste gereedschappen voor specifieke onderdelen van het model.

Wat gebeurde er?

Betere Prestaties: In bijna elke test leerde de robot sneller en eindigde met een lagere foutenratio (betere validatieverlies) dan de robot die met de generieke methode was getraind.
Stabiliteit: Het trainingsproces was soepeler, met minder plotselinge pieken in fouten.
Schaalbaarheid: De voordelen waren nog opvallender bij grotere modellen en modellen met enorme woordenschat.

De Conclusie

Het artikel beweert niet dat de oude methode "kapot" is of dat deze nooit meer zal worden gebruikt. In plaats daarvan betoogt het dat geometrie er toe doet. Net zoals je geen hamer zou gebruiken om een gloeilamp in te draaien, zou je geen generieke, coördinaat-gebaseerde optimalisator moeten gebruiken voor elk onderdeel van een complex neurale netwerk.

Door het "leergereedschap" te ontwerpen dat past bij de specifieke vorm en symmetrie van het onderdeel van de hersenen dat wordt bijgewerkt, kunnen we betere, efficiëntere en stabielere AI-modellen bouwen. Het is een verschuiving van het behandelen van de AI als een zak met willekeurige getallen naar het behandelen ervan als een gestructureerd, geometrisch object.

Technische Samenvatting: Symmetrie-Compatibel Principe voor Ontwerp van Optimaliseerders

1. Probleemstelling

Er bestaat een fundamentele geometrische discrepantie in de moderne praktijk van deep learning. Waar neurale netwerkarchitecturen (embeddings, LM-heads, SwiGLU MLP's, MoE-routers) rijke intrinsieke symmetrie- en equivariantie-eigenschappen bezitten, werken dominante optimalisatiemethoden zoals Adam, AdamW en RMSprop coördinaatgewijs. Deze methoden behandelen matrixparameters als afgevlakte vectoren van onafhankelijke coördinaten, waardoor ze de matrixstructuur negeren en de natuurlijke equivariantie van de parameterruimte verbreken.

Deze "geometrie-blinde" benadering faalt in het onderscheiden van de verschillende geometrieën van verschillende laagtypen. Bijgevolg kunnen populaire optimaliseerders spectrale structuren weggooien, niet-overeenkomende geometrieën induceren en de invariantie- en equivariantiestructuren die inherent zijn aan specifieke parameterblokken (zoals permutatie-invariantie in vocabulaires of uitwisselbaarheid van experts in MoE's) niet respecteren. Het huidige theoretische inzicht en empirische vergelijkingen tussen coördinaatgewijze adaptieve methoden en spectrale optimaliseerders blijven beperkt, en vertrouwen vaak op schaalbare benchmarks zonder diepgaande analyse van geometrisch gedrag.

2. Methodologie: Het Symmetrie-Compatibel Principe

Het artikel stelt een laagsgewijs symmetrie-compatibel principe voor het ontwerp van optimaliseerders voor. De kernstelling is dat de optimalisatie-updateregel $\mathcal{U}$ voor een parameterblok $W$ equivariant moet zijn onder de symmetriegroep $G$ die op dat specifieke blok inwerkt.

2.1 Theoretisch Kader

Laat $W \in \mathbb{R}^{m \times n}$ een parametermatrix zijn. Als de coördinaten van de input- en outputruimtes worden getransformeerd door inverteerbare matrices $P$ en $Q$ , transformeert de lineaire afbeelding als $\tilde{W} = P W Q^{-1}$ . De gradiënt transformeert dienovereenkomstig contra-variant/covariant. De optimalisatie-updateafbeelding $\mathcal{U}$ moet voldoen aan:
$\mathcal{U}(g \cdot D) = g \cdot \mathcal{U}(D)$
waarbij $D$ een updaterichting is (bijvoorbeeld gradiënt of momentum) en $g$ een element van de symmetriegroep is.

Het artikel leidt specifieke klassen van optimaliseerders af op basis van de symmetriegroepen van verschillende laagtypen:

Gewone Matrixlagen (Lineair/Attention):
- Symmetrie: Bi-orthogonaal ( $O_m \times O_n$ ).
- Klasse Optimaliseerder: Spectrale Optimaliseerders. De update moet een spectrale operator zijn die werkt op singuliere waarden terwijl singuliere vectoren behouden blijven. Dit verenigt Stochastic Spectral Descent (SSD), Muon, Scion en Polar Gradient-methoden. De update is doorgaans de orthogonale polaire factor van de momentumrichting.
Embeddings en LM-Heads:
- Symmetrie: Links-permutatie ( $P_v$ ) en Rechts-orthogonaal ( $O_d$ ). Rijen indexeren vocabulaire-items (discrete permutatie), kolommen indexeren verborgen features (continue rotatie).
- Klasse Optimaliseerder: Links-Permutatie Rechts-Orthogonaal (LPRO) Equivariante updates.
  - Rechts-Spectraal: Werkt globaal via de rechter Gram-matrix ( $D^\top D$ ).
  - Rij-Norm: Werkt lokaal op rij-normen (vocabulaire-items).
  - Hybride: Composities van rij-norm- en rechts-spectrale updates.
SwiGLU MLP-projecties:
- Symmetrie: Permutatie van tussennerven ( $P_{d_{ff}}$ ). De gate- en up-projecties hebben rijen die overeenkomen met tussennerven; de down-projectie heeft kolommen die overeenkomen met deze.
- Klasse Optimaliseerder: Rij-bewuste en Kolom-bewuste varianten. Gate/Up-projecties gebruiken LPRO-compatibele updates (rij-norm/rechts-spectraal); Down-projecties gebruiken de getransponeerde geometrie.
MoE-Routers:
- Symmetrie: Expert-permutatie ( $P_e$ ) en invariantie onder verschuiving van gedeelde logit (het toevoegen van een constante aan alle logits verandert de softmax-verdeling niet).
- Klasse Optimaliseerder: Router-compatibele updates. Deze werken op de gecentreerde richting $D_c = \Pi^\perp D$ $D_{c} = Π^{⊥} D$ (verwijdering van de gedeelde verschuiving).
  - Gecentreerd Links-Spectraal: Werkt op de gecentreerde expert Gram-matrix.
  - Gecentreerde Rij-Norm: Werkt op gecentreerde expert rij-normen.

2.2 Praktische Implementatie

De auteurs concretiseren deze principes in praktische momentum-gebaseerde optimaliseerders:

RightPolarGradM / LeftPolarGradM: Eenzijdige spectrale updates met behulp van Newton-Schulz-iteraties voor matrix-inverse vierkantswortels.
RowNormM: Rijgewijze normalisatie-updates.
HybridPolarGradM: Composities van rij-norm- en eenzijdige spectrale stappen.
Centrering: Voor MoE-routers worden updates toegepast op het gecentreerde momentum $M_{k,c} = \Pi^\perp M_k$ .

3. Belangrijkste Bijdragen

Symmetrie-Compatibel Principe: Een formeel betoog dat coördinaatgewijze optimaliseerders geometrisch niet-overeenkomend zijn voor matrixwaardige parameters. Het artikel stelt vast dat update-regels moeten overeenkomen met de symmetriegroep van het parameterblok.
Unificerend Kader voor Spectrale Optimaliseerders: Biedt een op symmetrie gebaseerde interpretatie van spectrale optimaliseerders (Muon, SSD, etc.) als de unieke klasse van bi-orthogonaal equivariante update-afbeeldingen.
Nieuwe Equivariante Klasse Optimaliseerders: Leidt specifieke update-regels af voor lagen met niet-standaard symmetrieën:
- LPRO-equivariante updates voor embeddings en LM-heads.
- Rij/kolom-bewuste updates voor SwiGLU MLP's.
- Gecentreerde expert-permutatie-updates voor MoE-routers.
End-to-End Pre-training Bewijs: Construeert een volledige laagsgewijze optimalisator-stack waarbij elke belangrijke matrixklasse een symmetrie-geschikte update ontvangt. Dit wordt geëvalueerd op dichte en sparse MoE-talenmodellen (Qwen3-0.6B, Gemma 3 1B, OLMoE-1B-7B, verkleinde gpt-oss).

4. Experimentele Resultaten

De auteurs voerden pre-training experimenten uit op 10B-token subsets van FineWeb-Edu over vier architecturen.

Dichte Modellen (Qwen3-0.6B, Gemma 3 1B):
- Het vervangen van AdamW op vocabulaire-geïndexeerde matrices (embeddings/LM-heads) door RowNormM of HybridPolarGradM verbeterde consistent de definitieve validatieverlies.
- De winsten waren bescheiden voor het kleinere Qwen3-model, maar duidelijker voor het grotere Gemma 3-model, wat suggereert dat geometrie-bewuste updates kritischer worden naarmate vocabulaire-matrices groter worden en gradiënten anisotroper.
- Het gebruik van HybridPolarGradM voor SwiGLU MLP-projecties verbeterde de prestaties verder, waarschijnlijk door het corrigeren van rij-schaal-ongelijkheid in hoge-dunne matrices.
Sparse MoE-Modellen (OLMoE-1B-7B, verkleinde gpt-oss):
- Configuraties met symmetrie-compatibele updates voor embeddings, LM-heads en routers (bijv. RowNormM + LeftPolarGradM) presteerden beter dan configuraties die AdamW gebruikten voor deze componenten.
- De volledig coördinaatgewijze baseline (AdamW overal) presteerde het slechtst.
- Symmetrie-compatibele router-updates verbeterden ten opzichte van coördinaatgewijze router-updates en, in sommige gevallen, verminderden ze trainingsspieken, wat wijst op verbeterde stabiliteit.
Algemene Trend: Bij alle modellen leidde het vervangen van AdamW op grote vocabulaire-geïndexeerde matrices door symmetrie-compatibele optimaliseerders consistent tot een lagere definitieve validatieverlies. De voordelen bleven bestaan over verschillende architecturen en sparsiteitsniveaus.

5. Betekenis en Claims

Het artikel claimt een principiële verschuiving te bieden in het ontwerp van optimaliseerders, van een "geometrie-blinde" coördinaatgewijze visie naar een "symmetrie-bewuste" matrixvisie.

Co-Design Architectuur-Optimaliseerder: Het werk betoogt dat het ontwerp van optimaliseerders een architectuur-bewust probleem moet zijn. Verschillende parameterklassen (embeddings, routers, lineaire lagen) hebben verschillende natuurlijke symmetrieën en vereisen verschillende optimalisator-geometrieën.
Theoretische Grondslag: Het biedt een rigoureuze wiskundige karakterisering (via equivariantie) voor waarom spectrale optimaliseerders werken voor lineaire lagen, en breidt deze logica uit om nieuwe optimaliseerders af te leiden voor andere lagen.
Praktisch Nut: De resultaten tonen aan dat symmetrie-compatibele toewijzingen niet alleen theoretisch onderbouwd zijn, maar ook praktisch voordelig, met verbetering van het definitieve verlies en mogelijk trainingstabiliteit bij grootschalige pre-training.
Bescheidenheid: De auteurs stellen expliciet dat ze niet claimen dat equivariante optimaliseerders coördinaatgewijze methoden domineren in alle regimes. In plaats daarvan presenteren ze bewijs dat het laagsgewijze symmetrie-compatibele principe leidt tot concurrerende en vaak voordelige toewijzingen in representatieve pre-training settings. Ze zien de resultaten als bewijs voor het nut van het principe, eerder dan als een exhaustieve benchmark.

Het artikel concludeert dat het introduceren van symmetrie en equivariantie in het ontwerp van optimaliseerders een pad opent naar meer stabiele, parameterisatie-consistente en theoretisch onderbouwde grootschalige modelpre-training.