🤖 machine learning

Approximate Muon with low-rank adapters

Dit artikel introduceert sMuon, een efficiënte methode die de Muon-optimizer benadert voor low-rank parameter-efficiënte fine-tuning door de doelfunctie te lineariseren en deze via kleinste kwadraten op te lossen, waardoor de prestatievoordelen van Muon mogelijk worden gemaakt in settings zoals SFT en ReLoRA pretraining waar het voorheen incompatibel was met LoRA.

Oorspronkelijke auteurs: Ben Anson, Conor Houghton, Edward Milsom

Gepubliceerd 2026-08-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Ben Anson, Conor Houghton, Edward Milsom

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, superintelligente robot een nieuwe vaardigheid wilt aanleren, zoals het schrijven van poëzie of het oplossen van wiskundige problemen. Je wilt niet de hele hersenen van de robot vanaf nul opnieuw trainen, want dat duurt eeuwen en kost een fortuin. In plaats daarvan wil je een kleine, lichtgewicht "trainingsmodule" aan zijn bestaande hersenen bevestigen. Dit wordt Parameter-Efficient Fine-Tuning (PEFT) genoemd. Denk aan het opzetten van een gespecialiseerde headset op een algemene robot; de headset leert de robot de nieuwe truc zonder de kernhardware van de robot te veranderen.

Een populaire manier om deze headsets te bouwen, is LoRA (Low-Rank Adaptation). Het is alsof je de headset bouwt uit twee dunne, platte vellen papier die, wanneer ze op elkaar gestapeld worden, de vorm van de nieuwe vaardigheid creëren. Om de robot te leren, hebben we een optimizer nodig—een wiskundige coach die de headset vertelt hoe hij zijn vorm moet aanpassen om beter te worden. De meest gebruikte coach is AdamW, maar er is een nieuwere, krachtigere coach genaamd Muon. Muon staat bekend om zijn ongelooflijke efficiëntie tijdens het pretrainen (het aanleren van de allereerste lessen aan de robot vanaf nul). Het werkt door ervoor te zorgen dat de updates van de hersenen van de robot op een perfect evenwichtige, "orthogonale" manier gebeuren, zoals een danser die perfect op één voet draait zonder te wankelen.

Echter, er is een probleem. Wanneer je Muon probeert te gebruiken om de kleine LoRA-headset te trainen, stort de wiskunde in. Muon wil de volledige laag van de hersenen van de robot in balans brengen, maar de LoRA-headset is slechts een piepklein, laag-dimensionaal fragment van die laag. Het is alsof je probeert een dirigentstokje te gebruiken om een enkele violist aan te sturen op een manier die logisch is voor het hele orkest; de geometrie past simpelweg niet. De standaard uitweg is geweest om het orkest te negeren en de violist gewoon op zijn eigen manier te laten draaien, maar dat mist de magie van Muon. Deze paper vraagt zich af: Kunnen we een manier vinden om Muon te laten werken voor deze kleine headsets zonder de wiskunde te breken of alles te vertragen?

De auteurs, Ben Anson, Conor Houghton en Edward Milsom, zeggen: ja. Ze introduceren een nieuwe methode genaamd sMuon (small Muon). In plaats van het onmogelijke te forceren, gebruiken ze een slimme wiskundige truc: ze "lineariseren" het probleem. Stel je voor dat je over een koord loopt terwijl je een enorme, wankele paraplu vasthoudt. In plaats van de hele paraplu tegelijk in evenwicht te houden, doe je alsof de paraplu voor een fractie van een seconde gewoon een rechte stok is, bereken je de perfecte stap, en past zich dan aan. Door dit te doen, vinden ze de beste manier om de LoRA-headset bij te werken die de perfecte Muon-dans benadert.

De paper stelt vast dat deze nieuwe sMuon-methode verrassend goed werkt. Wanneer ze sMuon testten op diverse taalmodellen, presteerde sMuon vaak beter dan de standaard AdamW-coach en andere Muon-pogingen. Het was bijzonder indrukwekkend wanneer het werd gebruikt op een robot die al met Muon was voorgetraind (genaamd Moonlight), waarbij sMuoen de hoogste scores behaalde in zes van de elf verschillende taken. In een pre-training experiment behaalde sMuoen even goede resultaten als de beste methode in het verlagen van de foutmarge, maar deed dit ongeveer 30% sneller dan zijn dichtstbijzijnde rivaal, een methode genaamd Riemannian.

Cruciaal is dat de auteurs laten zien dat hun methode niet alleen een theoretisch idee is, maar ook praktisch. Terwijl andere geavanceerde methoden zware, trage berekeningen vereisen (zoals het uit elkaar halen en weer in elkaar zetten van complexe matrices), vertrouwt sMuoen bijna volledig op eenvoudige matrixvermenigvuldigingen—het soort wiskunde waar moderne computerchips voor gebouwd zijn om met razendsnelheid te werken. Dit betekent dat sMuoen snel genoeg is om in real-world training te worden gebruikt zonder het proces te vertragen. De paper suggereert dat door de geometrie van de hele laag te respecteren in plaats van de LoRA-onderdelen als aparte, ongerelateerde stukken te behandelen, we een aanzienlijke prestatieverbetering kunnen krijgen met zeer weinig extra kosten. Het is een herinnering dat de beste manier om een enorme robot een nieuwe truc te leren, soms is om hem een kleine, slimme en wiskundig elegante duw te geven.

=== SAMENVATTING ===

Technische Samenvatting: Approximatie van Muon met Low-Rank Adapters (sMuon)

Probleemstelling

De Muon-optimizer heeft superieure prestaties laten zien bij het pretrainen van Large Language Models (LLMs) door de gewichtupdates per laag te orthogonaliseren, wat effectief de singuliere waarden gelijkmatig verdeelt. Dit gedrag komt overeen met de steilste daling onder de spectrale norm, waarbij de slechtst mogelijke verandering aan een laag als lineaire operator wordt gecontroleerd in plaats van als een platgedrukte vector. Echter, Muon wordt zelden gebruikt voor Parameter-Efficient Fine-Tuning (PEFT), in het bijzonder met Low-Rank Adaptation (LoRA).

De kern van de wiskundige obstructie is dat Muon vereist dat de dalingstap voor de volledige gewichtsmatrix van de laag wordt georthogonaliseerd. In de LoRA-setting, waarbij de gewichtupdate beperkt is tot een low-rank parametrisatie $\Delta W = BA$ (met $B \in \mathbb{R}^{d_1 \times r}$ en $A \in \mathbb{R}^{r \times d_2}$ ), is het wiskundig onmogelijk om over het algemeen updates $\delta B$ en $\delta A$ te vinden zodat de resulterende $\delta \Delta W$ de volledige rank-orthonormale gradiënt perfect evenaart die vereist is door Muon.

Bestaande werkmethoden omvatten:

Per-factor Muon: Het afzonderlijk orthogonaliseren van $B$ en $A$ , wat de geometrie van de volledige laag negeert.
LoRA-Muon: Het objectief versoepelen met behulp van de driehoeksongelijkheid.
Riemannion: Het probleem formuleren als Riemanniaanse optimalisatie op een low-rank manifold, wat dure afgekapte Singular Value Decompositions (SVD's) vereist tijdens de retractiestap, wat leidt tot aanzienlijke computationele overhead.

Methodologie

De auteurs stellen sMuon (small Muon) voor, een methode die de oplossing van een versoepeld Muon-objectief binnen de low-rank setting benadert. De aanpak vertrouwt op linearisatie en kleinste-kwadratenoptimalisatie om de optimale dalingstap te vinden.

1. Linearisatie en Kleinste-kwadraten Formulering

Het doel is om updates $\delta B, \delta A$ te vinden zodat de geïmpliceerde update $\delta \Delta W \approx \delta B A + B \delta A$ de ideale Muon-stap $\delta \Delta W^* = -\eta \cdot \text{msign}(G_{\Delta W})$ benadert, waarbij $\text{msign}(X) = UV^\top$ de polaire factor van de SVD is.

Omdat de ideale stap over het algemeen full-rank is en niet exact gerealiseerd kan worden door low-rank factoren, lineariseren de auteurs het probleem door tweede-orde termen ( $\delta B \delta A$ ) weg te laten en een kleinste-kwadratenprobleem op te lossen:
$(\delta B^*, \delta A^*) = \arg \min_{\delta B, \delta A} \| \delta \Delta W^* - (\delta B A + B \delta A) \|_F^2$
Dit levert een gesloten vorm-oplossing op die gebruikmaakt van Moore-Penrose pseudoinversies ( $B^\dagger, A^\dagger$ ). Cruciaal is dat de auteurs aantonen dat de optimale update niet uniek is wat betreft de factoren $(\delta B, \delta A)$ , maar dat de resulterende eerste-orde verandering aan de volledige laag $\delta \Delta W$ wel uniek is.

2. Efficiënte Matmul-only Berekening

Een directe implementatie van de gesloten vorm-oplossing vereist het orthogonaliseren van een grote $d_1 \times d_2$ matrix, wat computationeel onhaalbaar is. Om dit aan te pakken, leiden de auteurs een efficiënte formulering af (Algoritme 2) die expliciete grote-matrix orthogonalisatie vermijdt:

Low-Rank Gradiënt: In plaats van de volledige gradiënt $G_{\Delta W}$ te gebruiken, maken zij gebruik van een low-rank projectie $H = P_B G_{\Delta W} + (I-P_B)G_{\Delta W} P_A$ , die eerste-orde equivalent is voor het optimalisatie-objectief.
Dimensiereductie: Zij maken gebruik van de identiteit $\text{msign}(H) = U \text{msign}(U^\top H V) V^\top$ , waarbij $U$ en $V$ orthonormale bases zijn die de kolom- en rijruimtes van $H$ beslaan. Aangezien $H$ een rank heeft van maximaal $2r$ , reduceert dit de dure $d_1 \times d_2$ orthogonalisatie tot een $2r \times 2r$ orthogonalisatie.
Implementatie: Het gehele algoritme vertrouwt uitsluitend op matrixvermenigvuldigingen, matrix invers worteltrekken en polaire decomposities van kleine $r \times r$ of $2r \times 2r$ matrices. Dit voorkomt de overhead van QR- en SVD-decompositie die vereist is door Riemannion.

3. Algoritmische Details

De sMuon-optimizer bevat:

Split Weight Decay: Om de dynamiek van full-parameter training te evenaren, wordt weight decay toegepast via een schaalfactor $s = \sqrt{1-\lambda\eta}$ op de factoren $A$ en $B$ vóór de gradiëntupdate.
Momentum Transport: Om parametrisatie-invariantie te garanderen (d.w.z. dat de optimizer consistent handelt ongeacht de specifieke factorisatie $B, A$ ), worden momentum-buffers bij elke stap geprojecteerd op de huidige factorruimtes.

Belangrijkste Bijdragen

Afleiding van sMuon: Een methode in gesloten vorm voor het trainen van LoRA-adapters met Muon door een eerste-orde benadering te nemen van het spectrale-norm-geregulariseerde steilste daling-objectief.
Efficiënte Implementatie: Een "matmul-only" algoritme dat computationeel efficiënt is voor moderne hardware door het vermijden van dure decomposities. Het biedt vergelijkbare snelheid als Per-factor Muon en LoRA-Muon en is aanzienlijk sneller dan Riemannion, vooral voor grotere LoRA-ranks.
Empirische Evaluatie: Uitgebreide experimenten met vier basismodellen (inclusclusief één met Muon voorgetraind en drie met AdamW voorgetraind) en elf benchmarks (common sense en coding).

Resultaten

Het paper rapporteert de volgende bevindingen:

Prestaties: sMuon presteert gunstig over SFT-benchmarks. Hoewel de resultaten model-afhankelijk zijn, behaalde sMuon de beste nauwkeurigheid in zes van de elf taken bij het finetunen van het Moonlight-16B-A3B model (dat met Muon werd voorgetraind). Het presteert over het algemeen beter dan AdamW en Per-factor Muon.
ReLoRA Pretraining: In een pretraining-setting met behulp van ReLoRA (het periodiek samenvoegen en verversen van adapters), bereikte s_Muon de laagste uiteindelijke validatieverlies, waarmee het gelijkviel met Riemannion, maar het was ongeveer 30% sneller.
Spectrale Eigenschappen: Empirische analyse van de gewichtupdate-spectra laat zien dat sMuon een meer uniforme spectrum behoudt (dichter bij het ideale Muon-gedrag) vergeleken met Per-factor Muon en LoRA-Muon.
Efficiëntie: Tabel 4 demonstreert dat hoewel sMuon iets langzamer is dan AdamW, het aanzienlijk sneller is dan Riemannion. Voor een rank van $r=64$ voegt Riemannion ~33% overhead toe aan de staptijd, terwijl sMuon slechts ~0,8% toevoegt.

Betekenis en Claims

Het paper claimt dat sMuon een geprincipeerde, geheugenefficiënte en computationeel hanteerbare manier biedt om Muon-optimalisatie toe te passen op low-rank adapters. Door de geometrie van de volledige laag te respecteren in plaats van de LoRA-factoren als onafhankelijke matrices te behandelen, bereikt sMuon matige prestatieverbeteringen, vooral wanneer het basismodel ook met Muon is voorgetraind. De auteurs benadrukken dat hun methode de "dure manifold-beperkingen" van Riemanniaanse optimalisatie vermijdt zonder aan prestaties in te boeten, waardoor Muon-gebaseerde fine-tuning toegankelijker wordt voor praktische toepassingen.

De auteurs blijven bescheiden en merken op dat de resultaten "model- en evaluatie-afhankelijk" zijn en dat de primaire bijdrage een heldere, efficiënte benadering is die de kloof overbrugt tussen de theoretische voordelen van Muon en de praktische beperkingen van PEFT.