🤖 machine learning

Can Muon Fine-tune Adam-Pretrained Models?

Dit artikel onderzoekt de prestatiedegrade veroorzaakt door de overstap van Adam naar Muon voor het fijnafstemmen van voorgeöefende modellen, en toont aan dat de resulterende optimizer-mismatch geleerde kennis verstoort en effectief kan worden verzacht door de updatekracht te beperken via methoden zoals LoRA.

Oorspronkelijke auteurs: Xingyu Qu, Peigeng Huang, Samuel Horvath

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xingyu Qu, Peigeng Huang, Samuel Horvath

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Verkeerde Gereedschap" voor de Klus

Stel je een zeer bekwame ambachtsman (het AI-model) voor die jarenlang een ambacht heeft geleerd met een specifieke set gereedschappen: een hamer en beitel (dit is de Adam-optimizer). Hij heeft een prachtige, complexe sculptuur gebouwd (het voorgeprogrammeerde model) die weet hoe het moet spreken, schrijven en redeneren.

Nu komt er een nieuw, sneller en efficiënter gereedschap aan: een laser snijder (dit is de Muon-optimizer). De auteurs van het paper wilden zien of ze deze lasersnijder konden gebruiken om de sculptuur die de ambachtsman met de hamer bouwde, te fine-tunen (kleine aanpassingen te maken).

De Ontdekking: Toen ze probeerden de lasersnijder op de met de hamer gebouwde sculptuur te gebruiken, waren de resultaten vreselijk. De sculptuur begon te barsten, zijn vorm te verliezen, of presteerde slechter dan voorheen.

Waarom? Het paper legt uit dat de hamer en de lasersnijder "anders denken".

De Hamer (Adam) bouwt structuren op basis van individuele, kleine aanpassingen (alsof je één houtkorreltje tegelijk wegbeitelt).
De Laser (Muon) bouwt structuren door naar het hele blok te kijken en het hele oppervlak in één keer glad te strijken.

Wanneer je probeert de laser te gebruiken op een structuur die door de hamer is gebouwd, botsen de "gladde" aanpassingen van de laser met de "gebeitelde" textuur van het oorspronkelijke werk. Deze botsing wordt een optimizer mismatch genoemd. Het verstoort de kennis die het model al heeft geleerd, waardoor het dingen "vergeet" of slecht presteert.

De Oplossing: De "Post-it" Methode (LoRA)

De auteurs vroegen zich af: Is er een manier om de lasersnijder te gebruiken zonder de met de hamer gebouwde sculptuur te breken?

Ze vonden het antwoord in een techniek genaamd LoRA (Low-Rank Adaptation).

De Analogie:
In plaats van direct in de oorspronkelijke stenen sculptuur te beitelen (Full Fine-Tuning), stel je je voor dat je een stuk helder, flexibel plastic (LoRA) neemt en er overheen plakt.

Je laat de oorspronkelijke stenen sculptuur precies zoals hij is (bevroren).
Je beitelt je nieuwe aanpassingen alleen in het plastic vel.
De lasersnijder (Muon) werkt op het plastic vel.

Waarom dit werkt:
Omdat de lasersnijder alleen het nieuwe plastic vel aanraakt, hoeft hij niet te vechten tegen de oude, met de hamer gebeitelde textuur van de steen eronder. Het plastic vel is flexibel genoeg om zich aan te passen aan de stijl van de laser zonder de basis te breken.

Het paper toont aan dat toen ze deze "plastic vel"-methode (LoRA) gebruikten met de lasersnijder (Muon), de resultaten net zo goed waren als, of soms zelfs beter dan, het gebruik van de hamer (Adam). Het mismatch-probleem verdween.

Belangrijkste Bevindingen in Gewone Taal

De Mismatch is Echt: Als je een model neemt dat met Adam is getraind en probeert het direct met Muon te fine-tunen, wordt het slechter. Het is alsof je probeert een auto te besturen met een stuurwiel dat is ontworpen voor een andere auto; de auto zal niet goed hanteren.
Het "Plastic Vel" Lost Het Op: Door LoRA (het plastic vel) te gebruiken, kan Muon met Adam getrainde modellen effectief fine-tunen. De prestatiekloof tussen de twee methoden verdwijnt.
Minder is Meer: Het paper vond dat hoe meer je probeert het oorspronkelijke model te veranderen (Full Fine-Tuning), hoe meer de mismatch pijn doet. Hoe minder je verandert (het gebruik van een dun plastic vel/LoRA), hoe beter de lasersnijder werkt.
Minder Vergeten: Toen de lasersnijder probeerde direct in de steen te beitelen (Full Fine-Tuning), "vergat" het model zijn oorspronkelijke kennis (zoals hoe je wiskunde doet of gezond verstand). Bij het gebruik van het plastic vel (LoRA) onthield het model zijn oorspronkelijke vaardigheden veel beter.
Efficiëntie: Muon staat al bekend als sneller en minder geheugen te gebruiken dan Adam tijdens de initiële trainingsfase. Dit paper bewijst dat het ook kan worden gebruikt voor fine-tuning als je de LoRA-methode gebruikt, waardoor nog meer geheugen wordt bespaard omdat je minder "state"-variabelen hoeft op te slaan.

De Conclusie

Je hoeft niet alle modellen weg te gooien die met de "Hamer" (Adam) zijn getraind. Je kunt de snellere, efficiëntere "Laser" (Muon) nog steeds gebruiken om ze te verbeteren, maar je moet voorzichtig zijn. In plaats van te proberen het hele model te herscheppen, voeg gewoon een kleine, flexibele laag bovenop toe (LoRA). Hierdoor kan het nieuwe gereedschap werken zonder het oude werk te breken.

Technische Samenvatting: Kan Muon Adam-voorgeöefende modellen fijnstemmen?

Probleemstelling

Muon (MomentUm Orthogonalized by Newton-Schulz) is opgedoken als een uiterst efficiënte optimizer voor het voortrainen van grote taalmodellen (LLM's), met ongeveer $2\times$ rekenkracht-efficiëntie ten opzichte van Adam en een verlaagd geheugengebruik door het elimineren van de tweede-moment-schatting. Echter, de praktische toepassing ervan op fijnstemming blijft beperkt. Het primaire obstakel is het optimizer-mismatch-probleem: de meeste publiek beschikbare open modellen zijn voorgetraind met Adam, en het naïef overschakelen naar Muon voor fijnstemming leidt tot verslechterde prestaties. Omgekeerd levert het gebruik van Adam voor het fijnstemmen van met Muon voorgetrainde modellen ook suboptimale resultaten op. Deze incompatibiliteit beperkt de adoptie van Muon in het dominante fijnstemmingsparadigma ernstig, ondanks zijn successen in het voortrainen.

Methodologie en Analyse

De auteurs onderzoeken dit mismatch door middel van gecontroleerde experimenten en theoretische analyse, met de nadruk op de onderscheidende impliciete biases van Adam en Muon.

Karakterisering van Impliciete Bias:
- Adam gebruikt elementsgewijze preconditionering gebaseerd op eerste en tweede momenten, en convergeert naar oplossingen die de max-norm marge ( $\|W\|_{\max}$ ) maximaliseren.
- Muon past matrixniveau-preconditionering toe via Newton-Schulz-orthogonalisatie, en convergeert naar oplossingen die de spectrale-norm marge ( $\|W\|_2$ ) maximaliseren.
- Theoretische analyse op een vereenvoudigd lineair regressieprobleem toont aan dat deze optimizers fundamenteel verschillende oplossingen bereiken ( $W^*_{\max}$ versus $W^*_2$ ). Empirisch vertonen met Muon getrainde gewichten een hogere stabiele rang en een uniformere verdeling van singuliere waarden in vergelijking met met Adam getrainde gewichten.
Mechanisme van Verslechtering:
- Het mismatch verstoort voorgetrainde kennis. Wanneer een optimizer met een andere impliciete bias wordt toegepast, dwingt het de modelgewichten in een structurele richting die onverenigbaar is met de voortrainingsfase.
- Experimenten tonen aan dat mismatch-fijnstemming de gevoeligheid voor updatekracht verhoogt. Sterkere updates veroorzaken grotere verstoringen van de voorgetrainde structuur, wat leidt tot hogere perplexiteit en ernstiger catastrofaal vergeten.
Voorgestelde Mitigatie: LoRA:
- De auteurs hypothetiseren dat het beperken van de omvang van updates dit mismatch kan mitigeren. Zij maken gebruik van Low-Rank Adaptation (LoRA), waarbij de voorgetrainde gewichten ( $W_0$ ) worden bevroren en updates worden beperkt tot een laag-rang deelruimte ( $\Delta W = BA$ ).
- Deze aanpak beperkt de grootte van gewichtsveranderingen, waardoor de optimizer wordt voorkomen dat het de voorgetrainde structuur agressief verandert. Theoretische analyse suggereert dat de "mismatch-inflatie" (het gat tussen gematchte en mismatch-prestaties) begrensd is door de LoRA-rang $r$ , en verdwijnt als $r \to 1$ .

Belangrijkste Bijdragen

Reproductie en Analyse: Het artikel reproduceert het optimizer-mismatch-fenomeen op toegankelijke schalen (NanoChat, 561M parameters) en koppelt dit aan de onderscheidende impliciete biases (max-norm versus spectrale-norm) van Adam en Muon.
LoRA als Oplossing: De auteurs tonen aan dat LoRA het mismatch effectief mitigeert. Door updates te beperken, stelt LoRA Muon in staat om Adam-voorgeöefende modellen fijn te stemmen met prestaties die vergelijkbaar zijn met, of zelfs beter zijn dan, LoRA-Adam.
Uitgebreide Validatie: De bevindingen zijn gevalideerd op:
- Natuurlijke Taalbegrip (NLU): GLUE-benchmark met T5-Base.
- Natuurlijke Taalgeneratie (NLG): Instructiefijnstemming van Llama 2-7B/13B op wiskunde, code en gezond verstand-redenering.
- Computer Vision: Fijnstemming van CLIP ViT-B/32 op zes beeldclassificatietaken.
Rang- en Vergetenstudies:
- Ranggevoeligheid: Het voordeel van LoRA-Muon is het meest uitgesproken bij lage tot matige rangen. Naarmate de rang toeneemt (naderend bij volledige fijnstemming), komt het mismatch opnieuw naar voren en verslechtert de prestatie ten opzichte van Adam.
- Catastrofaal Vergeten: Volledige fijnstemming met Muon op Adam-voorgeöefende modellen veroorzaakt ernstiger vergeten van voorgetrainde kennis dan Adam. LoRA reduceert dit vergeten aanzienlijk en behoudt de voorgetrainde structuur.
LoRA-varianten: De studie evalueert bestaande LoRA-varianten (bijv. rsLoRA, PiSSA, LoRA-One). Het blijkt dat varianten die zijn ontworpen om LoRA-updates dichter bij volledige fijnstemming te brengen (zoals PiSSA) niet per se ten goede komen aan Muon en het mismatch zelfs kunnen verergeren, wat wijst op de noodzaak van Muon-specifieke aanpassingen.

Resultaten

Vermindering Prestatiekloof: Bij volledige fijnstemming presteert Muon consistent slechter dan Adam op Adam-voorgeöefende modellen (bijv. een perplexiteitskloof van +0,009 tot +0,023 op WikiText-2). Onder LoRA krimpt deze kloof aanzienlijk (met 39% voor Muon-voorgeöefende en 78% voor Adam-voorgeöefende modellen).
Superioriteit in LoRA: Over NLU-, NLG- en visietaken heen, presteert LoRA-Muon gelijk aan of beter dan LoRA-Adam. Bijvoorbeeld, op de GLUE-benchmark behaalde LoRA-Muon-PE de hoogste gemiddelde nauwkeurigheid (89,20%), waarmee het zowel LoRA-Adam (88,93%) als Full-Adam (89,14%) overtrof.
Efficiëntie: Hoewel Muon een bescheiden overhead per stap kent door de Newton-Schulz-iteratie (1,1–1,2 $\times$ trager dan Adam in LoRA-instellingen), blijft zijn geheugenefficiëntie (slechts één momentumbuffer opslaan versus twee voor Adam) een praktisch voordeel, waarbij ongeveer 50% van het optimizer-staatgeheugen wordt bespaard.

Betekenis en Claims

Het artikel claimt de eerste diepgaande analyse te bieden van het optimizer-mismatch-probleem tussen Adam en Muon. De primaire betekenis ligt in het mogelijk maken van het praktische gebruik van Muon voor fijnstemming van het enorme ecosysteem van Adam-voorgeöefende modellen.

De auteurs concluderen dat:

Optimizer-mismatch structureel is: Het ontstaat uit conflicterende impliciete biases die voorgetrainde kennis verstoren wanneer de updatekracht niet beperkt is.
Beperkte updates de sleutel zijn: Technieken zoals LoRA, die de grootte van gewichtsveranderingen beperken, neutraliseren dit mismatch effectief.
Praktische Aanbeveling: Beoefenaars kunnen Muon gebruiken als een drop-in vervanging voor Adam in LoRA-fijnstemming om geheugenefficiëntie en concurrerende prestaties te behalen zonder te lijden onder de mismatch-boetes die bij volledige fijnstemming worden waargenomen.

Het artikel merkt bescheiden op dat, hoewel LoRA het probleem mitigeert, bestaande LoRA-varianten die zijn geoptimaliseerd voor Adam niet automatisch overdraagbaar zijn naar Muon, wat suggereert dat toekomstig werk nodig is om Muon-specifieke aanpassingen te ontwikkelen. Bovendien blijft de theoretische karakterisering van het mismatch een open vraag.