🔢 mathematics

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

Dit artikel introduceert het concept van "optimizer-model consistentie" en toont aan dat het gebruik van dezelfde optimizer voor zowel pretraining als volledige finetuning catastrofale vergetelheid vermindert en de afweging tussen leren en vergeten verbetert ten opzichte van andere optimizers of LoRA, terwijl het ook blootlegt dat specifieke optimizers zoals Muon mogelijk onderpresteren in redeneertaken vanwege een neiging tot rote memorisatie.

Oorspronkelijke auteurs: Yuxing Liu, Jianyu Wang, Tong Zhang

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuxing Liu, Jianyu Wang, Tong Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante student voor die jarenlang elk boek in een enorme bibliotheek heeft gelezen (dit is Pretraining). Ze hebben algemene kennis, grammatica en een manier van denken over de wereld geleerd. Nu wil je hen een specifieke nieuwe vaardigheid leren, zoals het oplossen van wiskundeproblemen of het schrijven van computercode (dit is Supervised Finetuning of SFT).

De grote uitdaging is: hoe leer je hen deze nieuwe vaardigheid zonder dat ze alles vergeten wat ze in de bibliotheek hebben geleerd? Als ze zich te veel op de nieuwe wiskunde focussen, beginnen ze misschien een eenvoudig verhaal te schrijven te vergeten. Dit wordt de "learning-forgetting tradeoff" (afweging tussen leren en vergeten) genoemd.

Dit artikel ontdekt een verrassende regel voor hoe je deze student het beste kunt onderwijzen, en het heeft te maken met hoe je ze onderwijst, niet alleen met wat je ze leert.

De Hoofdontdekking: "Dezelfde Leraar, Dezelfde Stijl"

De auteurs ontdekten dat de beste manier om de nieuwe vaardigheid te leren, het gebruik is van de exact dezelfde onderwijsstijl (optimizer) die werd gebruikt tijdens de jaren van bibliotheeklezing.

De Analogie: Stel je voor dat de student lezen heeft geleerd met een specifieke methode, zeg "Methode A" (zoals een specifieke manier van tekst markeren en aantekeningen maken). Als je probeert hen wiskunde te leren met "Methode B" (een volledig andere manier van markeren en aantekeningen maken), raakt de student in de war. Ze kunnen de wiskunde misschien leren, maar ze beginnen hun leesvaardigheden te vergeten omdat de nieuwe methode botst met hoe hun brein door jarenlange praktijk is geprogrammeerd.
De Bevinding: Als je bij "Methode A" blijft voor de wiskundecursus, leert de student de wiskunde en behoudt hun leesvaardigheden intact. Het artikel noemt dit "Optimizer-Model Consistency" (Optimizer-Model Consistentie).

Waarom gebeurt dit? (De "Breinvorm"-theorie)

Het artikel legt uit dat verschillende onderwijsmethoden het brein van de student (de interne gewichten van het model) op verschillende manieren vormgeven.

Verschillende Vormen: Sommige onderwijsmethoden (zoals AdamW, de meest gebruikelijke) trainen het brein om "spaars" of "efficiënt" te zijn, zoals een bibliotheek waar boeken netjes zijn georganiseerd met lege ruimte ertussen. Andere methoden (zoals Muon, een nieuwere, geavanceerde methode) trainen het brein om "dicht" te zijn, zoals een bibliotheek waar boeken strak tegen elkaar aan staan.
Het Mismatch: Als je het brein jarenlang "spaars" traint en dan plotseling overschakelt naar een "dichte" onderwijsmethode voor wiskunde, moet het brein in paniek zijn hele structuur herschikken. Dit herschikken zorgt ervoor dat het oude boeken laat vallen (vergeten).
De Match: Als je de "spare" methode blijft gebruiken voor wiskunde, voegt het brein gewoon nieuwe boeken toe aan de bestaande planken. Het hoeft de bibliotheek niet opnieuw te bouwen, dus het vergeet minder.

De LoRA-Verrassing

Er is een populaire afkorting genaamd LoRA (Low-Rank Adaptatie). Denk aan LoRA als het geven van een klein, apart notitieboekje aan de student om wiskundeantwoorden in te schrijven, zonder de hoofdboeken van de bibliotheek aan te raken. Veel mensen dachten dat dit de beste manier was om vergeten te voorkomen.

De Twist van het Artikel: De auteurs ontdekten dat LoRA goed is, maar dat volledige hertraining (het herschrijven van het hele brein) met dezelfde onderwijsmethode als voorheen eigenlijk nog beter is.

De Analogie: LoRA is als het dragen van een apart notitieboekje. Het werkt, maar als je dezelfde onderwijsstijl gebruikt om je hoofdherinnering te herschrijven, kun je de nieuwe wiskunde en de oude leesvaardigheden effectiever behouden dan alleen met een zijnotitieboekje.

Het Geval van de "Rote Memorizer" (Muon)

Het artikel keek ook naar een specifieke, geavanceerde onderwijsmethode genaamd Muon.

Het Goede: Muon is geweldig in de bibliotheekfase (Pretraining). Het helpt de student feiten ongelooflijk goed te onthouden.
Het Slechte: Als het gaat om het leren van nieuwe redeneervaardigheden (zoals wiskunde) met zeer weinig data, neigt Muon naar een "rote memorizer". Het probeert de specifieke wiskundeproblemen die het ziet te onthouden in plaats van de onderliggende patronen te leren.
Het Resultaat: Als je Muon gebruikt voor de hele reis (bibliotheek + wiskunde), kan de student goed zijn in het opzeggen van feiten, maar worstelen met het oplossen van nieuwe, onbekende wiskundeproblemen. Ze hebben de voorbeelden onthouden, maar niet de logica geleerd.

Samenvatting in Gewone Taal

Consistentie is Sleutel: Om een nieuwe vaardigheid te leren zonder oude te vergeten, blijf dezelfde leeralgoritme (optimizer) gebruiken waarmee je het model oorspronkelijk hebt getraind.
Schakel niet van Stijl: Het veranderen van het leeralgoritme halverwege dwingt het model om zijn "brein" te herschikken, wat ervoor zorgt dat het oude kennis verliest.
Volledige Hertraining > Afkortingen: Soms is volledige hertraining met het juiste algoritme beter dan het gebruik van afkortingen zoals LoRA, omdat dit beter aansluit bij hoe het brein van het model oorspronkelijk is gebouwd.
Pas op met Over-onthouden: Sommige geavanceerde algoritmen (zoals Muon) zijn geweldig in onthouden, maar kunnen slechter zijn in het leren van nieuwe patronen wanneer data schaars is.

Het artikel concludeert dat als je de beste balans wilt tussen het leren van nieuwe dingen en het onthouden van oude dingen, je blijft bij dezelfde leraar waarmee je bent begonnen.

Technische Samenvatting: Consistentie tussen Optimizer en Model

Probleemstelling

In het trainingsparadigma van Large Language Models (LLM's) ondergaan modellen een voortrainingsfase op enorme corpora, gevolgd door een fase van Supervised Fine-Tuning (SFT) op kleinere, hoogwaardige datasets om specifieke vaardigheden te verwerven. Een kritieke uitdaging in SFT is de afweging tussen leren en vergeten: het model moet nieuwe taakspecifieke kennis leren terwijl het de algemene taalvaardigheden die tijdens de voortraining zijn opgedaan, behoudt.

Hoewel er diverse optimizers (bijv. AdamW, Muon) en parameter-efficiënte methoden (bijv. LoRA) worden ingezet, is het nog onduidelijk welke combinatie de optimale balans oplevert tussen het leren van nieuwe taken en het minimaliseren van catastrofaal vergeten. Bestaande literatuur biedt tegenstrijdige intuïties; sommige studies suggereren bijvoorbeeld dat LoRA inherent minder vergeet vanwege zijn laag-rang aard, terwijl anderen het belang van de keuze van de optimizer benadrukken. Dit artikel onderzoekt of de keuze van de optimizer in SFT ontkoppeld moet worden van, of juist afgestemd moet worden op, de optimizer die tijdens de voortraining is gebruikt.

Methodologie

De auteurs maken gebruik van een combinatie van empirische experimenten en theoretische analyse om de relatie tussen de keuze van de optimizer en de modelprestaties tijdens SFT te onderzoeken.

Empirische Experimenten

Modellen en Datasets: Experimenten zijn uitgevoerd op GPT-2-small (vanaf nul voorgetraind) en Llama-2-7B. Voor de voortraining werd de OpenWebText-dataset gebruikt. SFT werd uitgevoerd op drie verschillende taken: MetaMathQA (wiskundig redeneren), Alpaca (instructievolging) en Magicoder (codegeneratie).
Vergelijkde Optimizers: De studie vergelijkt AdamW, Muon (een matrixgestructureerde optimizer) en SGD. Er wordt ook LoRA (Low-Rank Adaptation) geëvalueerd met verschillende rangen ( $r=4, 8, 32, 64, 128, 256$ ).
Evaluatiemetaal: De auteurs definiëren een Pareto-frontier om de afweging tussen leren en vergeten te visualiseren.
- Vergeten: Gemeten aan de hand van de validatie-losheid op het voortrainingsdataset (OpenWebText) of de daling in benchmarks voor algemene vaardigheden. Een lagere loss wijst op minder vergeten.
- Leren: Gemeten aan de hand van de validatie-losheid op de nieuwe SFT-taak of taakspecifieke nauwkeurigheid. Een lagere loss/hogere nauwkeurigheid wijst op beter leren.
- Protocol: Voor elke trainingsalgoritme werd een grid search over leersnelheden uitgevoerd om de Pareto-frontier te identificeren, waarmee een eerlijke vergelijking van de grenzen van het algoritme wordt gewaarborgd in plaats van een vergelijking op basis van één enkele hyperparameter-instelling.
Synthetische Analyse: Om te begrijpen waarom bepaalde optimizers zich anders gedragen, voerden de auteurs een synthetisch experiment uit met een gecorrumpeerd taalcorpus. Ze verwierven de tokenvolgorde in schone sequenties om taalkundige patronen te vernietigen, waardoor het model gedwongen werd zich te baseren op rote memorisatie. Dit stelde hen in staat onderscheid te maken tussen het vermogen van een optimizer om patronen te leren en de neiging om data te memoriseren.

Theoretische Analyse

Het artikel biedt een theoretisch kader gebaseerd op matrix-geïnduceerde normen (volgend op Pethick et al., 2025).

Optimizer als Regularisator: De auteurs stellen dat optimizers niet alleen convergeren naar een oplossing, maar ook de gewichten en activaties van het model vormen. Specifiek regulariseert een optimizer die is afgeleid van een norm $\|\cdot\|_{\alpha, \beta}$ $∥ \cdot ∥_{α, β}$ invoeractivaties impliciet via $\|\cdot\|_\alpha$ $∥ \cdot ∥_{α}$ en uitvoeractivaties via $\|\cdot\|_\beta$ $∥ \cdot ∥_{β}$ .
- AdamW (afgeleid van $A_{1,\infty}$ ) regulariseert invoer via $\|\cdot\|_1$ , wat leidt tot schaarse activaties.
- Muon (afgeleid van $A_{2,2}$ ) regulariseert invoer via $\|\cdot\|_2$ , wat leidt tot dikkere activaties.
Benadering van Vergeten: Met behulp van een Taylor-ontwikkeling wordt de toename van de voortrainingsloss (vergeten) na SFT benaderd als evenredig met de verwachte kwadratische norm van de gewichtsupdate die wordt toegepast op voortrainingsinvoer ( $\mathbb{E}[\|\Delta W x\|_2^2]$ ).
Consistentiehypothese: De theorie suggereert dat om vergeten te minimaliseren, de SFT-update ( $\Delta W$ ) in lijn moet zijn met de kromming van het verlieslandschap die door de voortraining is vastgesteld. Deze uitlijning wordt bereikt wanneer de SFT-optimizer tot dezelfde familie behoort (dezelfde $\alpha, \beta$ ) als de voortrainingsoptimizer.

Belangrijkste Resultaten

1. Consistentie tussen Optimizer en Model

De centrale bevinding is Consistentie tussen Optimizer en Model: Volledige fine-tuning met dezelfde optimizer (of familie van optimizers) die tijdens de voortraining is gebruikt, bereikt consequent de beste afweging tussen leren en vergeten.

AdamW-voortraining: Wanneer AdamW wordt gebruikt voor voortraining, presteert volledige fine-tuning met AdamW beter dan volledige fine-tuning met Muon of SGD, en presteert het ook beter dan LoRA voor alle taken (wiskunde, code, instructie).
Muon-voortraining: Evenzo levert volledige fine-tuning met Muon, wanneer Muon voor voortraining wordt gebruikt, de beste afweging op in vergelijking met het gebruik van AdamW of SGD voor SFT.
Vergelijking met LoRA: In tegenstelling tot de intuïtie dat LoRA minder vergeet, toont de Pareto-frontier-analyse aan dat voor elk LoRA-checkpoint een volledig fine-tuning-checkpoint bestaat (met dezelfde optimizer) dat zowel beter leren (lagere taakloss) als minder vergeten (lagere voortrainingsloss) bereikt. Dit geldt wanneer een juiste leersnelheidssweep wordt overwogen.

2. Prestaties van Muon op Redeneertaken

Hoewel Muon vaak superieure voorgetrainde checkpoints oplevert (lagere voortrainingsloss), verslechtert de prestatie ten opzichte van AdamW wanneer het wordt gefine-tuned op redeneertaken (bijv. MetaMathQA).

Memorisatie versus Patroonleren: Het synthetische experiment onthulde dat Muon de neiging heeft om gecorrumpeerde (patroonloze) data sneller te memoriseren dan AdamW of SGD.
Implicatie: In SFT, waar data schaars is, kan de neiging van Muon om rote memorisatie te prioriteren boven het verwerven van patronen, het leren van complexe redeneervaardigheden belemmeren, wat leidt tot een slechtere eindprestatie op taken die generalisatie vereisen, ondanks zijn sterke voortrainingsmetrieken.

3. De Rol van Leersnelheden

Het artikel benadrukt dat de afweging tussen leren en vergeten zeer gevoelig is voor de leersnelheid. Eerdere studies die suggereerden dat LoRA minder vergeet, hebben de leersnelheid vaak vastgezet op de waarde die optimaal is voor de taak. Wanneer de leersnelheid wordt gesweept, kan volledige fine-tuning een superieure afweging bereiken door simpelweg de leersnelheid te verlagen, een strategie die LoRA in deze specifieke context niet even effectief kan repliceren.

Betekenis en Claims

Het artikel claimt Consistentie tussen Optimizer en Model te vestigen als een fundamenteel principe voor LLM-training:

Unificatie Metaal: De afweging tussen leren en vergeten over de hele voortrainings-SFT-pijplijn is een meer uitgebreide metaal voor het evalueren van een optimizer dan alleen de voortrainingsprestatie.
Praktische Richtlijnen: Om vergeten te minimaliseren terwijl taakleren wordt gemaximaliseerd, moeten practitioners dezelfde optimizerfamilie voor SFT gebruiken als die welke voor de voortraining is gebruikt.
Herwaardering van Muon: Hoewel Muon een krachtige voortrainingsoptimizer is, kan zijn update-mechanisme (volledige rang, $L_2$ -regularisatie) het vatbaar maken voor over-memoriseren in SFT-regimes met weinig data, met name voor redeneertaken. Dit suggereert dat een specifieke, mogelijk andere, fine-tuningstrategie vereist is voor modellen die met Muon zijn voorgetraind om hun volledige potentieel te ontsluiten.
Theoretisch Inzicht: Het werk overbrugt de kloof tussen optimizerontwerp (normen) en modelgedrag (activatieschaarpte) en biedt een theoretische verklaring voor waarom consistentie in de keuze van de optimizer belangrijk is.

De auteurs erkennen beperkingen, met name dat experimenten voornamelijk zijn uitgevoerd op kleinere modellen (GPT-2, Llama-2-7B) vanwege computergrenzen en dat de theoretische bewijzen rusten op vereenvoudigende aannames (bijv. blok-diagonale Hessians). Zij suggereren dat toekomstig werk deze bevindingen moet schalen naar grotere modellen en optimizers moet onderzoeken die specifiek zijn ontworpen om de neiging tot memoriseren van matrixgestructureerde optimizers tijdens SFT te mitigeren.