💬 NLP

Learning Rate Scaling across LoRA Ranks and Transfer to Full Finetuning

Dit artikel introduceert Maximal-Update Adaptation ( $\mu$ A), een theoretisch kader dat definieert hoe optimale leersnelheden schalen met LoRA-rang en initialisatie, waardoor beoefenaars getunede leersnelheden kunnen overdragen van efficiënte LoRA-experimenten naar volledige finetuning over diverse taken heen.

Oorspronkelijke auteurs: Nan Chen, Soledad Villar, Soufiane Hayou

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nan Chen, Soledad Villar, Soufiane Hayou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk getalenteerde chef hebt (een groot AI-model) die al duizenden gerechten heeft geleerd te koken. Nu wil je hem een heel specifiek nieuw recept leren, zoals "hoe je de perfecte sushi maakt."

Je hebt twee manieren om dit te doen:

Full Finetuning (FFT): Je geeft de chef een leeg notitieboek en vertelt hem zijn hele kookboek opnieuw te schrijven, waarbij je alleen de sushi-onderdelen overhoudt. Dit is krachtig, maar vereist een enorme keuken, veel tijd en een enorm budget.
LoRA (Low-Rank Adaptation): In plaats van het hele boek te herschrijven, geef je de chef een klein blok met plaknotities (de "adapter") om bovenop de bestaande pagina's te plakken. Je schrijft alleen de nieuwe sushi-instructies op deze briefjes. Dit is goedkoop, snel en verbruikt zeer weinig geheugen.

Het probleem? De plaknotities komen in verschillende formaten (genoemd Ranks). Soms gebruik je een piepklein 4x4 inch briefje; andere keren een gigantisch 1024x1024 inch briefje. Het papier stelt een eenvoudige maar lastige vraag: Als je de grootte van het plaknotitieblad verandert, moet je dan ook de snelheid waarmee de chef schrijft aanpassen?

In de wereld van AI is "hoe snel de chef schrijft" de Learning Rate (leersnelheid). Als je te snel schrijft, worden de briefjes slordig en raakt de chef in de war (de training crasht). Als je te langzaam schrijft, gebeurt er niets.

De Grote Ontdekking: "De Gouden Regel van Plaknotities"

De auteurs van dit paper realiseerden zich dat mensen jarenlang de juiste schrijfsnelheid moesten raden elke keer dat ze de grootte van het plaknotitieblad veranderden. Als ze overstapten van een klein briefje naar een groot briefje, moesten ze vaak opnieuw beginnen en de snelheid opnieuw raden.

Ze ontwikkelden een nieuwe theorie genaamd Maximal-Update Adaptation (µA). Denk aan dit als een "Universele Instructiehandleiding" die je precies vertelt hoe je de schrijfsnelheid instelt op basis van de grootte van het briefje en hoe je bent begonnen met schrijven.

Ze ontdekten dat er twee hoofdscenario's (of regimes) zijn, afhankelijk van hoe je je plaknotities instelt:

Scenario 1: De "Krimpende Snelheid" Regel

Hoe het werkt: Je begint door de notities willekeurig aan één kant te schrijven, waardoor de andere kant leeg blijft.
Het Probleem: Als je het plaknotitieblad groter maakt (de Rank verhoogt), moet je de schrijfsnelheid aanzienlijk verlagen.
De Analogie: Stel je voor dat je een muur schildert. Als je een piepklein penseeltje gebruikt (kleine rank), kun je snel schilderen. Als je overstapt op een enorme roller (grote rank), moet je veel langzamer bewegen, anders spat de verf alle kanten op.
Het Resultaat: Elke keer dat je de grootte van het briefje verdubbelt, moet je de snelheid halveren. Dit maakt het afstemmen (tuning) irritant omdat je de snelheid elke keer opnieuw moet berekenen als je de grootte van het briefje verandert.

Scenario 2: De "Magische Constante" Regel (De Doorbraak)

Hoe het werkt: Je begint door de notities aan de andere kant te schrijven (een andere initialisatiemethode) en gebruikt een specifieke schaleringsfactor.
De Ontdekking: In deze opstelling verandert de schrijfsnelheid niet, ongeacht hoe groot het plaknotitieblad is. Of je nu een piepklein 4x4 briefje gebruikt of een gigantisch 1024x1024 briefje, de perfecte snelheid is exact hetzelfde.
De Analogie: Het is als het hebben van een zelf aanpassende pen. Ongeacht hoe groot het papier is, de pen vindt automatisch de perfecte flow. Je hoeft niet te gokken; de snelheid is "rank-invariant".

De Superkracht: Snelheid Overdragen van Briefjes naar het Hele Boek

Het meest opwindende deel van het paper is wat er gebeurt met Scenario 2.

De auteurs ontdekten dat de "Magische Constante" snelheid voor de kleine plaknotities (LoRA) exact dezelfde is als de perfecte snelheid voor het herschrijven van het hele kookboek (Full Finetuning).

Waarom is dit een grote deal?
Normaal gesproken is het afstemmen van een Full Finetuning (het herschrijven van het hele boek) duur en traag omdat je een enorme computer nodig hebt om het te doen.

De Oude Manier: Je probeert de snelheid af te stemmen op de grote computer, faalt, probeert het opnieuw en verspilt geld.
De Nieuwe Manier (µA): Je gebruikt een kleine, goedkope computer om de snelheid af te stemmen op de kleine plaknotities (LoRA). Zodra je de perfecte snelheid daar hebt gevonden, kun je die exacte snelheid kopiëren en plakken naar de dure Full Finetuning taak, en het zal perfect werken.

Samenvatting van de Claims van het Paper

LoRA is lastig: Het veranderen van de grootte van de adapter (Rank) verpest meestal je leersnelheid, waardoor je alles opnieuw moet afstemmen.
Er is een oplossing: Door de juiste manier van starten (Initialisatie) en schalen van de notities te kiezen, kun je een "sweet spot" vinden waar de leersnelheid gelijk blijft, ongeacht de grootte van de adapter.
De Transfer: Deze specifieke opstelling stelt je in staat om de perfecte leersnelheid te vinden op een klein, goedkoop LoRA-experiment en deze direct toe te passen op een massief, duur Full Finetuning-project zonder dat je opnieuw hoeft af te stemmen.
Bewijs: Ze hebben dit getest op veel verschillende soorten AI-taken (schrijven, beelden zien, wiskunde oplossen en kunst genereren) en vonden dat hun "Universele Instructiehandleiding" elke keer werkte.

Kortom, het paper geeft ons een betrouwbare kaart om door de verwarrende wereld van AI-tuning te navigeren, wat tijd en geld bespaart door ons in staat te stellen te testen op kleine modellen en de resultaten vervolgens met vertrouwen toe te passen op gigantische modellen.

Technische Samenvatting: Schaling van de Leersnelheid over LoRA-rangen en Transfer naar Full Finetuning

Probleemstelling

Low-Rank Adaptation (LoRA) is een standaardmethode voor parameter-efficiënte finetuning (PEFT) van grote modellen, waarbij een laag-rangige factorisatie $\alpha BA$ wordt toegevoegd aan bevroren pre-trained gewichten. De trainingsdynamiek van LoRA is echter sterk gevoelig voor de interactie tussen hyperparameters, specifiek het initialisatieschema (welke factor gerandomiseerd versus genuld wordt), de rang-afhankelijke schalingsmultiplier $\alpha$ , en de leersnelheid $\eta$ .

Beoefenaars staan voor een aanzienlijke uitdaging: de optimale leersnelheid is niet invariant aan veranderingen in de LoRA-rang $r$ . Het wijzigen van de rang of het wisselen tussen standaard ontwerpkeuzes (bijv. $Init[A]$ versus $Init[B]$, of $\alpha=1$ versus $\alpha=r^{-1}$ ) maakt een voorheen optimale leersnelheid vaak suboptimaal, wat tijdrovende her-tuning noodzakelijk maakt. Bov��aling blijft ook onduidelijk hoe leersnelheden kunnen worden overgedragen van LoRA-configuraties naar Full Finetuning (FFT), een proces dat computationeel zeer duur is. De kernvraag die wordt behandeld is: Hoe hangt de optimale leersnelheid $\eta$ af van de adapter-rang $r$ en de modelbreedte $n$ onder verschillende LoRA-configuraties?

Methodologie

De auteurs introduceren Maximal-Update Adaptation ( $\mu A$ ), een theoretisch kader geïnspireerd door Maximal-Update Parametrization ( $\mu P$ ) gebruikt bij pretraining. De analyse wordt uitgevoerd in het gezamenlijke limiet waarbij zowel de modelbreedte $n$ als de LoRA-rang $r$ naar oneindig gaan ( $n, r \to \infty$ ).

Theoretisch Kader

Stabiliteit en Niet-verdwijnende Updates: Het kader definieert "stabiele feature-lering" als een regime waarin feature-updates begrensd blijven ( $O(1)$ ) om explosie te voorkomen, maar niet-verdwijnend zijn ( $\Theta(1)$ ) om te voorkomen dat het leerproces stagneert.
Decompositie van Updates: De feature-update $\Delta Z_B$ wordt gedecomposed in drie termen ( $\delta_1, \delta_2, \delta_3$ ) die een lineaire update van één factor vertegenwoordigen terwijl de andere vaststaat, en multiplicatieve updates van beide. De theorie analyseert de asymptotische schaling van deze termen onder verschillende initialisatieschema's.
Aannames: De analyse gaat uit van begrensde forward/backward signalen en maakt gebruik van een SignSGD-optimizer abstractie (een hanteerbare proxy voor Adam) om gesloten vorm schaalregels af te leiden.
Initialisatieschema's:
- Init[A]: $A$ wordt willekeurig geïnitialiseerd ( $A \sim \mathcal{N}(0, 1/n)$ ), $B=0$ .
- Init[B]: $B$ wordt willekeurig geïnitialiseerd ( $B \sim \mathcal{N}(0, 1/r)$ ), $A=0$ .
Schalingsmultipliers: De studie onderzoekt veelvoorkomende keuzes voor de multiplier $\alpha$ , inclusief constante waarden ( $\alpha=1$ ) en rang-afhankelijke waarden ( $\alpha=r^{-1}$ ).

Afleiding van Schalingsregels

Door de conditie $\Delta Z_B = \Theta(1)$ af te dwingen, leiden de auteurs expliciete schalingsvoorschriften af voor $\eta$ als functie van $n$ en $r$ :

Voor Init[A]: De optimale leersnelheid hangt af van zowel $n$ als $r$ . Specifiek, als $\alpha=1$ , dan $\eta \propto n^{-1/2}r^{-1/2}$ . Als $\alpha=r^{-1}$ , dan $\eta \propto n^{-1/2}$ (rang-invariant).
Voor Init[B]: Met $\alpha=1$ , schaalt de optimale leersnelheid als $\eta \propto n^{-1}$ en is deze onafhankelijk van de rang $r$ . Cruciaal is dat deze schaling overeenkomt met de theoretische vereiste voor Full Finetuning van een lineaire laag onder dezelfde aannames.

Belangrijkste Bijdragen

$\mu A$ Framework: Introductie van een theoretisch kader dat de LoRA finetuning-dynamiek karakteriseert in het gezamenlijke $n, r \to \infty$ limiet, waarbij condities voor maximale (stabiele) adaptatie worden gedefinieerd.
Identificatie van Twee Regimes:
- Rang-afhankelijk Regime: Onder $Init[A]$ met constante $\alpha$ , schaalt de optimale leersnelheid invers met de rang (bijv. $\eta \propto r^{-1/2}$ ).
- Rang-invariant Regime: Onder $Init[B]$ met $\alpha=1$ , is de optimale leersnelheid invariant voor rangveranderingen.
LoRA-naar-FFT Transfer: Identificatie van een specifieke configuratie ($Init[B]$ met $\alpha=1$ ) waar de optimale leersnelheidsschaal ( $\eta \propto n^{-1}$ ) overeenkomt met die van Full Finetuning. Dit biedt een noodzakelijke voorwaarde voor het overdragen van leersnelheden van LoRA naar FFT zonder her-tuning.
Empirische Validatie: Uitgebreide experimenten over diverse taken (taal, visie, visie-taal, beeldgeneratie, reinforcement learning) en architecturen (Llama, Qwen, RoBERTa, ViT, Stable Diffusion) die de afgeleide schalingsregels valideren.

Resultaten

De experimentele resultaten komen consistent overeen met de theoretische voorspellingen:

Init[A] met $\alpha=1$ : Naarmate de rang $r$ toeneemt, neemt de optimale leersnelheid af. Voor een $4\times$ toename in rang neemt de optimale leersnelheid met ongeveer $2\times$ af (consistent met $\eta \propto r^{-1/2}$ ).
Init[A] met $\alpha=r^{-1}$ : De optimale leersnelheid is ongeveer rang-invariant, hoewel het stabiele bereik smal is.
Init[B] met $\alpha=1$ : De optimale leersnelheid is rang-invariant en komt nauw overeen met de optimale leersnelheid voor Full Finetuning bij de meeste modellen.
Transfereerbaarheid: Leersnelheden die getuned zijn op LoRA met de $Init[B], \alpha=1$ configuratie, worden betrouwbaar overgedragen naar Full Finetuning, wat de kosten voor de hyperparameterzoektocht voor FFT drastisch vermindert.
RLVR Sensitiviteit: In Reinforcement Learning met Verifieerbare Beloningen (RLVR) leiden suboptimale leersnelheden niet alleen tot verminderde prestaties, maar verhogen ze ook aanzienlijk de trainingstijd (met 2–4 $\times$ ) doordat modellen vastlopen in exploratiefases. De $\mu A$ regels helpen bij het identificeren van stabiele regio's om dit te voorkomen.

Betekenis en Claims

Het artikel beweert een geprincieerde benadering te bieden voor de selectie van de leersnelheid in LoRA, bewegend voorbij heuristische regels. Door het gezamenlijke limiet van breedte en rang te karakteriseren, verklaren de auteurs waarom bepaalde configuraties rang-afhankelijke leersnelheden vereisen terwijl andere dat niet doen.

De primaire betekenis ligt in de transfereerbaarheid van hyperparameters. De auteurs demonstreren dat door de juiste initialisatie ($Init[B]$) en schaling ( $\alpha=1$ ) te kiezen, beoefenaars kunnen:

Voorkomen dat leersnelheden opnieuw getuned moeten worden wanneer de LoRA-rangnen worden gewijzigd.
direct de optimale leersnelheid van een low-rank LoRA experiment over te dragen naar een Full Finetuning setup, wat aanzienlijke computationele middelen bespaart.

De auteurs merken bescheiden kanttekeningen bij de beperkingen: de theorie is asymptotisch en kan gevoelig zijn voor ruis in eindige $(n, r)$ settings, en de afgeleide matching-conditie is noodzakelijk maar niet bewezen voldoende voor alle transfer-scenario's. Echter, empirisch bewijs suggereert een sterke overeenstemming tussen theorie en praktijk over diverse domeinen.