LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning

Dit paper introduceert LoFT, een nieuwe parameter-efficiënte fine-tuning-methode die de optimizer-dynamiek van volledige fine-tuning nabootst door de momentum- en variantie-momenten van Adam in een laag-rank deelruimte te projecteren, waardoor de prestaties aanzienlijk worden verbeterd zonder extra inferentiekosten.

De kern

Stel je voor dat je een enorme, superintelligente robot hebt die alles al weet over de wereld. Deze robot is echter zo groot dat hij duizenden kilo's weegt en duizenden euro's kost om te laten bewegen. Je wilt deze robot nu leren een specifieke nieuwe taak, zoals het maken van grappige grappen of het diagnosticeren van huidkanker.

Het oude probleem:
De traditionele manier om dit te doen is "Full Fine-Tuning". Dit is alsof je de hele robot uit elkaar haalt, elke schroef losdraait en elke motor opnieuw instelt om de nieuwe taak te leren.

• Nadeel: Het kost enorm veel tijd, energie en geld. Voor de meeste mensen is dit onmogelijk.

De huidige oplossing (LoRA):
Om dit op te lossen, hebben wetenschappers een slimme truc bedacht genaamd LoRA. In plaats van de hele robot aan te passen, plakken ze een klein, lichtgewicht "tussenstukje" (een adapter) op de robot.

• Hoe het werkt: Ze laten de grote robot ongemoeid en trainen alleen dit kleine stukje.
• Het probleem: Hoewel dit veel sneller en goedkoper is, is het alsof je de robot probeert te leren grappen maken door alleen zijn mondhoeken te bewegen, terwijl zijn hersenen stilstaan. Het resultaat is vaak minder goed dan wanneer je de hele robot had aangepast, en het duurt langer om te leren.

De nieuwe uitvinding: LoFT
De auteurs van dit paper hebben LoFT (Low-rank adaptation that behaves like Full fine-Tuning) bedacht. Ze zeggen: "Waarom moeten we kiezen tussen snelheid en kwaliteit? Laten we het beste van beide werelden krijgen."

Hier is hoe LoFT werkt, vertaald in alledaagse termen:

1. De "Tandem-fiets" Analogie

Stel je voor dat LoRA een fiets is met twee wielen (U en V) die je tegelijkertijd moet peddelen.

• LoRA (De oude manier): Je probeert beide wielen tegelijk te draaien. Maar omdat ze aan elkaar gekoppeld zijn, duw je soms tegen elkaar aan in plaats van vooruit. Het is een beetje rommelig en inefficiënt.
• LoFT (De nieuwe manier): LoFT laat je de wielen afwisselend peddelen. Eén wiel draait, dan het andere. Hierdoor werken ze perfect samen zonder elkaar te blokkeren. Het is als een perfect gecoördineerde tandem-fiets.

2. De "Navigatie-app" Analogie

Wanneer je een robot traint, gebruikt hij een interne navigatie-app (de optimizer, zoals AdamW) om te weten welke kant op te gaan.

• Het probleem bij LoRA: De navigatie-app van LoRA is verward. Hij onthoudt de route alsof je de hele robot aanpaste, maar omdat je maar een klein stukje aanpast, raakt de app in de war. Hij onthoudt de verkeerde "momentum" (snelheid) en "variatie" (hoeveel je moet draaien).
• De oplossing van LoFT: LoFT corrigeert de navigatie-app. Het zorgt ervoor dat de app precies weet hoe hij moet navigeren binnen de beperkingen van het kleine tussenstukje. Het is alsof je de GPS van de fiets aanpast zodat hij perfect past bij de smalle paden waar je over rijdt, in plaats van dat hij probeert een snelweg te vinden.

3. De "Schaal" zonder Knoppen

Bij de oude LoRA-methode moest je een knop (een instelling genaamd $\alpha$) handmatig draaien om de kracht van het tussenstukje te regelen. Als je deze knop verkeerd instelde, werkte het niet goed.

• LoFT: LoFT heeft deze knop helemaal niet nodig. De methode is zo slim ontworpen dat de kracht automatisch perfect is. Je hoeft niet meer te gissen; het werkt "out of the box".

Wat levert dit op?

In de praktijk betekent dit:

• Bijna net zo goed als de zware robot: LoFT leert bijna even goed als het uit elkaar halen van de hele robot (Full Fine-Tuning).
• Net zo snel als de lichte robot: Het kost net zo weinig tijd en geheugen als de kleine LoRA-methode.
• Zelfs beter bij weinig ruimte: Zelfs als je heel weinig "ruimte" hebt om te trainen (een heel klein tussenstukje), blijft LoFT goed presteren, terwijl de oude methoden dan vaak volledig falen.

Kortom:
LoFT is als het vinden van de perfecte balans. Het is alsof je een zware vrachtwagen (de grote AI) kunt besturen met de wendbaarheid van een kleine scooter, zonder dat je de motor hoeft te vervangen. Het is sneller, goedkoper, en levert net zo goede resultaten op als de zware, dure methode.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "LOFT: LOW-RANK ADAPTATION THAT BEHAVES LIKE FULL FINE-TUNING", gepresenteerd in het Nederlands.

Titel: LOFT: Low-Rank Adaptation die zich gedraagt als Volledige Fine-Tuning

Auteurs: Nurbek Tastan, Stefanos Laskaridis, Martin Takáč, Karthik Nandakumar, Samuel Horváth.
Publicatie: ICLR 2026.

---

1. Het Probleem

Grootte van pre-getrainde modellen (LLa's en vision-modellen) is zodanig toegenomen dat volledige fine-tuning (het updaten van alle gewichten) computatief onhaalbaar en te duur is. Parameter-efficiënte fine-tuning (PEFT) methoden, zoals LoRA (Low-Rank Adaptation), zijn de standaard geworden. LoRA injecteert kleine, trainbare laag-rang matrices in plaats van alle gewichten te updaten.

Hoewel LoRA het aantal trainbare parameters drastisch vermindert met minimale overhead, vertoont het twee belangrijke tekortkomingen ten opzichte van volledige fine-tuning:

1. Prestatie-achterstand: LoRA presteert vaak slechter in nauwkeurigheid en convergeert trager dan volledige fine-tuning.
2. Optimalisatie-dynamiek: De optimalisatiedynamiek van LoRA verschilt fundamenteel van die van volledige fine-tuning. Specifiek worden de optimizer-staten (de eerste en tweede momenten, zoals momentum en variantie in Adam/AdamW) niet correct afgestemd op de laag-rang beperking.
3. Hyperparameter-gevoeligheid: LoRA vereist een schalingsfactor ($\alpha$) die zorgvuldig moet worden getuned; verkeerde instellingen kunnen leiden tot slechte prestaties of divergentie.

Recente werk probeerde de kloof te dichten door gradienten beter te benaderen, maar negeerde de misalignatie van de optimizer-staten.

---

2. Methodologie: LoFT

De auteurs introduceren LoFT (Low-rank adaptation that mimics Full fine-Tuning). Het kernidee is om de interne dynamiek van de optimizer (AdamW) volledig te aligneren met die van volledige fine-tuning, terwijl de update binnen een laag-rang deelruimte blijft.

LoFT bestaat uit vijf kerncomponenten (plus gradient clipping):

1. Alternating Updates (Alternatieve Updates):

   • In standaard LoRA worden matrices $U$ en $V$ (waarbij $W = W_0 + UV^T$) simultaan bijgewerkt. Dit introduceert een kwadratische $\eta^2$ term in de update die de convergentie verstoort.
   • LoFT updatet $U$ en $V$ alternerend (niet tegelijkertijd). Dit elimineert de kruisproduct-termen en benadert de volledige update nauwkeuriger.

2. Gradient Scaling (Gradient Schaling):

   • Er wordt een schalingsfactor toegepast via $(V^TV)^{-1}$ (of $(U^TU)^{-1}$) om schaalambiguïteit op te lossen. Dit zorgt ervoor dat de updaterichting de dichtstbijzijnde laag-rang benadering is van de volledige gradient, ongeacht de schaal van $U$ of $V$.

3. Optimizer State Calibration (Calibratie van Optimizer Staten):

   • Dit is het meest innovatieve aspect. Bij AdamW worden momentum (eerste moment) en variantie (tweede moment) bijgehouden. In LoRA worden deze staten niet correct geprojecteerd op de veranderende laag-rang deelruimtes.
   • LoFT introduceert calibratiematrices ($C_V$ en $C_U$) die de momentum- en variantiestaten correct "herkalibreren" bij elke stap, rekening houdend met de verandering in de deelruimte van $V$ en $U$. Dit zorgt ervoor dat de optimizer-staten in de laag-rang ruimte exact overeenkomen met wat ze zouden zijn bij volledige fine-tuning.

4. Gereconstrueerde Volledige Update met Projectie:

   • De update wordt eerst berekend alsof het een volledige update is (gebaseerd op de gekalibreerde momenten) en vervolgens geprojecteerd terug op de laag-rang deelruimte. Dit garandeert dat de updaterichting consistent is met de volledige dynamiek.

5. Gradient Clipping:

   • Gradient clipping wordt toegepast op de effectieve gradient van de volledige laag, niet alleen op de laag-rank componenten, om het gedrag van volledige fine-tuning te imiteren.

Theoretisch Voordeel:
LoFT is de eerste methode die bewezen exact terugvalt op AdamW (volledige fine-tuning) wanneer de rang $r$ gelijk is aan de volledige dimensie van de matrix.

---

3. Belangrijkste Bijdragen

• Identificatie van het probleem: De auteurs tonen aan dat niet alleen de gradienten, maar vooral de optimizer-staten (momentum en variantie) de oorzaak zijn van de prestatiekloof tussen LoRA en volledige fine-tuning.
• LoFT-Algorithm: Een nieuwe optimizer die de bovenstaande vijf componenten combineert om de dynamiek van AdamW te repliceren binnen een laag-rang subspace.
• Eliminatie van $\alpha$: Door de correcte schaling en projectie is de externe schalingshyperparameter $\alpha$ (die in LoRA noodzakelijk is) niet langer nodig; LoFT werkt met $\alpha = 1$ (of $r$ in de HuggingFace-implementatie).
• Proven Recovery: Het bewijs dat LoFT in de limiet van volledige rang exact gelijk is aan volledige fine-tuning.

---

4. Resultaten

LoFT werd uitgebreid getest op taalmodellen (LLaMA-7B/2/3) en visiemodellen (ViT-Base) op diverse taken.

A. Taalmodellen (Commonsense Reasoning):

• Prestaties: LoFT overtreft consistent zowel LoRA als DoRA (Directional Low-Rank Adaptation) op alle benchmarks (BoolQ, PIQA, SIQA, etc.).
• Robuustheid bij lage rang: Waar LoRA en DoRA drastisch in prestatie zakken bij zeer lage rangen (bijv. $r=1$ of $r=2$), behoudt LoFT een hoge nauwkeurigheid. Bijvoorbeeld, op LLaMA-7B met $r=16$ behaalde LoFT 76.08% gemiddelde nauwkeurigheid, tegenover 73.57% voor LoRA.
• Schaalbaarheid: De voordelen blijven bestaan bij grotere modellen (LLaMA-3-8B en zelfs 70B).

B. Visietaken (Image Classification):

• Op medische datasets (ISIC2019, HAM10000) en DomainNet presteerde LoFT beter dan LoRA en DoRA, en zelfs beter dan volledige fine-tuning op sommige datasets (waarschijnlijk door impliciete regularisatie).
• Training Dynamics: De trainingsverliescurve van LoFT volgt die van volledige fine-tuning vanaf de eerste iteraties, terwijl LoRA trager convergeert en een hoger startverlies heeft.

C. Efficiëntie en Geheugen:

• Geheugen: LoFT heeft een iets hoger geheugengebruik dan LoRA (door het opslaan van vorige iteraties voor calibratie), maar dit is aanzienlijk lager dan bij DoRA. Bij $r=4$ is het geheugenoverhead slechts ~6.7% ten opzichte van LoRA.
• Latentie: De trainingstijd is iets hoger dan LoRA (voornamelijk door de tweede-moment calibratie), maar LoFT (simple) zonder tweede-moment calibratie reduceert dit overhead aanzienlijk met slechts een minimale prestatieverlies (~0.1%).

---

5. Betekenis en Conclusie

LoFT vertegenwoordigt een fundamentele doorbraak in parameter-efficiënte fine-tuning. Het lost het probleem op dat LoRA vaak suboptimale oplossingen bereikt door de optimizer-dynamiek te negeren.

• Kwaliteit: Het sluit de prestatiekloof met volledige fine-tuning bijna volledig, zelfs met extreem weinig parameters.
• Stabiliteit: Het elimineert de noodzaak voor het tunen van de schalingsfactor $\alpha$, wat de methode robuuster en makkelijker te gebruiken maakt.
• Toekomst: De auteurs suggereren dat LoFT goed combineert met kwantisatie (QLoFT) en kan worden gebruikt voor gedistribueerde training met privacy (Differential Privacy).

Kortom, LoFT biedt de efficiëntie van LoRA met de prestaties en stabiliteit van volledige fine-tuning, waardoor het een ideale oplossing wordt voor het aanpassen van grote modellen in resource-beperkte omgevingen.