🤖 machine learning

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

Dit artikel toont aan dat geheugenefficiënte zeroth-order optimalisatie (MeZO) on-device fine-tuning van aanzienlijk grotere modellen mogelijk maakt dan conventionele backpropagation door de noodzaak om activaties en optimizer-toestanden op te slaan te elimineren, waardoor er een ruil wordt gemaakt tussen verhoogde wandkloktijd en superieure nauwkeurigheid onder strikte geheugenbeperkingen.

Oorspronkelijke auteurs: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, ongelooflijk slimme bibliotheek van kennis hebt (een Large Language Model) die je wilt meenemen op een klein, op batterijen werkend apparaat, zoals een smartphone of een smartwatch. Je wilt dat dit apparaat nieuwe trucs leert die specifiek zijn voor jouw behoeften, direct ter plaatse, zonder dat het een enorme server in de cloud hoeft aan te spreken. Dit proces heet on-device fine-tuning.

Het probleem is dat het "brein" (het geheugen) van het apparaat piepklein is in vergelijking met de bibliotheek.

De Oude Manier: De "Backpropagation"-rugzak

De traditionele methode om deze modellen te leren, heet Backpropagation (BP). Denk hierbij aan een student die probeert een nieuw onderwerp te leren door een toets te maken, en vervolgens direct elke enkele gedachte, kladvel en tussenberekening die ze maakten tijdens het oplossen van het probleem opschrijft, zodat ze het later kunnen bekijken om te zien waar ze fout gingen.

De Analogie: Stel je voor dat je probeert een complex wiskundig probleem op een piepkleinen servet op te lossen. Om de oude methode te gebruiken, moet je een kopie bewaren van elke enkele stap die je hebt genomen, op een apart vel papier, voor elke enkele laag van het probleem.
Het Resultaat: Het "servet" (het geheugen van je apparaat) vult zich direct. Omdat je al die tussentijdse notities moet bewaren, kun je slechts een zeer kleine, simpele bibliotheek op je apparaat kwijt. Als je probeert een enorme bibliotheek mee te nemen, raak je de ruimte kwijt voordat je zelfs maar begint met leren.

De Nieuwe Manier: De "MeZO"-Intuïtie

Het artikel introduceert een nieuwe methode genaamd MeZO (Memory-Efficient Zeroth-Order Optimization). Deze methode schrijft de tussenstappen niet op. In plaats daarvan maakt het gebruik van een "trial and error"-benadering.

De Analogie: Stel je voor dat je probeert de beste route door een doolhof te vinden. In plaats van een kaart te tekenen van elke draai die je hebt gemaakt (wat veel papier kost), zet je gewoon een stap, kijk je of je tegen een muur loopt, zet je een klein stapje in een andere richting en kijk je of dat beter is. Je onthoudt alleen het resultaat van de stap, niet het hele denkproces dat je daar bracht.
Het Resultaat: Je hoeft geen zware rugzak met notities mee te dragen. Je kunt een veel, veel grotere bibliotheek op je apparaat kwijt omdat je geen ruimte verspilt aan "kladpapier".

De Afweging: Snelheid versus Grootte

Het artikel doet een zeer specifieke claim over de afweging:

Grootte-voordeel: Omdat MeZO niet al die tussentijdse notities hoeft op te slaan, kun je modellen kwijt die minstens 2 keer groter zijn dan wat de oude methode toelaat. Als je een lang gesprek hebt (een lange "context"), groeit het voordeel enorm – tot wel 25 keer groter.
- Eenvoudige Wiskunde: Als de oude methode je toelaat een woordenboek van 3 miljard woorden te passen, zou MeZO je misschien toelaten een woordenboek van 13 miljard woorden op hetzelfde apparaat te passen.
Snelheidskosten: Het nadeel is dat MeZO trager is. Omdat het vaak moet "gissen en controleren" om de juiste richting te vinden (in plaats van gewoon naar zijn notities te kijken), duurt het langer om te leren.
- De Bevinding van het Artikel: In hun tests leerde de oude methode snel, maar stuitte het op een "plafond" omdat het gedwongen werd een klein model te gebruiken. De nieuwe methode (MeZO) leerde langzaam, maar omdat het een veel groter, slimmer model gebruikte, eindigde het na een paar uur uiteindelijk met een betere nauwkeurigheid.

Wat Ze Eigenlijk Testten

De onderzoekers deden niet alleen wiskunde; ze voerden experimenten uit op een krachtige computerchip (een H100 GPU) om een apparaat te simuleren:

Ze vergeleken een klein model dat was getraind met de oude "zware rugzak"-methode met een veel groter model dat was getraind met de nieuwe "lichtgewicht"-methode.
Het Resultaat: Hoewel de nieuwe methode langer duurde (ongeveer 2 uur om goede resultaten te krijgen), was het grotere model dat het trainde aanzienlijk slimmer (82% nauwkeurigheid) dan het kleine model dat snel was getraind (onder de 75% nauwkeurigheid).
Ze testten ook "sparse" training (slechts 1% van het "brein" van het model bijwerken). Zelfs met deze truc had de oude methode nog steeds meer geheugen nodig dan de nieuwe methode, omdat het "kladpapier" (activaties) nog steeds het grootste probleem was.

De Conclusie

Het artikel concludeert dat als je een echt slimme AI wilt draaien op een apparaat met beperkt geheugen, MeZO de betere keuze is. Het stelt je in staat een "groter brein" naar de rand te brengen, mits je bereid bent iets langer te wachten tot het leert. Het verandert de beperking van "klein geheugen" in een voordeel door hoe het leren plaatsvindt te veranderen, in plaats van alleen het model te verkleinen.

Technische Samenvatting: Fine-tuning op het apparaat via backprop-vrije zeroth-order optimalisatie

Probleemstelling

Fine-tuning op het apparaat is essentieel voor edge-AI-systemen om zich aan te passen aan specifieke agentische taken en veranderende gebruikersbehoeften zonder afhankelijk te zijn van externe servers. Er bestaat echter een kritieke bottleneck: conventionele fine-tuning via backpropagatie (BP) is aanzienlijk geheugenintensiever dan inferentie. BP vereist het opslaan van intermediaire laagactivaties en optimizer-toestanden voor elke laag, wat vaak een orde van grootte meer geheugen vraagt dan een enkele forward pass. Bijgevolg worden edge-apparaten met strikte geheugenbeperkingen gedwongen veel kleinere modellen te deployen voor fine-tuning dan ze zouden kunnen voor inferentie, wat de mogelijkheden van AI op het apparaat ernstig beperkt.

Methodologie

Dit artikel stelt Memory-efficient Zeroth-Order Optimization (MeZO) voor en analyseert dit als oplossing voor de geheugenbottleneck. In tegenstelling tot BP schat MeZO gradiënten uitsluitend in via forward-evaluaties (perturbaties), waardoor de noodzaak om intermediaire activaties op te slaan of optimizer-toestanden bij te houden, wordt geëlimineerd.

De aanpak van de auteurs omvat twee hoofdcomponenten:

Theoretische Geheugenanalyse: Het artikel leidt wiskundige schattingen af voor de geheugenfootprints van BP en MeZO op decoder-only Transformer-modellen. De analyse houdt rekening met:
- Aantal Parameters: Inclusief multi-head attention (en varianten met Grouped Query Attention) en Feedforward Neural Network (FFN)-lagen.
- Opslag van Activaties: Berekening van het geheugen dat nodig is om activaties te cacheën voor BP, wat schaalt met contextlengte ( $N$ ), batchgrootte ( $B$ ) en verborgen dimensie ( $D$ ).
- Optimizer-toestanden: Aannemende een stateless SGD-optimizer om de impact van opslag van activaties te isoleren.
- Implementatiefactoren: Het introduceren van een factor $L' \leq L$ om het maximale aantal lagen van activaties weer te geven dat door MeZO wordt opgeslagen vanwege implementatiespecifieke buffering, wat een realistische vergelijking mogelijk maakt.
Empirische Validatie: De theoretische claims worden gevalideerd door numerieke experimenten op een enkele H100 GPU met de BoolQ- en MultiRC-datasets. De studie vergelijkt:
- Volledige Fine-tuning: BP (met GPT2-medium) versus MeZO (met Llama2-7B en Llama2-13B) onder vaste geheugenbudgetten (~17 GB).
- Parameter-efficiënte Fine-tuning (PEFT): Evaluatie van sparse updates (fine-tuning van slechts 1% van de parameters) voor zowel BP als MeZO met Qwen3-modellen om de impact van sparsiteit op geheugen en nauwkeurigheid te beoordelen.

Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

Geheugenanalyse: Een theoretische vergelijking die aantoont dat MeZO, onder vaste on-chip geheugenbudgetten, modellen kan accommoderen die minstens 2× groter zijn dan BP. Dit voordeel schaalt met de contextlengte en bereikt tot 25× voor lange contexten (bijv. $N=32768$ ) zonder checkpointing, en ongeveer 5× met activatie-checkpointing.
Schalingsinzichten: De analyse onthult dat terwijl parametergeheugen lineair schaalt met het aantal lagen ( $L$ ), activatiegeheugen in BP kwadratisch schaalt met de contextlengte ( $N$ ) en lineair met $L$ . MeZO vermijdt de kwadratische contextboete, waardoor het steeds superieur wordt naarmate contextvensters groeien.
Empirische Validatie: Numerieke resultaten bevestigen dat MeZO, hoewel het langzamere convergentie vertoont in termen van wandkloktijd, superieure validatienauwkeurigheid bereikt onder strikte geheugenbeperkingen omdat het de deploy van aanzienlijk grotere, capabelere modellen mogelijk maakt.
PEFT-evaluatie: De studie toont aan dat zelfs bij sparse updates (1% parametertuning) de geheugensbesparingen van BP bescheiden zijn (~12–13%) omdat opslag van activaties de totale consumptie domineert. Daarentegen blijft MeZO de fine-tuning van grotere modellen mogelijk maken (bijv. 4B versus 0,6B) binnen hetzelfde geheugenbudget, wat betere prestaties oplevert.

Resultaten

Nauwkeurigheid versus Tijd Trade-off: Experimenten op de BoolQ-dataset tonen aan dat MeZO langzamer convergeert dan BP in wandkloktijd. Echter, na ongeveer 2 uur fine-tuning bereikt MeZO (met een model van 13 miljard parameters) ~82% nauwkeurigheid, terwijl BP (met een kleiner equivalent model van 0,6B-1,5B vanwege geheugenlimieten) onder de 75% blijft.
Geheugenefficiëntie: De verhouding van geheugenvereisten (BP/MeZO) neemt toe met de contextlengte. Voor een contextlengte van 32.768 vereist MeZO ongeveer 25 keer minder geheugen dan BP zonder checkpointing.
Beperkingen van Sparsiteit: Het artikel toont aan dat het verminderen van het aantal bijgewerkte parameters via PEFT de geheugendruk van BP niet significant verlicht, omdat opslag van activaties de dominante factor blijft. MeZO, door het volledig vermijden van opslag van activaties, behoudt zijn voordeel zelfs wanneer BP spars wordt gemaakt.

Betekenis en Claims

Het artikel positioneert MeZO als een sterke kandidaat voor scenario's van fine-tuning op het apparaat, met name voor agentische edge-systemen en toepassingen voor continu leren. De primaire betekenis ligt in het verschuiven van de beperking van "modelgrootte" naar "fine-tuning-tijd". Door een langere wandkloktijd voor training te accepteren, kunnen edge-apparaten modellen fine-tunen die een orde van grootte groter zijn dan die mogelijk zijn met backpropagatie, waardoor hogere prestatiecapaciteiten direct op het apparaat worden ontsloten.

De auteurs concluderen dat MeZO effectief de geheugenvraag voor training reduceert tot het niveau van geheugen voor inferentie, waardoor de deploy van grotere modellen en langere contextvensters op hardware met beperkte middelen mogelijk wordt. Zij merken op dat hoewel de huidige analyse zich richt op standaard Transformer-architecturen, de conclusies kunnen worden gegeneraliseerd naar moderne varianten (bijv. sliding-window attention, Mixture-of-Experts) en dat verder onderzoek nodig is om deze bevindingen te specialiseren voor neuromorfe systemen en dynamische sparsiteit.