🤖 machine learning

On Adaptivity in Zeroth-Order Optimization

Dit artikel toont aan dat standaard adaptieve zeroth-order optimalisatoren zoals ZO-Adam geen convergentievoordeel bieden ten opzichte van ZO-SGD voor geheugengeconstrueerde LLM-finetuning vanwege een gebrek aan coördinaatgewijze gradiëntheterogeniteit in hoge dimensies, wat leidt tot de voorgestelde MEAZO, een geheugenefficiënt alternatief dat slechts één scalair volgt voor adaptatie van de globale stapgrootte terwijl het prestaties behoudt en robuustheid verbetert.

Oorspronkelijke auteurs: Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Reuzenradio Afstellen zonder Handleiding

Stel je voor dat je een enorme, complexe radio hebt met miljoenen knoppen (dit zijn de "parameters" van een Groot Taalmodel, of LLM). Je wilt deze afstellen zodat hij een specifiek nummer perfect afspeelt (het model finetunen).

Normaal gesproken heb je voor het afstellen van een radio een handleiding nodig die precies aangeeft welke kant je elke knop moet draaien en hoeveel. In AI heet deze handleiding een gradient. Het berekenen van deze handleiding vereist veel geheugen en rekenkracht, wat duur en traag is.

Zeroth-Order (ZO) Optimalisatie is een slimme truc: in plaats van de handleiding te lezen, duw je de knoppen gewoon willekeurig een beetje, luister je naar het resultaat en bekijk je of de muziek beter of slechter klinkt. Je doet dit door de knoppen vooruit en achteruit te duwen om de richting te raden. Het kost veel minder geheugen, maar het is "ruisig" omdat je aan het gissen bent.

Het Probleem: De "Over-Geconstrueerde" Kompas

Lange tijd dachten onderzoekers dat je, omdat dit gissingspelletje ruisig is, een superslim, geheugen-hongerig kompas nodig had om je te helpen. Dit is wat Adaptive Optimizers (zoals ZO-Adam) doen. Ze proberen de geschiedenis van elke afzonderlijke knop te onthouden om te beslissen hoe snel ze moeten draaien. Ze houden een apart "geheugenlogboek" bij voor elke enkele van de miljoenen knoppen.

De Grote Ontdekking van het Paper:
De auteurs ontdekten dat in hoog-dimensionale omgevingen (zoals gigantische AI-modellen) dit superslimme kompas eigenlijk nutteloos is.

De Analogie: Stel je voor dat je in een mistig veld probeert de bodem van een vallei te vinden.
- First-Order (Standaard AI): Je hebt een duidelijk kaartje waarop staat dat de grond steil naar links afloopt maar plat is naar rechts. Je hebt een andere strategie nodig voor elke richting.
- Zeroth-Order (Het Gissingspelletje): Omdat je raadt door willekeurig te duwen in een enorme, mistige ruimte, is de "ruis" van je gok zo luid dat hij de specifieke details van het terrein overschreeuwt. Het signaal ziet er in elke richting hetzelfde uit. Het is alsof de mist zo dik is dat de grond overal perfect vlak en uniform lijkt.
Het Resultaat: Omdat het "terrein" er in elke richting hetzelfde uitziet, is het bijhouden van een apart geheugenlogboek voor elke enkele knop een verspilling van tijd en geheugen. De chique "adaptieve" methoden (ZO-Adam) helpen je niet echt sneller naar de bodem van de vallei dan een simpele methode (ZO-SGD). Sterker nog, ze maken je rugzak alleen maar zwaarder.

De Oplossing: MEAZO (Het Minimalistische Kompas)

Omdat het chique kompas onnodig is, bouwden de auteurs een nieuw gereedschap genaamd MEAZO.

Hoe het werkt: In plaats van miljoenen individuele logboeken bij te houden voor elke knop, houdt MEAZO slechts één enkel getal bij voor de hele groep. Het vraagt: "Hoeveel is de muziek gemiddeld veranderd toen we alles een duwtje gaven?"
Het Voordeel: Het behoudt het "slimme" deel van de adaptieve methode (het aanpassen van de snelheid van de duw op basis van hoe ruw het terrein voelt), maar gooit het zware bagage weg.
De Analogie: Stel je voor dat je wandelt.
- ZO-Adam: Je draagt een GPS, een barometer, een kompas en een gedetailleerde kaart voor elke stap die je zet. Het is zwaar en je raakt uitgeput.
- ZO-SGD: Je loopt gewoon vooruit. Het is licht, maar als het pad stenig wordt, kun je struikelen.
- MEAZO: Je draagt een simpele stappenteller die de gemiddelde steilte van het pad aangeeft. Als het pad stenig wordt, vertragen je. Als het glad is, versnel je. Je hebt geen kaart nodig voor elke steen; je hoeft alleen de algemene sfeer van het pad te kennen.

Wat de Experimenten Toonden

Het team testte dit op echte Groot Taalmodellen (zoals Llama en Qwen) en synthetische wiskundeproblemen.

Prestaties: Toen ze de instellingen correct afstelden, presteerde de simpele methode (ZO-SGD) net zo goed als de chique methode (ZO-Adam).
Geheugen: MEAZO gebruikte dezelfde kleine hoeveelheid geheugen als de simpele methode, terwijl de chique methode veel meer gebruikte.
Robuustheid (Het "Veiligheidsnet"): Dit is de belangrijkste bevinding. Terwijl de simpele methode geweldig werkt als je de perfecte loopsnelheid kiest, valt het uiteen als je een snelheid kiest die te snel of te traag is. De chique methoden (en MEAZO) zijn veel vergevingsgezinder. Als je een "slechte" snelheid kiest, brengt MEAZO je nog steeds naar de bestemming zonder te crashen. Het is als een auto met cruise control die zich automatisch aanpast aan heuvels, terwijl de simpele auto gewoon op een vaste snelheid blijft rijden en misschien tegen een hobbel aanrijdt.

Samenvatting

De Mythe: "We hebben complexe, geheugen-zware adaptieve hulpmiddelen nodig om zeroth-order AI-training goed te laten werken."
De Realiteit: In hoog-dimensionale AI-modellen maakt de ruis het terrein uniform, dus zijn complexe hulpmiddelen een verspilling van geheugen.
De Oplossing: MEAZO is een nieuw hulpmiddel dat slechts één globaal getal bijhoudt in plaats van miljoenen. Het gebruikt zeer weinig geheugen (zoals de simpele methode) maar is veel stabieler en vergevingsgezinder met instellingen (zoals de complexe methode).

Dit stelt onderzoekers in staat om enorme AI-modellen te finetunen op apparaten met beperkt geheugen (zoals edge-apparaten) zonder supercomputers, terwijl ze toch stabiele, hoogwaardige resultaten behalen.

Technische Samenvatting: Over Adaptiviteit in Zeroth-Order Optimalisatie

Probleemstelling

Het artikel behandelt de uitdaging van geheugengebeperkte fine-tuning van Large Language Models (LLM's). Hoewel backpropagation de standaard is voor fine-tuning, vereist het aanzienlijk geheugen voor het cacheën van activaties en berekeningen met hoge precisie in floating-point. Zeroth-order (ZO) optimalisatie is opgekomen als een geheugenefficiënt alternatief, waarbij gradiënten worden benaderd via forward passes op willekeurig verstoord parameters. Echter, ZO-methoden lijden onder hoge variantie, wat leidt tot langzamere convergentie in vergelijking met first-order (FO) methoden.

Recent werk heeft geprobeerd deze variantie te mitigeren door adaptieve ZO-optimizers in te voeren (bijvoorbeeld ZO-Adam), die FO-adaptieve methoden nabootsen door eerste en tweede momenten van gradiënten per coördinaat bij te houden. De auteurs stellen de effectiviteit van deze aanpak in twijfel en hypotheseren dat de coördinaatsgewijze heterogeniteit die nodig is voor het slagen van adaptieve methoden, afwezig kan zijn in hoogdimensionale ZO-omgevingen.

Methodologie en Analyse

Theoretische Analyse van ZO-Gradiënten

De auteurs analyseren de statistische eigenschappen van ZO-gradiëntschatters in hoge dimensies. Ze tonen aan dat, vanwege de isotrope aard van willekeurige verstoringen, ZO-gradiëntschatters de coördinaatsgewijze heterogeniteit missen die wel voorkomt in FO-gradiënten.

Propositie 3.1: De auteurs bewijzen dat de verwachte kwadratische ZO-gradiënt wordt gedomineerd door een globaal term afhankelijk van het gekwadrateerde norm van de ware gradiënt, in plaats van individuele coördinaatwaarden. Specifiek schaalt de bias die door de schatter wordt geïntroduceerd met $1/q$ (waarbij $q$ het aantal ruisstalen is) en wordt coördinaat-agnostisch in hoge dimensies ( $q \ll d$ ).
Implicatie: Adaptieve mechanismen die per-coördinaat statistieken bijhouden (zoals het tweede moment van Adam) staan niet in overeenstemming met de onderliggende statistieken van ZO-gradiënten, waardoor ze geheugeninefficiënt zijn zonder convergentievoordelen te bieden.

Voorgestelde Methode: MEAZO

Gedreven door het inzicht dat globale stapgrootte-adaptatie voldoende is, stellen de auteurs MEAZO (Memory-Efficient Adaptive Zeroth-order optimizer) voor.

Ontwerp: In tegenstelling tot ZO-Adam, dat een vector van tweede momenten voor elke parameter bijhoudt, houdt MEAZO slechts één scalair bij dat het globale gekwadrateerde norm van de geprojecteerde gradiënt voorstelt.
Bijwerkregel: De bijwerking schaalt de globale stapgrootte met deze scalair, waardoor de leersnelheid effectief wordt aangepast op basis van globale kromming zonder geheugenoverhead per parameter.
Gegroepeerde Extensie: MEAZO breidt zich op natuurlijke wijze uit naar gegroepeerde (blok-coördinaat) ZO-omgevingen, waarbij een scalair per blok wordt bijgehouden in plaats van per parameter, wat het geheugen verder verlaagt terwijl blokniveau-heterogeniteit wordt vastgelegd.

Theoretische Garanties

Het artikel biedt formele convergentiegaranties voor MEAZO onder standaardaannames (L-gladheid, begrenste variantie, begrenste gradiënten).

De analyse behandelt de ZO-gradiënt als een onbevooroordeelde schatter van een gladde objectieve functie.
Stelling 4.7: Stelt een convergentiesnelheid voor MEAZO vast die overeenkomt met de standaard snelheden voor adaptieve SGD in aanwezigheid van affiene variantiegrenzen. De convergentiesnelheid wordt aangetoond als $O(\frac{1}{T} + \frac{\sigma^2}{T} + \frac{d}{q}\sigma^2 + \frac{d^2}{q}\epsilon^2)$ , wat bevestigt dat de methode convergeert naar een stationair punt met een ruisomgevingsgrootte afhankelijk van het aantal stalen $q$ en de verstoringgrootte $\epsilon$ .

Experimentele Resultaten

Synthetische Experimenten

Gedrag van het Tweede Moment: In synthetische kwadratische problemen observeren de auteurs dat naarmate de dimensionaliteit toeneemt, de tweede-momentvector van ZO-Adam instort tot één enkele waarde (globale norm), terwijl FO-Adam onderscheiden coördinaatsgewijze waarden behoudt. Dit valideert empirisch de theoretische claim dat coördinaatsgewijze adaptiviteit overbodig is in hoogdimensionale ZO-omgevingen.
Robuustheid: MEAZO toont verhoogde robuustheid tegenover keuzes van stapgrootte in vergelijking met ZO-SGD, met name in heterogene blok-gestructureerde omgevingen, en komt overeen met de stabiliteit van ZO-Adam.

LLM Fine-tuning

Experimenten werden uitgevoerd op meerdere modelfamilies (Llama-3.2, Qwen-3, Ministral) en taken (XSum, SST-2, SQuAD) met zowel LoRA als prompt tuning.

Prestaties vs. Geheugen:
- ZO-SGD vs. ZO-Adam: Met juiste stapgrootte-tuning komt ZO-SGD in hoogdimensionale LoRA fine-tuning overeen met of overtreft ZO-Adam, wat bevestigt dat coördinaatsgewijze adaptiviteit beperkt voordeel biedt.
- MEAZO Prestaties: MEAZO bereikt prestaties vergelijkbaar met ZO-Adam, maar met een geheugenvoetafdruk equivalent aan ZO-SGD (het bijhouden van één scalair versus een volledige vector).
Robuustheid: Hoewel goed getuned ZO-SGD goed presteert, is het breekbaar bij suboptimale stapgroottes. MEAZO behoudt de robuustheid van adaptieve methoden (verruimend het stabiele venster voor leersnelheid) zonder de geheugenkosten.
Gegroepeerde Omgevingen: In gegroepeerde ZO-omgevingen past MEAZO zich aan aan groepspecifieke statistieken (bijvoorbeeld eerdere lagen die hogere gevoeligheid tonen), en handhaaft het stabiele convergentie waar gegroepeerde ZO-SGD kan divergeren.

Belangrijkste Bijdragen

Theoretisch Inzicht: Het artikel stelt vast dat ZO-gradiënten in hoge dimensies in wezen homogeen zijn, waardoor per-coördinaat adaptieve mechanismen (zoals die in ZO-Adam) geheugeninefficiënt en theoretisch onnodig zijn voor convergentie.
Algoritmische Innovatie: De introductie van MEAZO, een op scalar gebaseerde adaptieve ZO-optimizer die globale stapgrootte-adaptatie bereikt met verwaarloosbare geheugenoverhead.
Empirische Validatie: Uitgebreide experimenten over diverse LLM's en taken die aantonen dat MEAZO de prestaties van adaptieve baselines (ZO-Adam) evenaart, terwijl het de geheugenefficiëntie van niet-adaptieve baselines (ZO-SGD) behoudt.
Convergentieanalyse: Formele convergentiegaranties voor MEAZO in niet-convexe omgevingen, waardoor de kloof tussen adaptieve SGD-theorie en zeroth-order optimalisatie wordt overbrugd.

Betekenis en Claims

De auteurs beweren dat hun werk de noodzaak van complexe adaptieve mechanismen in zeroth-order optimalisatie opnieuw beoordeelt. Ze betogen dat voor hoogdimensionale LLM fine-tuning het primaire voordeel van adaptiviteit niet ligt in per-coördinaat schaling, maar in globale stapgrootte-robustheid.

De betekenis van MEAZO wordt gepresenteerd in de context van geheugengebeperkte omgevingen (bijvoorbeeld randapparaten). Door de robuustheid van adaptieve methoden te bereiken met de geheugenefficiëntie van SGD, stelt MEAZO meer onderzoekers en praktici met beperkte middelen in staat om deel te nemen aan het fine-tunen van grote modellen. Het artikel concludeert bescheiden dat hoewel ZO-SGD voldoende is bij perfecte tuning, MEAZO een praktische, stabiele en schaalbare alternatief biedt dat de breekbaarheid van stapgrootte-selectie mitigeert zonder geheugenstraffen. Voor toekomstig werk wordt voorgesteld om convergentie naar exacte stationaire punten te verfijnen en MEAZO uit te breiden naar subspace ZO-frameworks.