🤖 machine learning

ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces

ZO-Act is een efficiënte zeroth-order fine-tuning methode die bestaande benaderingen verbetert door perturbaties te beperken tot een vaste, activatie-geïnformeerde low-rank subspace, waardoor de estimator-variantie wordt verminderd en momentum-gebaseerde optimalisatie mogelijk wordt, terwijl het ondersteuning biedt voor gekwantiseerde large language models.

Oorspronkelijke auteurs: Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

Gepubliceerd 2026-07-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk complexe bibliotheek hebt (een Large Language Model) die je een nieuwe vaardigheid wilt aanleren, zoals het beantwoorden van vragen over een specifiek onderwerp. Normaal gesproken zou je om deze bibliotheek te onderwijzen een team van redacteuren door elk boek, pagina voor pagina, moeten sturen om aantekeningen te maken over hoe de tekst te veranderen. Dit wordt "backpropagation" genoemd, en het vereist een enorme hoeveelheid geheugen en energie. Als de bibliotheek te groot is, raakt je team door de ruimte heen om hun aantekeningen te schrijven, en crasht het proces.

Het Probleem: De "Blinde" Aanpak
Sommige onderzoekers probeerden een andere methode genaamd Zeroth-Order (ZO) optimalisatie. In plaats van elke pagina te lezen om de exacte fout te vinden, gokken ze gewoon. Ze maken een kleine, willekeurige verandering aan een boek, kijken of het verhaal beter wordt, en maken vervolgens een andere willekeurige verandering en kijken weer. Het is alsof je probeert de juiste sleutel op een enorme sleelaten te vinden door willekeurig aan sleutels te rammelen tot er een werkt.

Het probleem met dit "blinde" gokken is dat met miljarden sleutels (parameters), de gokjes ongelooflijk luidruchtig en inefficiënt zijn. Je zou een sleutel kunnen rammelen die er totaal niet toe doet, wat tijd en energie verspilt.

De Oplossing: ZO-Act (De "Slimme Kaart" Aanpak)
Het paper introduceert ZO-Act, een slimmere manier om dit gokspelletje te spelen. In plaats van willekeurig aan elke willekeurige sleutel te rammelen, kijkt ZO-Act eerst naar hoe de bibliotheek van nature reageert op een paar voorbeeldvragen (genaamd "activaties").

Denk hierbij aan het volgende:

De One-Shot Kaart: Voordat je begint met lesgeven, stel je de bibliotheek een paar oefenvragen. Je merkt dat wanneer mensen vragen over "geschiedenis", de interne tandwielen van de bibliotheek voornamelijk in een specifiek, voorspelbaar patroon draaien. Je tekent een kaart van alleen die draaiende tandwielen.
De Vaste Subruimte: Je besluit dat je vanaf nu alleen de tandwielen aanpast die op jouw kaart staan. Je bevriest de rest van de bibliotheek zodat deze niet in de war raakt.
De Lichte Coach: In plaats van de zware, bevroren tandwielen direct te proberen te bewegen, bevestig je een kleine, lichte hendel (een "coëfficiëntenmatrix") aan je kaart. Je hoeft alleen maar deze kleine hendel te bewegen om de zware tandwielen in de juiste richting te bewegen.

Waarom dit een Game-Changer is

Minder Ruis: Omdat je slechts een kleine hendel beweegt in plaats van de hele machine, zijn je gokjes veel nauwkeuriger. Het is alsof je een radio afstemt door alleen het volume aan te passen in plaats van de hele antenne te herbouwen.
Sneller Leren: Omdat de "hendel" klein is, kun je standaard, krachtige tools (zoals de Adam optimizer) gebruiken om de hendel efficiënt te bewegen.
Werkt op Kleine Apparaten: Omdat de hoofdbibliotheek bevroren blijft en je alleen de kleine hendel aanraakt, heb je geen supercomputer nodig om dit te doen. Je kunt het zelfs doen op een computer met zeer beperkt geheugen (gekwantiseerde modellen), wat is alsof je de bibliotheek probeert te onderwijzen met een klein notitieboekje in plaats van een enorme encyclopedie.

Wat het Paper Vond
De onderzoekers testten dit op enorme modellen (zoals Llama-3 en OPT) en vonden dat:

Het werkt beter dan willekeurig gokken: ZO-Act presteerde consequent beter dan andere "blinde" methoden bij taken zoals taalbegrip, het beantwoorden van vragen en het oplossen van logische puzzels.
Het werkt op kleine computers: Zelfs toen de bibliotheek werd gecomprimeerd om op een klein apparaat te passen (INT4 kwantisatie), presteerde ZO-Act nog steeds erg goed.
De Kaart is Stabiel: Ze controleerden of de "kaart" die ze aan het begin tekenden, nuttig bleef. Dat deed het! De belangrijkste tandwielen bleven gedurende het hele trainingsproces op dezelfde manier draaien, wat bewees dat de initiële "one-shot" kaart een goede keuze was.

Het Nadeel
Het paper geeft toe dat hoewel ZO-Act geweldig is voor het besparen van geheugen en het vermijden van backpropagation, het nog steeds niet zo snel of perfect is als de traditionele "volledige editor" (First-Order) methode als je onbeperkt geheugen hebt. Het is een afweging: je krijgt een zeer efficiënte, geheugensparende oplossing die "goed genoeg" is en vaak beter dan andere methoden met een laag geheugen, maar het vertrouwt nog steeds op gokken in plaats van het exacte antwoord te zien.

Samenvattend
ZO-Act is als het geven van een slimme kaart van de belangrijkste kamers in een enorm gebouw aan een blinde student. In plaats van doelloos rond te struikelen, passen ze alleen de meubels in die specifieke kamers aan met behulp van een klein, gemakkelijk te bewegen instrument. Dit bespaart energie, vermindert fouten en laat hen zelfs in een piepklein appartement nieuwe vaardigheden leren.

Technische Samenvatting: ZO-Act

Probleemstelling

Het finetunen van Large Language Models (LLM's) steunt doorgaans op first-order optimalisatie (backpropagation), wat geheugenprohibitief wordt naarmate modellen schalen naar miljarden parameters vanwege de opslagvereisten voor activaties, optimizer-states en gradiëntberekeningen. Zeroth-order (ZO) optimalisatie biedt een alternatief dat alleen gebaseerd is op de forward pass, waarbij updatestappen worden geschat met behulp van enkel loss-evaluaties, waardoor backpropagation wordt vermeden. Echter, bestaande ZO-methoden kampen met aanzienlijke uitdagingen:

Hoge Variantie: Het verstoren van de volledige parameterruimte (zoals bij MeZO) resulteert in gradiëntschattingen met een hoge variantie, wat leidt tot trage convergentie en instabiliteit.
Suboptimale Subruimten: Hoewel sommige methoden de verstoringen beperken tot laagdimensionale subruimten (bijv. LOZO, SubZero), vertrouwen zij vaak op willekeurig geconstrueerde subruimten of willekeurige verstoringen die mogelijk niet overeenkomen met de werkelijke gradiëntstroom.
Optimizer Compatibiliteit: Veel ZO-methoden hebben moeite om standaard momentum-gebaseerde optimizers (zoals Adam) effectief te gebruiken omdat de verstoringsstructuur geen expliciete, lichtgewicht trainbare variabelen blootlegt.
Kwantiseringsbeperkingen: Het finetunen van gekwantiseerde LLM's (bijv. INT4) is moeilijk met methoden die vereisen dat volledige gewichtverstoringen worden gematerialiseerd.

Methodologie: ZO-Act

De auteurs stellen ZO-Act voor, een one-shot, activatie-geïnformeerde ZO fine-tuning methode. De kerninzicht is dat de dominante componenten van gewichtsgradiënten in lineaire lagen liggen binnen de subruimte gespannen door de top rechtse singuliere vectoren van de input-activatiematrix.

Kernmechanisme

One-Shot Initialisatie: Voor elke lineaire laag voert ZO-Act een enkele forward pass uit op een kalibratie-batch om de input-activatiematrix $X$ te berekenen. Vervolgens berekent het de top- $r$ rechtse singuliere vectoren ( $V_r$ ) van $X$ via een dunne Singular Value Decomposition (SVD).
Fixed Subspace Parameterization: De gewichtupdate wordt beperkt tot een laag-rang subruimte gedefinieerd door deze bevroren activatievectoren. De effectieve gewichtupdate wordt geparametriseerd als:
$\Delta W = V_r B$
waarbij $V_r \in \mathbb{R}^{m \times r}$ de bevroren activatiebasis is, en $B \in \mathbb{R}^{r \times n}$ een lichtgewicht, trainbare coëfficiëntmatrix is. De oorspronkelijke pre-trained gewichten $W$ en de basis $V_r$ blijven gedurende de training bevroren.
Optimalisatie in Coëfficiëntruimte: In plaats van de volledige gewichtsmatrix $W$ te verstoren, bemonstert ZO-Act willekeurige verstoringen $Z$ in de laagdimensionale coëfficiëntruimte ( $Z \sim \mathcal{N}(0, I)$ ). De verstoorde effectieve gewicht wordt $W_{eff} = W + V_r(B + \mu Z)$ .
Forward-Only Estimatie: De gradiënt voor $B$ wordt geschat met behulp van forward-difference loss-evaluaties:
$\hat{g}_B = \frac{L(B + \mu Z) - L(B)}{\mu} Z$
Deze geschatte gradiënt wordt vervolgens gebruikt om $B$ te updaten met standaard first-order optimizers zoals Adam.

Theoretische Analyse

Het artikel analyseert ZO-Act als zeroth-order optimalisatie over een beperkte coëfficiëntruimte $\beta$ (dimensie $k$ ) in plaats van de volledige gewichtsruimte (dimensie $d$ ).

Variantiereductie: De variantie van de ZO-estimator schaalt lineair met de verstoringsdimensie. Door de dimensie te reduceren van $d$ (volledige gewichten) naar $k = \sum r n_\ell$ (coëfficiënten, waarbij $r \ll m$ ), vermindert ZO-Act de variantie-afhankelijke convergentieterm en de finite-difference fout aanzienlijk.
Bias-Variance Afweging: Het beperken van updates tot de activatie-geïnformeerde subruimte introduceert een subruimte-benaderingsbias. De auteurs argumenteren echter dat LLM-activaties en gradiënten laag-rang structuren vertonen, wat betekent dat de dominante update-richtingen goed worden gevangen door de top singuliere vectoren van de input-activaties. Hierdoor is de bias gecontroleerd en wordt deze gemitigeerd door de data-geïnformeerde aard van de subruimte.

Belangrijkste Bijdragen

Activatie-Geïnformeerde Subruimte: In tegenstelling tot eerdere subruimte-methoden die willekeurige of statische laag-rang matrices gebruiken, afleidt ZO-Act de verstoringssubruimte direct uit de input-activaties, wat ervoor zorgt dat de subruimte overeenkomt met de dominante activatierichtingen van de laag.
Expliciete Coëfficiënt Optimalisatie: Door de basis te bevriezen en alleen de coëfficiëntmatrix $B$ te optimaliseren, transformeert ZO-Act ZO fine-tuning in een expliciet optimalisatieprobleem over een laagdimensionale ruimte. Dit maakt de directe toepassing van momentum-gebaseerde optimizers (bijv. Adam) mogelijk en voorkomt de materialisatie van volledige gewichtverstoringen.
Kwantiseringscompatibiliteit: De methode ondersteunt van nature gekwantiseerde LLM's (bijv. INT4) omdat de low-bit gewichten bevroren blijven en alleen de low-bit coëfficiëntmatrices worden bijgewerkt.
Theoretische Garanties: Het artikel biedt een convergentieanalyse die aantoont dat ZO-Act zowel de variantie van de gradiëntestimator als de finite-difference fout vermindert vergeleken met full-weight ZO, tegen de kosten van een beheersbare subruimte-bias.

Experimentele Resultaten

De auteurs evalueerden ZO-Act op Llama-3-8B, OPT-13B en een INT4-gekwantiseerde Llama-3-8B over taken voor taalbegrip, vraagbeantwoording en commonsense redeneren.

Prestaties: ZO-Act presteerde consequent beter dan sterke ZO-baselines (inclusief MeZO, LOZO, SubZero, AGZO en ZO-Muon).
- Op Llama-3-8B behaalde het de beste full-precision ZO-resultaten op SST-2, RTE, BoolQ en WiC. Opvallend genoeg verbeterde het de RTE-prestaties van 81.2 (ZO-Muon) naar 87.0 en CB van 69.6 naar 89.3.
- Op OPT-13B behaalde het eveneens topresultaten op SST-2, RTE, CB en BoolQ.
- Op INT4 gekwantiseerde modellen bleef ZO-Act competitief met full-precision ZO-baselines, wat de effectiviteit ervan voor geheugenbeperkte fine-tuning aantoont.
Efficiëntie: ZO-Act kwam overeen met het laagste geheugengebruik onder de vergeleken methoden (ongeveer 16,1 GB voor Llama-3-8B, dalend naar 5,8 GB voor INT4) en bereikte de snelste runtime (42,0 minuten versus 44,5+ minuten voor anderen) onder een vastgesteld aantal forward-queries.
Rank Sensitiviteit: Experimenten toonden aan dat een rang van $r=1$ vaak volstond voor full-precision modellen, wat de beste nauwkeurigheid opleverde terwijl de verstoringsdimensie werd geminimaliseerd. Hogere rangen ( $r=32$ ) waren gunstig voor gekwantiseerde modellen om het verminderde vermogen te compenseren.
Stabiliteit: Diagnostische studies bevestigden dat de activatie-geïnformeerde subruimte stabiel blijft tijdens het finetunen en een aanzienlijk deel van de volledige gradiëntenergie vangt, wat het "one-shot" initialisatieontwerp valideert.

Betekenis en Claims

Het artikel beweert dat ZO-Act een belangrijke stap voorwaarts is om zeroth-order fine-tuning een praktische en hoogwaardige alternatief te maken voor grote en gekwantiseerde LLM's. De betekenis ligt in:

Het Dichten van de Kloof: Het verkleint de prestatiekloof tussen ZO en first-order fine-tuning door de variantie van de estimator te verminderen via data-geïnformeerde subruimten.
Het Mogelijk Maken van Optimizers: Het lost de moeilijkheid op om standaard optimizers zoals Adam toe te passen op ZO-methoden door expliciete, laagdimensionale trainbare variabelen te introduceren.
Schaalbaarheid: Het biedt een geheugenefficiënte oplossing voor het finetunen van gekwantiseerde modellen, wat cruciaal is voor deployment op hardware met beperkte middelen.

De auteurs erkennen beperkingen en merken op dat ZO-Act de prestatiekloof met first-order methoden nog niet volledig heeft gedicht vanwege de inherente ruis van ZO-estimatie en de subruimte-bias. Daarnaast blijft ZO-Act langzamer in wandkloktijd dan backpropagation-gebaseerde methoden vanwege de meerdere forward passes die nodig zijn per update. Desondanks wordt de methode gepositioneerd als een superieure keuze voor scenario's waarin backpropagation geheugenprohibitief of niet beschikbaar is.