Technische Samenvatting: Leerdynamiek van Zeroth-Order Optimalisatie: Een Kerkelperspectief

Probleemstelling

De klassieke optimalisatietheorie stelt dat Zeroth-Order (ZO) algoritmen lijden onder een "vloek van de dimensionaliteit", waarbij convergentiesnelheden lineair schalen met de modeldimensionaliteit $d$. Deze theoretische beperking suggereert dat ZO-methoden onaanvaardbaar traag zouden moeten zijn voor hoogdimensionale modellen, zoals Large Language Models (LLM's) met miljarden parameters. Echter, recente empirische doorbraken tegenspreken dit pessimistische vooruitzicht en tonen aan dat ZO-methoden LLM's succesvol kunnen fine-tunen met prestaties die concurrerend zijn met First-Order (FO) methoden. Het centrale probleem dat door dit artikel wordt aangepakt, is het oplossen van dit paradox: waarom schalen ZO-methoden effectief naar enorme parameterruimten, ondanks theoretische grenzen die anders suggereren?

Methodologie

De auteurs stellen een nieuw kader voor dat ZO-optimalisatie analyseert door de lens van leerdynamiek en de Empirische Neuronale Tangent Kernen (eNTK), in plaats van uitsluitend te focussen op convergentie in de parameterruimte of scalare verlieswaarden.

1. Afleiding van ZO-leerdynamiek: Het artikel leidt de één-staps leerdynamiek van ZO Stochastic Gradient Descent (SGD) af. Door een Taylor-ontwikkeling toe te passen op de log-kans van modelvoorspellingen, tonen de auteurs aan dat de update-regel wordt gedomineerd door een geprojecteerde eNTK.
2. Formulering van Kernprojectie: Het kern theoretische inzicht is dat de effectieve kern die wordt geïnduceerd door ZO-optimalisatie (de ZO-eNTK), een geometrische projectie is van de standaard FO-eNTK op een willekeurige laagdimensionale deelruimte die wordt opgespannen door de perturbatievectoren.
3. Toepassing van het Johnson-Lindenstrauss (JL) Lemma: De auteurs roepen het Johnson-Lindenstrauss Lemma aan om de betrouwbaarheid van deze projectie te analyseren. Zij stellen vast dat de benaderingsfout tussen de ZO-eNTK en de ware FO-eNTK afhangt van het behoud van inproducten in hoogdimensionale ruimten.
4. Theoretische Grenzen: De analyse leidt rigoureuze grenzen af die aantonen dat de benaderingsfout $\epsilon$ schaalt als $O(\sqrt{\ln V / P})$, waarbij $V$ de grootte van de output-vocabulaire is en $P$ het aantal perturbaties. Cruciaal is dat deze grens onafhankelijk is van de enorme modelparameterdimensionaliteit $d$.
5. Empirische Validatie: Het kader wordt gevalideerd door experimenten op:
   • LeNet (MNIST): Visualisatie van de convergentie van ZO-eNTK naar FO-eNTK naarmate $P$ toeneemt, met behulp van warmtekaarten en Frobenius-normfouten.
   • OPT-modellen (SST-2): Testen van modellen variërend van 125M tot 1,3B parameters om dimensie-onafhankelijkheid te verifiëren.
   • Vergelijking van Verdelingen: Vergelijken van Gaussische en Rademacher-perturbatieverdelingen.

Belangrijkste Bijdragen

1. Theoretische Oplossing van het ZO-paradox

Het artikel biedt een theoretische rechtvaardiging voor de schaalbaarheid van ZO-methoden naar LLM's. Door de analyse te verschuiven van parameterruimte naar functieruimte (via eNTK), tonen de auteurs aan dat de betrouwbaarheid van ZO-updates wordt gedomineerd door de grootte van de output-vocabulaire $V$ en het aantal perturbaties $P$, in plaats van de modeldimensionaliteit $d$. Deze "dimensievrije" eigenschap verklaart waarom ZO-methoden efficiënt blijven, zelfs wanneer $d$ in de miljarden loopt.

2. De Rol van het Aantal Perturbaties ($P$)

De analyse identificeert het aantal perturbaties als de primaire factor die de betrouwbaarheid van de ZO-eNTK bepaalt. Theoretische grenzen en empirische resultaten tonen aan dat het verhogen van $P$ de kernbenaderingsfout vermindert met een snelheid van $O(1/\sqrt{P})$. Zodra $P$ een drempel overschrijdt die wordt bepaald door $V$, valt de ZO-leertraject nauw samen met het FO-traject.

3. Robuustheid van Verdelingen

Het artikel onderzoekt de impact van perturbatieverdelingen (Gaussisch versus Rademacher). Hoewel klassieke optimalisatieopvattingen vaak verschillen in variantiereductie suggereren, onthult de kerngebaseerde analyse dat beide verdelingen vergelijkbare concentratieconstanten opleveren in de context van het JL Lemma. Empirische resultaten bevestigen dat de keuze van verdeling een verwaarloosbaar effect heeft op de langetermijnconvergentie, mits $P$ voldoende is.

4. Gevoeligheid voor Input-Soortgelijkheid

De studie benadrukt dat de convergentiesnelheid van de ZO-eNTK-benadering gevoelig is voor de semantische gelijkenis tussen inputparen. Paren met hoge gelijkenis (bijvoorbeeld semantisch vergelijkbare cijfers of tekst) convergeren sneller naar de FO-basiswaarde dan structureel verschillende paren, hoewel beide uiteindelijk convergeren naarmate $P$ toeneemt.

Resultaten

• Convergentie van eNTK: Experimenten op LeNet tonen aan dat naarmate $P$ toeneemt van 1 tot 125, de ZO-eNTK visueel en numeriek de blokdiaagonale structuur van de FO-eNTK herstelt. De relatieve Frobenius-normfout neemt monotoon af.
• Dimensie-onafhankelijkheid: In experimenten met OPT-modellen (125M, 350M, 1,3B) bleef de drempel van $P$ die nodig is om FO-dynamiek te herstellen vrijwel constant, ondanks dat de modeldimensionaliteit $d$ met een orde van grootte toenam. Dit bevestigt dat de leerdynamiek ontkoppeld is van $d$.
• Schaling van Outputgrootte: Een gecontroleerd synthetisch experiment waarbij de outputgrootte $V$ werd variërend (van 2 tot 1000) terwijl $P$ constant werd gehouden, toonde aan dat de benaderingsfout toeneemt met een snelheid die consistent is met $\sqrt{V}$, wat de theoretische grens valideert.
• Pariteit van Verdelingen: De convergentiecurves voor Gaussische en Rademacher-verdelingen waren nagenoeg niet te onderscheiden over alle metrieken (Frobenius-norm, CKA en Spectrale Afstand), wat de bewering ondersteunt dat eenvoudige binaire perturbaties voldoende zijn voor effectieve kernbenadering.

Betekenis en Beweringen

Het artikel beweert een nieuw perspectief te bieden voor het begrijpen van leer-dynamiek zonder afgeleiden, door het bestaande optimalisatiegerichte beeld aan te vullen met een kerngebaseerd kader.

• Theoretische Rechtvaardiging: De belangrijkste betekenis is het bieden van een rigoureuze theoretische verklaring voor het empirische succes van ZO-finetuning in LLM's, waardoor de discrepantie tussen worst-case theoretische grenzen (afhankelijk van $d$) en praktische prestaties wordt opgelost.
• Praktische Richtlijnen: De bevindingen suggereren dat praktici zich moeten richten op het afstemmen van het aantal perturbaties $P$ ten opzichte van de grootte van de output-vocabulaire $V$, in plaats van zich zorgen te maken over het enorme aantal parameters $d$.
• Beperkingen en Reikwijdte: De auteurs merken bescheiden op dat hun analyse rust op het "lazy training"-regime (waarbij features stabiel blijven), wat typerend is voor fine-tuning maar mogelijk niet geldt voor scenario's waarin vanaf nul wordt getraind. Zij erkennen ook dat het kader momenteel standaard supervised fine-tuning behandelt en mogelijk uitbreiding vereist voor taken met sterke sequentiële afhankelijkheden (bijvoorbeeld redeneren op lange termijn), waarbij de effectieve outputdimensionaliteit toeneemt met de sequentielengte.

Kortom, het artikel betoogt dat het succes van ZO-optimalisatie in hoogdimensionale settings geen toeval is, maar een gevolg van de geometrische eigenschappen van de Neuronale Tangent Kern, die dimensievrije benadering mogelijk maakt via willekeurige projecties.