Technische Samenvatting: AR1-ZO

Probleemstelling

Het artikel behandelt een fundamenteel "rangparadox" dat ontstaat bij het combineren van Zeroth-Order (ZO) optimalisatie met Low-Rank Adaptation (LoRA) voor het fine-tunen van Large Language Models (LLM's) onder strikte geheugenbeperkingen.

Hoewel LoRA het aantal trainbare parameters vermindert door gewichten te bevriezen en laag-rangige updates te leren ($\Delta W = \frac{\gamma}{r} BA$), en ZO-optimalisatie (bijv. MeZO) het opslaan van backpropagatie-activaties vermijdt door gradiënten te schatten via scalair verschil van voorwaartse doorgangen, creëert hun combinatie een meetknelpunt. Standaard twee-punts ZO-query's verstoren doorgaans alle $r(d_{out} + d_{in})$ LoRA-factorcoördinaten simultaan. Dit leidt tot twee kritieke falen naarmate de LoRA-rang $r$ toeneemt:

1. Variance-explosie: De verstoringsdimensie schaalt met $r$, waardoor de schattervariatie toeneemt.
2. Directionele ineenstorting: De standaard LoRA-schalingcoëfficiënt $\gamma = \alpha$ (implicerend een effectieve coëfficiënt van $\alpha/r$ per atoom) onderdrukt het eind-differentie-signaal. Wanneer slechts één rang-1 atoom wordt verstoord (zoals bij naïeve atoomsgewijze updates), schaalt het actieve signaal als $1/r$, terwijl de resterende evaluatieruis constant blijft. Bijgevolg daalt de Finite-Difference Signal-to-Noise Ratio (FD-SNR) als $1/r^2$. Bij hoge rangen wordt de directionele informatie overspoeld door ruis voordat er enige aanpassing van de leersnelheid kan plaatsvinden, waardoor hoog-rangige LoRA inefficiënt wordt binnen een vast budget van twee voorwaartse doorgangen.

Bestaande remedies vertrouwen vaak op externe deelruimtes, activatiehaken, krommingsschattingen of complexe manifold-geometrie, wat extra rekenkundige overhead of aannames introduceert.

Methodologie: AR1-ZO

De auteurs stellen AR1-ZO (Alternating Rank-1 Zeroth-Order) voor, een methode die het knelpunt oplost door de query-topologie te herdefiniëren en de schalingswet opnieuw te kalibreren, zonder aanvullende bases of extra voorwaartse doorgangen te vereisen.

1. Topologie-bewuste Query's

In plaats van de volledige adapter of willekeurige deelruimtes te verstoren, blootlegt AR1-ZO het ge匹配de rang-1 atoom $(b_k, a_k)$ als het minimale complete query-blok.

• Mechanisme: Bij elke stap kiest de optimizer één atoomindex $k(t)$, verstoort alleen de bijbehorende kolom $b_k$ en rij $a_k$, en houdt alle andere $r-1$ atomen bevroren.
• Dimensie: Dit reduceert de instantane verstoringsdimensie van $r(d_{out} + d_{in})$ naar $q = d_{out} + d_{in}$, waardoor de enkele-query-dimensie onafhankelijk wordt van de opgeslagen rang $r$. De rang $r$ wordt een geamortiseerde dekkingkost (het aantal stappen om alle atomen te bezoeken) in plaats van een per-stap variatiemultipliator.

2. Topologie-bewuste Schaling ($\gamma = \alpha r$)

Het artikel identificeert dat de standaard LoRA-schaling $\gamma = \alpha$ (leverend $\alpha/r$ per atoom) is gekalibreerd voor gezamenlijke updates waarbij alle atomen simultaan bijdragen. Onder sequentiële rang-1-query's onderdrukt het erven van deze schaling het actieve signaal.

• Correctie: AR1-ZO introduceert een topologie-bewuste kalibratie waarbij de globale coëfficiënt wordt ingesteld op $\gamma = \alpha r$.
• Effect: Dit zorgt ervoor dat de effectieve coëfficiënt voor het actieve atoom $\frac{\gamma}{r} = \alpha$ is. Bijgevolg blijft de actieve teller van de eind-differentie rang-invariant ($\Theta(1)$), waardoor de FD-SNR wordt hersteld naar een constant niveau ongeacht $r$. Dit voorkomt directionele ineenstorting.

3. Algorithmus

De updatecyclus wisselt af door atomen $k=1 \dots r$. Voor elke stap:

1. Steekproeven van verstoringen $z_b, z_a$ voor de factoren van het actieve atoom.
2. Evaluatie van voorwaartse doorgangen $L(\theta + \mu P_t z)$ en $L(\theta - \mu P_t z)$ op een gekoppeld mini-batch.
3. Berekening van de gradiëntschatter met behulp van de gecorrigeerde schaal $\gamma = \alpha r$.
4. Update uitsluitend de actieve vectoren $b_k, a_k$.

Belangrijkste Bijdragen

1. Formalisatie van het Rang-1 Atoom als Query-blok: Het artikel bewijst dat het gepaarde paar $(b_k, a_k)$ het minimale complete LoRA-natieve blok is. Het verstoren van slechts één kant is onvolledig, terwijl het groeperen van atomen de rang-afhankelijke dimensie opnieuw introduceert. AR1-ZO maakt hiervan gebruik om de opslagrang te ontkoppelen van de query-dimensie.
2. Diagnose van Directionele Ineenstorting: De auteurs bewijzen theoretisch dat naïeve atoomsgewijze ZO met standaard schaling ervoor zorgt dat de actieve FD-SNR afneemt als $O(1/r^2)$, wat leidt tot verlies van directionele fideliteit (de cosinusgelijkheid met de ware gradiënt nadert nul) naarmate de rang toeneemt.
3. Signaalherstel via Topologie-bewuste Schaling: Het artikel leidt de schalingsregel $\gamma = \alpha r$ af en valideert deze. Theoretische analyse toont aan dat dit rang-invariant actieve signaal en FD-SNR herstelt, waardoor de schatter informatief blijft zelfs bij hoge rangen.
4. Operationele Efficiëntie: AR1-ZO bereikt deze winsten onder een puur black-box budget (twee voorwaartse doorgangen per stap) zonder aanvullende bases, activatiehaken of krommingsschatting.

Experimentele Resultaten

De methode werd gevalideerd op OPT (2.7B, 13B) en Qwen3 (1.7B, 32B) modellen over taken waaronder BoolQ, CB, COPA, WIC, SQuAD en DROP.

• Signaalherstel: Experimenten waarbij de LoRA-rang $r \in \{1, \dots, 64\}$ werd doorgelopen, bevestigden dat naïeve schaling ervoor zorgt dat FD-SNR en directionele fideliteit ineenstorten bij hoge rangen (bijv. $r=64$), terwijl AR1-ZO stabiele metrieken handhaaft over het volledige bereik.
• Convergentie: Op trainingsverlies-trajecten toonde AR1-ZO een gladde convergentie, presteerde het beter dan naïeve atoomsgewijze ZO en standaard MeZO-LoRA, en verkleinde het de kloof met volledige first-order fine-tuning (FT/Adam).
• Downstream Prestaties: Met een vaste rang van $r=64$ en gekoppelde budgetten voor twee voorwaartse doorgangen, presteerde AR1-ZO consistent beter dan baselines (MeZO-LoRA, LOZO, ZO-Alt-naive) over alle taken. Bijvoorbeeld, op OPT-2.7B verbeterde het de SQuAD F1 met +13,2 ten opzichte van MeZO-LoRA.
• Efficiëntie: AR1-ZO kwam overeen met de stapstijd en piek-VRAM van MeZO+LoRA, wat bevestigt dat het wisselende schema en de schalingscorrectie geen extra systeemoverhead met zich meebrengen.

Betekenis en Claims

Het artikel claimt een specifiek topologie-schalingsmismatch in black-box LoRA fine-tuning op te lossen. Het stelt dat hoog-rangige LoRA niet inherent onverenigbaar is met ZO-optimalisatie; het falen ontstaat juist door het toepassen van schalingsregels voor gezamenlijke updates op sequentiële, atoom-niveau metingen.

Door het rang-1 atoom te behandelen als de fundamentele meeteenheid en de schaling te kalibreren naar $\gamma = \alpha r$, maakt AR1-ZO het gebruik van hoog-rangige adapters mogelijk (die een grotere capaciteit bieden) zonder de variatie- of signaalverliesboetes die doorgaans met hen gepaard gaan. De auteurs positioneren dit als een noodzakelijke correctie voor de "meeteenheid" van black-box LoRA-ZO, en stellen vast dat rang niet hoeft te zijn als een "enkele-query-dimensiebelasting" als de query-topologie en schaling zijn uitgelijnd. Het werk biedt een theoretische onderbouwing voor waarom eerdere pogingen met hoge rangen faalden en biedt een eenvoudige, parameterloze mechanisme om hun effectiviteit te herstellen.