Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

Technische Samenvatting: Waarom Zeroth-Order Adaptatie Minder Kan Vergeten: Een Theorie van Gerandomiseerde Vormgeving

Probleemstelling
Continu leren vereist dat modellen zich aanpassen aan nieuwe taken zonder de vaardigheden die uit eerdere taken zijn verkregen, te wissen. Hoewel recente empirische werken (bijv. ZeroFlow, ZO-FC) suggereren dat zeroth-order (ZO) optimalisatie en aanpassing tijdens de forward-pass vergeten effectiever kunnen beperken dan first-order (FO) afdaling, behandelt de heersende visie ZO louter als een ruisbevatte schatter van de FO-gradiënt. Dit perspectief verklaart niet waarom ZO mogelijk beter behoudt, aangezien schattingsnauwkeurigheid betrekking heeft op de inkomende gradiënt, terwijl vergeten wordt bepaald door de geïnduceerde verplaatsing van parameters en de behoudskromming die deze blootlegt. Het artikel streeft ernaar het lokale mechanisme van vergeten te isoleren nadat het inkomende signaal en de schaal van aanpassing zijn gematcht, en gaat voorbij het verhaal van "ruisachtige FO" om de geometrische eigenschappen van de vorm van de aanpassing te begrijpen.

Methodologie: Gerandomiseerde Gradiëntvormgeving
De auteurs stellen een kader voor waarin vergeten wordt geanalyseerd als "gevormde aanpassing". In plaats van optimalisatietrajecten te vergelijken, vergelijken zij het kwadratische schadefunctionaal $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$ dat wordt geïnduceerd door verschillende verplaatsingsoperatoren $\Delta$, waarbij $H$ de behoudskromming voorstelt (bijv. de Hessian van de historische verliezen).

1. Kalibratie van ZO: Het artikel decomposeert praktische eind-differentie ZO-schatters in drie componenten:
   • Raw Mean Alignment: De ruwe ZO-vorm behoudt het FO-signaal in verwachting.
   • Norm Inflatie: Ruwe ZO inflateert de verwachte gekwadrateerde norm van de aanpassing.
   • Norm Matching: Om een eerlijke vergelijking te garanderen, introduceren de auteurs een norm-gematchte ZO-vorm $P = \kappa^{-1/2}Z$, waarbij $Z$ de ruwe vormmatrix is en $\kappa$ een inflatiefactor. Dit zorgt ervoor dat $E[\|Pg\|^2] = \|g\|^2$, terwijl expliciet een gemiddeld krimpfactor van $\sqrt{q/(q+d+1)}$ wordt geïnduceerd.
2. Theoretische Analyse: Onder deze norm-gematchte vergelijking leiden de auteurs een exacte identiteit af voor de verwachte gevormde behoudskromming $\bar{H}_q = E[P^\top H P]$. Zij bewijzen dat norm-gematchte ZO de kromming niet uniform krimpt, maar eerder het isotrope component behoudt (de gemiddelde kromming $\bar{\lambda}I$) terwijl het anisotrope component (de afwijking van het gemiddelde) wordt gereduceerd met een factor $(1-\tau)$, waarbij $\tau = d/(q+d+1)$.
3. Identiteit voor Vergeten-Gap: Door deze krommingsidentiteit te projecteren op de inkomende gradiënt $g$, leidt het artikel een precieze FO–ZO kwadratische vergeten-gap af. De reductie in vergeten treedt op dan en slechts dan als de FO-richting door een regio met boven-gemiddelde behoudskromming wijst ($\lambda > \bar{\lambda}$). In dit regime reduceert ZO de schade door "krommingsexcess" met een query-afhankelijk fractie. Omgekeerd kan ZO, als de FO-richting zich in een regio met lage kromming bevindt, vergeten verhogen, waardoor het resultaat wordt gepresenteerd als een geometrie-afhankelijke risicobeheersing in plaats van een universele dominantie.

Belangrijkste Bijdragen

1. Formulering van Lokaal Vergeten als Gevormde Adaptatie: Het artikel herformuleert de vergelijking tussen FO en ZO als een vraag over hoe verschillende vormoperatoren behoudskromming blootleggen onder een gematchte verwachte gekwadrateerde aanpassingsnorm, waardoor verstorende factoren zoals stapgrootte en traject worden verwijderd.
2. Kalibratie van Eind-differentie ZO: Het scheidt strikt ruwe mean-alignment, residuen van eind-smoothing, ruwe norm-inflatie en norm-gematchte mean-krimp, en vestigt een eerlijke comparator voor theoretische analyse.
3. Exacte Krommingsidentiteit en Vergeten-Gap: De auteurs bewijzen dat norm-gematchte ZO de isotrope behoudsvloer behoudt terwijl het anisotrope component wordt gereduceerd. Dit levert een exacte identiteit op die aantoont dat ZO de gemiddelde kwadratische vergeten precies reduceert wanneer de FO-richting boven de gemiddelde behoudskromming uitkomt.
4. Algoritmische Transfer (RISE): Het artikel introduceert RISE (Retention-Aware Isotropic Shaping for Exact-Gradient Adaptation). RISE transporteert het gekalibreerde ZO-vormmechanisme naar aanpassing met exacte gradiënten. Het berekent de exacte FO-gradiënt via backpropagation (waardoor de bias van eind-differentie smoothing wordt verwijderd), maar past de norm-gematchte, gerandomiseerde vormoperator blokgewijs toe. Dit stelt de methode in staat de voordelen van kromming-mixing van ZO te importeren, terwijl het het plasticiteitssignaal van exacte gradiënten behoudt.

Resultaten

• Theoretische Validatie: In een kwadratische sandbox komen de empirische operatorresiduen en schadegaps overeen met de theoretische voorspellingen ($R^2 = 0,9999$), wat bevestigt dat het mechanisme geometrie-afhankelijk is en dat het teken van de vergeten-gap verandert zoals voorspeld op basis van het directionele krommingsexcess.
• Continu Leren voor Visie: Op CIFAR100, ImageNet-R en DomainNet met een ViT-B/16 backbone, verbeterde RISE toegepast op de ZO-FC-pijplijn (waarbij de representatie-zijde eind-differentie ZO wordt vervangen door exact-gradiëntvormgeving) de "Last"-nauwkeurigheid (plasticiteit) met 0,39–1,39 punten en verlaagde "Fgt" (vergeten) met 0,28–1,72 punten in vergelijking met standaard ZO-FC. Dit toont aan dat exacte gradiënten plasticiteit kunnen herstellen die verloren is gegaan door gradientschatting, terwijl de stabiliteitsvoordelen van de ZO-vorm behouden blijven.
• Continu Leren voor Taalmodellen: Op T5-modellen over verschillende taakordes (SeqLoRA en O-LoRA) verminderde RISE vergeten aanzienlijk (bijv. van 35,57% naar 7,01% bij één SeqLoRA-ordening) terwijl de "Last"-nauwkeurigheid dicht bij de FO-baseline bleef. Dit staat in contrast met ruwe ZO, die vaak vergeten reduceert ten koste van slechte plasticiteit (lage "Last"-scores).

Betekenis en Beweringen
Het artikel beweert het eerste schaalgecontroleerde lokale mechanisme te bieden dat verklaart waarom ZO mogelijk minder vergeten, en gaat voorbij de "ruisachtige FO"-verklaring. Het vestigt dat het voordeel geen uniforme dominantie van ZO over FO is, maar een conditionele verbetering: ZO fungeert als een "blind-optimale" isotrope blootstelling die beschermt tegen richtingen met hoge kromming wanneer de specifieke behoudsgeometrie onbekend is.

De betekenis van RISE ligt in het vermogen om het stabiliteitsmechanisme (gerandomiseerde vormgeving) te ontkoppelen van het plasticiteitsmechanisme (exacte gradiënten). Door de gekalibreerde ZO-vorm toe te passen op exacte gradiënten, biedt RISE een afweging tussen stabiliteit en plasticiteit waarbij het model de bias van eind-smoothing van praktische ZO vermijdt, maar nog steeds profiteert van de eigenschappen van kromming-mixing die de blootstelling aan behoud reduceren in regimes met hoge kromming. Het artikel concludeert dat dit mechanisme het meest zichtbaar is wanneer de FO-richting boven-gemiddelde behoudskromming heeft en wanneer blokgewijs bemonsteren een stabiele realisatie van het vormeffect mogelijk maakt zonder de variantie die gepaard gaat met globale, hoogdimensionale random richtingen.