Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

Technische Zusammenfassung: Warum Zeroth-Order-Adaptation weniger vergessen kann: Eine Theorie der randomisierten Formgebung

Problemstellung
Kontinuierliches Lernen erfordert, dass Modelle sich an neue Aufgaben anpassen, ohne Fähigkeiten zu verlieren, die aus vorherigen Aufgaben erworben wurden. Während neuere empirische Arbeiten (z. B. ZeroFlow, ZO-FC) nahelegen, dass Zeroth-Order-(ZO)-Optimierung und Forward-Pass-Adaptation das Vergessen wirksamer mildern können als First-Order-(FO)-Descent, betrachtet die vorherrschende Meinung ZO lediglich als verrauschten Schätzer des FO-Gradienten. Diese Perspektive erklärt nicht, warum ZO möglicherweise besser behält, da die Schätzgenauigkeit den eingehenden Gradienten betrifft, während das Vergessen durch die induzierte Parameterverdrängung und die dadurch freigelegte Behaltenskrümmung gesteuert wird. Die Arbeit versucht, den lokalen Mechanismus des Vergessens zu isolieren, nachdem das eingehende Signal und die Adaptationsskala angeglichen wurden, und geht über die Erzählung vom „verrauschten FO" hinaus, um die geometrischen Eigenschaften der Adaptationsform zu verstehen.

Methodik: Randomisierte Gradientenformgebung
Die Autoren schlagen einen Rahmen vor, in dem Vergessen als „geformte Adaptation" analysiert wird. Anstatt Optimierungstrajektorien zu vergleichen, vergleichen sie das quadratische Schadensfunktional $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$, das durch verschiedene Verdrängungsoperatoren $\Delta$ induziert wird, wobei $H$ die Behaltenskrümmung darstellt (z. B. die Hesse-Matrix des historischen Verlusts).

1. Kalibrierung von ZO: Die Arbeit zerlegt praktische Finite-Differenz-ZO-Schätzer in drei Komponenten:
   • Roh-Mittelwert-Ausrichtung: Die rohe ZO-Form bewahrt das FO-Signal im Erwartungswert.
   • Normaufblähung: Die rohe ZO bläht die erwartete quadrierte Adaptationsnorm auf.
   • Normanpassung: Um einen fairen Vergleich zu gewährleisten, führen die Autoren eine normangepasste ZO-Form $P = \kappa^{-1/2}Z$ ein, wobei $Z$ die rohe Formmatrix und $\kappa$ ein Aufblähfaktor ist. Dies stellt sicher, dass $E[\|Pg\|^2] = \|g\|^2$ gilt, während gleichzeitig ein mittlerer Schrumpfungsfaktor von $\sqrt{q/(q+d+1)}$ explizit induziert wird.
2. Theoretische Analyse: Unter diesem normangepassten Vergleich leiten die Autoren eine exakte Identität für die erwartete geformte Behaltenskrümmung $\bar{H}_q = E[P^\top H P]$ her. Sie beweisen, dass normangepasstes ZO die Krümmung nicht uniform schrumpft, sondern vielmehr die isotrope Komponente (die durchschnittliche Krümmung $\bar{\lambda}I$) bewahrt, während es die anisotrope Komponente (die Abweichung vom Mittelwert) um einen Faktor von $(1-\tau)$ kontrahiert, wobei $\tau = d/(q+d+1)$ gilt.
3. Identität der Vergessenslücke: Durch Projektion dieser Krümmungsidentität auf den eingehenden Gradienten $g$ leitet die Arbeit eine präzise FO–ZO quadratische Vergessenslücke her. Die Reduktion des Vergessens tritt genau dann auf, wenn die FO-Richtung durch einen Bereich oberhalb der durchschnittlichen Behaltenskrümmung ($\lambda > \bar{\lambda}$) verläuft. In diesem Regime reduziert ZO den Schaden durch „Krümmungsüberschuss" um einen abfrageabhängigen Bruchteil. Umgekehrt kann ZO das Vergessen erhöhen, wenn sich die FO-Richtung in einem Bereich niedriger Krümmung befindet, was das Ergebnis als geometrieabhängige Risikosteuerung und nicht als universelle Überlegenheit darstellt.

Hauptbeiträge

1. Formulierung lokalen Vergessens als geformte Adaptation: Die Arbeit stellt den Vergleich zwischen FO und ZO als Frage neu, wie verschiedene Formoperatoren unter einer angepassten erwarteten quadrierten Adaptationsnorm die Behaltenskrümmung freilegen, und entfernt Störfaktoren wie Schrittweite und Trajektorie.
2. Kalibrierung von Finite-Differenz-ZO: Sie trennt rigoros rohe Mittelwertausrichtung, Finite-Smoothing-Reste, rohe Normaufblähung und normangepasste mittlere Schrumpfung und etabliert einen fairen Vergleichsmaßstab für die theoretische Analyse.
3. Exakte Krümmungsidentität und Vergessenslücke: Die Autoren beweisen, dass normangepasstes ZO die isotrope Behaltensuntergrenze bewahrt, während es die anisotrope Komponente kontrahiert. Dies ergibt eine exakte Identität, die zeigt, dass ZO die mittlere quadratische Vergessensrate genau dann reduziert, wenn die FO-Richtung über der durchschnittlichen Behaltenskrümmung liegt.
4. Algorithmische Übertragung (RISE): Die Arbeit führt RISE (Retention-Aware Isotropic Shaping for Exact-Gradient Adaptation) ein. RISE überträgt den kalibrierten ZO-Formmechanismus auf die Adaptation mit exakten Gradienten. Es berechnet den exakten FO-Gradienten via Backpropagation (und entfernt so den Finite-Differenz-Smoothing-Bias), wendet jedoch den normangepassten, randomisierten Formoperator blockweise an. Dies ermöglicht es der Methode, die Vorteile der Mischung der Behaltenskrümmung von ZO zu importieren, während das Plastizitätssignal exakter Gradienten erhalten bleibt.

Ergebnisse

• Theoretische Validierung: In einem quadratischen Sandbox-Experiment stimmen die empirischen Operatorreste und Schadenslücken mit den theoretischen Vorhersagen überein ($R^2 = 0,9999$). Dies bestätigt, dass der Mechanismus geometrieabhängig ist und dass das Vorzeichen der Vergessenslücke sich wie vorhergesagt ändert, basierend auf dem Richtungs-Krümmungsüberschuss.
• Kontinuierliches Lernen in der Bildverarbeitung: Auf CIFAR100, ImageNet-R und DomainNet mit einem ViT-B/16-Backbone verbesserte RISE, angewendet auf die ZO-FC-Pipeline (Ersetzung der Finite-Differenz-ZO auf der Repräsentationsseite durch exakte Gradientenformgebung), die „Last"-Genauigkeit (Plastizität) um 0,39–1,39 Punkte und reduzierte „Fgt" (Vergessen) um 0,28–1,72 Punkte im Vergleich zum Standard-ZO-FC. Dies zeigt, dass exakte Gradienten die Plastizität, die durch Gradientenschätzung verloren ging, wiederherstellen können, während die Stabilitätsvorteile der ZO-Form erhalten bleiben.
• Kontinuierliches Lernen in Sprachmodellen: Auf T5-Modellen über verschiedene Aufgabenreihenfolgen hinweg (SeqLoRA und O-LoRA) reduzierte RISE das Vergessen signifikant (z. B. von 35,57 % auf 7,01 % bei einer SeqLoRA-Reihenfolge), während die „Last"-Genauigkeit nahe am FO-Baseline blieb. Dies steht im Gegensatz zu rohem ZO, das oft das Vergessen auf Kosten schlechter Plastizität (niedrige „Last"-Werte) reduziert.

Bedeutung und Behauptungen
Die Arbeit behauptet, den ersten skalenkontrollierten lokalen Mechanismus zu liefern, der erklärt, warum ZO weniger vergessen kann, und geht über die Erklärung des „verrauschten FO" hinaus. Sie stellt fest, dass der Vorteil keine uniformen Dominanz von ZO über FO ist, sondern eine bedingte Verbesserung: ZO wirkt als „blind-optimaler" isotroper Expositionsschutz, der vor Richtungen hoher Krümmung schützt, wenn die spezifische Behaltensgeometrie unbekannt ist.

Die Bedeutung von RISE liegt in seiner Fähigkeit, den Stabilitätsmechanismus (randomisierte Formgebung) vom Plastizitätsmechanismus (exakte Gradienten) zu entkoppeln. Durch die Anwendung der kalibrierten ZO-Form auf exakte Gradienten bietet RISE einen Trade-off zwischen Stabilität und Plastizität, bei dem das Modell den Finite-Smoothing-Bias praktischer ZO vermeidet, aber dennoch von den Eigenschaften der Krümmungsmischung profitiert, die die Behaltensexposition in Regimen hoher Krümmung reduzieren. Die Arbeit schließt, dass dieser Mechanismus am deutlichsten sichtbar ist, wenn die FO-Richtung eine überdurchschnittliche Behaltenskrümmung aufweist und wenn die blockweise Stichprobenziehung eine stabile Realisierung des Formgebungseffekts ohne die Varianz globaler hochdimensionaler zufälliger Richtungen ermöglicht.