🤖 machine learning

Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective

Dieser Beitrag löst das Paradoxon des Erfolgs der Nullter-Ordnung-Optimierung beim Feinabstimmen großer Sprachmodelle, indem er nachweist, dass deren Lernverhalten von einem empirischen Neural Tangent Kernel gesteuert wird, dessen Approximationsfehler von der Ausgabegröße des Modells und nicht von der massiven Parametervariablen abhängt, wodurch seine Skalierbarkeit erklärt wird.

Ursprüngliche Autoren: Zhe Li, Bicheng Ying, Zidong Liu, Haibo Yang

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhe Li, Bicheng Ying, Zidong Liu, Haibo Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Der „Blinde" versus der „Sehende"

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einem riesigen, nebligen Tal zu finden (dies ist das Ziel beim Training eines KI-Modells).

First-Order (FO) Methoden: Diese sind wie ein Wanderer mit einem Kompass und einer Karte. Sie können genau sehen, welche Richtung „nach unten" führt (der Gradient), und gehen direkt dorthin. Dies ist schnell und effizient, erfordert aber das Tragen einer schweren Karte (Berechnung von Gradienten), was unmöglich ist, wenn das Tal zu riesig ist oder wenn Sie sich in einem „Black Box"-Szenario befinden, in dem Sie die Karte nicht sehen können.
Zeroth-Order (ZO) Methoden: Diese sind wie ein blinder Wanderer. Sie haben keinen Kompass. Stattdessen machen sie einen kleinen Schritt nach vorne, prüfen, ob sie tiefer liegen, machen einen Schritt zurück und prüfen erneut. Durch den Vergleich dieser beiden Punkte raten sie, welche Richtung nach unten führt. Dies ist „speichereffizient", da sie keine schwere Karte benötigen, aber die traditionelle Mathematik sagt voraus, dass dies unglaublich langsam sein sollte, insbesondere wenn das Tal riesig ist (hochdimensional).

Das Paradoxon:
Jahrelang lehrten uns Mathematik-Lehrbücher, dass der „blinde Wanderer" (ZO) ewig brauchen würde, um den Boden zu finden, wenn das Tal massiv wäre (wie moderne Large Language Models mit Milliarden von Parametern). Doch in der realen Welt haben Forscher diese „blinde" Methode erfolgreich eingesetzt, um diese massiven Modelle feinabzustimmen. Wie ist das möglich?

Die Lösung des Papers: Die „Schatten"-Analogie

Die Autoren lösen dieses Rätsel, indem sie das Problem nicht durch die Linse der „unternommenen Schritte", sondern durch die Linse der „Lern-Dynamik" (wie sich das Vertrauen des Modells verändert) betrachten.

Sie verwenden ein Werkzeug namens Neural Tangent Kernel (eNTK). Stellen Sie sich das eNTK als einen Schatten vor, den der Lernprozess des Modells wirft.

Der „sehende" Wanderer (FO) wirft einen perfekten, detaillierten Schatten des Geländes.
Der „blinde" Wanderer (ZO) wirft einen Schatten, der eine projizierte, leicht unscharfe Version des perfekten ist.

Das Paper argumentiert, dass die „blinde" Methode funktioniert, weil sie nicht das gesamte massive Tal sehen muss, um einen nützlichen Schatten zu werfen. Sie muss den Schatten nur auf einen zufälligen, niedrigdimensionalen Schnitt der Welt projizieren.

Der magische Trick: Das „Johnson-Lindenstrauss"-Lemma

Das Paper stützt sich auf ein mathematisches Konzept namens Johnson-Lindenstrauss (JL) Lemma. Hier ist die Analogie:

Stellen Sie sich vor, Sie haben eine riesige, komplexe 3D-Skulptur (das Modell mit Milliarden von Parametern). Sie möchten ein Foto davon machen, aber Ihre Kamera kann nur 2D-Bilder aufnehmen.

Alte Theorie: Man dachte, man benötige eine Kamera mit einem Sensor so groß wie die Skulptur, um ein gutes Bild zu erhalten. Wenn die Skulptur riesig ist, wäre das Foto unscharf und unbrauchbar.
Die Einsicht des Papers: Das JL Lemma besagt, dass Sie, wenn Sie aus einem zufälligen Winkel ein Foto machen, tatsächlich die wesentlichen Beziehungen der Skulptur perfekt einfangen können, selbst wenn das Foto viel kleiner ist als die Skulptur.

Die entscheidende Entdeckung:
Die Qualität dieses „blinden" Fotos (das ZO-Lernen) hängt davon ab, wie viele zufällige Winkel (Perturbationen) Sie einnehmen, nicht davon, wie groß die Skulptur ist.

Die „Perturbationen" (P): Dies ist die Anzahl der Male, die der blinde Wanderer den Boden stößt, um die Richtung zu erraten.
Die „Ausgangsgröße" (V): Dies ist die Größe der endgültigen Antwort, die das Modell gibt (z. B. die Vokabulargröße eines Sprachmodells).

Das Paper beweist, dass solange Sie den Boden oft genug stoßen (P erhöhen), der Pfad des „blinden" Wanderers fast identisch mit dem Pfad des „sehenden" Wanderers aussehen wird. Entscheidend ist, dass die Anzahl der benötigten Stöße von der Größe der Antwort (V) abhängt, nicht von der Größe des Modells (d).

Drei Haupterkenntnisse

Zählen Sie die Stöße, nicht die Größe:
Der Erfolg der „blinden" Methode hängt nicht von der massiven Größe des KI-Modells ab (das Milliarden von Parametern haben könnte). Es geht um die Anzahl der zufälligen Vermutungen (Perturbationen), die Sie machen. Wenn Sie genug Vermutungen anstellen, lernt das Modell genauso gut, als hätte es eine Karte.
Die Form der Vermutung ist unwichtig:
Macht es einen Unterschied, ob der „blinde Wanderer" den Boden in einem glatten, kontinuierlichen Kreis (Gauß-Verteilung) oder in scharfen, binären Sprüngen (Rademacher-Verteilung) stößt? Das Paper zeigt, dass es nicht viel ausmacht. Beide funktionieren fast gleich gut. Die „blinde" Methode ist robust; sie kümmert sich nicht um die spezifische Form des Rauschens, solange genug davon vorhanden ist.
Warum es bei riesigen Modellen funktioniert:
Dies erklärt, warum ZO bei Large Language Models (LLMs) funktioniert. Obwohl das Modell Milliarden von Parametern hat (ein riesiges d), ist die Ausgabevokabulargröße relativ klein (ein moderates V). Da die Genauigkeit der „blinden" Methode von V und nicht von d abhängt, bleibt sie auch für die größten Modelle effizient und effektiv.

Das Fazit

Dieses Paper ändert die Geschichte. Es besagt, dass der „Fluch der Dimensionalität" (die Idee, dass große Modelle für blinde Methoden zu schwierig sind) ein Mythos ist, wenn man den Lernprozess richtig betrachtet.

Indem sie den Lernprozess als geometrische Projektion betrachten, zeigen die Autoren, dass ein „blinder" Optimierer genauso effektiv lernen kann wie ein „sehender", sofern man ihm genügend zufällige Stichproben gibt. Es geht nicht um die Größe des Berges; es geht darum, wie oft man ihn aus verschiedenen Winkeln betrachtet.

Technische Zusammenfassung: Lern-Dynamiken der Nullter-Ordnung-Optimierung: Eine Kernel-Perspektive

Problemstellung

Die klassische Optimierungstheorie geht davon aus, dass Algorithmen der Nullter-Ordnung (ZO) unter einem „Fluch der Dimensionalität" leiden, bei dem die Konvergenzraten linear mit der Modelldimension $d$ skalieren. Diese theoretische Einschränkung legt nahe, dass ZO-Methoden für hochdimensionale Modelle, wie Large Language Models (LLMs) mit Milliarden von Parametern, prohibitiv langsam sein sollten. Jüngste empirische Durchbrüche widersprechen jedoch dieser pessimistischen Sichtweise und zeigen, dass ZO-Methoden LLMs erfolgreich feinabstimmen können, mit einer Leistung, die mit First-Order (FO)-Methoden konkurrierbar ist. Das zentrale Problem, das in diesem Papier adressiert wird, besteht darin, dieses Paradoxon aufzulösen: Warum skalieren ZO-Methoden effektiv auf massive Parameterräume, obwohl theoretische Schranken das Gegenteil nahelegen?

Methodik

Die Autoren schlagen ein neues Framework vor, das die ZO-Optimierung durch die Linse der Lern-Dynamiken und des Empirischen Neuronalen Tangential-Kernels (eNTK) analysiert, anstatt sich ausschließlich auf die Konvergenz im Parameterraum oder skalare Verlustwerte zu konzentrieren.

Herleitung der ZO-Lern-Dynamiken: Das Papier leitet die Ein-Schritt-Lern-Dynamiken von ZO-Stochastischem Gradientenabstieg (SGD) her. Durch Anwendung einer Taylor-Entwicklung auf die Log-Wahrscheinlichkeit von Modellvorhersagen zeigen die Autoren, dass die Aktualisierungsregel durch einen projizierten eNTK gesteuert wird.
Formulierung der Kernel-Projektion: Die zentrale theoretische Erkenntnis ist, dass der durch die ZO-Optimierung induzierte effektive Kernel (bezeichnet als ZO-eNTK) eine geometrische Projektion des Standard-FO-eNTK auf einen zufälligen, niedrigdimensionalen Unterraum ist, der von den Störvektoren aufgespannt wird.
Anwendung des Johnson-Lindenstrauss (JL)-Lemma: Die Autoren ziehen das Johnson-Lindenstrauss-Lemma heran, um die Genauigkeit dieser Projektion zu analysieren. Sie stellen fest, dass der Approximationsfehler zwischen dem ZO-eNTK und dem wahren FO-eNTK von der Erhaltung innerer Produkte in hochdimensionalen Räumen abhängt.
Theoretische Schranken: Die Analyse leitet rigorose Schranken her, die zeigen, dass der Approximationsfehler $\epsilon$ als $O(\sqrt{\ln V / P})$ skaliert, wobei $V$ die Größe des Ausgabevokabulars und $P$ die Anzahl der Störungen ist. Entscheidend ist, dass diese Schranke unabhängig von der massiven Modellparameterdimension $d$ ist.
Empirische Validierung: Das Framework wird durch Experimente an folgenden Daten validiert:
- LeNet (MNIST): Visualisierung der Konvergenz des ZO-eNTK zum FO-eNTK mit steigendem $P$ unter Verwendung von Heatmaps und Frobenius-Norm-Fehlern.
- OPT-Modelle (SST-2): Testen von Modellen im Bereich von 125M bis 1,3B Parametern, um die Dimensionsunabhängigkeit zu verifizieren.
- Verteilungsvergleich: Vergleich der Gaußschen und Rademacher-Störverteilungen.

Hauptbeiträge

1. Theoretische Auflösung des ZO-Paradoxons

Das Papier liefert eine theoretische Begründung für die Skalierbarkeit von ZO-Methoden auf LLMs. Durch den Wechsel der Analyse vom Parameterraum in den Funktionsraum (via eNTK) demonstrieren die Autoren, dass die Genauigkeit von ZO-Aktualisierungen durch die Größe des Ausgabevokabulars $V$ und die Anzahl der Störungen $P$ bestimmt wird, nicht jedoch durch die Modelldimension $d$ . Diese „dimensionsfreie" Eigenschaft erklärt, warum ZO-Methoden auch dann effizient bleiben, wenn $d$ in Milliarden geht.

2. Die Rolle der Störungsanzahl ( $P$ )

Die Analyse identifiziert die Anzahl der Störungen als den primären Faktor, der die Genauigkeit des ZO-eNTK bestimmt. Theoretische Schranken und empirische Ergebnisse zeigen, dass eine Erhöhung von $P$ den Kernel-Approximationsfehler mit einer Rate von $O(1/\sqrt{P})$ reduziert. Sobald $P$ einen durch $V$ bestimmten Schwellenwert überschreitet, stimmt die ZO-Lern-Trajektorie eng mit der FO-Trajektorie überein.

3. Verteilungsrobustheit

Das Papier untersucht den Einfluss von Störverteilungen (Gauß vs. Rademacher). Während klassische Optimierungsperspektiven oft Unterschiede in der Varianzreduktion nahelegen, zeigt die kernelbasierte Analyse, dass beide Verteilungen im Kontext des JL-Lemmas vergleichbare Konzentrationskonstanten liefern. Empirische Ergebnisse bestätigen, dass die Wahl der Verteilung einen vernachlässigbaren Einfluss auf die langfristige Konvergenz hat, sofern $P$ ausreichend ist.

4. Sensitivität gegenüber Eingabeähnlichkeit

Die Studie hebt hervor, dass die Konvergenzrate der ZO-eNTK-Approximation empfindlich auf die semantische Ähnlichkeit zwischen Eingabepaaren reagiert. Paare mit hoher Ähnlichkeit (z. B. semantisch ähnliche Ziffern oder Texte) konvergieren schneller zur FO-Grundwahrheit als strukturell unterschiedliche Paare, obwohl beide mit steigendem $P$ schließlich konvergieren.

Ergebnisse

Konvergenz des eNTK: Experimente mit LeNet zeigen, dass der ZO-eNTK mit steigendem $P$ von 1 auf 125 die blockdiagonale Struktur des FO-eNTK visuell und numerisch wiederherstellt. Der relative Frobenius-Norm-Fehler nimmt monoton ab.
Dimensionsunabhängigkeit: In Experimenten mit OPT-Modellen (125M, 350M, 1,3B) blieb der Schwellenwert von $P$ , der zur Wiederherstellung der FO-Dynamik erforderlich ist, trotz einer Verzehnfachung der Modelldimension $d$ praktisch konstant. Dies bestätigt, dass die Lern-Dynamiken von $d$ entkoppelt sind.
Skalierung der Ausgabegröße: Ein kontrolliertes synthetisches Experiment, bei dem die Ausgabegröße $V$ (von 2 auf 1000) variiert wurde, während $P$ konstant gehalten wurde, zeigte, dass der Approximationsfehler mit einer Rate zunimmt, die mit $\sqrt{V}$ übereinstimmt, was die theoretische Schranke validiert.
Verteilungsgleichwertigkeit: Die Konvergenzkurven für Gaußsche und Rademacher-Verteilungen waren über alle Metriken hinweg (Frobenius-Norm, CKA und Spektraldistanz) nahezu nicht unterscheidbar, was die Behauptung stützt, dass einfache binäre Störungen für eine effektive Kernel-Approximation ausreichen.

Bedeutung und Behauptungen

Das Papier behauptet, eine neue Perspektive zum Verständnis lernender Dynamiken ohne Ableitungen zu bieten, indem es die bestehende optimierungszentrierte Sichtweise durch ein kernelbasiertes Framework ergänzt.

Theoretische Begründung: Die primäre Bedeutung liegt in der Bereitstellung einer rigorosen theoretischen Erklärung für den empirischen Erfolg der ZO-Feinabstimmung in LLMs, die die Diskrepanz zwischen worst-case-theoretischen Schranken (abhängig von $d$ ) und praktischer Leistung auflöst.
Praktische Anleitung: Die Ergebnisse legen nahe, dass Praktiker den Fokus auf die Abstimmung der Anzahl der Störungen $P$ relativ zur Größe des Ausgabevokabulars $V$ legen sollten, anstatt sich um die massive Parameteranzahl $d$ zu sorgen.
Einschränkungen und Umfang: Die Autoren vermerken bescheiden, dass ihre Analyse auf dem „faulen Training"-Regime (lazy training, bei dem Merkmale stabil bleiben) beruht, was typisch für Feinabstimmung ist, aber möglicherweise nicht für Szenarien des Trainings von Grund auf gilt. Sie erkennen zudem an, dass das Framework derzeit die standardmäßige überwachte Feinabstimmung adressiert und möglicherweise für Aufgaben mit starken sequenziellen Abhängigkeiten (z. B. Schlussfolgern über lange Horizonte) erweitert werden muss, bei denen die effektive Ausgabedimension mit der Sequenzlänge wächst.

Zusammenfassend argumentiert das Papier, dass der Erfolg der ZO-Optimierung in hochdimensionalen Settings kein Zufall ist, sondern eine Konsequenz der geometrischen Eigenschaften des Neuronalen Tangential-Kernels, der eine dimensionsfreie Approximation durch zufällige Projektionen ermöglicht.