🤖 machine learning

Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning

Dieses Paper stellt $\texttt{AdaNAGED}$ vor, eine neuartige, parameterfreie Zero-Order-Optimierungsmethode, die adaptive Abstimmung mit auf einem Linear Minimization Oracle basierenden, geometrie-bewussten Updates vereint, um ein speichereffizientes Fine-Tuning von Large Language Models ohne kostspielige Hyperparameter-Suche zu ermöglichen.

Ursprüngliche Autoren: Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen riesigen, unglaublich klugen Roboter (ein Large Language Model), der bereits gelernt hat zu sprechen und zu schreiben, indem er das gesamte Internet gelesen hat. Nun möchten Sie ihm eine spezifische neue Fähigkeit beibringen, wie zum Beispiel das Verstehen von Filmkritiken. Dieser Prozess wird „Fine-Tuning“ genannt.

Normalerweise beinhaltet das Lehren dieses Roboters eine Methode namens „Backpropagation“. Stellen Sie sich das wie einen Lehrer vor, der direkt neben dem Roboter steht, jede einzelne seiner Bewegungen beobachtet, genau berechnet, wie seine Fehler korrigiert werden können, und sich dann ein massives Notizbuch mit Notizen (Aktivierungen, Gradienten, Optimizer-Zustände) schreibt, um sich zu merken, wie es beim nächsten Mal zu tun ist. Das Problem? Für einen riesigen Roboter ist dieses Notizbuch so gewaltig, dass es den gesamten Speicher des Klassenzimmers ausfüllt, was den Prozess langsam und teuer macht.

Die große Idee des Papers: „Fühlen“, wie man sich durch die Dunkelheit bewegt

Die Autoren schlagen eine andere Art vor, den Roboter zu lehren, nämlich die Zero-Order Optimization. Anstatt den Roboter zu beobachten und exakte Mathematik zu berechnen, stellen Sie sich vor, Sie sind in einem dunklen Raum und versuchen, den Ausgang zu finden. Sie haben keine Karte (Gradienten). Stattdessen machen Sie einen winzigen Schritt nach vorne, fühlen, ob die Luft kühler ist (ist die Loss-Funktion gesunken?), und machen dann einen weiteren Schritt. Sie müssen nur wissen, ob es „besser“ oder „schlechter“ ist, nicht das exakte mathematische Warum. Dies spart eine enorme Menge an Speicher, da Sie kein solch riesiges Notizbuch schreiben müssen.

Das Problem mit dem „Fühlen“

Es gibt jedoch einen Haken. Wenn Sie sich durch die Dunkelheit tasten, müssen Sie zwei Dinge entscheiden:

Wie groß soll der Schritt sein? (Wenn Sie einen zu großen Schritt machen, könnten Sie an einer Klippe abstürzen. Machen Sie ihn zu klein, kommen Sie nie an.)
Wie „unscharf“ sollten Ihre Sinne sein? (Wenn Sie zu weit weg treten, um die Luft zu testen, könnten Sie ein kleines Hindernis übersehen. Wenn Sie zu nah herantreten, könnte eine winzige Brise Sie verwirren.)

In der Vergangenheit mussten Menschen diese Zahlen perfekt erraten. Wenn man falsch geraten hat, lernte der Roboter gar nichts. Dies erforderte viel Ausprobieren, war langsam und mühsam.

Die Lösung: Ein selbstjustierender Kompass

Die Autoren führen eine neue Methode namens AdaNAGED (und eine Matrix-Version namens AdaMuGED) ein. Stellen Sie sich dies als einen selbstjustierenden Kompass für den Roboter vor.

Parameterfrei: Der Roboter benötigt nicht von Ihnen, wie groß die Schritte sein sollen. Er blicet auf seine eigene jüngere Geschichte zurück. Wenn er gerade einen Schritt gemacht hat und das Ergebnis gut war, weiß er, dass er auf dem richtigen Weg ist. Wenn das Ergebnis wackelig war, weiß er, dass er langsamer werden muss. Er findet die perfekte Schrittgröße und die ideale „Unschärfe“ im laufenden Betrieb, ohne dass ein Mensch dies vorher für ihn einstellen muss.
Geometrie-bewusst (Der LMO): Die Autoren haben auch bemerkt, dass das Gehirn des Roboters nicht nur eine flache Liste von Zahlen ist, sondern aus verschiedenen Formen besteht (einige Teile sind wie Gitter, andere wie Listen). Standardmethoden behandeln alles wie eine flache Liste. Die Methode der Autoren nutzt ein spezielles Werkzeug namens Linear Minimization Oracle (LMO). Stellen Sie sich vor, Sie versuchen, eine schwere Kiste zu schieben. Wenn Sie sie geradeaus drücken, bleibt sie vielleicht stecken. Aber wenn Sie wissen, dass die Kiste an einem Hang steht, drücken Sie sie diagonal, um sie leicht hinuntergleiten zu lassen. Diese Methode findet den besten „Winkel“, um das Gehirn des Roboters zu drücken, bas-ierend auf seiner spezifischen Form, was das Lernen reibungsloser und schneller macht.

Die Ergebnisse

Das Team testete dies an einem großen Modell (OPT-1.3B), um ihm beizubringen, Filmkritiken zu verstehen (SST-2 Aufgabe).

Sie verglichen diesen Roboter mit einem „selbstjustierenden Kompass“-Roboter gegen Roboter, die von Experten manuell abgestimmt wurden (die Stunden damit verbracht haben, die richtigen Schrittgrößen zu erraten).
Das Ergebnis: Der selbstjustierende Roboter schnitt fast so gut ab wie die von Experten abgestimmten Roboter. Er benötigte keine menschlichen Ratespiele, lernte die Aufgabe aber dennoch effektiv.

Zusammenfassend

Dieses Paper präsentiert eine neue Art, riesige KI-Modelle zu lehren, die:

Speicher spart: Es benötigt kein massives Notizbuch mit Notizen (keine Backpropagation).
Zeit spart: Es findet seine eigene Lerngeschwindigkeit und Einstellungen automatisch, sodass Menschen keine Zeit mit Raten verschwenden müssen.
Besser funktioniert: Es versteht die spezifische Form des KI-Gehirns, um es in die effizienteste Richtung zu drücken.

Es ist, als würde man einem riesigen Roboter das Gehen beibringen, indem man ihn sein eigenes Gleichgewicht fühlen und seinen Schritt automatisch anpassen lässt, anstatt ihn zu zwingen, einem starren, vorgefertigten Handbuch zu folgen.

Technisches Resümee: Nullte-Ordnung Parameterfreie Optimierung für LMO-basierte Methoden

Problemstellung
Das Fine-Tuning von Large Language Models (LLMs) ist eine zentrale Anwendung der modernen Optimierung, steht jedoch vor einem kritischen Engpass: dem Speicherbedarf der Backpropagation. Das Speichern von Zwischenaktivierungen, Gradienten und Optimizer-Zuständen für Modelle wie OPT-1.3B erfordert erheblichen Speicherplatz (z. B. ~25 GB), was die Skalierbarkeit einschränkt. Die Optimierung nullter Ordnung (Zeroth-Order, ZO) bietet eine speichereffiziente Alternative, indem sie Gradientenberechnungen durch Differenzen-Approximationen ersetzt, die aus Funktionswert-Abfragen abgeleitet werden. Bestehende ZO-Methoden leiden jedoch unter zwei primären Einschränkungen:

Hyperparameter-Sensitivität: Die Leistung hängt stark von der Schrittweite und dem Glättungsparameter ( $\tau$ ) ab. Optimale Einstellungen erfordern typischerweise Kenntnisse über problemspezifische Konstanten (z. B. Lipschitz-Konstanten, Distanz zum Optimum), die in der Praxis nicht verfügbar sind, was kostspielige aufgabenspezifische Grid-Searches notwendig macht.
Geometrischer Mismatch: Standardmäßige euklidische Updates erfassen möglicherweise nicht die heterogene Struktur von Parameterblöcken (z. B. matrixförmige Gewichte in LLMs). Methoden, die Lineare Minimierungs-Oracles (LMOs) nutzen, können sich an nicht-euklidische Geometrien anpassen (wie Spektralnormen für Matrizen), aber die Kombination dieser mit parameterfreier (PF) Adaption in einem ZO-Setting bleibt bisher unerforscht.

Methodik
Die Autoren schlagen AdaNAGED (ADAptive Norm-Agnostic Gradient-frEe Descent) vor, einen neuartigen Algorithmus, der drei Paradigmen vereint: speichereffiziente Optimierung nullter Ordnung, parameterfreie Adaption und geometrie-bewusste Updates via LMOs.

Parameterfreie Schätzung:
- Glätte ( $L$ ): Anstatt eine vorab bekannte Lipschitz-Konstante zu erfordern, schätzt die Methode die lokale Glätte iterativ entlang der Optimierungstrajektorie. Sie berechnet das Verhältnis der Differenz der ZO-Gradientenapproximationen zur Distanz zwischen aufeinanderfolgenden Iterationen: $L_t = \|g_t(x_{t+1}, e_t)_* / \|x_{t+1} - x_t\|$ . Entscheidend ist, dass dieselbe Perturbationsrichtung $e_t$ (gespeichert als Zufallssamen/Random Seed) an beiden Punkten verwendet wird, um die Speichereffizienz aufrechterhalten.
- Initialer Gap ( $\Delta$ ): Die Methode nutzt eine bekannte untere Schranke der Zielfunktion ( $f_{min}$ ), um den initialen Gap $\Delta \leq f(x_0) - f_{min}$ zu schätzen, wodurch die Kenntnis der Distanz zum Optimum vermieden wird.
- Adaptive Schrittweite: Die Schrittweite $\gamma_t$ wird mittels einer AdaGrad-Norm-ähnlichen Akkumulation der lokalen Glättungsschätzungen aktualisiert ( $S_t = S_{t-1} + L_t$ ), woraus $\gamma_t \propto 1/\sqrt{S_t}$ folgt.
- Glättungsparameter ( $\tau$ ): Um Stabilität zu gewährleisten, wird $\tau_t$ linear mit der Schrittweite skaliert ( $\tau_t = \rho C_2 \gamma_t$ ), abgeleitet aus den theoretischen Anforderungen des Konvergenznachweises.
LMO-basierte Updates:
Der Algorithmus definiert Updates über ein Lineares Minimierungs-Oracle über eine Normkugel: $v_t = \text{lmo}(g_t)$ . Dies ermöglicht es der Methode, sich an verschiedene Geometrien anzupassen:
- Vektor-Geometrie: Die Verwendung der $\ell_\infty$ -Norm liefert ein Sign-SGD-ähnliches Update.
- Matrix-Geometrie: Die Verwendung der Spektralnorm liefert ein Muon-ähnliches Update. Da eine exakte Polardekomposition (SVD) rechenintensiv ist, führen die Autoren AdaMuGED ein, das den Polar-Operator durch einige Schritte der Newton–Schulz (N-SS) Iteration approximiert und so die Matrixinversion vermeidet.

Zentrale Beiträge

Neuartige Parameterfreie ZO-Konstruktion: Die Arbeit führt eine Methode zur Schätzung der lokalen Glätte und zur Festlegung von Schrittweiten im Zeroth-Order-Setting ein, ohne Vorabwissen über Problemkonstanten. Dies bewahrt die Speichereffizienz von ZO, da lediglich die Generator-Seeds für die Perturbationsrichtungen gespeichert werden müssen.
Vereinigung von Paradigmen: Der vorgeschlagene AdaNAGED-Algorithmus kombiniert speichereffiziente ZO, reduzierte Hyperparameter-Abhängigkeit und geometrie-bewusste LMO-Updates.
Konvergenzgarantien: Die Autoren etablieren Konvergenzraten für Lipschitz-stetige, glatte und konvexe Zielfunktionen. Die resultierende Rate ist asymptotisch optimal ( $O(1/\epsilon^2)$ ), wobei zusätzliche Faktoren für die parameterfreie Schätzung und Stochastizität berücksichtigt werden.
Praktische Varianten: Die Einführung von AdaMuGED erweitert das Framework auf matrixwertige Parameter unter Verwendung von Newton–Schulz-Iterationen, was die Anwendung auf das LLM-Fine-Tuning ermöglicht, bei dem Parameter als Matrizen strukturiert sind.

Experimentelle Ergebnisse
Die Methoden wurden beim Fine-Tuning des OPT-1.3B Modells auf der SST-2 Sentiment-Klassifizierungsaufgabe evaluiert, einem Benchmark für speicherbeschränkte LLM-Adaption.

Baselines: Die Autoren verglichen die Methoden mit optimierten (getunten) Zeroth-Order-Optimierern: ZO-AdaMM, ZO-SignSGD und ZO-Muon.
Leistung:
- AdaNAGED (SignSGD-ähnlich) erreichte eine Genauigkeit von 0,903, was innerhalb von 0,7 Prozentpunkten des getunten ZO-SignSGD (0,910) liegt.
- AdaMuGED (Muon-ähnlich) erreichte 0,908 Genauigkeit, wodurch die Lücke zum getunten ZO-SignSGD auf 0,2 Prozentpunkte reduziert wurde und AdaNAGED um 0,5 Prozentpunkte übertraf.
- Der getunte ZO-Muon blieb mit 0,921 die stärkste Baseline, was den Vorteil der matrixbewussten Geometrie bestätigt.
Fazit: Die parameterfreien Methoden zeigten eine wettbewerbsfähige Leistung gegenüber manuell getunten Baselines, was validiert, dass adaptive Regeln einen Großteil der Leistung getunter ZO-Methoden ohne teure Hyperparameter-Suche wiederherstellen können.

Bedeutung
Die Arbeit beansprucht, die erste Methode zu präsentieren, die am Schnittpunkt von Zeroth-Order, Parameter-Free und Linear Minimization Oracle Optimierung operiert. Ihre Bedeutung liegt in der Demonstration, dass:

Speichereffizienz: ZO-Optimierung praktikabel für LLMs gemacht werden kann, indem Backpropagation vermieden wird.
Automatisierung: Die Abhängigkeit von kostspieliger, aufgabenspezifischer Hyperparameter-Optimierung durch adaptive, parameterfreie Schätzung von Glätte und Schrittweiten eliminiert werden kann.
Geometrische Flexibilität: Das Framework unterstützt nicht-euklidische Updates (via LMOs), die mit den strukturellen Eigenschaften von Modellparametern (z. B. Matrizen) übereinstimmen, was die Konditionierung und Stabilität verbessert.

Die Autoren bleiben bescheiden und merken an, dass ihr parameterfreier Ansatz zwar wettbewerbsfähig ist, die getunten Baselines (insbesondere ZO-Muon) jedoch immer noch einen leichten Vorsprung haben, was darauf hindeutet, dass manuelles Tuning weiterhin optimal ist, der vorgeschlagene Weg jedoch eine robuste, automatisierte Alternative bietet.

Technisches Resümee: Nullte-Ordnung Parameterfreie Optimierung für LMO-basierte Methoden

Mehr davon