🤖 machine learning

On Adaptivity in Zeroth-Order Optimization

Dieser Artikel zeigt, dass standardadaptive zeroth-order-Optimierer wie ZO-Adam für speicherbeschränktes Fine-Tuning von LLMs aufgrund fehlender koordinatenweiser Gradientenheterogenität in hohen Dimensionen keinen Konvergenzvorteil gegenüber ZO-SGD bieten, was zur Vorstellung von MEAZO führt, einer speichereffizienten Alternative, die nur einen einzigen Skalar zur Anpassung der globalen Schrittweite verfolgt und dabei die Leistung beibehält sowie die Robustheit verbessert.

Ursprüngliche Autoren: Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein riesiges Radio ohne Handbuch abstimmen

Stellen Sie sich vor, Sie haben ein massives, komplexes Radio mit Millionen von Knöpfen (diese sind die „Parameter" eines Large Language Models, oder LLM). Sie möchten es so abstimmen, dass es ein bestimmtes Lied perfekt wiedergibt (Feinabstimmung des Modells).

Normalerweise benötigen Sie zum Abstimmen eines Radios ein Handbuch, das Ihnen genau sagt, in welche Richtung Sie jeden Knopf drehen und wie viel. In der KI heißt dieses Handbuch Gradient. Die Berechnung dieses Handbuchs erfordert viel Speicherplatz und Rechenleistung, was teuer und langsam ist.

Zeroth-Order (ZO) Optimization ist ein cleverer Trick: Anstatt das Handbuch zu lesen, schieben Sie die Knöpfe einfach zufällig, hören das Ergebnis und prüfen, ob die Musik besser oder schlechter geworden ist. Sie tun dies, indem Sie die Knöpfe vorwärts und rückwärts drücken, um die Richtung zu erraten. Es ist viel sparsamer im Speicher, aber es ist „verrauscht", weil Sie raten.

Das Problem: Der „überdimensionierte" Kompass

Lange Zeit dachten Forscher, dass Sie wegen dieses Ratespiels, das verrauscht ist, einen superintelligenten, speicherhungrigen Kompass benötigen, der Ihnen hilft. Das ist es, was adaptive Optimierer (wie ZO-Adam) tun. Sie versuchen, die Geschichte jedes einzelnen Knopfes zu merken, um zu entscheiden, wie schnell er gedreht werden soll. Sie führen für jeden einzelnen der Millionen Knöpfe ein separates „Speicherprotokoll".

Die große Entdeckung des Papiers:
Die Autoren stellten fest, dass in hochdimensionalen Umgebungen (wie bei riesigen KI-Modellen) dieser superintelligente Kompass tatsächlich nutzlos ist.

Die Analogie: Stellen Sie sich vor, Sie befinden sich in einem nebligen Feld und versuchen, den Boden eines Tals zu finden.
- First-Order (Standard-KI): Sie haben eine klare Karte, die zeigt, dass das Gelände steil nach links abfällt, aber nach rechts flach ist. Sie benötigen für jede Richtung eine andere Strategie.
- Zeroth-Order (Das Ratespiel): Da Sie in einem riesigen, nebligen Raum durch zufälliges Schieben raten, ist das „Rauschen" Ihrer Schätzung so laut, dass es die spezifischen Details des Geländes übertönt. Das Signal sieht in jede Richtung gleich aus. Es ist, als wäre der Nebel so dicht, dass der Boden überall perfekt flach und einheitlich aussieht.
Das Ergebnis: Da das „Gelände" in jede Richtung gleich aussieht, ist die Führung eines separaten Speicherprotokolls für jeden einzelnen Knopf eine Verschwendung von Zeit und Speicher. Die ausgefeilten „adaptiven" Methoden (ZO-Adam) helfen Ihnen tatsächlich nicht schneller ans Talende zu kommen als eine einfache Methode (ZO-SGD). Tatsächlich machen sie Ihren Rucksack nur schwerer.

Die Lösung: MEAZO (Der minimalistische Kompass)

Da der ausgefeilte Kompass unnötig ist, entwickelten die Autoren ein neues Werkzeug namens MEAZO.

Wie es funktioniert: Anstatt Millionen einzelner Protokolle für jeden Knopf zu verfolgen, verfolgt MEAZO nur eine einzige Zahl für die gesamte Gruppe. Es fragt: „Wie stark hat sich die Musik im Durchschnitt verändert, als wir alles geschoben haben?"
Der Vorteil: Es behält den „intelligenten" Teil der adaptiven Methode (Anpassung der Schubbewegungsgeschwindigkeit basierend darauf, wie rau sich das Gelände anfühlt), wirft aber das schwere Gepäck weg.
Die Analogie: Stellen Sie sich vor, Sie wandern.
- ZO-Adam: Sie tragen ein GPS, ein Barometer, einen Kompass und eine detaillierte Karte für jeden einzelnen Schritt, den Sie tun. Es ist schwer, und Sie werden müde.
- ZO-SGD: Sie gehen einfach vorwärts. Es ist leicht, aber wenn der Weg felsig wird, könnten Sie stolpern.
- MEAZO: Sie tragen einen einfachen Schrittzähler, der die durchschnittliche Steigung des Weges angibt. Wenn der Weg felsig wird, verlangsamen Sie sich. Wenn er glatt ist, beschleunigen Sie. Sie brauchen keine Karte für jeden Felsen; Sie müssen nur die allgemeine Stimmung des Pfades kennen.

Was die Experimente zeigten

Das Team testete dies an echten Large Language Models (wie Llama und Qwen) und synthetischen mathematischen Problemen.

Leistung: Wenn sie die Einstellungen korrekt abstimmen, schnitt die einfache Methode (ZO-SGD) genauso gut ab wie die ausgefeilte Methode (ZO-Adam).
Speicher: MEAZO verwendete die gleiche winzige Speichermenge wie die einfache Methode, während die ausgefeilte Methode viel mehr benötigte.
Robustheit (Das „Sicherheitsnetz"): Dies ist die wichtigste Erkenntnis. Während die einfache Methode hervorragend funktioniert, wenn Sie die perfekte Gehgeschwindigkeit wählen, versagt sie, wenn Sie eine Geschwindigkeit wählen, die zu schnell oder zu langsam ist. Die ausgefeilten Methoden (und MEAZO) sind viel verzeihender. Wenn Sie eine „schlechte" Geschwindigkeit wählen, bringt Sie MEAZO dennoch ohne Absturz ans Ziel. Es ist wie ein Auto mit Tempomat, der sich automatisch an Hügel anpasst, während das einfache Auto einfach mit konstanter Geschwindigkeit weiterfährt und möglicherweise gegen eine Unebenheit kracht.

Zusammenfassung

Der Mythos: „Wir benötigen komplexe, speicherintensive adaptive Werkzeuge, damit das Zeroth-Order-KI-Training gut funktioniert."
Die Realität: In hochdimensionalen KI-Modellen lässt das Rauschen das Gelände einheitlich erscheinen, sodass komplexe Werkzeuge eine Verschwendung von Speicher sind.
Die Lösung: MEAZO ist ein neues Werkzeug, das nur eine globale Zahl statt Millionen verfolgt. Es verwendet sehr wenig Speicher (wie die einfache Methode), ist aber viel stabiler und verzeihender bei den Einstellungen (wie die komplexe Methode).

Dies ermöglicht es Forschern, riesige KI-Modelle auf Geräten mit begrenztem Speicher (wie Edge-Geräten) feinabzustimmen, ohne Supercomputer zu benötigen, während sie dennoch stabile, hochwertige Ergebnisse erzielen.

Technische Zusammenfassung: Zu Adaptivität in der Nullter-Ordnung-Optimierung

Problemstellung

Die Arbeit adressiert die Herausforderung der speicherbeschränkten Feinabstimmung großer Sprachmodelle (LLMs). Während Backpropagation der Standard für die Feinabstimmung ist, erfordert sie erheblichen Speicher für das Caching von Aktivierungen und hochpräzise Gleitkommaoperationen. Die Nullter-Ordnung-Optimierung (ZO) hat sich als speichereffiziente Alternative etabliert, die Gradienten durch Vorwärtsdurchläufe auf zufällig gestörten Parametern approximiert. Allerdings leiden ZO-Methoden unter einer hohen Varianz, was zu einer langsameren Konvergenz im Vergleich zu Methoden erster Ordnung (FO) führt.

Neuere Arbeiten haben versucht, diese Varianz durch die Einführung adaptiver ZO-Optimierer (z. B. ZO-Adam) zu mindern, die adaptive FO-Methoden nachahmen, indem sie erste und zweite Momente der Gradienten pro Koordinate verfolgen. Die Autoren hinterfragen die Wirksamkeit dieses Ansatzes und hypothesieren, dass die für das Gelingen adaptiver Methoden erforderliche Koordinaten-Heterogenität in hochdimensionalen ZO-Szenarien möglicherweise nicht vorhanden ist.

Methodik und Analyse

Theoretische Analyse von ZO-Gradienten

Die Autoren analysieren die statistischen Eigenschaften von ZO-Gradientenschätzern in hohen Dimensionen. Sie zeigen, dass aufgrund der isotropen Natur zufälliger Störungen ZO-Gradientenschätzungen die in FO-Gradienten vorhandene Koordinaten-Heterogenität fehlt.

Proposition 3.1: Die Autoren beweisen, dass das erwartete Quadrat des ZO-Gradienten von einem globalen Term dominiert wird, der vom Quadrat der Norm des wahren Gradienten abhängt, und nicht von einzelnen Koordinatenwerten. Spezifisch skaliert der durch den Schätzer eingeführte Bias mit $1/q$ (wobei $q$ die Anzahl der Rauschproben ist) und wird in hohen Dimensionen koordinatenunabhängig ( $q \ll d$ ).
Implikation: Adaptive Mechanismen, die Koordinaten-spezifische Statistiken verfolgen (wie das zweite Moment von Adam), sind mit den zugrundeliegenden Statistiken von ZO-Gradienten nicht abgestimmt, wodurch sie speicherineffizient werden, ohne Konvergenzvorteile zu bieten.

Vorgeschlagene Methode: MEAZO

Unter Ausnutzung der Erkenntnis, dass eine globale Anpassung der Schrittweite ausreicht, schlagen die Autoren MEAZO (Memory-Efficient Adaptive Zeroth-order optimizer) vor.

Design: Im Gegensatz zu ZO-Adam, das einen Vektor zweiter Momente für jeden Parameter verwaltet, verfolgt MEAZO nur einen einzelnen Skalar, der die globale quadrierte Norm des projizierten Gradienten darstellt.
Aktualisierungsregel: Die Aktualisierung skaliert die globale Schrittweite mit diesem Skalar und passt die Lernrate effektiv basierend auf der globalen Krümmung an, ohne speicherintensive pro-Parameter-Overheads.
Gruppierte Erweiterung: MEAZO lässt sich natürlich auf gruppierte (blockkoordinierte) ZO-Szenarien erweitern, wobei ein Skalar pro Block statt pro Parameter verfolgt wird, was den Speicherbedarf weiter reduziert, während Block-Level-Heterogenität erfasst wird.

Theoretische Garantien

Die Arbeit liefert formale Konvergenzgarantien für MEAZO unter Standardannahmen (L-Glattheit, beschränkte Varianz, beschränkte Gradienten).

Die Analyse behandelt den ZO-Gradienten als einen unverzerrten Schätzer einer geglätteten Zielfunktion.
Theorem 4.7: Etabliert eine Konvergenzrate für MEAZO, die den Standardraten für adaptives SGD bei Vorliegen affiner Varianzschranken entspricht. Die Konvergenzrate wird als $O(\frac{1}{T} + \frac{\sigma^2}{T} + \frac{d}{q}\sigma^2 + \frac{d^2}{q}\epsilon^2)$ gezeigt, was bestätigt, dass die Methode zu einem stationären Punkt konvergiert, wobei die Größe der Rauschumgebung von der Anzahl der Proben $q$ und der Störungsgröße $\epsilon$ abhängt.

Experimentelle Ergebnisse

Synthetische Experimente

Verhalten des zweiten Moments: In synthetischen quadratischen Problemen beobachten die Autoren, dass mit zunehmender Dimensionalität der Vektor zweiter Momente von ZO-Adam auf einen einzigen Wert (globale Norm) kollabiert, während FO-Adam unterschiedliche koordinatenspezifische Werte beibehält. Dies validiert empirisch die theoretische Behauptung, dass eine koordinatenspezifische Anpassung in hochdimensionalen ZO-Szenarien redundant ist.
Robustheit: MEAZO zeigt eine verbesserte Robustheit gegenüber Schrittweitenwahlen im Vergleich zu ZO-SGD, insbesondere in heterogenen blockstrukturierten Szenarien, und erreicht die Stabilität von ZO-Adam.

Feinabstimmung von LLMs

Experimente wurden an mehreren Modellfamilien (Llama-3.2, Qwen-3, Ministral) und Aufgaben (XSum, SST-2, SQuAD) unter Verwendung sowohl von LoRA als auch Prompt Tuning durchgeführt.

Leistung vs. Speicher:
- ZO-SGD vs. ZO-Adam: Bei korrekter Schrittweitenanpassung erreicht ZO-SGD in hochdimensionaler LoRA-Feinabstimmung ZO-Adam oder übertrifft es, was bestätigt, dass koordinatenspezifische Adaptivität nur begrenzte Vorteile bietet.
- MEAZO-Leistung: MEAZO erreicht eine mit ZO-Adam vergleichbare Leistung, jedoch mit einem Speicherverbrauch, der ZO-SGD entspricht (Verfolgung eines Skalars statt eines vollständigen Vektors).
Robustheit: Während gut abgestimmtes ZO-SGD gut funktioniert, ist es gegenüber suboptimalen Schrittweiten empfindlich. MEAZO behält die Robustheit adaptiver Methoden (Erweiterung des stabilen Lernratenfensters) bei, ohne Speicherkosten.
Gruppierte Szenarien: In gruppierten ZO-Szenarien passt sich MEAZO an gruppenspezifische Statistiken an (z. B. frühere Schichten zeigen höhere Sensitivität) und erhält eine stabile Konvergenz, während gruppiertes ZO-SGD divergieren kann.

Hauptbeiträge

Theoretische Erkenntnis: Die Arbeit stellt fest, dass ZO-Gradienten in hohen Dimensionen im Wesentlichen homogen sind, wodurch koordinatenspezifische adaptive Mechanismen (wie sie in ZO-Adam vorkommen) speicherineffizient und für die Konvergenz theoretisch unnötig werden.
Algorithmische Innovation: Die Einführung von MEAZO, einem skalaren-basierten adaptiven ZO-Optimierer, der eine globale Schrittweitenanpassung mit vernachlässigbarem Speicher-Overhead erreicht.
Empirische Validierung: Umfassende Experimente über diverse LLMs und Aufgaben hinweg, die zeigen, dass MEAZO die Leistung adaptiver Baselines (ZO-Adam) erreicht, während es die Speichereffizienz nicht-adaptiver Baselines (ZO-SGD) beibehält.
Konvergenzanalyse: Formale Konvergenzgarantien für MEAZO in nicht-konvexen Szenarien, die die Lücke zwischen der Theorie adaptiven SGD und der Nullter-Ordnung-Optimierung schließen.

Bedeutung und Behauptungen

Die Autoren behaupten, dass ihre Arbeit die Notwendigkeit komplexer adaptiver Mechanismen in der Nullter-Ordnung-Optimierung neu bewertet. Sie argumentieren, dass für die hochdimensionale Feinabstimmung von LLMs der Hauptvorteil der Adaptivität nicht in der koordinatenspezifischen Skalierung liegt, sondern in der Robustheit der globalen Schrittweite.

Die Bedeutung von MEAZO wird im Kontext speicherbeschränkter Umgebungen (z. B. Edge-Geräte) verankert. Durch die Erreichung der Robustheit adaptiver Methoden bei der Speichereffizienz von SGD ermöglicht MEAZO mehr Forschern und Praktikern mit begrenzten Ressourcen die Teilnahme an der Feinabstimmung großer Modelle. Die Arbeit schließt bescheiden, dass ZO-SGD bei perfekter Abstimmung zwar ausreicht, MEAZO jedoch eine praktische, stabile und skalierbare Alternative bietet, die die Empfindlichkeit der Schrittweitenwahl mindert, ohne Speicherkosten zu verursachen. Als zukünftige Arbeit wird vorgeschlagen, die Konvergenz zu exakten stationären Punkten zu verfeinern und MEAZO auf Subraum-ZO-Frameworks zu erweitern.