🤖 machine learning

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

Dieses Paper stellt ZO-Finetuner vor, einen lernbasierten Zero-Order-Optimizer, der durch ein speichereffizientes Design automatisch effiziente Perturbationsstrategien erlernt und dadurch ein einmaliges Training pro Modell sowie eine überlegene Leistung gegenüber bestehenden statischen Zero-Order-Methoden über verschiedene Downstream-Aufgaben hinweg ermöglicht.

Ursprüngliche Autoren: Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich komplexe Bibliothek (ein Large Language Model, oder LLM), die weiß, wie man schreibt, argumentiert und chattet. Sie möchten dieser Bibliothek eine neue, spezifische Fähigkeit beibringen, wie zum Beispiel das Schreiben von juristischen Verträgen oder das Lösen von Mathematikaufgaben. Dieser Prozess wird als „Fine-Tuning“ bezeichnet.

Normalerweise beinhaltet das Lehren dieser Bibliothek eine sehr teure Methode namens „Backpropagation“. Stellen Sie sich das wie einen Lehrer vor, der nach jedem Satz, den der Schüler schreibt, durch die gesamte Bibliothek gehen muss, jedes einzelne Buch prüfen und genau berechnen muss, wie er das Gehirn des Schülers anpassen muss. Das ist präzise, erfordert aber eine enorme Menge an Speicher und Energie, was es auf Standardcomputern oft unmöglich macht.

Um dies zu lösen, haben Forscher eine „Zeroth-Order“-Methode (wie MeZO) entwickelt. Anstatt durch die ganze Bibliothek zu laufen, ist diese Methode wie ein blind geführter Entdecker. Der Entdecker macht eine winzige Vermutung (eine Perturbation), sieht, ob das Ergebnis besser oder schlechter wurde, und macht dann eine weitere winzige Vermutung in die entgegengesetzte Richtung. Durch den Vergleich dieser beiden Ergebnisse kann er herausfinden, in welche Richtung er gehen muss, ohne jemals das gesamte Bild gesehen zu haben. Dies spart eine massive Menge an Speicher.

Das Problem: Die „Einheitsgröße für alle“-Karte
Die bestehenden blind geführten Entdecker nutzen eine feste, zufällige Strategie. Sie raten Richtungen basierend auf einer standardisierten, langweiligen Regel (wie dem Werfen eines fairen Würfels). Dies ist ineffizient. Manchmal gibt es in der Bibliothek spezifische „Räume“ (Blöcke von Parametern), in denen man sehr präzise sein muss, und andere Räume, in denen man wilder vorgehen kann. Eine feste Strategie weiß das nicht; sie behandelt jeden Teil der Bibliothek gleich.

Die Lösung: ZO Fine-tuner (Der smarte Entdecker)
Die Autoren entwickelten den ZO Fine-tuner, ein „Learning-to-learn“-System. Anstatt eine feste Regel zu verwenden, trainierten sie einen winzigen, super-effizienten „Coach“ (ein kleines neuronales Netzwerk), um dem blind geführten Entdecker beizubringen, besser zu raten.

So funktioniert es, unter Verwendung einiger Analogien:

Der Coach (ZO Fine-tuner): Stellen Sie sich einen Coach vor, der den Entdecker beobachtet. Der Coach muss nicht die ganze Bibliothek sehen. Stattdessen schaut der Coach auf ein paar einfache Statistiken: „Wie chaotisch ist dieser Raum gerade?“ und „Hat die letzte Vermutung geholt oder geschadet?“ Basierend darauf sagt der Coach dem Entdecker: „In diesem speziellen Raum mach einen großen, mutigen Schritt. In jenem anderen Raum mache einen winzigen, vorsichtigen Schritt.“
Die Block-Strategie: Die Bibliothek ist riesig (Milliarden von Parametern). Wenn der Coach versuchen würde, Anweisungen für jedes einzelne Buch individuell zu geben, wäre das zu langsam und speicherintensiv. Die Forscher stellten jedoch fest, dass die Bibliothek in „Blöcken“ (wie Buchsektionen) organisiert ist. Der Coach lernt, eine Anweisung pro Block zu geben. Das ist so, als würde ein Coach einem ganzen Team von Spielern sagen, wie sie sich gemeinsam bewegen sollen, anstatt jedem einzelnen Spieler einzeln zuzurufen. Dies hält den Speicherverbrauch winzig.
Die „Einmal trainieren, überall nutzen“-Magie: Normalerweise muss man für jede neue Aufgabe einen neuen Coach trainieren. Aber die Autoren fanden etwas Erstaunliches: Die „Form“ der Bibliothek ändert sich nicht viel, egal ob man ihr Mathematik oder das Schreiben von Geschichten beibringt. Also trainierten sie den Coach einmal auf einem einzigen Datensatz (COPA). Dann nahmen sie denselben Coach und schickten ihn los, um die Bibliothek bei völlig anderen Aufgaben zu unterrichten (wie Sentiment-Analyse oder Textverständnis) und sogar bei verschiedenen Versionen der Bibliothek.
- Das Ergebnis: Der Coach, der für eine Aufgabe trainiert wurde, funktionierte überraschend gut bei allen anderen. Es ist, als würde man einen Fahrer auf einer spezifischen Rennstrecke trainieren und er fährt danach perfekt auf einer völlig anderen Autobahn, ohne neues Training zu benötigen.

Die Ergebnisse
Die Autoren testeten dies an vier verschiedenen Large Language Models und sieben verschiedenen Aufgaben.

Leistung: In etwa 82 % der Fälle erreichte dieser neue „smarte Entdecker“ ein besseres Ergebnis schneller als die alten „feste Regel“-Entdecker.
Effizienz: Er benötigte nicht viel zusätzliche Speicherkapazität. Der „Coach“ selbst ist so klein (weniger als 2 MB für ein 30-Milliarden-Parameter-Modell), dass es so ist, als würde man eine einzige Seite Notizen zu einer 60 GB schweren Enzyklopädie hinzufügen.
Stabilität: Die neue Methode war auch weniger empfindlich gegenüber der „Learning Rate“ (wie groß die Schritte sind). Selbst wenn man ihr sagte, größere Schritte zu machen, stürzte sie nicht so leicht ab wie die alten Methoden.

Zusammenfassend
Das Paper stellt eine Methode vor, um riesige KI-Modelle neue Fähigkeiten beizubringen, ohne einen Supercomputer zu benötigen. Sie ersetzten eine starre, zufällige Ratestrategie durch einen winzigen, smarten Coach, der lernt, wie man für verschiedene Teile des Modells die richtigen Richtungen rät. Sob falls dieser Coach einmal für eine Aufgabe trainiert wurde, kann er effizient genutzt werden, um das Modell viele andere Aufgaben lehren zu können, was sowohl Zeit als auch Computer-Speicher spart.

Technisches Resümee: Erlernen eines Zeroth-Order-Optimierers für das Fine-Tuning von LLMs

Problemstellung

Das Fine-Tuning großer Sprachmodelle (LLMs) unter Verwendung von Standard-First-Order-Optimierern (z. B. Adam) verursacht einen prohibitiv hohen Speicherbedarf, der aufgrund der Speicherung von Optimiererzuständen und Backpropagation-Aktivierungen oft bis zum 12-fachen des Inferenzspeichers ansteigt. Während Zeroth-Order- (ZO) Optimierer wie MeZO als speichereffiziente Alternative entstanden sind, die sich ausschließlich auf Vorwärtsläufe (Forward Passes) stützen, verwenden bestehende Methoden typischerweise handgefertigte, statische Sampling-Strategien (z. B. Standardnormalverteilungen). Diese statischen Strategien sind nicht an die spezifischen strukturellen Eigenschaften verschiedener Modelle oder Aufgaben anpassbar, erfordern oft eine umfangreiche Hyperparameter-Optimierung und nutzen die lokale Geometrie der Verlustlandschaft nicht vollständig aus.

Methodik: ZO Fine-tuner

Die Autoren schlagen den ZO Fine-tuner vor, einen lernbasierten Zeroth-Order-Optimierer, der darauf ausgelegt ist, effiziente Perturbationsstrategien durch ein „Learning to Learn“ (L2L)-Framework automatisch zu erlernen. Die Kerninnovation liegt im Übergang von statischer, uniformer Perturbation zu einer adaptiven, blockweisen Perturbation.

1. Blockweise Perturbations-Architektur

Motiviert durch jüngste Analysen, die darauf hindeuten, dass Transformer-Hessian eine annähernd blockdiagonale Struktur aufweisen, vermeidet die Methode die koordinierten Parameterisierungen (die bei Skalierung speicherprohibitiv wären) zugunsten einer blockweisen Adaptation.

PertNN: Für jeden Parameterblock $i$ des LLM sagt ein leichtgewichtiges Hilfs-Neuronales Netzwerk (PertNN) eine gemeinsame Perturbationsvarianz $\sigma_t^{(i)}$ voraus.
Inputs: Das PertNN nimmt als Input kompakte zusammenfassende Statistiken der aktuellen Parameter (Mittelwert und Varianz des Blocks), die vorherige Perturbationsvarianz sowie die Verlustwerte des vorherigen Schritts entgegen.
Output: Das Netzwerk gibt eine aktualisierte Varianz $\sigma_t^{(i)}$ aus, die zur Konstruktion einer diagonalen Varianzmatrix $\Sigma_t = \text{diag}(\sigma_t^{(1)}I, \dots, \sigma_t^{(n)}I)$ verwendet wird.
Normalisierung: Um die gelernte Varianz von der effektiven Lernrate zu entkoppeln, normalisiert die Methode $\Sigma_t$ so, dass deren Frobenius-Norm konstant bleibt ( $\|\Sigma_t\|_F = \sqrt{d}$ ). Dies stellt sicher, dass die Perturbationsgröße stabil bleibt, während der Optimierer relative blockweise Varianzen erlernen kann.

2. Training via Learning to Learn (L2L)

Der Optimierer wird mittels einer Meta-Zielfunktion trainiert, bei der die Fine-Tuning-Trajektorie des LLM selbst als Supervision dient.

Meta-Objective: Das Ziel ist es, den Post-Update-Verlust $L(\theta_1)$ nach einem einzelnen ZO-Schritt zu minimieren. Der Gradient dieses Verlusts in Bezug auf die PertNN-Parameter $\omega$ wird mithilfe des Reparametrisierungs-Tricks berechnet (Sampling von $z \sim N(0, I)$ und Setzen von $u = \Sigma z$ ), wodurch der Perturbationsprozess differenzierbar wird.
Trainingsstrategie: Das PertNN wird auf einem einzelnen Datensatz (z. B. COPA) unter Verwendung eines First-Order-Optimierers trainiert, um Modellzustände zu generieren. Um ein Overfitting auf Bereiche mit niedrigem Verlust zu verhindern, führen die Autoren einen periodischen Reset-Mechanismus ein, der die LLM-Parameter nach bestimmten Intervallen auf ihren Zustand vor dem Fine-Tuning zurücksetzt.
Generalisierung: Sobald der ZO Fine-tuner für ein spezifisches Basismodell trainiert wurde, kann er über diverse Downstream-Aufgaben und derivierte Checkpoints hinweg ohne weiteres Training wiederverwendet werden.

Zentrale Beiträge

Erweiterung von L2L auf LLMs: Die Arbeit zeigt, dass ein einzelner gelernter Optimierer, der auf einem Basismodell trainiert wurde, effektiv über verschiedene Downstream-Aufgaben und derivierte Checkpoints hinweg generalisieren kann, was einen „Train once, reuse widely“-Workflow validiert.
Blockweise Varianz-Lernverfahren: Die Autoren schlagen eine speichereffiziente blockweise Parameterisierung mit gemeinsamer Varianz pro Block vor. Dieses Design ist theoretisch fundiert in der blockdiagonalen Struktur von Transformer-Hessians und ermöglicht L2L in der Skala von Foundation Models ohne prohibitive Kosten.
Empirische Leistung: Über vier LLMs (LLaMA-3.2-1B, LLaMA-3.1-8B, Qwen2.5-14B, OPT-30B) und sieben Datensätze hinweg übertrifft der ZO Fine-tuner die stärksten Zeroth-Order-Baselines (MeZO, MeZO-AdamU, HIZOO, LOZO) in 82,1 % der Task-Modell-Kombinationen hinsichtlich des konvergierten Verlusts und erzielt eine durchschnittliche Genauigkeitsverbesserung von 2,5 %.

Experimentelle Ergebnisse

Konvergenz und Genauigkeit: Der ZO Fine-tuner erreicht konsistent schneller einen niedrigeren Verlust als die Baselines. Er demonstriert eine überlegene Robustheit gegenüber der Wahl der Lernrate und erreicht oft vergleichbare oder bessere Leistungen bei niedrigeren Lernraten (z. B. $10^{-8}$ ), bei denen Baselines nicht konvergieren oder instabil werden.
Transferierbarkeit: Ein auf dem COPA-Datensatz trainierter Optimierer transferiert erfolgreich auf das Fine-Tuning von Modellen für SST-2, CB, SQuAD, WSC, BoolQ und DROP sowie auf mathematische Aufgaben (MetaMathQA).
Derivierte Checkpoints: Die Methode generalisiert von einem Basismodell (LLaMA-3.1-8B) auf dessen instruktionsgesteuerte Variante (LLaMA-3.1-8B-Instruct) und übertrifft MeZO sowohl beim Verlust als auch bei der Genauigkeit.
Effizienz:
- Speicher: Der Speicher-Overhead ist im Vergleich zur Modellgröße vernachlässigbar (z. B. <2 MB für Hilfsnetzwerke bei OPT-30B). Der gesamte Speicherbedarf bleibt vergleichbar mit MeZO und ist signifikant niedriger als bei First-Order-Methoden (z. B. 62 GB vs. 312 GB für OPT-30B).
- Zeit: Der durch die Abfrage des PertNN eingeführte Zeitaufwand ist minimal (<3,4 % bei kleineren Modellen, sinkend bei größeren Modellen), da die dominierende Kostenstelle weiterhin die für die Zeroth-Order-Schätzung erforderlichen Vorwärtsläufe sind.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass der ZO Fine-tuner einen kritischen Flaschenhals der Speichereffizienz beim Fine-Tuning von LLMs adressiert und gleichzeitig die Starrheit statischer Zeroth-Order-Strategien überwindet. Durch die Nutzung des „Train once, reuse widely“-Paradigmas argumentieren die Autoren, dass Modellentwickler einen vortrainierten gelernten Finetuner zusammen mit den Basismodellen ausliefern könnten, was es Downstream-Nutzern ermöglicht, ein effizientes, hochperformantes Fine-Tuning mit nahezu Inferenz-Speicherkosten durchzuführen. Die Arbeit etabliert, dass das Erlernen adaptiver Perturbationsverteilungen auf der Skala von Foundation Models machbar ist, und bietet einen praktischen Weg für skalierbare, speichereffiziente LLM-Adaption.