🤖 machine learning

ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces

ZO-Act ist eine effiziente Zeroth-Order-Feinabstimmungsmethode, die bestehende Ansätze verbessert, indem sie Störungen auf einen festen, aktivierungsinformierten Low-Rank-Unterraum beschränkt, wodurch die Schätzervarianz reduziert und eine momentumbasierte Optimierung ermöglicht wird, während gleichzeitig quantisierte große Sprachmodelle unterstützt werden.

Ursprüngliche Autoren: Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich komplexe Bibliothek (ein Large Language Model), der Sie eine neue Fähigkeit beibringen wollen, wie zum Beispiel das Beantworten von Fragen zu einem bestimmten Thema. Normalerweise müssten Sie, um diese Bibliothek zu lehren, ein Team von Redakteuren durch jedes einzelne Buch schicken, Seite für Seite, um Notizen darüber zu machen, wie der Text geändert werden muss. Dies nennt man „Backpropagation“ und es erfordert eine enorme Menge an Speicher und Energie. Wenn die Bibliothek zu groß ist, geht Ihrem Team der Platz für die Notizen aus und der Prozess stürzt ab.

Das Problem: Der „blinde“ Ansatz
Einige Forscher versuchten eine andere Methode namens Zeroth-Order (ZO)-Optimierung. Anstatt jedes Buch Seite für Seite zu lesen, um den exakten Fehler zu finden, raten sie einfach. Sie nehmen eine winzige, zufällige Änderung an einem Buch vor, sehen nach, ob die Geschichte dadurch besser wird, nehmen dann eine andere zufällige Änderung vor und sehen erneut nach. Es ist, als würde man versuchen, den richtigen Schlüssel auf einem riesigen Schlüsselbund zu finden, indem man zufällig an den Schlüsseln rüttelt, bis einer passt.

Das Problem bei diesem „blinden“ Raten ist, dass die Schätzungen bei Milliarden von Parametern unglaublich verrauscht und ineffizient sind. Man könnte einen Schlüssel rütteln, der überhaupt keine Rolle spielt, und so Zeit und Energie verschwenden.

Die Lösung: ZO-Act (Der „Smart Map“-Ansatz)
Das Paper stellt ZO-Act vor, eine intelligentere Art dieses Ratespiels. Anstatt wahllos an irgendeinem Schlüssel zu rütteln, schaut ZO-Act zuerst nach, wie die Bibliothek natürlich auf ein paar Stichprobenfragen (genannt „Activations“) reagiert.

Stellen Sie sich das so vor:

Die Einmal-Karte (One-Shot Map): Bevor Sie mit dem Lehren beginnen, stellen Sie der Bibliothek ein paar Übungsfragen. Sie bemerken, dass, wenn Menschen nach „Geschichte“ fragen, die internen Zahnräder der Bibliothek hauptsächlich in einem bestimmten, vorhersehbaren Muster rotieren. Sie zeichnen eine Karte nur dieser rotierenden Zahnräder.
Der feste Unterraum (Fixed Subspace): Sie entscheiden, dass Sie von nun an nur die Zahnräder anpassen werden, die auf Ihrer Karte verzeichnet sind. Den Rest der Bibliothek frieren Sie ein, damit er nicht durcheinandergebracht wird.
Der leichtgewichtige Coach: Anstatt zu versuchen, die schweren, eingefrorenen Zahnräder direkt zu bewegen, befestigen Sie einen kleinen, leichtgewichtigen Hebel (eine „Koeffizientenmatrix“) an Ihrer Karte. Sie müssen nur diesen kleinen Hebel bewegen, um die schweren Zahnräder in die richtige Richtung zu bewegen.

Warum dies ein Game-Changer ist

Weniger Rauschen: Da Sie nur einen kleinen Hebel bewegen und nicht die ganze Maschine, sind Ihre Schätzungen viel genauer. Es ist, als würde man ein Radio abstimmen, indem man nur am Lautstärkeregler dreht, anstatt die gesamte Antenne neu zu bauen.
Schnelleres Lernen: Da der „Hebel“ klein ist, können Sie Standard-Werkzeuge mit hoher Leistung (wie den Adam-Optimizer) nutzen, um ihn effizient zu bewegen.
Funktioniert auf kleinen Geräten: Da die Hauptbibliothek eingefroren bleibt und Sie nur den kleinen Hebel berühren, benötigen Sie keinen Supercomputer dafür. Sie können es sogar auf einem Computer mit sehr begrenztem Speicher (quantisierte Modelle) machen, was so ist, als würde man versuchen, die Bibliothek mithilfe eines kleinen Notizbuchts anstatt einer riesigen Enzyklopädie zu lehren.

Was das Paper herausgefunden hat
Die Forscher haben dies an riesigen Modellen (wie Llama-3 und OPT) getestet und fanden heraus:

Es funktioniert besser als zufälliges Raten: ZO-Act war über verschiedene Aufgaben hinweg – wie Sprachverständnis, Beantwortung von Fragen und das Lösen von Logikrätseln – konsistent besser als andere „blinde“ Methoden.
Es funktioniert auf kleinen Computern: Selbst als die Bibliothek komprimiert wurde, um auf ein kleines Gerät zu passen (INT4-Quantisierung), schnitt ZO-Act immer noch sehr gut ab.
Die Karte ist stabil: Sie haben überprüft, ob die „Karte“, die sie zu Beginn gezeichnet haben, weiterhin nützlich ist. Und das war sie! Die wichtigsten Zahnräder drehten sich während des gesamten Trainingsprozesses auf die gleiche Weise weiter, was bewies, dass die ursprüngliche „One-Shot“-Karte eine gute Wahl war.

Der Haken
Das Paper räumt ein, dass ZO-Act zwar großartig ist, um Speicher zu sparen und die Notwendigkeit von Backpropagation zu vermeiden, aber im Vergleich zur traditionellen „Vollzeit-Editor“-Methode (First-Order) immer noch nicht ganz so schnell oder perfekt ist, wenn man über unbegrenzten Speicher verfügt. Es ist ein Kompromiss: Man erhält eine sehr effiziente, speicherschonende Lösung, die „gut genug“ ist und oft besser als andere Lösungen mit geringem Speicherbedarf, aber sie basiert immer noch auf Raten statt darauf, die exakte Antwort zu sehen.

Zusammenfassend
ZO-Act ist wie ein blinden Schüler, der eine intelligente Karte der wichtigsten Räume in einem riesigen Gebäude erhält. Anstatt blind herumzustolpern, passt er nur die Möbel in diesen spezifischen Räumen mithilfe eines kleinen, leicht zu bewegenden Werkzeugs an. Das spart Energie, reduziert Fehler und ermöglicht es ihm, neue Fähigkeiten selbst in einer winzigen Wohnung zu erlernen.

Technisches Resümee: ZO-Act

Problemstellung

Das Fine-Tuning von Large Language Models (LLMs) stützt sich typischerweise auf Optimierung erster Ordnung (Backpropagation), die mit der Skalierung von Modellen auf Milliarden von Parametern aufgrund des Speicherbedarfs für Aktivierungen, Optimizer-Zustände und Gradientenberechnungen speicherprohibitiv wird. Die Optimierung nullter Ordnung (Zeroth-Order, ZO) bietet eine Alternative, die nur auf Vorwärtsberechnungen (Forward-Pass) basiert, indem sie Aktualisierungsrichtungen durch reine Verlustbewertungen schätzt und somit die Backpropagation vermeidet. Bestehende ZO-Methoden stehen jedoch vor erheblichen Herausforderungen:

Hohe Varianz: Die Störung des vollständigen Parameterraums (wie bei MeZO) führt zu hochvarianten Gradientenschätzungen, was eine langsame Konvergenz und Instabilität zur Folge hat.
Suboptimale Subräume: Während einige Methoden die Störungen auf niedrigdimensionale Subräume beschränken (z. B. LOZO, SubZero), verlassen sie sich oft auf zufällig konstruierte Subräume oder zufällige Störungen, die möglicherweise nicht mit dem tatsächlichen Gradientenfluss übereinstimmen.
Kompatibilität mit Optimierern: Viele ZO-Methoden haben Schwierigkeiten, Standard-Momentum-basierte Optimierer (wie Adam) effektiv zu nutzen, da die Perturbationsstruktur keine expliziten, leichtgewichtigen trainierbaren Variablen offenlegt.
Quantisierungsbeschränkungen: Das Fine-Tuning quantisierter LLMs (z. B. INT4) ist schwierig mit Methoden, die die Materialisierung vollständiger Gewichts-Perturbationen erfordern.

Methodik: ZO-Act

Die Autoren schlagen ZO-Act vor, eine einmalige (one-shot), aktivierungs-informierte ZO-Fine-Tuning-Methode. Die zentrale Erkenntnis ist, dass die dominanten Komponenten der Gewichtsgradienten in linearen Schichten innerhalb des Subraums liegen, der durch die rechten Singulärvektoren der Input-Aktivierungsmatrix aufgespannt wird.

Kernmechanismus

One-Shot Initialisierung: Für jede lineare Schicht führt ZO-Act einen einzelnen Vorwärtspass auf einem Kalibrierungs-Batch durch, um die Input-Aktivierungsmatrix $X$ zu berechnen. Anschließend berechnet es die Top- $r$ rechten Singulärvektoren ( $V_r$ ) von $X$ mittels einer dünnen Singulärwertzerlegung (SVD).
Fixierte Subraum-Parametrisierung: Die Gewichtsaktualisierung wird auf einen niedrigdimensionalen Subraum beschränkt, der durch diese eingefrorenen Aktivierungsvektoren definiert ist. Die effektive Gewichtsaktualisierung wird als folgt parametrisiert:
$\Delta W = V_r B$
wobei $V_r \in \mathbb{R}^{m \times r}$ die eingefrorene Aktivierungsbasis und $B \in \mathbb{R}^{r \times n}$ eine leichtgewichtige, trainierbare Koeffizientenmatrix ist. Die ursprünglichen vortrainierten Gewichte $W$ und die Basis $V_r$ bleiben während des gesamten Trainings eingefroren.
Optimierung im Koeffizientenraum: Anstatt den vollständigen Gewichtsmatrix $W$ zu perturbieren, zieht ZO-Act zufällige Perturbationen $Z$ im niedrigdimensionalen Koeffizientenraum ( $Z \sim \mathcal{N}(0, I)$ ). Das perturbierte effektive Gewicht wird zu $W_{eff} = W + V_r(B + \mu Z)$ .
Nur-Vorwärts-Schätzung (Forward-Only Estimation): Der Gradient für $B$ wird mittels Vorwärtsdifferenz-Verlustbewertungen geschätzt:
$\hat{g}_B = \frac{L(B + \mu Z) - L(B)}{\mu} Z$
Dieser geschätzte Gradient wird dann verwendet, um $B$ unter Verwendung von Standard-Optimierern erster Ordnung wie Adam zu aktualisieren.

Theoretische Analyse

Das Paper analysiert ZO-Act als Optimierung nullter Ordnung über einen eingeschränkten Koeffizientenraum $\beta$ (Dimension $k$ ) anstatt über den vollständigen Gewichtsraum (Dimension $d$ ).

Varianzreduktion: Die Varianz des ZO-Schätzers skaliert linear mit der Perturbationsdimension. Durch die Reduzierung der Dimension von $d$ (volle Gewichte) auf $k = \sum r n_\ell$ (Koeffizienten, wobei $r \ll m$ ) reduziert ZO-Act signifikant den varianzabhängigen Konvergenzterm und den Finite-Differenzen-Fehler.
Bias-Varianz-Trade-off: Die Beschränkung der Aktualisierungen auf den aktivierungs-informierten Subraum führt zu einem Subraum-Approximations-Bias. Die Autoren argumentieren jedoch, dass LLM-Aktivierungen und -Gradienten eine niedrigdimensionale Struktur aufweisen, was bedeutet, dass die dominanten Aktualisierungsrichtungen gut durch die Top-Singulärvektoren der Input-Aktivierungen erfasst werden. Somit ist der Bias kontrolliert und wird durch die datengesteuerte Natur des Subraums gemildert.

Zentrale Beiträge

Aktivierungs-informierter Subraum: Im Gegensatz zu vorherigen Subraum-Methoden, die zufällige oder statische Low-Rank-Matrizen verwenden, leitet ZO-Act den Perturbations-Subraum direkt aus den Input-Aktivierungen ab und stellt so sicher, dass der Subraum mit den dominanten Aktivierungsrichtungen der Schicht übereinstimmt.
Explizite Koeffizienten-Optimierung: Durch das Einfrieren der Basis und die Optimierung nur der Koeffizientenmatrix $B$ transformiert ZO-Act das ZO-Fine-Tuning in ein explizites Optimierungsproblem über einen niedrigdimensionalen Raum. Dies ermöglicht die direkte Anwendung von Momentum-basierten Optimierern (z. B. Adam) und vermeidet die Materialisierung vollständiger Gewichts-Perturbationen.
Quantisierungs-Kompatibilität: Die Methode unterstützt nativ quantisierte LLMs (z. B. INT4), da die Low-Bit-Gewichte eingefroren bleiben und nur die Low-Bit-Koeffizientenmatrizen aktualisiert werden.
Theoretische Garantien: Das Paper liefert eine Konvergenzanalyse, die zeigt, dass ZO-Act sowohl den Varianz-Term des Gradientenschätzers als auch den Finite-Differenzen-Fehler im Vergleich zu Full-Weight-ZO reduziert, auf Kosten eines handhabbaren Subraum-Bias.

Experimentelle Ergebnisse

Die Autoren evaluierten ZO-Act auf Llama-3-8B, OPT-13B und einem INT4-quantisierten Llama-3-8B über Aufgaben des Sprachverständnisses, der Beantwortung von Fragen und des Common-Sense-Reasoning.

Performance: ZO-Act übertraf konsistent starke ZO-Baselines (einschließlich MeZO, LOZO, SubZero, AGZO und ZO-Muon).
- Auf Llama-3-8B erzielte es die besten Full-Precision-ZO-Ergebnisse auf SST-2, RTE, BoolQ und WiC. Bemerkenswert ist die Verbesserung der RTE-Leistung von 81,2 (ZO-Muon) auf 87,0 und CB von 6ー69,6 auf 89,3.
- Auf OPT-13B erzielte es ähnlich Spitzenwerte auf SST-2, RTE, CB und BoolQ.
- Bei INT4-quantisierten Modellen blieb ZO-Act mit Full-Precision-ZO-Baselines konkurrenzfähig, was seine Effektivität für speicherbeschränktes Fine-Tuning demonstriert.
Effizienz: ZO-Act erreichte den geringsten Speicherverbrauch unter den verglichenen Methoden (ca. 16,1 GB für Llama-3-8B, sinkend auf 5,8 GB für INT4) und erzielte die schnellste Laufzeit (42,0 Minuten gegenüber 44,5+ Minuten bei anderen) unter einem festen Forward-Query-Budget.
Rank-Sensitivität: Experimente zeigten, dass ein Rang von $r=1$ oft für Full-Precision-Modelle ausreichte, was die beste Genauigkeit bei minimaler Perturbationsdimension lieferte. Höhere Ränge ( $r=32$ ) waren für quantisierte Modelle vorteilhaft, um die reduzierte Kapazität zu kompensieren.
Stabilität: Diagnostische Studien bestätigten, dass der aktivierungs-informierte Subraum während des Fine-Tunings stabil bleibt und einen signifikanten Teil der vollen Gradientenenergie erfasst, was das "One-Shot"-Initialisierungsdesign validiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass ZO-Act einen bedeutenden Schritt darstellt, um das Zeroth-Order-Fine-Tuning zu einer praktischen und hochperformanten Alternative für große und quantisierte LLMs zu machen. Seine Bedeutung liegt in:

Überbrückung der Lücke: Es verringert die Performance-Lücke zwischen ZO und First-Order-Fine-Tuning, indem es die Varianz des Schätzers durch datengesteuerte Subräume reduziert.
Ermöglichung von Optimierern: Es löst die Schwierigkeit, Standard-Optimierer wie Adam auf ZO-Methoden anzuwenden, indem es explizite, niedrigdimensionale trainierbare Variablen bereitstellt.
Skalierbarkeit: Es bietet eine speichereffiziente Lösung für das Fine-Tuning quantisierter Modelle, was für den Einsatz auf ressourcenbeschränkter Hardware entscheidend ist.

Die Autoren räumen Einschränkungen ein und merken an, dass ZO-Act den Performance-Unterschied zu First-Order-Methoden aufgrund des inhärenten Rauschens der ZO-Schätzung und des Subraum-Bias noch nicht vollständig schließen kann. Zudem ist ZO-Act in der Wandzeit (Wall-Clock Time) langsamer als Backpropagation-basierte Methoden, da pro Update mehrere Vorwärtsdurchläufe erforderlich sind. Dennoch positioniert sich die Methode als überlegene Wahl für Szenarien, in denen Backpropagation speicherprohibitiv oder nicht verfügbar ist.