🤖 machine learning

Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration

Dieser Artikel stellt ZO-MOPI vor, eine Nullter-Ordnung-Optimierungsmethode zur Feinabstimmung großer Sprachmodelle, die die Konvergenz beschleunigt, indem die vollständige Orthogonalisierung durch eine partielle Orthogonalisierungsstrategie mit Potenziteration und subspace-Projektion auf Momentum-Basis ersetzt wird, wodurch eine 1,5- bis 4-mal schnellere Konvergenz als beim fortschrittlichsten ZO-Muon bei gleichzeitiger Beibehaltung wettbewerbsfähiger Genauigkeit erreicht wird.

Ursprüngliche Autoren: Jiahe Chen, Ziye Ma

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiahe Chen, Ziye Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein riesiges Radio ohne Handbuch abstimmen

Stellen Sie sich vor, Sie haben ein massives, komplexes Radio (ein Large Language Model oder LLM) mit Milliarden von Knöpfen. Sie möchten es so abstimmen, dass es ein bestimmtes Lied perfekt wiedergibt (Feinabstimmung für eine neue Aufgabe).

In der Regel verwenden Ingenieure eine „First-Order"-Methode: Sie schauen sich die Knöpfe an, spüren die Vibration und wissen genau, in welche Richtung sie sie drehen müssen, um einen besseren Klang zu erzielen. Das ist schnell, erfordert aber einen riesigen, teuren Kontrollraum (viel Arbeitsspeicher), um alle Anweisungen zu speichern. Wenn Sie versuchen, dieses Radio auf einem kleinen Gerät wie einem Smartphone oder einem Auto-Computer abzustimmen, steht Ihnen dieser Speicher nicht zur Verfügung.

Zeroth-Order (ZO) Optimierung ist die „blinde" Methode. Anstatt die Vibration zu spüren, raten Sie einfach eine Richtung, drehen die Knöpfe und hören zu, ob die Musik besser oder schlechter geworden ist. Sie benötigen keinen großen Kontrollraum, sodass sie auf kleine Geräte passt. Da Sie jedoch raten, ist sie unglaublich langsam und verrauscht. Es ist, als würde man versuchen, den perfekten Sender zu finden, indem man zufällig am Drehknopf dreht und hofft, die richtige Frequenz zu treffen.

Das Problem: Das „verrauschte" Signal

Die Forscher stellten fest, dass diese „blinde" Methode zwar Speicher spart, die gesammelten Informationen jedoch sehr unordentlich sind.

Das echte Signal: In einer perfekten Welt sind die „besten" Richtungen, in die man die Knöpfe drehen soll, klar und stark (wie eine laute, klare Stimme).
Die ZO-Wirklichkeit: Da die Methode auf zufälligem Raten beruht, ist das Signal mit statischen Störungen und Rauschen gefüllt. Es ist, als würde man versuchen, ein Flüstern in einem Hurrikan zu hören.

Es gab ein neues Werkzeug namens Muon, das helfen sollte. Muon ist wie ein intelligenter Assistent, der alle Knöpfe betrachtet und sagt: „Okay, lassen Sie uns diese Richtungen organisieren, damit wir keine Energie für die schwachen verschwenden." Es versucht, alle Richtungen gleich stark zu machen.

Der Haken: Muon wurde für die „perfekte Welt" (First-Order) entwickelt. Als die Forscher versuchten, Muon auf die „verrauschten" Zeroth-Order-Daten anzuwenden, verschlechterte es die Situation. Da die Daten so voller Störungen waren, versuchte Muon, alles zu verstärken, einschließlich des Rauschens. Es war, als würde man die Lautstärke an einem Radio erhöhen, das nur Rauschen abspielt; das Rauschen wurde lauter als die Musik.

Die Lösung: „Partielle Orthogonalisierung" (Der selektive Filter)

Die Autoren, Jiahe Chen und Ziye Ma, entwickelten einen neuen Ansatz namens ZO-MOPI. Ihr Geheimnis ist die Partielle Orthogonalisierung.

Anstatt zu versuchen, jede Richtung zu organisieren (was auch die verrauschten, nutzlosen einschließt), beschlossen sie, sich nur auf die top wenigen Richtungen zu konzentrieren, die tatsächlich stark und klar sind. Sie ignorieren den Rest des Rauschens.

Stellen Sie es sich so vor:

Alter Weg (Muon): Sie haben einen Eimer Wasser, der mit Sand, Dreck und Goldstaub vermischt ist. Sie versuchen, alles perfekt zu trennen. Sie verschwenden am Ende viel Zeit damit, den Dreck zu sortieren.
Neuer Weg (ZO-MOPI): Sie merken, dass der Goldstaub schwer ist und auf den Boden sinkt. Sie schaufeln einfach die untere Schicht (die starken Signale) auf und ignorieren den schwebenden Dreck (das Rauschen). Sie kommen viel schneller an das Gold.

Wie sie es schafften: Der Trick mit dem „Streaming Power"

Um diese selektive Filterung zu ermöglichen, verwendeten sie eine Technik namens Streaming Power Iteration (SPI).

Stellen Sie sich vor, Sie versuchen, den stärksten Wind in einem stürmischen Feld zu finden.

Die alte Methode: Sie stehen still und messen jeden einzelnen Windstoß, bevor Sie versuchen, die durchschnittliche Richtung zu berechnen. Das dauert ewig, und der Wind ist zu chaotisch.
Die neue Methode (SPI): Sie halten eine Flagge. Sie achten nur auf die Windstöße, die die Flagge am stärksten wehen lassen. Sie ignorieren die kleinen Brisen, die sie kaum bewegen. Indem Sie sich nur auf die starken Stöße konzentrieren, können Sie schnell herausfinden, in welche Richtung der Wind wirklich weht.

Sie fügten auch eine „Momentum"-Funktion hinzu. Das ist wie das Erinnern daran, wohin der Wind vor ein paar Sekunden geweht hat. Selbst wenn ein Windstoß ein Zufall ist (Rauschen), hilft Ihnen die Erinnerung an die vorherigen Stöße, ruhig zu bleiben und sich nicht vom Chaos verwirren zu lassen.

Die Ergebnisse: Schnellere Abstimmung, gleicher Speicher

Die Forscher testeten dies an riesigen KI-Modellen (wie OPT-13B und LLaMA3-8B) unter Verwendung standardisierter Sprachtests (SuperGLUE).

Geschwindigkeit: Ihre neue Methode war 1,5- bis 4-mal schneller als die derzeit besten „blinden" Abstimmungsmethoden. Sie erreichte das gleiche Genauigkeitsniveau in viel weniger Zeit.
Genauigkeit: Sie endete mit der gleichen (oder leicht besseren) endgültigen Qualität wie die anderen Methoden.
Speicher: Sie behielt die gleiche geringe Speichernutzung bei, was bedeutet, dass sie weiterhin auf kleinen Geräten laufen kann.

Zusammenfassung

Das Papier stellt einen intelligenteren Weg vor, KI-Modelle auf Geräten mit begrenztem Speicher abzustimmen. Anstatt zu versuchen, jeden einzelnen verrauschten Ratschlag zu korrigieren, fungiert die neue Methode (ZO-MOPI) wie ein Filter, der sich nur auf die stärksten, zuverlässigsten Signale konzentriert und das Rauschen ignoriert. Dies ermöglicht es der KI, viel schneller zu lernen, ohne einen Supercomputer zu benötigen.

Technischer Überblick: Beschleunigung der nullten Ordnung spektraler Optimierung durch partielle Orthogonalisierung mittels Potenziteration

Problemstellung
Die Optimierung nullter Ordnung (ZO) hat sich als kritische Technik für das Feinabstimmen von Large Language Models (LLMs) auf speicherbeschränkten Edge-Geräten etabliert, da sie den speicherintensiven Backpropagation vermeidet, der für Methoden erster Ordnung (FO) erforderlich ist. Allerdings leiden ZO-Methoden unter einer hohen Varianz in den Gradientenschätzungen aufgrund von Monte-Carlo-Störungen, was zu einer signifikant langsameren Konvergenz im Vergleich zu FO-Methoden führt.

Neue Versuche, die ZO-Optimierung zu beschleunigen, konzentrieren sich auf die Suche in niedrigdimensionalen Unterräumen (z. B. LOZO, SubZero) und spektrale Optimierer wie Muon, die die Matrizengeometrie durch Orthogonalisierung ausnutzen. Während Muon AdamW in FO-Szenarien durch die Orthogonalisierung von Gradienten zur Ausnutzung schwacher spektraler Richtungen übertrifft, stellen die Autoren fest, dass die direkte Anwendung von Muon auf ZO-Szenarien nur begrenzte Verbesserungen bringt. Das identifizierte Kernproblem besteht darin, dass ZO-Gradientenschätzungen inhärent verrauscht und unzuverlässig sind. Im Gegensatz zu FO-Gradienten, die in dominanten singulären Richtungen konzentriert sind, weisen ZO-Schätzungen einen „schwereren und flacheren spektralen Schwanz" auf (Abbildung 1). Folglich verstärkt die Standard-Newtonsche-Schulz-Orthogonalisierung (NS) von Muon, die die Energie über das gesamte aktive Spektrum ausgleicht, diese verrauschten, ungenauen Richtungen unabsichtlich und verwandelt Schätzfehler in schädliche Update-Komponenten.

Methodik: ZO-MOPI
Die Autoren schlagen ZO-MOPI (Zeroth-Order Momentum with Partial Orthogonalization) vor, eine Methode, die entwickelt wurde, um die ZO-Optimierung durch selektives Extrahieren dominanter spektraler Richtungen bei gleichzeitiger Unterdrückung von Rauschen zu beschleunigen. Der Ansatz integriert drei Schlüsselkomponenten:

Partielle Orthogonalisierung via Streaming Power Iteration (SPI):
Anstatt eine Orthogonalisierung über das gesamte Spektrum (wie NS-Iterationen) durchzuführen, verfolgt ZO-MOPI eine Strategie der „partiellen Orthogonalisierung". Sie konzentriert sich ausschließlich auf die top- $k$ dominanten singulären Richtungen und verwirft den verrauschten spektralen Schwanz.
- Mechanismus: Die Methode ersetzt das NS-Verfahren durch eine schnellere, konzentriertere Streaming Power Iteration (SPI). SPI verfolgt den führenden $k$ -dimensionalen Unterraum über die Trainingsstufen hinweg.
- Effizienz: Durch das Cachen des rechten singulären Unterraums ( $V_{t-1}$ ) und dessen Verwendung als Warm-Start für die nächste Iteration vermeidet SPI eine vollständige SVD oder teure Matrixmultiplikationen. Die Rechenkosten werden auf $O(rnk + nk^2)$ reduziert, wobei $k \ll r \ll \min(m, n)$ , im Vergleich zu den höheren Kosten von Methoden über das gesamte Spektrum.
- Stabilität: Die Methode stützt sich auf die Beobachtung, dass sich dominante spektrale Richtungen unter Momentum-Glättung glatt entwickeln, was den vorherigen Unterraum zu einer zuverlässigen Initialisierung für den aktuellen Schritt macht.
Subraum-ZO-Schätzung:
Um die Varianz weiter zu reduzieren, wird die Gradientenschätzung auf einen niedrigrangigen Unterraum beschränkt. Die zufällige Störmatrix $Z$ wird in $AB$ zerlegt, wobei $A$ eine feste Subraum-Matrix und $B$ eine zufällige Störung innerhalb dieses Subraums ist. Dies reduziert die effektive Suchdimension von $mn$ auf $rn$, was die Varianz des Gradientenschätzers erheblich senkt.
Projiziertes Momentum:
Momentum wird innerhalb des reduzierten $r \times n$ -Koordinatensystems statt im vollständigen Parameterraum beibehalten, um Speicher zu sparen. Ein kritischer Bestandteil der Methode ist die Projektion des Moments, wenn der Unterraum $A$ periodisch aktualisiert wird (alle $\nu$ Iterationen). Das Momentum $M_{old}$ wird auf den neuen Unterraum $A_{new}$ projiziert via $M_{new} \leftarrow A_{new}^\top A_{old} M_{old}$ .
- Notwendigkeit: Die Autoren zeigen, dass Momentum nicht nur zur Varianzreduktion dient, sondern für die Stabilität von SPI unerlässlich ist. Ohne Momentum schwankt der dominante Unterraum aufgrund verrauschter ZO-Schätzungen drastisch, was dazu führt, dass die Potenziteration instabil wird.

Hauptbeiträge

Identifikation spektraler Diskrepanz: Die Arbeit hebt hervor, dass eine Orthogonalisierung über das gesamte Spektrum (Newton-Schulz) in ZO-Szenarien nachteilig ist, da sie das inhärente Rauschen in ZO-Gradientenschätzungen verstärkt, wohingegen FO-Gradienten natürlich konzentriert sind.
Partielle Orthogonalisierung: Die Einführung einer selektiven Orthogonalisierungsstrategie, die nur die zuverlässigsten spektralen Komponenten (top- $k$ ) bewahrt und den verrauschten Schwanz ignoriert.
Streaming Power Iteration (SPI): Ein leichtgewichtiger, effizienter Algorithmus zur Verfolgung dominanter singulärer Richtungen, der zeitliche Kontinuität und Warm-Starts nutzt, um teure Berechnungen zu vermeiden.
Integration projizierten Moments: Ein Mechanismus zur Aufrechterhaltung der Momentum-Stabilität über Unterraum-Aktualisierungen hinweg, der sich als kritisch für die Wirksamkeit der spektralen Verfolgung in verrauschten Umgebungen erwiesen hat.

Experimentelle Ergebnisse
Die Autoren bewerten ZO-MOPI bei Feinabstimmungsaufgaben für LLMs unter Verwendung der Modelle OPT-13B, LLaMA3-8B und Gemma2-2B über SuperGLUE-Benchmarks (SST-2, RTE, BoolQ, SQuAD).

Konvergenzgeschwindigkeit: ZO-MOPI erreicht eine 1,5- bis 4-mal schnellere Konvergenz im Vergleich zum aktuellen State-of-the-Art ZO-Muon. Beispielsweise benötigt ZO-Muon bei den RTE- und SQuAD-Aufgaben etwa die dreifache Wandzeit, um die gleiche Genauigkeit wie ZO-MOPI zu erreichen.
Endgenauigkeit: Die Methode erzielt wettbewerbsfähige oder überlegene Endgenauigkeiten im Vergleich zu starken Baselines wie MeZO, LOZO und ZO-Muon. In mehreren Fällen (z. B. OPT-13B auf SST-2 und RTE) setzt ZO-MOPI neue Bestwerte für ZO-Genauigkeit.
Effizienz: Die Methode behält die Speichereffizienz der ZO-Feinabstimmung bei, mit nur vernachlässigbarem zusätzlichem Speicherbedarf für das Speichern von Unterraum- und Potenziteration-Zuständen.
Ablationsstudien: Experimente bestätigen, dass das Entfernen von Momentum oder die Verwendung eines zu kurzen Intervalls für die Unterraum-Aktualisierung die Leistung erheblich verschlechtert, was die Notwendigkeit der vorgeschlagenen Momentum-Projektion und der Strategien für das träge Sampling von Unterräumen untermauert.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass ZO-MOPI die Leistungslücke zwischen ZO- und FO-Optimierung für die Feinabstimmung von LLMs erfolgreich schließt, indem sie die spezifischen spektralen Eigenschaften verrauschter Gradientenschätzungen adressiert. Die Autoren argumentieren, dass der Schlüssel zur Beschleunigung der ZO-Optimierung nicht nur in der Varianzreduktion durch Unterraum-Projektion liegt, sondern auch in der Annahme einer selektiven spektralen Ausrichtung, die eine Verstärkung von Rauschen vermeidet. Durch den Ersatz einer aggressiven Orthogonalisierung über das gesamte Spektrum durch eine partielle Orthogonalisierung mittels Potenziteration ermöglicht die Methode spektralen Optimierern, im hochvarianzen ZO-Regime effektiv zu funktionieren. Die Arbeit legt nahe, dass spektrale Strukturen auch unter verrauschten Schätzungen besser ausgenutzt werden können und bietet einen Weg hin zu einer effizienten, speicherbeschränkten Feinabstimmung großer Modelle ohne Rückgriff auf Backpropagation.