🔢 mathematics

PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$ -Norm Steepest Descent

PowerStep ist ein speichereffizienter adaptiver Optimierer, der eine koordinatenweise Adaptivität mittels steilsten Abstiegs in der $\ell_p$ -Norm ohne Speicherung von Statistik zweiter Ordnung erreicht, die Konvergenzgeschwindigkeit von Adam erreicht und gleichzeitig den Speicherbedarf für das Training großer Transformer erheblich reduziert.

Ursprüngliche Autoren: Yao Lu, Dengdong Fan, Shixun Zhang, Yonghong Tian

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yao Lu, Dengdong Fan, Shixun Zhang, Yonghong Tian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, komplexen Roboter (einem neuronalen Netzwerk) beizubringen, eine neue Sprache zu sprechen. Um dies zu tun, geben Sie dem Roboter nach jedem Versuch eines Satzes Feedback. Dieses Feedback ist ein „Gradient", der dem Roboter sagt, in welche Richtung er sich bewegen muss, um besser zu werden.

Seit Jahren ist die Standardmethode zum Trainieren dieser Roboter eine Technik namens Adam. Adam ist wie eine sehr vorsichtige, hochorganisierte Bibliothekarin. Jedes Mal, wenn der Roboter einen Fehler macht, betrachtet Adam nicht nur den aktuellen Fehler; sie führt ein massives, detailliertes Hauptbuch (einen „Second-Moment-Puffer"), das die Geschichte jedes einzelnen Fehlers aufzeichnet, den der Roboter je gemacht hat.

Das Problem: Wenn Roboter größer werden (mit Milliarden von Parametern), wird dieses Hauptbuch enorm. Es beansprucht so viel Speicher, dass alles verlangsamt wird oder das System sogar abstürzt. Es ist wie der Versuch, einen Marathon zu laufen, während man einen schweren Rucksack voller Enzyklopädien trägt.

PowerStep: Der Ansatz der „intelligenten Intuition"

Die Autoren dieses Papiers stellen einen neuen Optimierer namens PowerStep vor. Anstatt diesen schweren Rucksack voller historischer Daten zu tragen, verwendet PowerStep einen cleveren Trick, der auf Geometrie und Intuition basiert.

So funktioniert PowerStep, unter Verwendung einfacher Analogien:

1. Der „Schwere Ball" vs. das „Hauptbuch"

Adam (Das Hauptbuch): „Ich erinnere mich, dass du gestern einen riesigen Fehler beim Wort 'A' gemacht hast und einen kleinen beim Wort 'B'. Ich werde deinen Pfad basierend auf dem Quadrat dieser vergangenen Fehler anpassen." Dies erfordert die Speicherung einer großen Datenmenge.
PowerStep (Der Schwere Ball): PowerStep verwendet ein Konzept namens „Momentum". Stellen Sie sich einen schweren Ball vor, der einen Hügel hinunterrollt. Wenn der Ball schnell rollt (ein starkes Signal), setzt er seinen Weg fort. Wenn er langsam rollt (ein schwaches Signal), braucht er einen kleinen Schub.
- PowerStep muss sich nicht an die Geschichte der Geschwindigkeit des Balls erinnern. Es betrachtet nur, wie schnell sich der Ball gerade jetzt bewegt.
- Es wendet einen speziellen „magischen Filter" (eine signierte Potenztransformation) auf diese aktuelle Geschwindigkeit an. Wenn der Ball zu schnell ist, bremst der Filter ihn sanft ab. Wenn er zu langsam ist, gibt der Filter ihm einen Schub.

2. Die Analogie des „Lautstärkereglers"

Stellen Sie sich den Lernprozess des Roboters wie ein Soundsystem mit tausenden von Lautstärkeregeln vor (einen für jeden Teil des Roboters).

Adam hört sich die gesamte Geschichte der Musik an, um zu entscheiden, wie jeder Regler gedreht werden soll. Es ist präzise, erfordert aber einen massiven Computer, um all diese Geschichte zu verarbeiten.
PowerStep hört sich die aktuelle Lautstärke des Sounds an.
- Wenn ein Regler bereits sehr hoch gedreht ist (der Roboter ist zuversichtlich oder der Gradient ist groß), dreht PowerStep die Lautstärke leicht herunter, um zu verhindern, dass sie zu laut wird (Überschießen).
- Wenn ein Regler kaum eingeschaltet ist (der Roboter ist unsicher oder der Gradient ist klein), dreht PowerStep die Lautstärke hoch, um ihm zu helfen, besser zu hören.
- Die Magie: Es geschieht sofort, ohne dass ein Geschichtsbuch geschrieben werden muss. Es reagiert einfach auf den gegenwärtigen Moment.

Warum ist das eine große Sache?

Das Papier behauptet drei Hauptvorteile für PowerStep:

Es ist halb so groß: Da PowerStep nicht dieses massive „Second-Moment-Hauptbuch" speichern muss, benötigt es 50 % weniger Speicher als Adam. Es ist wie der Austausch dieses schweren Rucksacks voller Enzyklopädien gegen ein leichtes Notizbuch.
Es ist genauso schnell: Trotz seiner geringeren Größe lernt PowerStep genau so schnell wie Adam. Es erreicht das Ziel in der gleichen Zeit.
Es übersteht „Komprimierung": Die Forscher versuchten, die Daten in ein winziges, niedrigqualitatives Format zu quetschen (sogenannte „int8-Quantisierung"), was Adam normalerweise zerstört, weil zu viele Details verloren gehen.
- Adam: Wenn es gequetscht wird, gerät Adams „Hauptbuch" durch die fehlenden Details so sehr in Verwirrung, dass der Roboter anfängt, im Kreis zu laufen (Divergenz).
- PowerStep: Da es sich auf das aktuelle Momentum verlässt und nicht auf ein zerbrechliches historisches Hauptbuch, bleibt es auch dann stabil, wenn die Daten gequetscht werden. Dies ermöglicht es, den Speicherverbrauch im Vergleich zur Standardmethode um das 8-fache zu reduzieren, ohne den Roboter zu zerstören.

Das Fazit

Das Papier zeigt, dass man kein schweres Geschichtsbuch tragen muss, um riesige KI-Modelle effektiv zu trainieren. Durch die Verwendung eines intelligenten, geometriebasierten Ansatzes, der auf dem „Momentum" des aktuellen Moments reagiert, erreicht PowerStep die gleichen Ergebnisse wie der Industriestandard (Adam), aber mit der Hälfte des Speicherkosten. Und wenn man es mit Datenkomprimierung kombiniert, wird es zu einem unglaublich effizienten Werkzeug für das Training der massiven KI-Modelle der Zukunft.

Hinweis: Das Papier validiert dies an Modellen, die von klein (124 Millionen Parameter) bis massiv (235 Milliarden Parameter) reichen, und beweist, dass es in jedem Maßstab funktioniert.

Technische Zusammenfassung: PowerStep: Speicher-effiziente adaptive Optimierung via ℓp-Norm-Steilster-Abstieg

Problemstellung

Adaptive Optimierer, insbesondere Adam und AdamW, sind zum Standard für das Training großskaliger neuronaler Netze (z. B. Transformer) geworden, indem sie Gradienten-Updates mit akkumulierten ersten und zweiten Moment-Statistiken vorbedingen. Obwohl effektiv, verursachen diese Methoden erheblichen Speicher-Overhead, da sie einen zweiten Moment-Akkumulator ( $v_t$ ) mit derselben Dimensionalität wie die Modellparameter unterhalten, der typischerweise eine volle 32-Bit-Gleitkomma-Präzision (fp32) für Stabilität erfordert. Diese „Speicherwand" verdoppelt den Speicherbedarf des Optimierzustands im Vergleich zum Stochastischen Gradientenabstieg (SGD) mit Momentum und begrenzt die Skalierbarkeit für Modelle mit hunderten Milliarden Parametern.

Bestehende Versuche zur Minderung dieses Problems umfassen die Faktorisierung der zweiten Moment-Matrix, die blockweise gemeinsame Nutzung oder die Anwendung von Low-Precision-Quantisierung. Allerdings führt Quantisierung bei adaptiven Methoden oft zu Trainingsinstabilität oder Divergenz, da der zweite Moment-Schätzer (insbesondere die reziproke Quadratwurzel-Operation) hochsensibel gegenüber Quantisierungsfehlern ist. Alternativ verwerfen einige Methoden den zweiten Moment vollständig, scheitern jedoch häufig daran, die Konvergenzgeschwindigkeit von Adam bei großskaligen Aufgaben zu erreichen.

Methodik

Die Autoren stellen PowerStep vor, einen speichereffizienten Optimierer, der eine koordinatenweise Adaptivität ohne Speicherung von zweiten Moment-Statistiken erreicht. Die Methode leitet sich aus den Prinzipien des $\ell_p$ -Norm-Steilsten-Abstiegs ab.

Theoretische Grundlage

In allgemeinen normierten Räumen ist die Richtung des steilsten Abstiegs $v^*$ , die ein Ziel $f(\theta)$ unter einer $\ell_p$ -Norm-Beschränkung maximal verringert, gegeben durch:
$v^*_i \propto -\text{sign}(g_i) \cdot |g_i|^{\frac{1}{p}-1}$
wobei $g_i$ die Gradientenkomponente ist. Dies führt zu einer „vorzeichenbehafteten Potenztransformation" $\Phi_\beta(x) = \text{sign}(x) \odot |x|^\beta$ , wobei $\beta = 1/(p-1) \in [0, 1]$ gilt.

Algorithmus-Design

Im Gegensatz zur Powerball-Methode, die diese Transformation auf rohe Gradienten anwendet, wendet PowerStep die Transformation auf einen Heavy-Ball-Momentum-Puffer ( $m_t$ ) an. Die Update-Regel lautet:

Momentum-Update: $m_t = \gamma m_{t-1} + g_t$
Transformiertes Update: $\theta_t = \theta_{t-1} - \eta_t \Phi_\beta(m_t)$

Dieses Design ergibt einen diagonalen Vorbedingungsfaktor $D_t = \text{diag}(|m_t|^{\beta-1})$ . Für $\beta \in (0, 1)$ ist der Exponent $\beta-1$ negativ, was bedeutet, dass die Schrittlänge umgekehrt proportional zur Größe des akkumulierten Moments ist. Kleine Momentum-Magnituden (flache Richtungen) werden verstärkt, während große Magnituden (steile Richtungen) gedämpft werden. Dies bietet eine koordinatenweise Adaptivität ähnlich wie Adam, die jedoch sofortig aus dem Momentum-Puffer berechnet wird und somit keinen zweiten Moment-Schätzer erfordert.

Low-Precision-Implementierung

Das Single-Puffer-Design von PowerStep eignet sich von Natur aus für aggressive Quantisierung. Die Autoren schlagen vor, nur den Momentum-Puffer $m_t$ in int8-Präzision zu speichern, während die vorzeichenbehaftete Potenztransformation und die Parameter-Updates in voller Präzision durchgeführt werden. Dies steht im Gegensatz zu Adam, bei dem die Quantisierung des zweiten Moment-Puffers $v_t$ aufgrund der Nichtlinearität der Quadratwurzel- und Divisionsoperationen zu katastrophaler Fehlerakkumulation führt.

Hauptbeiträge

Algorithmus-Design: PowerStep leitet sich aus Prinzipien des $\ell_p$ -Norm-Steilsten-Abstiegs ab und zeigt, dass die Anwendung einer vorzeichenbehafteten Potenztransformation auf einen Heavy-Ball-Momentum-Puffer koordinatenweise Adaptivität ohne zweite Moment-Statistiken erzeugt.
Theoretische Analyse: Die Arbeit beweist, dass PowerStep die optimale $O(1/\sqrt{T})$ -Konvergenzrate für nicht-konvexe stochastische Optimierung unter Standard-Regularitätsannahmen (L-Glattheit, beschränkte Gradienten usw.) erreicht.
Empirische Validierung: Umfassende Experimente an Transformer-Modellen im Bereich von 124M bis 235B Parametern (einschließlich dichter Architekturen und Mixture-of-Experts) zeigen, dass PowerStep die Konvergenzgeschwindigkeit von AdamW erreicht, dabei jedoch nur die Hälfte des Optimierer-Speicherzustands benötigt.
Robustheit gegenüber Quantisierung: In Kombination mit aggressiver int8-Quantisierung bleibt PowerStep numerisch stabil und reduziert den Optimierer-Speicher um etwa 8× im Vergleich zum vollpräzisen AdamW. Im Gegensatz dazu divergiert AdamW unter denselben Quantisierungsbedingungen.

Experimentelle Ergebnisse

Konvergenzgeschwindigkeit: Über Modelle von 124M bis 235B Parametern hinweg entspricht PowerStep den Trainingsverlust-Verläufen von AdamW. Verwandte speichereffiziente Methoden (pbSGDM, SignSGD, AdamS) zeigten bei größeren Modellen eine langsamere Konvergenz oder Instabilität.
Speichereffizienz: PowerStep reduziert den Speicherbedarf des Optimierzustands um 50 % im Vergleich zu AdamW (fp32), da nur ein Puffer statt zweier gespeichert wird.
Quantisierungsleistung: Unter int8-Quantisierung des Optimierzustands:
- AdamW: Das Training kollabiert sofort aufgrund der Akkumulation von Quantisierungsfehlern im zweiten Moment-Schätzer.
- PowerStep: Bleibt stabil und entspricht der Konvergenz seiner vollpräzisen Entsprechung.
- Speicherreduktion: PowerStep (int8) erreicht eine ~8×-Reduktion des Optimierer-Speichers im Vergleich zu AdamW (fp32). Beispielsweise sinkt der Speicher pro NPU bei einem 235B-Parameter-Modell von 6768 MB (AdamW) auf 872,4 MB (PowerStep int8).
Hyperparameter-Empfindlichkeit: Die Methode ist robust gegenüber dem Momentum-Koeffizienten $\gamma$ im Bereich $[0,85, 0,95]$ . Ein Potenzexponent $\beta = 0,1$ bietet den besten Kompromiss zwischen schnellem frühen Fortschritt und langfristiger Stabilität; $\beta=0$ (entspricht SignSGD) führt zum Kollaps, während $\beta=0,2$ zu langsam konvergiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PowerStep eine prinzipielle, skalierbare und ressourceneffiziente Alternative für das Training im großen Maßstab bietet. Durch die Herstellung einer direkten Verbindung zwischen adaptiver Optimierung und $\ell_p$ -Norm-Geometrie erreicht PowerStep die theoretische Optimalität adaptiver Methoden ohne die Speicherkosten der zweiten Moment-Schätzung.

Die Autoren betonen, dass die Eliminierung des zweiten Moment-Puffers nicht nur den Speicherbedarf halbiert, sondern auch die Robustheit gegenüber Low-Precision-Quantisierung grundlegend verbessert. Dies ermöglicht eine zusätzliche Speicherreduktion um eine Größenordnung (insgesamt ~8× gegenüber AdamW) ohne Einbußen bei der Konvergenzgeschwindigkeit oder der endgültigen Modellqualität. Die Arbeit legt nahe, dass Heavy-Ball-Momentum in Kombination mit nichtlinearen Transformationen die komplexe zweite-Moment-Maschinerie von Adam ersetzen kann und einen einfacheren und skalierbaren Weg für das Training zukünftiger großskaliger Modelle bietet.

Zukünftige Forschungsrichtungen, die von den Autoren identifiziert wurden, umfassen die Integration von PowerStep mit strukturierten matrixwertigen Updates (z. B. dem Muon-Optimierer) und die Erforschung noch aggressiverer Quantisierung (z. B. int4).