🤖 machine learning

Optimistic Dual Averaging Unifies Modern Optimizers

Dieser Beitrag stellt SODA vor, eine Verallgemeinerung des Optimistic Dual Averaging, die moderne Optimierer wie Muon und Lion unter einem einheitlichen Rahmen vereint und einen praktischen Wrapper bietet, um die Feinabstimmung des Gewichtsverfalls automatisch zu eliminieren und gleichzeitig die Leistung über verschiedene Trainingsmaße hinweg konsistent zu verbessern.

Ursprüngliche Autoren: Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem massiven, komplexen Roboter (einem Deep-Learning-Modell) das Laufen beizubringen. Der Roboter lernt durch Schritte, stolpert jedoch manchmal, überschießt das Ziel oder wird durch verrauschte Anweisungen verwirrt. Um ihm zu helfen, schneller und stabiler zu lernen, verwenden Ingenieure „Optimierer" – mathematische Rezepte, die genau festlegen, wie groß jeder Schritt sein soll und in welche Richtung er gehen muss.

In den letzten zehn Jahren haben Forscher neue, ausgefallene Rezepte erfunden (wie Adam, Lion, Muon und NAdam). Jedes Rezept hat seine eigene geheime Zutat, doch alle scheinen aus unterschiedlichen Gründen gut zu funktionieren. Das Problem ist, dass das Abstimmen dieser Rezepte wie der Versuch ist, einen perfekten Kuchen ohne Rezept zu backen: Man muss für jede neue Modellgröße und jede Trainingsdauer die richtige Menge an „Weight Decay" (einem Regler, der verhindert, dass der Roboter zu verrückt wird) erraten.

Diese Arbeit stellt SODA (Stochastic Optimistic Dual Averaging) vor. Betrachten Sie SODA nicht als ein neues Kuchenrezept, sondern als eine universelle Backhülle, die Sie über jedes bestehende Rezept legen können, um es automatisch besser funktionieren zu lassen.

Hier ist die Aufschlüsselung der Funktionsweise, unter Verwendung einfacher Analogien:

1. Der „optimistische" Blick voraus

Die meisten Optimierer sind wie ein Fahrer, der nur auf die Straße direkt vor sich schaut. Sie sehen eine Unebenheit, reagieren und lenken ab.
SODA ist wie ein Fahrer, der etwas voraus schaut. Es nutzt eine Technik namens „Optimismus", um vorherzusagen, wo die Straße hin führt, bevor es dort ankommt.

Die Analogie: Stellen Sie sich vor, Sie gehen einen Flur entlang. Ein Standard-Optimierer wartet, bis Sie gegen eine Wand stoßen, um abzubiegen. Ein „optimistischer" Optimierer sieht die Wand kommen, lehnt sich leicht nach vorne und biegt bevor Sie darauf stoßen, ab. Dies verhindert, dass der Roboter hin und her wackelt, und ermöglicht ihm, flüssiger und schneller zu bewegen.

2. Das „Dual Averaging"-Gedächtnis

Optimierer müssen auch die Vergangenheit erinnern. Erinnern sie sich an jeden einzelnen Schritt, den sie je gemacht haben? Oder nur an den letzten?
SODA verwendet eine Methode namens „Dual Averaging". Anstatt nur auf den aktuellen Schritt zu reagieren, führt es einen laufenden Durchschnitt aller „Schübe" (Gradienten), die es bisher gespürt hat, weiter.

Die Analogie: Denken Sie an einen Wanderer, der versucht, den tiefsten Punkt in einem nebligen Tal zu finden.
- Standard-Optimierer: „Ich spüre einen Abhang nach links, also mache ich einen Schritt nach links."
- SODA: „Ich habe vor 10 Schritten einen Abhang nach links gespürt, vor 5 Schritten einen nach rechts und gerade eben wieder einen nach links. Wenn ich all diese Gefühle mittle, liegt der wahre Pfad tatsächlich leicht vorne-links."
  Durch das Mitteln der „Gefühle" (Gradienten) über die Zeit filtert SODA das Rauschen heraus und findet den wahren Pfad zuverlässiger.

3. Der „magische Mantel" (Kein Abstimmen mehr)

Der größte Kopfschmerz für KI-Ingenieure ist Weight Decay. Dies ist eine Einstellung, die wie eine „Leine" wirkt und verhindert, dass die Schritte des Roboters zu wild werden.

Der alte Weg: Sie müssen die perfekte Leinenlänge erraten. Wenn der Roboter klein ist, benötigen Sie eine kurze Leine. Wenn der Roboter riesig ist, benötigen Sie eine lange. Wenn Sie lange trainieren, müssen Sie die Leinenlänge erneut ändern. Es ist ein ständiges Ratespiel.
Der SODA-Weg: Die Autoren entdeckten, dass Sie, wenn Sie jeden Optimierer (wie Adam oder Muon) mit SODA umhüllen, die Leinenlänge nicht mehr erraten müssen.
- SODA passt die Leine automatisch nach einer einfachen Regel an: 1 geteilt durch die Anzahl der bisher gemachten Schritte.
- Die Analogie: Stellen Sie sich eine Leine vor, die sich beim Weitergehen automatisch verkürzt. Sie müssen die Leine nicht halten; die Leine weiß genau, wie straff sie beim 1., beim 100. oder beim 10.000. Schritt sein muss.

4. Was haben sie bewiesen?

Die Arbeit behauptet, dass SODA viele der besten modernen Optimierer (wie Muon, Lion und NAdam) unter einem einzigen mathematischen Dach vereint. Es zeigt, dass diese verschiedenen „ausgefallenen" Methoden eigentlich nur spezielle Versionen derselben Idee des „optimistischen Mitteln" sind.

Die Ergebnisse:

Bessere Leistung: Als die Autoren beliebte Optimierer mit SODA umhüllten, lernten die Modelle schneller und erreichten niedrigere Fehlerquoten.
Keine zusätzliche Arbeit: Sie mussten keine neuen Regler abstimmen. Sie wendeten einfach die Hülle an.
Schlagen des Besten: In ihren Tests schlug SODA sogar die „best-abgestimmten" Versionen der ursprünglichen Optimierer. Die ursprünglichen Optimierer benötigten einen Menschen, der sorgfältig den Weight Decay anpasste, um gute Ergebnisse zu erzielen; SODA erledigte dies automatisch und besser.

Zusammenfassung

Betrachten Sie SODA als einen „intelligenten Autopiloten", den Sie an jeden vorhandenen Automotor (Optimierer) anschließen können.

Es schaut voraus (Optimismus), um Unebenheiten zu vermeiden.
Es erinnert sich an die Reise (Mitteln), um auf Kurs zu bleiben.
Es passt die Bremsen automatisch (Weight Decay) basierend darauf, wie weit Sie gereist sind, an, sodass Sie nie raten müssen, wie hart Sie bremsen müssen.

Die Arbeit schließt, dass diese einfache, automatische Anpassung das Training großer KI-Modelle stabiler, schneller und weniger abhängig von menschlichem Raten macht.

Technische Zusammenfassung: Optimistisches Duales Averaging vereint moderne Optimierer

Problemstellung

Die Optimierung im Deep Learning hat sich entlang zweier primärer Achsen entwickelt: Geometrie und Adaptivität (Entwurf von Updates mit impliziten Normen oder Vorkonditionierern, die die Modellstruktur widerspiegeln, z. B. Adam, Muon) und die Komposition von Komponenten (Kombination von Gradienten-Feedback, Momentum und Schedules für Stabilität, z. B. Lion, schedule-free Methoden). Obwohl viele state-of-the-art Optimierer (wie Muon, Lion, AdEMAMix und NAdam) unterschiedlich erscheinen, fehlt ihnen ein einheitlicher theoretischer Rahmen, der ihre Beziehung erklärt und eine prinzipielle Anleitung zur Hyperparameter-Tuning bietet.

Eine spezifische, anhaltende Herausforderung ist das Tuning von Weight Decay. Beim Training über mehrere Epochen wirkt Weight Decay als Regularizer, der die Normen der Iterierten einschränkt. Selbst beim Training mit einer einzigen Epoche, wo Overfitting weniger ein Problem darstellt, bleibt Weight Decay oft vorteilhaft. Jüngste Skalierungsregeln schlagen vor, Weight Decay proportional zu $1/d$ (Modell-Dimension) zu setzen, doch die Entflechtung der Abhängigkeit von der Modell-Dimension $d$ versus dem Trainingshorizont $n$ ist schwierig. Darüber hinaus variieren optimale Weight-Decay-Werte erheblich zwischen verschiedenen Optimierern (z. B. erfordert Lion einen deutlich höheren Decay als AdamW), was ein kostspieliges, pro-Optimierer-Tuning notwendig macht.

Methodik: SODA

Die Autoren stellen SODA (Stochastic Optimistic Dual Averaging) vor, eine Verallgemeinerung von Optimistic Dual Averaging (ODA), die die duale Verarbeitung von Gradienten und die primale Verarbeitung von Iterierten vereint.

Theoretischer Rahmen

SODA verallgemeinert das Standard-Update des dualen Averaging:
$x_{k+1} \in \arg \min_{x \in X} \gamma_k \langle d_k, x \rangle + h_k(x)$
durch Einführung einer primalen Extrapolationssequenz $(y_k)$ und einer optimistischen dualen Variable $(\bar{m}_{k+1})$ . Der Algorithmus verwaltet:

Duale Verarbeitung: Ein momentum-basierter Gradientendurchschnitt $m_{k+1}$ und ein optimistischer Durchschnitt $\bar{m}_{k+1}$ , der den aktuellen Gradienten $\nabla f(y_k, \xi_k)$ einbezieht.
Primale Verarbeitung: Ein Update der Iterierten $x_{k+1}$ und ein extrapolierte Punkt $y_{k+1}$ , gesteuert durch die Parameter $\lambda_k$ und $\bar{\lambda}_k$ .

Die Update-Regeln lauten:
$\begin{aligned} m_{k+1} &= (1 - \alpha_k)m_k + \alpha_k \nabla f(y_k, \xi_k) \\ \bar{m}_{k+1} &= (1 - \bar{\alpha}_k)m_{k+1} + \bar{\alpha}_k \nabla f(y_k, \xi_k) \quad (\text{Optimismus}) \\ z_{k+1} &\in \partial h_k^*(-\gamma_k \bar{m}_{k+1}) \\ x_{k+1} &= (1 - \lambda_k)x_k + \lambda_k z_{k+1} \\ y_{k+1} &= (1 - \bar{\lambda}_k)x_{k+1} + \bar{\lambda}_k z_{k+1} \quad (\text{primale Extrapolation}) \end{aligned}$
wobei $h_k$ ein Regularizer (Spiegelabbildung) ist, der die Geometrie definiert (z. B. $\ell_\infty$ für Lion, spektral für Muon).

Vereinheitlichung bestehender Optimierer

Die Arbeit zeigt, dass SODA durch Auswahl spezifischer Parameter und Geometrien mehrere moderne Optimierer als Spezialfälle wiederherstellt:

NAdam / Lion / Muon: Diese werden im „modernisierten" Regime wiederhergestellt, wo $\bar{\lambda}_k = 0$ $\overset{ˉ}{λ}_{k} = 0$ (keine primale Extrapolation für den Gradienten-Evaluierungspunkt) und $\bar{\alpha}_k > 0$ $\overset{α}{ˉ}_{k} > 0$ (Optimismus) gilt.
- Lion: Verwendet $\ell_\infty$ -Geometrie ( $h_k = K^*$ ) und spezifische Momentum-Parameter.
- Muon: Verwendet spektrale Geometrie und Nesterov-Momentum ( $\bar{\alpha}_k = \alpha_k$ ).
- NAdam: Verwendet eine geglättete $\ell_\infty$ -Geometrie mit adaptiver Skalierung.
Tabelle 1 in der Arbeit bildet diese Methoden explizit auf ihre entsprechenden Wahlmöglichkeiten für Gradientendurchschnitt ( $\alpha_k$ ), Optimismus ( $\bar{\alpha}_k$ ) und Geometrie ( $h_k$ ) ab.

Der SODA-Wrapper

Ein wesentlicher praktischer Beitrag ist ein SODA-Wrapper (Algorithmus 1), der jeden Basis-Optimierer (z. B. Adam, Lion, Muon) umhüllen kann, ohne neue Hyperparameter einzuführen.

Konfiguration: Er setzt $\bar{\lambda}_k = 0$ (entspricht dem „modernisierten" Regime), verwendet ein einheitliches Iterierten-Averaging $\lambda_k = 1/(k+2)$ und skaliert die Schrittwelle $\gamma_k = (k+2)\eta_k$ .
Eliminierung von Weight Decay: Der Wrapper verankert Updates an der Initialisierung $z_0$ statt am Ursprung. Die resultierende Update-Regel implementiert effektiv einen Weight-Decay-Schedule von $\mu_k = 1/(k+2)$ .
Interpretation: Die Autoren argumentieren, dass in diesem Rahmen Weight Decay nicht lediglich ein Regularizer ist, sondern eine Form von primaler Averaging. Dieser theoretisch fundierte $1/k$ -Decay eliminiert die Notwendigkeit, einen separaten Weight-Decay-Hyperparameter zu tunen.

Hauptbeiträge

Vereinheitlichung durch Optimismus und Dualisierung: SODA bietet eine einzige Vorlage, die Muon, Lion, NAdam und andere als optimistische Instanzen des Dualen Averaging wiederherstellt und ihre strukturellen Beziehungen klärt.
Theoretische Garantien: Der Rahmen leitet Hyperparameter-Wahlmöglichkeiten (insbesondere den $1/k$ -Decay-Schedule) ab, die theoretisch fundiert sind in der Konvergenzanalyse für $L$ -glatte konvexe Funktionen. Er stellt Weight Decay als Mechanismus für primale Averaging neu dar.
Parameterfreier Wrapper: Der vorgeschlagene SODA-Wrapper beseitigt die Notwendigkeit, Weight Decay für jeden Basis-Optimierer zu tunen, während die Leistung beibehalten oder verbessert wird.
Empirische Validierung: Umfangreiche Experimente zeigen konsistente Verbesserungen über verschiedene Modellgrößen und Trainingshorizonte hinweg.

Experimentelle Ergebnisse

Experimente wurden auf nanoGPT mit dem FineWeb100-Datensatz durchgeführt und verglichen SODA-umhüllte Optimierer gegen getunte Baselines.

Transfer über den Horizont: Der optimale Weight Decay für Muon erwies sich als abnehmend mit steigendem Trainingshorizont, was statischen Skalierungsregeln (wie $1/d$ ) widerspricht. Der dynamische $1/(k+2)$ -Decay des SODA-Wrappers übertraf Muon konsistent, selbst wenn Muon seinen bestgetunten Weight Decay erhielt (Abbildung 1).
Allgemeine Anwendbarkeit: Der Wrapper verbesserte die Leistung für Adam, Muon und Scion über verschiedene Trainingshorizonte hinweg (1 $\times$ und 4 $\times$ Chinchilla-Schritte) ohne jegliches zusätzliches Tuning (Abbildung 2).
Skalierung: Beim Skalieren der Modellgröße von 64M auf 1B Parameter (folgend der Chinchilla-Skalierung) übertraf SODA (insbesondere die optimistische Variante SODA $^\dagger$ ) die Basis-Optimierer (Scion/uScion) konsistent, wobei die Leistungslücke mit zunehmender Modellgröße wuchs (Abbildung 4).
Vereinfachung: Die SODA $^\dagger$ -Konfiguration vereinfachte die Muon-Baseline, indem sie Adam durch Lion für alle Schichten ersetzte und einen einzigen Momentum-Hyperparameter verwendete, erreichte jedoch dennoch wettbewerbsfähige oder überlegene Leistung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SODA einen prinzipiellen Mechanismus bietet, um Optimierungsstrategien über verschiedene Trainingshorizonte und Maßstäbe hinweg zu übertragen, ohne Hyperparameter-Tuning zu benötigen.

Neuinterpretation von Weight Decay: Die Autoren postulieren einen Perspektivwechsel: Weight Decay sollte nicht nur als Regularizer gegen Overfitting verstanden werden, sondern als eine Form von primaler Averaging, die die Optimierungstrajektorie an der Initialisierung verankert.
Praktische Auswirkungen: Durch die Vereinheitlichung moderner Optimierer unter dem SODA-Rahmen bieten die Autoren einen „Plug-and-Play"-Wrapper, der den mühsamen und kostspieligen Prozess des Tunings von Weight Decay eliminiert, was besonders kritisch ist, da Modellgrößen manuelles Tuning prohibitiv teuer machen.
Bescheidenheit: Die Autoren räumen Einschränkungen ein und stellen fest, dass ihre theoretische Analyse derzeit auf den konvexen Fall beschränkt ist (obwohl sie empirisch informativ für Deep Learning ist) und sich auf Training mit einer einzigen Epoche konzentriert. Sie schlagen vor, dass Training über mehrere Epochen möglicherweise dennoch einen Hyperparameter für die Regularisierungsstärke aufgrund von Overfitting-Bedenken erfordern könnte.

Zusammenfassend vereint SODA den Designraum moderner Optimierer durch die Linse des optimistischen dualen Averaging und bietet eine theoretisch fundierte, parameterfreie Methode zur Verbesserung der Trainingsstabilität und -leistung über verschiedene Maßstäbe hinweg.