Why Adam Works Better with $\beta_1 = \beta_2$: The Missing Gradient Scale Invariance Principle

Technische Zusammenfassung: Warum Adam mit $\beta_1 = \beta_2$ besser funktioniert

Problemstellung
Obwohl Adam seit fast einem Jahrzehnt der Standard-Optimierer für das Training großer neuronaler Netze ist, bleibt eine anhaltende empirische Beobachtung unerklärt: Die Trainingsstabilität und die Validierungsleistung verbessern sich häufig, wenn die Momentum-Parameter gleich gesetzt werden ($\beta_1 = \beta_2$). Während neuere Studien (z. B. Orvieto und Gower [2025]) dieses Phänomen über verschiedene Architekturen hinweg dokumentiert haben, gibt es keine rigorose theoretische Erklärung dafür, warum diese spezifische Konfiguration ein besseres Verhalten liefert oder wie sie mit der internen Dynamik des Optimierers zusammenhängt. Darüber hinaus umfasst ein paralleler Trend im modernen Optimierer-Design (z. B. Lion, Muon, Scion) die explizite Erzwingung von skalierungsrobusten Updates, doch der Zusammenhang zwischen diesen neuen Methoden und dem „ausgeglichenen" Regime von Adam blieb unklar.

Methodik
Die Autoren führen eine strukturelle Eigenschaft ein, die als Gradienten-Skaleninvarianz bezeichnet wird, um die Dynamik von Adam zu analysieren. Sie formalisieren dieses Konzept wie folgt: Ein Optimierer ist gradienten-skaleninvariant, wenn eine Reskalierung des aktuellen Gradienten um einen positiven Faktor $\lambda$ (unter Beibehaltung des internen Zustands) den Update-Vektor im Wesentlichen unverändert lässt.

Um dies zu untersuchen, wenden die Autoren eine **Kontinuierlichkeitsgrenz-**Analyse des Adam-Algorithmus an. Sie modellieren Adam als Zeitdiskretisierung eines dynamischen Systems, das durch gewöhnliche Differentialgleichungen (ODEs) gesteuert wird. Durch die Einführung von Relaxationszeiten $\tau_1$ und $\tau_2$, die den diskreten Parametern $\beta_1$ und $\beta_2$ entsprechen (via $\beta_i = e^{-\Delta t/\tau_i}$), leiten sie einen kontinuierlichen Fluss für die ersten und zweiten Momente ($m(t)$ und $v(t)$) her.

Der Kern der Analyse besteht darin, den normalisierten Update-Vektor $R(t) = m(t)/\sqrt{v(t)}$ in Komponenten zu zerlegen, die von der logarithmischen Skalendrift des Gradienten abhängen, definiert als $\delta(t) = \frac{d}{dt} \log |g(t)|$. Die Autoren beweisen, dass sich der Update-Vektor in eine skalierungsinvariante Vorzeichenkomponente, einen expliziten „Skalen-Nachlauf"-Term, der proportional zu $(\tau_2 - \tau_1)\delta(t)$ ist, und höhere Restterme zerlegen lässt.

Hauptbeiträge

1. Formalisierung der Gradienten-Skaleninvarianz: Das Papier definiert die Gradienten-Skaleninvarianz erster Ordnung, bei der die explizite lineare Reaktion auf Änderungen der Gradientenskala verschwindet.
2. Theoretische Charakterisierung von Adam: Die Autoren beweisen, dass Adam genau dann eine Gradienten-Skaleninvarianz erster Ordnung erreicht, wenn und nur wenn $\beta_1 = \beta_2$ (oder äquivalent $\tau_1 = \tau_2$).
   • Wenn $\beta_1 \neq \beta_2$, enthält der Update einen Term erster Ordnung, der proportional zur Skalendrift des Gradienten ist, was den Update empfindlich gegenüber Schwankungen der Gradientenstärke macht.
   • Wenn $\beta_1 = \beta_2$, hebt sich dieser Term erster Ordnung exakt auf, wodurch die Empfindlichkeit auf die zweite Ordnung verschoben wird. Folglich verhält sich der Update mehr wie eine vorzeichenbasierte Methode, die inhärent skalierungsinvariant ist.
3. Synthetische und empirische Validierung:
   • Synthetische Experimente: Kontrollierte Experimente mit reskalierten Gradientensignalen zeigen, dass bei $\beta_1 = \beta_2$ die Norm des Update-Vektors unter Skalierungsänderungen stabil bleibt, wohingegen $\beta_1 \neq \beta_2$ zu signifikanten Abweichungen erster Ordnung führt.
   • Training in der realen Welt: Umfassende Experimente über Aufgaben aus den Bereichen Vision (EfficientNet, ResNet, ViT) und Sprache (NanoGPT, T5) zeigen, dass die Oszillation der Update-Norm ($\|R_k\|$) minimiert wird, wenn $\beta_1 = \beta_2$. Die Autoren definieren eine Oszillationsmetrik $\omega$, um diese Stabilität zu quantifizieren, und stellen fest, dass diagonale Konfigurationen konsistent glattere Update-Trajektorien liefern.
   • Statistische Signifikanz: Ein Binomialtest über mehrere Modell-Datensatz-Paare bestätigt, dass das $\beta_2$, das die Update-Stabilität minimiert, mit hoher statistischer Signifikanz mit $\beta_1$ übereinstimmt.

Ergebnisse
Die Experimente bestätigen, dass sich die theoretische Aufhebung des Skalen-Nachlauf-Terms direkt in die praktischen Trainingsdynamiken übersetzt.

• Stabilität der Update-Norm: In allen getesteten Architekturen (NanoGPT, EfficientNet-B0, ResNet18, ViT-B16, T5) weist die Update-Norm $\|R_k\|$ bei $\beta_1 = \beta_2$ eine signifikant geringere Oszillation auf als bei nicht-diagonalen Einstellungen.
• Zerlegungsanalyse: Eine diagnostische Wiedergabe auf fixierten Daten-Probegradienten zeigt, dass bei $\beta_1 \neq \beta_2$ der explizite Skalen-Nachlauf-Term etwa 50 % des absoluten Budgets des normalisierten Updates ausmacht. Wenn $\beta_1 = \beta_2$, verschwindet dieser Term, und der Update wird von der skalierungsinvarianten Vorzeichenkomponente dominiert.
• Robustheit: Die Ergebnisse gelten über verschiedene Zufallssamen, Lernratenpläne und Architekturfamilien hinweg, was darauf hindeutet, dass das Phänomen eine fundamentale Eigenschaft der Struktur des Optimierers und kein Artefakt spezifischer Hyperparameter ist.

Bedeutung und Behauptungen
Das Papier behauptet, eine kohärente theoretische Erklärung für den empirischen Erfolg des ausgeglichenen Regimes ($\beta_1 = \beta_2$) in Adam zu liefern. Es geht davon aus, dass diese Konfiguration nicht nur eine bequeme Heuristik ist, sondern eine strukturelle Ausrichtung, die Adam eine Gradienten-Skaleninvarianz erster Ordnung verleiht.

Die Autoren argumentieren, dass diese Eigenschaft das ausgeglichene Adam-Regime in dieselbe konzeptionelle Klasse wie neuere State-of-the-Art-Optimierer (wie Lion und Muon) stellt, die explizit auf Skalierungsrobustheit ausgelegt sind. Durch die Identifizierung, dass diese wünschenswerte Eigenschaft latent in der Standardformulierung von Adam enthalten ist, schließt die Arbeit die Lücke zwischen traditionellen adaptiven Methoden und modernen skalierungsinvarianten Designs.

Das Papier kommt zu dem Schluss, dass die Reduzierung der Empfindlichkeit gegenüber der Gradientenskala ein strukturelles Prinzip für stabile adaptive Optimierung ist. Obwohl die Arbeit keinen neuen Optimierer vorschlägt, bietet sie einen Leitgrundsatz für das zukünftige Optimierer-Design und legt nahe, dass die Einstellung von $\beta_1 = \beta_2$ eine prinzipielle Wahl zur Verbesserung der Trainingsstabilität ist, insbesondere in Regimen, in denen die Gradientenstärke schwankt. Die Autoren bleiben bescheiden und stellen fest, dass ihre Analyse lokal und koordinatenweise ist und dass der optimale Wert des gemeinsamen $\beta$ entlang der Diagonale eine offene Frage bleibt, die von spezifischen Trainingsdynamiken abhängt.