Why Adam Works Better with $\beta_1 = \beta_2$: The Missing Gradient Scale Invariance Principle

Technische Samenvatting: Waarom Adam Beter Werkt met $\beta_1 = \beta_2$

Probleemstelling
Ondanks dat Adam al bijna een decennium de standaardoptimalisator is voor het trainen van neurale netwerken op grote schaal, blijft een aanhoudende empirische observatie onverklaard: trainingsstabiliteit en validatieprestaties verbeteren vaak wanneer de momentumparameters gelijk worden ingesteld ($\beta_1 = \beta_2$). Hoewel recente studies (bijvoorbeeld Orvieto en Gower [2025]) dit fenomeen hebben gedocumenteerd over verschillende architecturen heen, ontbreekt er een rigoureuze theoretische verklaring waarom deze specifieke configuratie beter gedrag oplevert of hoe dit verband houdt met de interne dynamiek van de optimalisator. Bovendien omvat een parallelle trend in modern optimalisatorontwerp (bijvoorbeeld Lion, Muon, Scion) het expliciet afdwingen van schaal-robuste updates, maar blijft de connectie tussen deze nieuwe methoden en het "gebalanceerde" regime van Adam onduidelijk.

Methodologie
De auteurs introduceren een structurele eigenschap, genaamd gradient scale invariance (schaalinvariantie van de gradiënt), om de dynamiek van Adam te analyseren. Ze formaliseren dit concept als volgt: een optimalisator is schaal-invariant voor gradiënten als het herschalen van de huidige gradiënt met een positieve factor $\lambda$ (terwijl de interne toestand constant blijft) de updatevector in wezen onveranderd laat.

Om dit te onderzoeken, passen de auteurs een analyse in de continu-tijdslimiet toe op het Adam-algoritme. Ze modelleren Adam als de tijdsdiscretisatie van een dynamisch systeem dat wordt bestuurd door gewone differentiaalvergelijkingen (ODE's). Door relaxatietijden $\tau_1$ en $\tau_2$ in te voeren die corresponderen met de discrete parameters $\beta_1$ en $\beta_2$ (via $\beta_i = e^{-\Delta t/\tau_i}$), leiden ze een continu-tijdsstroom af voor de eerste en tweede momenten ($m(t)$ en $v(t)$).

De kern van de analyse bestaat uit het ontbinden van de genormaliseerde updatevector $R(t) = m(t)/\sqrt{v(t)}$ in componenten die afhankelijk zijn van de logaritmische schaaldrift van de gradiënt, gedefinieerd als $\delta(t) = \frac{d}{dt} \log |g(t)|$. De auteurs bewijzen dat de update kan worden ontbonden in een schaal-invariante tekencomponent, een expliciete "scale-lag"-term evenredig met $(\tau_2 - \tau_1)\delta(t)$, en hogere-orde resttermen.

Belangrijkste Bijdragen

1. Formalisatie van Gradient Scale Invariance: Het artikel definieert eerste-orde gradient scale invariance, waarbij de expliciete lineaire respons op veranderingen in gradiëntschaal verdwijnt.
2. Theoretische Karakterisering van Adam: De auteurs bewijzen dat Adam eerste-orde gradient scale invariance bereikt dan en slechts dan als $\beta_1 = \beta_2$ (of equivalent $\tau_1 = \tau_2$).
   • Wanneer $\beta_1 \neq \beta_2$, bevat de update een eerste-orde term evenredig met de schaaldrift van de gradiënt, waardoor de update gevoelig wordt voor fluctuaties in de grootte van de gradiënt.
   • Wanneer $\beta_1 = \beta_2$, heft deze eerste-orde term zich exact op, waardoor de gevoeligheid naar de tweede orde wordt verschoven. Bijgevolg gedraagt de update zich meer als een op teken gebaseerde methode, wat inherent schaal-invariant is.
3. Synthetische en Empirische Validatie:
   • Synthetische Experimenten: Gecontroleerde experimenten met herschaalde gradiëntsignalen tonen aan dat wanneer $\beta_1 = \beta_2$, de norm van de updatevector stabiel blijft onder schaalveranderingen, terwijl $\beta_1 \neq \beta_2$ leidt tot aanzienlijke afwijkingen van de eerste orde.
   • Training in de Wereld: Uitgebreide experimenten over visuele taken (EfficientNet, ResNet, ViT) en taalopdrachten (NanoGPT, T5) tonen aan dat de oscillatie van de updatenorm ($\|R_k\|$) wordt geminimaliseerd wanneer $\beta_1 = \beta_2$. De auteurs definiëren een oscillatiemetric $\omega$ om deze stabiliteit te kwantificeren, en vinden dat diagonale configuraties consequent soepelere updatetrajecten opleveren.
   • Statistische Significantie: Een binomiale test over meerdere model-datasetparen bevestigt dat het $\beta_2$ dat de updatestabiliteit minimaliseert, met hoge statistische significantie samenvalt met $\beta_1$.

Resultaten
De experimenten bevestigen dat de theoretische opheffing van de scale-lag-term zich direct vertaalt naar praktische trainingsdynamiek.

• Stabiliteit van de Updatenorm: In alle geteste architecturen (NanoGPT, EfficientNet-B0, ResNet18, ViT-B16, T5) vertoont de updatenorm $\|R_k\|$ aanzienlijk lagere oscillatie wanneer $\beta_1 = \beta_2$ in vergelijking met niet-diagonale instellingen.
• Ontledingsanalyse: Een diagnostische replay op vaste-data-probe-gradiënten onthult dat wanneer $\beta_1 \neq \beta_2$, de expliciete scale-lag-term ongeveer 50% van het absolute budget van de genormaliseerde update voor zijn rekening neemt. Wanneer $\beta_1 = \beta_2$, verdwijnt deze term en wordt de update gedomineerd door de schaal-invariante tekencomponent.
• Robuustheid: De bevindingen gelden over verschillende random seeds, leerplanschema's en architectuurfamilies heen, wat suggereert dat het fenomeen een fundamentele eigenschap is van de structuur van de optimalisator en geen artefact van specifieke hyperparameters.

Betekenis en Claims
Het artikel claimt een samenhangende theoretische verklaring te bieden voor het empirische succes van het gebalanceerde regime ($\beta_1 = \beta_2$) in Adam. Het stelt dat deze configuratie niet slechts een handige heuristiek is, maar een structurele uitlijning die Adam eerste-orde gradient scale invariance verleent.

De auteurs betogen dat deze eigenschap het gebalanceerde Adam-regime in dezelfde conceptuele klasse plaatst als recente state-of-the-art optimalisatoren (zoals Lion en Muon) die expliciet zijn ontworpen voor schaalrobuustheid. Door te identificeren dat deze wenselijke eigenschap latent aanwezig is in de standaardformulering van Adam, overbrugt dit werk de kloof tussen traditionele adaptieve methoden en moderne schaal-invariante ontwerpen.

Het artikel concludeert dat het verminderen van de gevoeligheid voor gradiëntschaal een structureel principe is voor stabiele adaptieve optimalisatie. Hoewel het werk geen nieuwe optimalisator voorstelt, biedt het een leidende principe voor toekomstig optimalisatorontwerp en suggereert het dat het instellen van $\beta_1 = \beta_2$ een principiële keuze is om trainingsstabiliteit te verbeteren, met name in regimes waar de grootte van de gradiënt fluctueert. De auteurs blijven bescheiden en merken op dat hun analyse lokaal en coördinaatgewijs is, en dat de optimale waarde van de gemeenschappelijke $\beta$ langs de diagonaal een open vraag blijft die afhankelijk is van specifieke trainingsdynamiek.