Technische Samenvatting: Voorbij een enkelvoudige verklaring van de Adam–SGD kloof

Probleemstelling

Al meer dan een decennium is het prestatieverschil tussen de adaptieve optimizer Adam en Stochastic Gradient Descent (SGD) een centrale vraag in deep learning, met name in de context van Transformer-gebaseerde Large Language Models (LLM's). Hoewel Adam de de facto standaard is voor moderne fundamentele modellen, biedt de bestaande literatuur gefragmenteerde verklaringen voor deze "Adam–SGD kloof". Deze verklaringen worden doorgaans geïsoleerd bestudeerd en schrijven de kloof toe aan specifieke factoren:

1. Data-eigenschappen: Heavy-tailed vocabulaireverdelingen (Zipfiaans) in tekstdata die anisotrope optimalisatie-landschappen creëren.
2. Architectuur: Component-heterogeniteit in Transformers (bijv. softmax-attention, embedding, normalisatie-lagen).
3. Optimalisatiedynamiek: Batch size-effecten en gradiëntruis-karakteristieken (bijv. heavy-tailed ruis).

Het kernprobleem dat door dit werk wordt aangepakt, is het gebrek aan een verenigd begrip van hoe deze factoren met elkaar interageren. Het blijft onduidelijk of een enkele factor de kloof universeel drijft, of dat het fenomeen voortkomt uit complexe interacties tussen data, architectuur en trainingshyperparameters over verschillende domeinen heen.

Methodologie

De auteurs voeren een gecontroleerde, grootschalige empirische studie uit over vier verschillende domeinen: taal, visie, genomica en graph learning. De studie maakt gebruik van zowel moderne Transformer-architecturen als klassieke niet-Transformer modellen (bijv. ResNet, GCNN, GAT).

Experimenteel Ontwerp:

• Verenigd Tuning Protocol: Om confounders te controleren, voeren de auteurs gezamenlijke sweeps uit op leersnelheden ($\eta$) en momentumparameters ($\beta$) voor beide optimizers. Voor Adam gebruiken ze een gekoppelde parametrisatie ($\beta_1 = \beta_2 = \beta$) om in lijn te zijn met de SignSGD-theorie, terwijl ze ook onafhankelijke tuning testen in ablatie-studies.
• Globale Constraints: Experimenten maken gebruik van globale gradiënt-norm clipping (naar 1) en consistente warmup/cosine-schema's.
• Gap Metriek: De prestatiekloof wordt gedefinieerd als $\Delta^* = L^*_{Adam} - L^*_{SGD}$, waarbij $L^*$ de uiteindelijke trainingsverlies is van de beste hyperparameterconfiguratie. Een negatieve $\Delta^*$ geeft aan dat Adam beter presteert dan SGD.
• Theoretische Modellering: De auteurs complementeren de empirische bevindingen met een theoretisch kloofmodel gebaseerd op niet-Euclidische convergentie-bounds (Kovalev, 2025). Ze vergelijken Normalized SGD (NSGD) met momentum tegenover een SignSGD-proxy voor Adam, waarbij ze analyseren hoe de kloof afhangt van de ratio van smoothness-constanten ($r = L_\infty / L_2$) en batch size ($B$).

Belangrijkste Bijdragen en Resultaten

1. Geen enkele factor verklaart de kloof

De studie weerlegt systematisch de hypothese dat een enkele factor (vocabulaireverdeling, attention-mechanismen of architectuurtype) noodzakelijk of voldoende is om de Adam–SGD kloof te verklaren.

• Vocabulaireverdeling: De kloof blijft bestaan, zelfs op genomics-data (HG38) met een bijna uniforme vocabulaireverdeling ($v=5$) en een kleine vocabulairegrootte, wat de hypothese van heavy-tailed klasse-imbalans tegenspreekt.
• Softmax-Attention: Het vervangen van softmax-attention lagen in GPT door gated convolutions (GCNN) elimineert de kloof niet; Adam presteert nog steeds beter dan SGD, wat suggereert dat attention-mechanismen niet de enige drijfveer zijn.
• Architecturale Heterogeniteit: Hoewel component-heterogeniteit (bijv. embedding versus head-lagen) de kloof beïnvloedt, is het niet deterministisch. Een Vision Transformer (ViT) getraind op ImageNet21K kan een omgekeerde trend vertonen waarbij SGD beter presteert dan Adam, ondanks een vergelijkbare architecturale complexiteit met modellen waar Adam wint.

2. Het Crossover Batch Size Fenomeen

De belangrijkste empirische bevinding is het bestaan van een crossover batch size. Naarmate de batch size ($B$) schaalt, verschuift het relatieve voordeel van SGD naar Adam.

• Interactie tussen Data en Architectuur: Het specifieke punt van de crossover en de helling van de transitie hangen gezamenlijk af van de data-modaliteit en de architectuur. Zo vereist beelddata (I21K) aanzienlijk grotere batch sizes om het voordeel naar Adam te verschuiven vergeleken met taal- of genomics-data, wat consistent is met het historische succes van SGD in visie-taken.
• Architecturale Gevoeligheid: Kleine architecturale veranderingen, zoals het vervangen van ReLU door GeLU of BatchNorm door LayerNorm, kunnen de optimizer-voorkeur op hetzelfde dataset verschuiven van SGD naar Adam.

3. Afhankelijkheid van het Trainingsregime

De kloof gedraagt zich verschillend afhankelijk van het optimalisatieregime:

• Overparametrizaat (Multi-epoch): In settings waar het model een trainingsverlies van bijna nul kan bereiken (bijv. kleine datasets getraind voor veel epochs), krimpt de kloof naarmate de training vordert, en kan SGD uiteindelijk de prestaties van Adam evenaren.
• Underparametrizaat (One-epoch): In moderne LLM-settings (grote datasets, één epoch), blijft de kloof gedurende de hele training bestaan, waarbij Adam een consistent voordeel behoudt ten opzichte van SGD.

4. Theoretisch Kloofmodel

De auteurs stellen een theoretisch model voor dat twee regimes voorspelt op basis van de geometrische smoothness ratio $r = L_\infty / L_2$:

• Regime I ($1 < r < d^{1/3}$): Er vindt een crossover plaats waarbij SGD wordt bevoordeeld bij kleine batch sizes, en Adam wordt bevoordeeld naarmate $B$ toeneemt. Dit komt overeen met de meeste experimentele opstellingen.
• Regime II ($d^{1/3} < r < d$): SGD (NSGD) wordt bevoordeeld over alle batch sizes heen. Dit regime komt overeen met de ResNet op ImageNet21K experimenten waarbij SGD beter presteert dan Adam, zelfs bij grote batch sizes.
  Het model suggereert dat de kloof wordt bepaald door de wisselwerking tussen optimalisatie-geometrie, dataset-eigenschappen en gradiëntruis-variantie.

Betekenis

Het artikel beweert een verenigd perspectief te bieden dat eerder conflicterende hypothesen verenigt. In plaats van de Adam–SGD kloof toe te schrijven aan één enkele oorzaak (bijv. "tekstdata is Zipfiaans" of "Transformers zijn complex"), laten de auteurs zien dat de kloof een emergente eigenschap is van de interactie tussen datadistributie, architecturaal ontwerp en batch size.

De identificatie van de crossover batch size biedt een praktische heuristiek: de keuze tussen Adam en SGD is niet absoluut, maar moet rekening houden met het specifieke batch size-regime en het data-architectuur paar. Het theoretische model valideert verder deze empirische observaties door te voorspellen dat de relatieve prestaties afhankelijk zijn van de smoothness ratio van het loss-landschap en de ruis-karakteristieken van de gradiënt.

Het werk concludeert dat hoewel Adam een consistent praktisch voordeel biedt in moderne, grootschalige, underparametrizaat settings (vooral met grote batch sizes), SGD competitief of superieur blijft in specifieke regimes (bijv. visie-taken met grote batches of overparametrizaat settings), wat het idee van een universele winnende optimizer uitdaagt.