HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization

Deze paper introduceert HomeAdam en HomeAdamW, nieuwe algoritmen die door het af en toe terugkeren naar momentum-SGD de generalisatie- en convergentieprestaties van Adam en AdamW theoretisch en empirisch verbeteren.

De kern

Stel je voor dat je een enorme, complexe puzzel probeert op te lossen. Dit is wat een computer doet wanneer hij een kunstmatige intelligentie (zoals een chatbot of een beeldherkenningsprogramma) leert. De computer moet duizenden of miljoenen kleine stukjes informatie (data) bekijken om de beste oplossing te vinden.

Om deze puzzel op te lossen, gebruikt de computer een "leermeester" die de stappen bepaalt. Twee van de populairste leermeesters in de wereld van AI zijn Adam en AdamW.

Het Probleem: De snelle, maar slordige renner

Stel je voor dat Adam een zeer snelle renner is. Hij heeft een slimme strategie: hij past zijn snelheid continu aan op basis van hoe moeilijk het terrein is. Als het pad glad is, gaat hij hard; als het hobbelig is, vertraagt hij.

• Voordeel: Hij komt razendsnel in de buurt van de oplossing (hij convergeert snel).
• Nadeel: Omdat hij zo snel en wispelturig is, botst hij vaak tegen de muren. Hij vindt een oplossing die er goed uitziet op de training, maar faalt als hij de echte wereld in gaat. In de vaktaal noemen we dit een slechte "generalisatie". Hij heeft de training "uitgeleerd", maar begrijpt het concept niet echt.

De paper van Huang en collega's zegt: "Adam is te snel en te onzeker. Hij moet soms zijn snelheid minderen om echt te leren."

De Oplossing: HomeAdam (Thuis komen)

De auteurs van dit paper hebben een nieuwe methode bedacht die ze HomeAdam (en HomeAdamW) noemen. De naam is een knipoog naar hun idee: soms moet je "thuis komen".

De Analogie van de Wandeltocht:
Stel je voor dat je een wandeling maakt door een berggebied om het laagste punt (de beste oplossing) te vinden.

1. Adam rent als een gek. Hij gebruikt een kompas dat soms uitvalt (dat is de "wortel" in de wiskunde die ze verwijderen). Als hij over een steen struikelt, wordt zijn kompas gek, en hij springt wild door het landschap. Hij komt snel ergens, maar vaak op de verkeerde plek.
2. SGD (de oude methode) is een wandelaar die heel voorzichtig en stap voor stap gaat. Hij is langzaam, maar hij komt altijd op de juiste plek aan.
3. HomeAdam is een slimme wandelaar die een hybride strategie hanteert:
   • Als het terrein duidelijk en veilig is (de wiskundige waarden zijn groot), rent hij snel als Adam.
   • Maar! Zodra het terrein onzeker wordt of hij een steen ziet (de waarden worden heel klein), zegt hij: "Oké, dit is gevaarlijk. Ik ga mijn snelheid terug naar normaal." Hij doet alsof hij even "thuis" is en gebruikt de veilige, langzame stap van de oude wandelaar (SGD).

Dit "terugkeren naar huis" gebeurt niet één keer aan het einde, maar elke keer dat de situatie het vereist. Het is alsof je tijdens het rennen af en toe even je adem haalt en rustig wandelt om niet de weg kwijt te raken.

Wat is er nieuw en waarom is het belangrijk?

De auteurs hebben twee dingen gedaan:

1. Ze hebben de "wortel" verwijderd: In de wiskunde van Adam wordt vaak een vierkantswortel gebruikt. De auteurs zeggen: "Die wortel maakt het onnodig complex en onstabiel." Ze hebben een versie gemaakt zonder wortel (Adam-srf), die al iets beter werkt.
2. Ze hebben de "Thuis-methode" bedacht: Ze hebben bewezen dat door af en toe terug te vallen op de veilige, langzame methode (SGD), de AI beter wordt in het algemeen.

De Wiskundige Belofte (in simpele taal):
In de paper bewijzen ze met formules dat:

• De oude Adam een foutmarge heeft die groeit naarmate je meer data hebt (ongeveer $1/\sqrt{N}$).
• Hun nieuwe HomeAdam een foutmarge heeft die veel kleiner is (ongeveer $1/N$).
• Dit betekent: hoe meer data je hebt, hoe veel beter HomeAdam presteert dan de oude Adam. Het is alsof Adam een slechte student is die bij veel oefening toch fouten blijft maken, terwijl HomeAdam een slimme student is die bij veel oefening perfect wordt.

De Resultaten

Ze hebben dit getest op echte taken:

• Beelden herkennen: Het herkennen van katten en honden op foto's (CIFAR-10 en Tiny-ImageNet).
• Taal begrijpen: Het voorspellen van het volgende woord in een zin (WikiText).

In al deze tests bleek dat HomeAdam niet alleen net zo snel leerde als Adam, maar dat de eindresultaten (de testprijzen) hoger waren. De AI werd slimmer en betrouwbaarder.

Samenvatting

Kortom: Adam is een snelle, maar onbetrouwbare renner. HomeAdam is diezelfde renner, maar dan met een slimme coach die zegt: "Soms moet je stoppen met rennen, ademhalen en gewoon rustig wandelen." Door dit af en toe te doen, voorkom je dat je de weg kwijtraakt, en kom je uiteindelijk op de beste plek aan.

De auteurs hebben bewezen dat deze "slimme mix" wiskundig superieur is en in de praktijk beter werkt. Ze hebben de weg vrijgemaakt voor AI-modellen die niet alleen snel leren, maar ook echt begrijpen wat ze doen.

Technische samenvatting

Probleemstelling

Adam en AdamW zijn de standaard optimalisatie-algoritmen voor het trainen van diepe leermodellen. Hoewel deze adaptieve methoden over het algemeen sneller convergeren dan Stochastic Gradient Descent (SGD), presteren ze vaak slechter op het gebied van generalisatie (de prestatie op onzichtbare data).

• Theoretische achterstand: De bewezen generalisatiefout van Adam en AdamW is $O(1/\sqrt{N})$, terwijl die van SGD en momentum-based SGD (SGDM) $O(1/N)$ is (waarbij $N$ het aantal trainingsvoorbeelden is).
• Oorzaak: De adaptieve leerfactor in Adam wordt te groot wanneer de tweede-orde momentum (de schatting van de variantie van de gradiënten) zeer klein is. Dit leidt tot instabiliteit en een slechtere generalisatie. Bestaande varianten die de generalisatie empirisch verbeteren, missen vaak een theoretische onderbouwing die aantoont dat ze de $O(1/N)$ grens van SGD kunnen bereiken.

Methodologie

De auteurs introduceren twee nieuwe klassen van algoritmen gebaseerd op algoritmische stabiliteit (algorithmic stability) als maatstaf voor generalisatie.

1. Adam(W)-srf (Square-Root-Free):

   • De auteurs verwijderen de wortelbewerking ($\sqrt{\hat{v}_t}$) uit de aanpassing van de leerfactor, zoals gebruikelijk is in standaard Adam.
   • In plaats van $\frac{1}{\sqrt{\hat{v}_t}}$ gebruiken ze $\frac{1}{\hat{v}_t}$.
   • Resultaat: Dit leidt tot een generalisatiefout van $O(\hat{\rho}^{-2T}/N)$, waarbij $\hat{\rho}$ het kleinste element van de tweede-orde momentum is. Omdat $\hat{\rho}$ vaak zeer klein is, is deze fout nog steeds groter dan die van SGD.

2. HomeAdam(W):

   • Dit is de kerninnovatie. Het algoritme combineert de adaptieve methode met momentum-based SGD (SGDM).
   • Het "Thuis"-concept: Het algoritme gebruikt de adaptieve update (zonder wortel) alleen wanneer de tweede-orde momentum $\hat{v}_t$ boven een bepaalde drempel $\tau$ ligt.
   • De Switch: Als $\min(\hat{v}_t) < \tau$ (d.w.z. wanneer de adaptieve factor te groot zou worden), "gaat het algoritme naar huis" en schakelt het over naar een standaard SGD-update met momentum (waarbij de leerfactor constant blijft en niet door $\hat{v}_t$ wordt vermenigvuldigd).
   • Dit voorkomt dat de leerfactor explodeert bij kleine momentum-waarden, wat de stabiliteit en generalisatie verbetert.

Belangrijkste Bijdragen

1. Theoretische Analyse van Square-Root-Free Varianten:

   • De auteurs bewijzen dat Adam-srf en AdamW-srf een generalisatiefout hebben van $O(\hat{\rho}^{-2T}/N)$. Hoewel dit een stap vooruit is, blijft het afhankelijk van de kleine parameter $\hat{\rho}$.

2. Introductie van HomeAdam(W) met Bewezen Generalisatie:

   • Ze bewijzen dat HomeAdam en HomeAdamW een generalisatiefout van $O(1/N)$ hebben.
   • Dit is een theoretisch doorbraak: het is de eerste keer dat wordt aangetoond dat een adaptieve gradiëntmethode dezelfde generalisatiegarantie heeft als SGD en SGDM voor niet-convexe optimalisatie.
   • De fout is strikt kleiner dan de bestaande $O(1/\sqrt{N})$ van standaard Adam/AdamW en de $O(\hat{\rho}^{-2T}/N)$ van de srf-versies.

3. Convergentie-analyse:

   • Ze bewijzen dat HomeAdam(W) een convergentiesnelheid heeft van $O(1/T^{1/4})$ voor niet-convexe optimalisatie.
   • Dit is sneller dan de $O(\check{\rho}^{-1}/T^{1/4})$ van de Adam(W)-srf varianten (waarbij $\check{\rho}$ ook zeer klein is) en gelijk aan de beste bekende resultaten voor Adam/AdamW.

4. Element-wise Variant:

   • Er wordt een element-wise variant (HomeAdam-ew) voorgesteld die beter aansluit bij de backpropagation-framework van diepe neurale netwerken, met dezelfde theoretische garanties.

Resultaten

De auteurs hebben uitgebreide numerieke experimenten uitgevoerd op Computer Vision (CV) en Natural Language Processing (NLP) taken:

• Datasets: CIFAR-10, Tiny-ImageNet (VGG16, ResNet34) en WikiText-2, WikiText-103 (Transformers).
• Vergelijking: De methoden werden vergeleken met SGD, SGDM, Adam, AdamW, SWATS, AdaBelief en MIAdam.
• Prestaties:
  • HomeAdam(W) behaalde consistent een hogere testnauwkeurigheid (bij CV) en een lagere test perplexiteit (bij NLP) dan alle andere methoden, inclusief de standaard AdamW.
  • De resultaten bevestigen dat het "terugkeren naar huis" (schakelen naar SGDM) de generalisatie aanzienlijk verbetert zonder de convergentiesnelheid te offeren.
  • HomeAdamW (met weight decay) presteerde over het algemeen beter dan HomeAdam, wat overeenkomt met de theoretische voorspelling dat weight decay de generalisatie verder verbetert.

Betekenis en Impact

Dit paper is significant omdat het een langdurig theoretisch gat in de optimalisatie van diepe leermodellen dicht:

• Het weerlegt de aanname dat adaptieve methoden per definitie slechter generaliseren dan SGD.
• Het biedt een wiskundig bewijs dat adaptieve methoden de $O(1/N)$ generalisatiegrens kunnen bereiken, mits ze slim worden ontworpen om extreme leerfactoren te voorkomen.
• De voorgestelde HomeAdam(W) algoritmen bieden een praktische en theoretisch onderbouwde oplossing voor het trainen van moderne modellen (zoals Transformers), waarbij de snelheid van Adam wordt gecombineerd met de generalisatiekracht van SGD.

Kortom, de auteurs tonen aan dat adaptieve optimalisatie "naar huis kan gaan" (terug naar SGD) op kritieke momenten om de beste van beide werelden te bereiken: snelle convergentie en superieure generalisatie.