Combining Adam and its Inverse Counterpart to Enhance Generalization of Deep Learning Optimizers

Dit paper introduceert DualAdam, een nieuwe optimizer die het snelle convergentiegedrag van Adam combineert met het inverse updatemechanisme van InvAdam om scherpe minima te vermijden en zo de generalisatieprestaties van diepe neurale netwerken aanzienlijk te verbeteren.

De kern

Stel je voor dat je een berg beklimt om de laagste punt (de "vallei") te vinden. In de wereld van kunstmatige intelligentie (AI) is deze berg de foutenkaart van een computermodel. Hoe lager je in de vallei komt, hoe beter het model presteert.

Maar er is een probleem: niet alle valleien zijn hetzelfde.

1. De scherpe put (Sharp Minima): Dit is een diepe, maar heel smalle put. Als je hierin valt, lijkt het alsof je op de bodem bent. Maar als je ook maar een klein beetje opzij stapt (bijvoorbeeld door een nieuwe, onbekende situatie), val je direct weer omhoog. Dit is slecht voor een AI: het leert de trainingssituaties uit het hoofd, maar faalt in de echte wereld.
2. De brede vlakte (Flat Minima): Dit is een grote, vlakke bodem. Als je hier staat en je stapt een klein beetje opzij, blijf je nog steeds op dezelfde hoogte. Dit is ideaal! Een AI die hier terechtkomt, is robuust en werkt goed met nieuwe data.

Het oude probleem: Adam

De meest populaire klimmethode heet Adam. Adam is een razendsnelle klimmer. Hij vindt de bodem van de berg heel snel. Maar hij heeft een gebrek: hij houdt ervan om in die smalle, scherpe putten te vallen. Hij denkt: "Ik ben op de laagste plek!" terwijl hij eigenlijk op een instabiele plek zit. Hierdoor presteert hij goed tijdens het leren, maar slecht in de praktijk.

De nieuwe uitvinding: InvAdam

De auteurs van dit paper hebben een nieuwe klimmethode bedacht: InvAdam.

• Hoe werkt het? Stel je voor dat Adam een fiets is die remt als de weg steil wordt. InvAdam doet het tegenovergestelde: hij trapt harder als de weg steil is.
• Het effect: Door harder te trappen op steile plekken, wordt hij uit de scherpe putten "gekaatst". Hij kan niet in die smalle gaten blijven hangen. Hij zoekt automatisch naar de brede, vlakke valleien.
• Het nadeel: Omdat hij zo hard trapt, kan hij soms te ver schieten en niet goed tot rust komen. Hij vindt de brede vallei wel, maar hij komt er niet altijd stabiel in.

De oplossing: DualAdam (De perfecte combinatie)

Om het beste van twee werelden te krijgen, hebben de onderzoekers DualAdam bedacht. Dit is als een slimme klimmer die twee verschillende stijlen combineert:

1. De eerste helft van de reis: Hij gebruikt de InvAdam-stijl. Hij trapt hard en springt rond om de scherpe putten te vermijden en een brede, veilige vallei te vinden. Hij "verkent" de berg.
2. De tweede helft van de reis: Zodra hij in de buurt van een brede vallei is, schakelt hij over naar de Adam-stijl. Hij gaat nu voorzichtig en gestadig lopen om precies op de laagste, meest stabiele plek te landen. Hij "convergeert" naar het doel.

Deze overstap gebeurt niet plotseling, maar geleidelijk (zoals een dimmerknop die langzaam van fel naar zacht gaat).

Waarom is dit belangrijk?

Dit klinkt misschien als een klein detail, maar het heeft enorme gevolgen:

• Beter leren: De AI wordt niet alleen slim op de oefenexamens, maar ook op de echte examens.
• Sneller en veiliger: Het model convergeert (komt tot een oplossing) net zo snel als de oude methoden, maar eindigt op een veel betere plek.
• Toepasbaar overal: De onderzoekers hebben getoond dat dit werkt voor het herkennen van foto's (zoals katten vs. honden) én voor het schrijven van teksten door grote taalmodellen (zoals chatbots).

Kort samengevat:
Stel je voor dat je een schat zoekt. De oude methode (Adam) rent zo snel mogelijk naar de eerste gat en graaft daar. Vaak is het daar niet de echte schat, maar een valkuil. De nieuwe methode (DualAdam) rent eerst wild rond om alle valkuilen te vermijden en een groot, veilig veld te vinden, en loopt dan rustig naar het middelpunt om de schat te vinden. Het resultaat? Een AI die niet alleen snel leert, maar ook echt slim is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Combining Adam and its Inverse Counterpart to Enhance Generalization of Deep Learning Optimizers" in het Nederlands.

Probleemstelling

In het trainen van neurale netwerken is de Adaptive Moment Estimation (Adam)-optimizer zeer populair vanwege zijn snelle convergentie. Een bekend nadeel van Adam is echter zijn suboptimale generalisatieprestaties. Theoretisch en empirisch is vastgesteld dat een sterke correlatie bestaat tussen de generalisatie van een model en de "vlakheid" van het minimum in de verlieslandschap (loss landscape) waarin het convergeert.

• Scherpe minima (Sharp Minima): Adam neigt vaak naar deze gebieden. Hier leiden kleine verstoringen in de parameters tot grote veranderingen in de verliezen, wat resulteert in overfitting en slechte generalisatie op onzichtbare data.
• De oorzaak: De adaptieve leermechanisme van Adam verkleint de stapgrootte wanneer de elementen in het tweede-orde moment (variatie van de gradiënt) groot zijn. In de buurt van scherpe minima zijn deze momenten vaak groot, waardoor Adam kleine stappen maakt en "vastloopt" in deze scherpe gebieden in plaats van eruit te komen.

Methodologie

De auteurs introduceren een nieuwe aanpak die bestaat uit twee componenten: InvAdam en DualAdam.

1. InvAdam (Inverse Adam)

Om het probleem van het vastlopen in scherpe minima op te lossen, stellen de auteurs een variant voor genaamd InvAdam.

• Kernidee: Het update-mechanisme is het omgekeerde van Adam. Waar Adam het eerste-orde moment (gemiddelde) deelt door het wortel van het tweede-orde moment, vermenigvuldigt InvAdam deze twee elementsgewijs.
• Effect: Wanneer de elementen in het tweede-orde moment groot zijn (wat kenmerkend is voor scherpe minima), vergroot InvAdam de stapgrootte in plaats van deze te verkleinen. Dit helpt de optimizer om uit scherpe minima te ontsnappen en naar bredere, vlakke minima te bewegen.
• Nadeel: Hoewel InvAdam goed is in het verkennen van vlakke gebieden, kan het door de vergrote stapgroottes moeilijk convergeren naar een stabiel punt.

2. DualAdam

Om zowel de generalisatie van InvAdam als de convergentie van Adam te benutten, wordt DualAdam voorgesteld.

• Dynamische Schakeling: DualAdam combineert de update-mechanismen van beide optimalizers via een lineaire schakelstrategie.
  • Vroege training: Het begint met het gebruik van InvAdam om het verlieslandschap grondig te verkennen en vlakke minima te vinden.
  • Late training: Het schakelt lineair over naar het mechanisme van Adam om de convergentie te garanderen en het model te stabiliseren.
• Schakelrate ($\xi$): Een parameter die bepaalt hoe snel de overgang van InvAdam naar Adam plaatsvindt. De proportie van InvAdam ($\alpha$) neemt lineair af naarmate het aantal iteraties toeneemt.

Theoretische Onderbouwing

De auteurs gebruiken diffusietheorie om wiskundig aan te tonen dat InvAdam beter is in het ontsnappen aan scherpe minima.

• Ze analyseren de gemiddelde ontvluchttijd (mean escape time) uit een potentiaalput (het minimum).
• De analyse toont aan dat de ontvluchttijd voor InvAdam sneller afneemt naarmate de scherpte van het minimum (eigenwaarde van de Hessiaanse matrix) toeneemt, vergeleken met Adam. Dit bevestigt dat InvAdam een grotere kans heeft om uit scherpe minima te ontsnappen.

Belangrijkste Bijdragen

1. InvAdam: Een nieuwe optimizer die door het omkeren van de verhouding tussen momenten de stapgrootte vergroot in gebieden met hoge variatie, waardoor het vermogen om scherpe minima te ontvluchten wordt verbeterd.
2. Theoretisch Bewijs: Een wiskundige analyse gebaseerd op diffusietheorie die aantoont dat InvAdam een superieure ontvluchtsnelheid heeft ten opzichte van Adam.
3. DualAdam: Een hybride optimizer die de sterke punten van beide methoden combineert via een lineaire schakelmechanisme, waardoor zowel convergentie als generalisatie worden geoptimaliseerd zonder de stabiliteit te verliezen.
4. Efficiëntie: De extra rekenkosten zijn verwaarloosbaar (ongeveer 4p FLOPs per parameter per iteratie extra ten opzichte van Adam), wat vooral relevant is omdat de extra berekening voornamelijk in de vroege fase plaatsvindt.

Resultaten

De auteurs hebben DualAdam uitgebreid getest op diverse taken en datasets:

• Numerieke Simulaties: Op 2-parameter verlieslandschappen toont InvAdam duidelijk het vermogen om scherpe minima te vermijden en vlakke minima te bereiken, terwijl Adam erin vastloopt.
• Beeldclassificatie:
  • CIFAR-10/100: DualAdam overtreft Adam en state-of-the-art varianten (zoals AdamW, RAdam, NAdam, Adan, MIAdam) in testnauwkeurigheid, met vergelijkbare trainingtijden.
  • Tiny ImageNet & ImageNet-1k: Op grotere datasets behoudt DualAdam zijn superioriteit in generalisatie.
• Large Language Models (LLM): Bij het fine-tunen van het OpenPangu-Embedded-1B model (1 miljard parameters) op de Alpaca-GPT4-CN dataset:
  • Hoewel AdamW een lagere training loss heeft, vertoont het overfitting (de validatie-perplexiteit stijgt).
  • DualAdam behoudt een lage en stabiele validatie-perplexiteit en een minimale generalisatiekloof, wat aantoont dat het beter generaliseert.
• Hessiaanse Analyse: De eigenwaarden van de Hessiaanse matrix voor modellen getraind met DualAdam zijn dichter bij nul geconcentreerd met een kleinere trace dan die van Adam, wat bevestigt dat DualAdam in een vlakker gebied van het verlieslandschap convergeert.

Significantie

Dit werk biedt een fundamentele verbetering in het ontwerp van optimalizers voor diep leren. Het lost het klassieke compromis op tussen snelle convergentie (Adam) en goede generalisatie (vaak geassocieerd met SGD of complexe methoden) door een dynamische, lineaire schakelstrategie te introduceren.

• Het is de eerste studie die een lineaire schakelmechanisme tussen twee fundamenteel verschillende update-regels (vermenigvuldiging vs. deling van momenten) voorstelt.
• De methode is breed toepasbaar, werkt efficiënt op grote schaal (van CNN's tot LLM's) en vereist geen complexe hyperparameter-tuning buiten de schakelrate.
• Het biedt een nieuwe theoretische invalshoek via diffusietheorie om het gedrag van optimalizers in verlieslandschappen te analyseren.

Kortom, DualAdam biedt een robuuste, theoretisch onderbouwde en empirisch bewezen oplossing om de generalisatie van deep learning-modellen te verbeteren zonder in te leveren op trainingsstabiliteit.