An Improved Adaptive PID Optimizer with Enhanced Convergence and Stability for Deep Learning

Technische Samenvatting: Een Verbeterde Adaptieve PID-Optimizer met Verbeterde Convergentie en Stabiliteit voor Deep Learning

Probleemstelling
Training van deep learning is sterk afhankelijk van optimalisatiealgoritmen, die voornamelijk zijn gebaseerd op momentum-gebaseerde Stochastic Gradient Descent (SGD). Hoewel momentum de training versnelt, lijdt het onder twee fundamentele nadelen: (1) ruwe en variërende gradiënten over parameters heen, waar een enkele globale leersnelheid niet effectief mee kan omgaan, en (2) een "overshoot"-fenomeen waarbij opgebouwd momentum ervoor zorgt dat parameters rond het optimum oscilleren.

Om deze problemen aan te pakken, werden adaptieve PID-optimizers (AdaPID) voorgesteld, die het adaptieve leersnelheidsmechanisme van Adam combineren met een op controltheorie gebaseerde Proportioneel-Integraal-Derivatie (PID)-structuur om oscillaties te verminderen. De auteurs identificeren echter dat AdaPID twee kritieke beperkingen erfde van zijn Adam-fundering:

1. Convergentieproblemen: Net als Adam kan AdaPID geen convergentie garanderen vanwege de aard van zijn exponentiële voortschrijdend gemiddelde van gekwadrateerde gradiënten.
2. Stabiliteitsproblemen: AdaPID kan tijdens training nog steeds instabiliteit vertonen, wat leidt tot fluctuerende prestaties.

Methodologie
Het artikel stelt een nieuwe optimizer voor, IAdaPID-ADG (Improved AdaPID AMSDiffGrad), die specifieke verbeteringen uit twee bestaande Adam-uitbreidingen—AMSGrad en DiffGrad—integreert in het AdaPID-kader.

1. Aanpak van Convergentie (AMSGrad-integratie):
   Om een niet-toenemende effectieve leersnelheid te waarborgen en convergentie te garanderen, integreren de auteurs de kernidee van AMSGrad. In plaats van het standaard exponentiële voortschrijdend gemiddelde van gekwadrateerde gradiënten ($v_t$) en gekwadrateerde gradiëntverschillen ($d_t$) te gebruiken, onderhoudt de optimizer een lopend maximum van deze waarden ($v^{\max}_t$ en $d^{\max}_t$). Deze maximumwaarden worden gebruikt in de noemer van de updateregel, waardoor wordt voorkomen dat de effectieve leersnelheid onverwacht toeneemt.

2. Aanpak van Stabiliteit (DiffGrad-integratie):
   Om instabiliteit en oscillaties te verminderen, incorporeren de auteurs een moduleringsfactor die is geïnspireerd op DiffGrad. Deze factor, $\mu_t$, wordt berekend op basis van het absolute verschil tussen de huidige en de vorige gradiënten ($\Delta g_t$) met behulp van een sigmoidfunctie: $\mu_t = \frac{1}{1 + e^{-|\Delta g_t|}}$. Deze factor schaalt de leersnelheid dynamisch; wanneer het gradiëntverschil groot is, past de moduleringsfactor de stapgrootte aan om de update te stabiliseren.

3. De Gecombineerde Updateregel:
   De uiteindelijke IAdaPID-ADG-updateregel combineert de PID-integraal ($I_t$) en -differentiaal ($D_t$) termen met de adaptieve schaling van AMSGrad (met gebruik van $v^{\max}$ en $d^{\max}$) en de stabiliteitsmodulatie van DiffGrad ($\mu_t$). De gewichtsupdate wordt gedefinieerd als:
   $$w_t = w_{t-1} - \eta \mu_t \left( \frac{K_i I_t}{\sqrt{\hat{v}^{\max}_t} + \sigma} + \frac{K_d D_t}{\sqrt{\hat{d}^{\max}_t} + \sigma} \right)$$
   waarbij $\eta$ de leersnelheid is, $K_i$ en $K_d$ versterkingscoëfficiënten zijn, en $\sigma$ een stabiliteitsconstante is.

Belangrijkste Bijdragen

• Nieuw Optimizerontwerp: De introductie van IAdaPID-ADG, dat uniek de convergentiegaranties van AMSGrad en de stabiliteitsmechanismen van DiffGrad samenvoegt in de PID-besturingsstructuur.
• Uitgebreide Evaluatie: Uitgebreide tests op vier datasets:
  • Benchmarks: MNIST (handgeschreven cijfers) en CIFAR-10 (kleurenafbeeldingen).
  • Real-world medische datasets: IARC en AnnoCerv (classificatie van afbeeldingen van baarmoederhalskanker).
• Ablatiestudie: Een systematische analyse op het MNIST-dataset die aantoont dat zowel het AMSGrad-component (convergentie) als het DiffGrad-component (stabiliteit) positief bijdragen aan de uiteindelijke prestaties wanneer ze worden toegevoegd aan de basis AdaPID.

Experimentele Resultaten
De voorgestelde optimizer werd geëvalueerd tegen AMSGrad, DiffGrad en standaard AdaPID met behulp van trainingsverlies, trainingsnauwkeurigheid en testnauwkeurigheid.

• Benchmarks:
  • MNIST: IAdaPID-ADG behaalde een trainingsverlies van $2 \times 10^{-5}$ (aanzienlijk lager dan de $4 \times 10^{-3}$ van concurrenten), met 100% trainingsnauwkeurigheid en 98,68% testnauwkeurigheid.
  • CIFAR-10: De optimizer bereikte een trainingsverlies van $3 \times 10^{-6}$ en 80,09% testnauwkeurigheid, en presteerde beter dan alle baselines.
• Medische Datasets (IARC & AnnoCerv):
  • Getest op ResNet50-, ResNet101- en ResNet152-architecturen.
  • Op IARC behaalde IAdaPID-ADG trainingsverliezen rond $4 \times 10^{-5}$ tot $7 \times 10^{-4}$, vergeleken met DiffGrad's $2 \times 10^{-2}$ tot $5 \times 10^{-2}$. De testnauwkeurigheid bereikte tot 97,35%.
  • Op AnnoCerv behaalde de optimizer testnauwkeurigheden tussen 94,96% en 95,39%, met trainingsverliezen die meerdere ordes van grootte lager waren dan die van DiffGrad.
• Algemene Observaties: Over alle datasets heen vertoonde IAdaPID-ADG trainingsverliezen die 2–3 ordes van grootte lager waren dan die van concurrerende optimizers. De leercurves toonden snellere convergentie en aanzienlijk verminderde oscillatie in vergelijking met baselines.

Betekenis en Beweringen
Het artikel beweert dat IAdaPID-ADg bestaande optimizers aanzienlijk overtreft door gelijktijdig de convergentie- en stabiliteitsproblemen op te lossen die inherent zijn aan adaptieve PID-methoden. De auteurs stellen dat de integratie van een niet-toenemende effectieve leersnelheid en een op gradiëntverschil gebaseerde moduleringsfactor resulteert in een optimizer die niet alleen nauwkeuriger is, maar ook stabieler tijdens het trainingsproces.

De studie concludeert dat de voorgestelde methode verbeterde generalisatie en optimalisatie-efficiëntie biedt voor zowel standaard benchmarks als complexe real-world medische beeldvormingstaken. Als toekomstig werk suggereren de auteurs het toepassen van de optimizer op complexe informatiesystemen zoals aanbevelingssystemen en verdere analyse van de convergentie-eigenschappen via iteratieve numerieke methoden zoals Krylov-onderruimtebenaderingen.