Technische Samenvatting: Singulierheidsbewuste Optimalisatie via Geïrandomiseerde Geometrische Probing

1. Probleemstelling

De optimalisatietheorie voor deep learning vertrouwt traditioneel op de aanname van Lipschitz-continue gradiënten, wat zorgt voor stabiele daling en convergentie. Echter, moderne neurale architecturen schenden deze aanname systematisch door niet-gladde componenten zoals ReLU-activaties, kwantisatie-operatoren (in Quantization-Aware Training, QAT) en regularisatoren die sparsiteit induceren.

In deze niet-gladde regimes wordt de lokale geometrie niet gekenmerkt door een enkele gradiënt, maar door de Clarke-subdifferentiaal ($\partial_C f(x)$), een convexe verzameling van limietgradiënten. Wanneer de diameter van deze verzameling groot is, lijden momentum-gebaseerde adaptieve optimalisatoren zoals Adam onder gradiënttrillingen (gradient chattering). Dit fenomeen omvat hevige oscillaties veroorzaakt door conflicterende directionele signalen binnen de subdifferentiaal, wat leidt tot slechte convergentie, het niet kunnen stabiliseren in scherpe laag-verliesbekkens en suboptimale generalisatie.

Bestaande oplossingen zijn ontoereikend:

• Proximale methoden vereisen expliciete proximale afbeeldingen, die vaak onberekenbaar zijn voor geneste niet-gladde functies die voorkomen in Gekwantiseerde Neurale Netwerken (QNN's).
• Geïrandomiseerde smoothing-technieken vervangen de oorspronkelijke gradiënt doorgaans door een surrogaat, wat schattingsbias en hoge variantie introduceert die de prestaties bij training met hoge precisie verslechteren.
• Sharpness-Aware Minimization (SAM) vertrouwt op Taylor-ontwikkelingen van de eerste orde die theoretisch ongeldig zijn op niet-differentieerbare punten.

2. Methodologie: Singulierheidsbewuste Adam (S-Adam)

De auteurs stellen S-Adam voor, een nieuwe optimalisator die training stabiliseert door stapgroottes dynamisch te moduleren op basis van lokale geometrische instabiliteit, zonder de objectieve functie zelf te gladstrijken.

2.1 Meting voor Lokale Geometrische Instabiliteit (LGI)

De kerninnovatie is de LGI-meting ($\rho_t$), een computatie-efficiënte schatter van de diameter van de Clarke-subdifferentiaal. In plaats van Hessiaanse matrices of expliciete subgradiënten te berekenen, maakt S-Adam gebruik van geïrandomiseerde geometrische probing:

1. Bij elke iteratie $t$ worden $k$ willekeurige richtingen $\{u_1, \dots, u_k\}$ bemonsterd uit de eenheidssfeer $U(S^{d-1})$.
2. Directionele afgeleiden $D_i$ worden berekend via eindige verschillen: $D_i = \frac{f(x_t + \delta u_i) - f(x_t)}{\delta}$.
3. De LGI-score wordt gedefinieerd als de genormaliseerde variantie van deze directionele afgeleiden:
   $$\rho_t(x_t) = \frac{\text{Var}_{u_i \sim \{u\}}[D_i]}{\mathbb{E}[D_i^2] + \epsilon}$$
   Theoretisch benadert deze meting de relatieve kromming van een ge gladde surrogaat en correleert deze met de diameter van de Clarke-subdifferentiaal. Een hoge $\rho_t$ geeft een gebied met hoge geometrische instabiliteit (een singulariteit) aan.

2.2 Adaptieve Geometrische Rem

S-Adam wijzigt de standaard Adam-updateregel door een exponentiële dempingsfactor (geometrische rem) in te voeren die de leersnelheid in real-time schaalt:
$$\hat{\eta}_t = \eta_t \cdot \exp(-\lambda \rho_t)$$

• Hoge Instabiliteit ($\rho_t \gg 0$): De exponentiële term wordt klein, waardoor updates agressief worden afgeremd om oscillaties over singulariteiten te voorkomen.
• Gladde Gebieden ($\rho_t \to 0$): De dempingsfactor nadert 1, waardoor S-Adam kan degenereren tot standaard Adam voor snelle convergentie.

Dit mechanisme fungeert als een impliciete proximale methode met dynamische regularisatie, waarbij de oorspronkelijke gradiëntrichting behouden blijft terwijl de stapgrootte adaptief wordt gecontroleerd.

3. Belangrijkste Bijdragen

1. LGI-meting: Een op variantie gebaseerde schatter voor lokale geometrische instabiliteit die geen berekening van Hessiaanse matrices vereist en de bias van gradiënt-surrogaten vermijdt.
2. Adaptief dempingsmechanisme: Een geometrische rem $\exp(-\lambda \rho_t)$ die training stabiliseert in singuliere gebieden terwijl efficiëntie in gladde bekken behouden blijft.
3. Rigoureuze Convergentieanalyse: Met behulp van het kader van differentiaal-inclusies bewijzen de auteurs dat S-Adam bijna zeker convergeert naar $(\delta, \epsilon)$-Clarke-stationaire punten met de optimale stochastische niet-gladde snelheid van $O(1/\sqrt{T})$.
4. Empirische Robuustheid: Aangetoonde superioriteit in extreme niet-gladde situaties, specifiek low-bit QAT en learning met kleine batches onder hoge ruis.

4. Experimentele Resultaten

Het artikel evalueert S-Adam tegenover AdamW en Prox-SGD in twee primaire experimentele opstellingen:

4.1 Quantization-Aware Training (QAT)

Geëvalueerd op CIFAR-100 (2-bit), TinyImageNet en Imagewoof2-160 (4-bit), en ImageNet (8-bit).

• Toename in Nauwkeurigheid: S-Adam presteerde consequent beter dan de baselines. Op CIFAR-100 bereikte het 18,67% nauwkeurigheid (tegenover 15,94% voor AdamW). Op TinyImageNet bereikte het 23,18% (tegenover 18,91% voor AdamW).
• Stabiliteit: Waar AdamW en Prox-SGD ernstige oscillaties of divergentie vertoonden (bijvoorbeeld Prox-SGD die instortte tot <10% nauwkeurigheid op CIFAR-100), behield S-Adam stabiele convergentie naar lagere verliesvloeren.
• Efficiëntie: De instelling met lage kosten ($k=2$ probes) veroorzaakte minimale overhead (bijvoorbeeld 1,4% toename in wandkloktijd op ImageNet) terwijl het aanzienlijke verbeteringen in nauwkeurigheid opleverde.

4.2 Learning met Hoge Ruis en Kleine Batches

Geëvalueerd op ResNet-18 met batchgroottes zo laag als $N=2$ om stochastische gradiëntruis te maximaliseren.

• Extreme Ruisbestendigheid: Bij $N=2$ verbeterde S-Adam ($k=8$) de nauwkeurigheid met +24,69% op Imagewoof2-160 ten opzichte van AdamW (75,87% versus 51,18%).
• Schaling van Batchgrootte: Het prestatieverschil was het grootst in de meest instabiele regimes (kleine batchgroottes) en nam af naarmate de batchgroottes toenamen en het verlieslandschap gladde, wat de adaptieve aard van de geometrische rem bevestigt.
• Sensitiviteit voor Leersnelheid: S-Adam presteerde beter dan AdamW over een breed scala aan leersnelheden ($10^{-4}$ tot $10^{-3}$), wat robuustheid ten opzichte van hyperparameterkeuzes aantoont.

5. Betekenis en Claims

Het artikel positioneert S-Adam als een brug tussen de theorie van niet-gladde optimalisatie en de praktische schaalbaarheid van deep learning. De primaire betekenis ligt in:

• Theoretische Grondslag: Het bieden van de eerste adaptieve optimalisator met bewezen convergentiegaranties naar Clarke-stationaire punten in niet-gladde deep learning-situaties, verder gaand dan heuristieken.
• Praktische Toepasbaarheid: Het bieden van een "drop-in" vervanging voor Adam die geneste niet-gladheid (bijvoorbeeld kwantisatie) aankan zonder onberekenbare proximale afbeeldingen te vereisen of de optimalisatiedynamiek te wijzigen via gradiënt-surrogaten.
• Geometrisch Inzicht: Het aantonen dat stochastische gradiëntstatistieken bruikbare geometrische informatie coderen over lokale instabiliteit, waardoor optimalisatoren onderscheid kunnen maken tussen stochastische ruis en topologische singulariteiten.

De auteurs concluderen dat S-Adam gradiënttrillingen effectief mitigeert, waardoor stabiele training mogelijk wordt in kritieke toepassingen zoals low-bit kwantisatie en regimes met hoge ruis, waar standaard optimalisatoren falen.