Technische Samenvatting: Conflicterende Biases aan de Rand van Stabiliteit: Norm versus Sharpness Regularisatie

Probleemstelling

De opmerkelijke generalisatiecapaciteiten van overgeparameteriseerde neurale netwerken worden frequent toegeschreven aan de impliciete biases van optimalisatiealgoritmen zoals Gradient Descent (GD). Twee dominante theorieën zijn hiervoor ontstaan:

1. Norm-minimalisatie: In de limiet van verdwijnende leersnelheden (of Gradient Flow) vertoont GD een impliciete bias naar oplossingen met minimale parameter-normen (bijv. $\ell_1$- of $\ell_2$-normen), met name in lineaire en diagonale netwerkinstellingen.
2. Sharpness-minimalisatie: In het "Edge of Stability" (EoS) regime, waar leersnelheden eindig en groot genoeg zijn om niet-monotoon verliesgedrag te veroorzaken, wordt geobserveerd dat GD convergeert naar oplossingen met een lage sharpness (specifiek, de spectrale norm van de Hessiaan is begrensd door $2/\eta$).

Het centrale probleem dat dit werk adresseert, is dat deze twee vormen van impliciete regularisatie vaak geïsoleerd worden geanalyseerd. Het blijft onduidelijk hoe zij interageren wanneer GD wordt getraind met de eindige, niet-verwaarloosbare leersnelheden die in de praktijk worden gebruikt. Specifiek: volstaat een enkele bias (ofwel norm of sharpness) om generalisatie te verklaren, of is er sprake van een dynamische afweging tussen hen?

Methodologie

De auteurs hanteren een tweeledige aanpak die uitgebreide empirische analyse over diverse instellingen combineert met een rigoureuze theoretische analyse op een vereenvoudigd model.

Empirische Analyse

De auteurs voeren systematische experimenten uit over een breed scala aan configuraties om de effecten van de leersnelheid $\eta$ te isoleren:

• Datasets: MNIST en CIFAR-10 (zowel subsets van 5k als volledige sets).
• Architecturen: Volledig verbonden netwerken (FCNs) met variërende breedtes en dieptes, Convolutionele Neurale Netwerken (CNN's), ResNets en Vision Transformers (ViT).
• Hyperparameters: Een systematische sweep van leersnelheden, inclusen een fijnmazig raster rond het kritieke transitiepunt en een grofmazig raster voor grotere snelheden.
• Metrieken: De studie volgt de uiteindelijke parameter-norm ($\ell_1, \ell_2$, nucleaire norm), de sharpness van de trainingsverlies (operatornorm van de Hessiaan) en de testfout.
• Controle: Experimenten gebruiken full-batch GD om stochasticiteit te elimineren, vaste initialisaties om vergelijkbaarheid te garanderen, en diverse verliesfuncties (MSE, Cross-Entropy) en activatiefuncties (ReLU, tanh).

Theoretische Analyse

Om mechanistisch inzicht te bieden, analyseren de auteurs een vereenvoudigde regressietaken: het trainen van een ondiep diagonaal lineair netwerk met gedeelde gewichten op één enkel datapunt met behulp van square loss.

• Zij karakteriseren expliciet de oplossing-manifold waar de trainingsverlies nul is.
• Zij leiden de specifieke oplossingen af die de parameter-norm minimaliseren versus die welke de sharpness minimaliseren.
• Zij analyseren de generalisatiefout (risico) van deze onderscheidende oplossingen en vergelijken deze met het werkelijke convergentiegedrag van GD onder variërende leersnelheden.

Belangrijkste Bijdragen

1. Ontdekking van een Leersnelheid-afhankelijke Afweging

Het artikel demonstreert empirisch dat de leersnelheid fungeert als een regelknop die interpolaat tussen twee onderscheidende impliciete biases:

• Flow-Aligned Regime ($\eta < \eta_c$): Wanneer de leersnelheid onder een kritieke drempel $\eta_c \approx 2/s_{GF}$ ligt (waarbij $s_{GF}$ de maximale sharpness van de gradient flow traject is), gedraagt GD zich vergelijkbaar met Gradient Flow. Zowel de parameter-norm als de sharpness blijven relatief constant.
• Edge-of-Stability Regime ($\eta > \eta_c$): Zodra de leersnelheid $\eta_c$ overschrijdt, betreedt het systeem het EoS-regime. Hier vindt een scherpe faseovergang plaats: de uiteindelijke sharpness van het model neemt hyperbolisch af (volgend aan $2/\eta$), terwijl de parameter-norm ongeveer lineair toeneemt.
• Conclusie: Er is een inherente afweging; men kan niet tegelijkertijd zowel de norm als de sharpness minimaliseren door simpelweg de leersnelheid aan te passen.

2. Generalisatie is Niet Monotoon met Enkele Biases

De auteurs tonen aan dat de "beste" generalisatieprestaties niet noodzakelijkerwijs overeenkomen met een van beide extremen van het leersnelheidsspectrum:

• Lage Leersnelheden: Oplossingen met een minimale norm (flow-aligned) leveren vaak niet de laagste testfout op.
• Hoge Leersnelheden: Oplossingen met minimale sharpness (EoS) kunnen ook tot suboptimale generalisatie leiden als de norm te groot wordt.
• U-vormige Curven: In veel settings volgt de testfout een U-vormige curve met betrekking tot de leersnelheid. De optimale generalisatie wordt bereikt bij intermediaire leersnelheden waar de biases naar lage norm en lage sharpness in balans zijn.

3. Theoretisch Tegenvoorbeeld

Gebruikmakend van het diagonale lineaire netwerkmodel bewijzen de auteurs dat:

• De verzameling parameters die de norm minimaliseert en de verzameling die de sharpness minimaliseert geometrisch onderscheidend en vaak disjunct zijn.
• Noch de norm-minimalisator, noch de sharpness-minimalisator noodzakelijkerwijs de laagste verwachte generalisatiefout bereikt.
• De leersnelheid controleert naar welke regio van de oplossing-manifold GD convergeert, wat effectief fungeert als een regularisatie-hyperparameter die deze conflicterende doelstellingen balanceert.

Resultaten

• Faseovergang: De transitie van flow-aligned gedrag naar EoS-gedrag is scherp en vindt consistent plaats bij $\eta_c \approx 2/s_{GF}$ over verschillende architecturen, datasets en verliesfuncties.
• Robuustheid: De waargenomen afweging tussen toenemende norm en afnemende sharpness houdt stand voor diverse normen ($\ell_1, \ell_2$, nucleaire norm) en sharpness-maten (worst-case, average-case, adaptive).
• Optimalisatiedynamiek: In het EoS-regime oscilleert het trainings-traject rond de sharpness-grens $2/\eta$, maar de parameter-norm groeit monotoon over de tijd, wat aangeeft dat het traject regio's van hogere complexiteit bezoekt.
• Classificatie vs. Regressie: Hoewel de U-vormige generalisatiecurve prominent aanwezig is in veel regressie- en classificatiesettings, merken de auteurs op dat in sommige specifieke classificatiescenario's (bijv. met Cross-Entropy loss), de relatie complexer kan zijn, hoewel de afweging tussen norm en sharpness standhoudt.

Betekenis en Claims

Het artikel betoogt dat de heersende visie op impliciete regularisatie als een enkele, statische bias onvoldoende is om de generalisatieprestaties van deep learning te verklaren.

• Voorbij Enkele Bias: Het succes van GD-gebaseerde training kan niet uitsluitend worden toegeschreven aan norm-minimalisatie (zoals gesuggereerd door kleine leersnelheidstheorie) of uitsluitend aan sharpness-minimalisatie (zoals gesuggereerd door EoS-theorie).
• Dynamische Interactie: Goede generalisatie komt voort uit een dynamische afweging tussen deze concurrerende biases, gemedieerd door de leersnelheid.
• Praktische Implicatie: De leersnelheid moet niet alleen worden gezien als een parameter voor convergentiesnelheid, maar als een cruciale regularisatie-hyperparameter die de structurele eigenschappen (complexiteit vs. vlakheid) van het uiteindelijke model bepaalt.
• Beperkingen: De auteurs erkennen dat hun theoretische resultaten beperkt zijn tot vereenvoudigde modellen (diagonale lineaire netwerken) vanwege de moeilijkheid om impliciete biases in algemene niet-lineaire netwerken te karakteriseren. Echter, de consistentie van de empirische resultaten over diverse architecturen suggereert dat het fenomeen algemeen is.

Samenvattend motiveert dit werk een breder perspectief op impliciete regularisatie dat rekening houdt met de interactie tussen meerdere biases gevormd door optimalisatiedynamiek, in plaats van ze te isoleren.