🤖 machine learning

Beyond $\ell_2$ -norm and $\ell_\infty$ -norm: A Curvature-Inspired $\ell_p$ -Norm Scheme for Deep Neural Networks

Dit artikel stelt een nieuw, door kromming geïnspireerd $\ell_p$ -norm optimalisatieschema voor met een dynamisch afnemende $p$ -parameter die overgaat van het onderdrukken van dominantie door hoge kromming naar het mogelijk maken van stabiele updates, wat resulteert in de LPSGD- en LPSGDM-optimizers die $O(T^{-1/2})$ convergentie en verbeterde generalisatie bereiken over diverse architecturen van diepe neurale netwerken en datasets.

Oorspronkelijke auteurs: Jianhao Xu, Zhuang Yang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianhao Xu, Zhuang Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Visie: Navigeren door een Veranderend Landschap

Stel je voor dat je een zware kar probein een berg af te sturen naar de bodem van een vallei (de perfecte oplossing voor een AI-model). Het terrein van deze berg is het "loss landscape" van een Deep Neural Network (DNN).

Het probleem is dat de vorm van deze berg verandert terwijl je reist:

Aan de top (Vroege Fase van Training): Het terrein is wild en grillig. Sommige paden zijn extreem steile kliffen (hoge kromming), terwijl andere paden zachte, vlakke hellingen zijn (lage kromming).
Onderaan (Late Fase van Training): Het terrein vlakt uit. De kliffen verdwijnen en de grond wordt relatief vlak en uniform.

Het artikel betoogt dat de instrumenten die we gewoonlijk gebruiken om de kar te sturen (optimizers), vastzitten omdat ze slechts één type wiel gebruiken, wat goed werkt in de ene situatie, maar faalt in de andere.

Het Probleem: Twee Slechte Wielen

De auteurs leggen uit dat huidige AI-trainingsmethoden over het algemeen vertrouwen op één van de twee "geometrieën" (manieren om afstand en richting te meten):

De $\ell_2$ -norm (Het Standaard Wiel):
- Hoe het werkt: Het behandelt elke richting gelijk op basis van de grootte van de duw.
  - De Fout: Op de grillige bergtop komt dit wiel vast te zitten. Als er in één richting een steile klif is, raakt het wiel in paniek en vertraagt het alles om een val te voorkomen. Het negeert de zachte, vlakke hellingen waar het juist sneller zou kunnen bewegen. Het is als het rijden in een auto met gevoelige remmen die blokkeren zodra je een hobbel raakt, waardoor je niet kunt versnellen op de rechte stukken.
De $\ell_\infty$ -norm (Het "Sign" Wiel):
- Hoe het werkt: Het negeert de grootte van de duw volledig en kijkt alleen naar de richting (links of rechts, omhoog of omlaag). Het zet stappen van exact dezelfde grootte in elke richting.
- De Fout: Dit werkt geweldig op de grillige kliffen omdat het niet om de steilheid geeft; het marcheert gewoon naar voren. Echter, zodra je de vlakke valleibodem bereikt, is dit wiel nutteloos. Omdat het overal even grote stappen zet, begint het heen en weer te stuiteren (oscilleren) en kan het niet zachtjes tot rust komen in het diepste punt van de vallei.

De Oplossing: Het "Vormveranderende" Wiel

De auteurs stellen een nieuwe methode voor genaamd $\ell_p$ -norm scheduling. In plaats van één wiel te kiezen, hebben ze een vormveranderend wiel gebouwd dat van vorm verandert afhankelijk van waar je je op de berg bevindt.

De Strategie: Ze gebruiken een "Cosine Schedule" (een vloeiende, golfachtige curve) om de vorm van het wiel in de loop van de tijd te veranderen.
- De Vroege Dagen (De Grillige Berg): Het wiel begint met een vorm die werkt als de $\ell_\infty$ -norm. Het negeert de extreme steilheid van de kliffen en duwt efficiënt door het ruwe terrein heen, wat het "blokkeringsprobleem" voorkt.
- De Late Dagen (De Vlakke Vallei): Naarmate de training vordert, transformeert het wiel vloeiend naar de standaard $\ell_2$ -norm vorm. Nu de grond vlak is, kan het nauwkeurige, zachte stappen zetten om perfect tot rust te komen in het laagste punt zonder rond te stuiteren.

Denk aan het schoeisel van een wandelaar:

In het begin dragen ze stevige, gespijkerde laarzen om grip te houden op de rotsachtige, ongelijkmatige kliffen en vooruit te blijven komen.
Wanneer ze de vlakke weide onderaan de berg bereiken, wisselen ze over naar zachte, flexibele pantoffels om rustig te lopen en de exacte het midden van het veld te vinden zonder te struikelen.

Hoe Ze Bewezen Dat Het Werkt

Het artikel gokt niet alleen; de auteurs hebben twee dingen gedaan:

Wiskundig Bewijs: Ze gebruikten wiskunde om te bewijzen dat deze "vormveranderende" methode gegarandeerd uiteindelijk de bodem van de vallei zal vinden, en ze hebben precies berekend hoe snel dat zal gaan.
Tests in de Praktijk: Ze hebben hun nieuwe optimizers (genoemd LPSGD en LPSGDM) getest op bekende beelddatasets (zoals CIFAR en ImageNet) met behulp van standaard AI-modellen (zoals ResNet).
- Het Resultaat: Hun "vormveranderende" methode versloeg consequent de standaardmethoden. Het leerde sneller in het begin en bereikte een hogere nauwkeurigheid aan het einde. Bijvoorbeeld, in één test verbeterde het de nauwkeurigheid met bijna 2% vergeleken met de beste bestaande methoden — een enorme prestatie in de wereld van AI.

Samenvatting

Kortom, het artikel zegt: "Gebruik niet één enkel hulpmiddel voor de hele klus."

Het trainen van een AI is als het reizen door een landschap dat verandert van een grillige berg naar een vlakke vlakte. De auteurs hebben een slimme optimizer gemaakt die begint met een "overal-heen-klim" modus en vloeiend overgaat in een "precisie-loop" modus. Dit stelt de AI in staat om sneller te leren en eindigt met een slimmer, nauwkeuriger model dan wanneer men een enkele, onveranderlijke methode de hele tijd had gebruikt.

Technische Samenvatting: Voorbij de ℓ2-norm en ℓ∞-norm: Een krommingsgeïnspireerd ℓp-normschema voor diepe neurale netwerken

Probleemstelling

De training van diepe neurale netwerken (DNN's) wordt vaak gehinderd door krommingsanisotropie, een fenomeen waarbij het verlieslandschap (loss landscape) extreem verschillende krommingen vertoont over verschillende parameterrichtingen. Het artikel identificeert dat bestaande optimizers doorgaans vertrouwen op vaste geometrische aannames die niet in staat zijn om zich aan te passen aan de dynamische aard van deze anisotropie tijdens de training:

ℓ2-norm gebaseerde optimizers (bijv. SGD): Deze worden gedomineerd door richtingen met een hoge kromming. In de vroege stadia van de training, waar krommingsanisotropie sterk is (gekenmerkt door grote uitbijters in de eigenwaarden van de Hessiaan), beperken ℓ2-gebaseerde updates de voortgang langs vlakkere richtingen, wat leidt tot een tragere convergentie.
ℓ∞-norm gebaseerde optimizers (bijv. sign-gebaseerde methoden zoals Lion, signSGD): Deze updaten coördinaten met dezelfde grootte op basis van gradiënttekens. Hoewel ze effectief zijn in sterk anisotrope regio's, kunnen ze in vlakkere regio's (latere stadia van de training) leiden tot oscillaties door het gebrek aan magnitude-schaling.

Recente analyses van de verdeling van Hessiaanse eigenwaarden (bijv. in ResNet-18 op CIFAR-10 en ResNet-50 op ImageNet-1K) laten zien dat het verlieslandschap evolueert van een sterk anisotrope, niet-convexe staat met extreme eigenwaarden in de vroege epochs naar een vlakkere, zwak anisotrope en benaderd convexe regio in latere epochs. Het centrale probleem dat wordt geadresseerd is of een enkele vaste normgeometrie (ℓ2 of ℓ∞) voldoende is voor het gehele trainingsproces, of dat een dynamisch schema vereist is om deze evoluerende krommingsstructuren te matchen.

Methodologie

De auteurs stellen een Cosine ℓp-Norm Schema voor die de normparameter $p$ dynamisch aanpast gedurende het trainingsproces om in lijn te brengen met de veranderende krommingsanisotropie.

1. Theoretische Motivatie

Gebaseerd op het ℓp-gladheidsmodel (ℓp-smoothness model), houdt de update-richting voor de steilste daling in ℓp-geometrie een coördinaat-gewijze schalingfactor van $|g^{(i)}|^{p-2}$ in.

Wanneer $p=2$ (Euclidisch), schaalt de update lineair met de gradiëntmagnitude.
Wanneer $p > 2$ , wordt de schaling sublineair ( $\alpha = \frac{1}{p-1} < 1$ ), wat de directionele onbalans comprimeert en de dominantie van richtingen met een hoge kromming onderdrukt.
Naarmate $p \to \infty$ , nadert de update een sign-gebaseerde vorm (ℓ∞), die de magnitude volledig negeert.

De auteurs beargumenteren dat een grote $p$ (bijv. $p > 2$ ) gunstig is in de vroege training om sterke anisotropie te hanteren, terwijl een kleinere $p$ (benaderend naar 2) geprefereerd is in latere stadia om stabiele, verfijnde updates in vlakkere regio's te garanderen.

2. De Voorgestelde Algoritmen

Het schema wordt geïntegreerd in Stochastic Gradient Descent (SGD) en SGD met Momentum (SGDM) om twee nieuwe optimizers te creëren: LPSGD en LPSGDM.

Dynamische Scheduling: De normparameter $p_s$ in epoch $s$ wordt gescheduled met behulp van een cosine annealing strategie:
$p_s = 2 + (p_{\max} - 2) \cdot \frac{1 + \cos(\pi \frac{s-1}{S-1})}{2}$
waarbij $p_{\max} \geq 2$ de initiële maximale norm is, en $S$ het totaal aantal epochs is. Het schema begint bij $p_{\max}$ en neemt geleidelijk af naar 2.
Update Regel: Voor een stochastische gradiënt $g_t$ (of momentum buffer $m_t$ in LPSGDM), wordt de update-richting $u_t$ berekend via een niet-lineaire schalingmap:
$u_t = \frac{g_t}{(|g_t| + \epsilon)^{\rho_s}}$
waarbij $\rho_s = \frac{p_s - 2}{p_s - 1}$ en $\epsilon$ een stabiliteitsconstante is. De parameters worden vervolgens bijgewerkt als $\theta_{t+1} = \theta_t - \eta u_t$ (met weight decay toegevoegd voor LPSGDM).

3. Convergentie Analyse

Het artikel biedt theoretische garanties voor niet-convexe stochastische optimalisatie:

Onder standaardveronderstellingen (ℓp-gladheid, onbevooroordeelde gradiënten, begrensde ruis), bewijzen de auteurs dat zowel LPSGD als LPSGDM een convergentiesnelheid bereiken van $O(T^{-1/2})$ voor de verwachte gekwadrateerde gradiëntnorm, waarbij $T$ het aantal iteraties is.
De analyse berust op het vaststellen van conditionele uitlijning en begrensde tweede momenten voor de getransformeerde update-richtingen.

Belangrijkste Bijdragen

Karakterisering van Krommingsevolutie: Het werk karakteriseert empirisch de evolutie van de Hessiaanse eigenwaarde-verdelingen tijdens de training van DNN's, waarbij de verschuiving van sterke naar zwakke anisotropie wordt benadrukt.
Cosine ℓp-Norm Schema: Een innovatieve schedulingstrategie die de geometrie van de optimizer transformeert van een hoge- $p$ norm (het onderdrukken van de dominantie van uitbijter-krommingen) naar de Euclidische norm (het garanderen van stabiliteit in vlakkere regio's) met verwaarloosbare computationele overhead.
Nieuwe Optimizers (LPSGD/LPSGDM): De integratie van dit schema in standaard eerste-orde methoden, wat resulteert in algoritmen die bestaande baselines overtreffen.
Theoretische Garanties: Rigoureuze bewijsvoering van de $O(T^{-1/2})$ convergentiesnelheid voor de voorgestelde algoritmen in niet-convexe settings.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op benchmark datasets (CIFAR-10, CIFAR-100, ImageNet-1K) met diverse architecturen (VGG-11, ResNet-18, ResNet-50). De voorgestelde methoden zijn vergeleken met SGD w/ Momentum, AdamW en Lion.

CIFAR-10: LPSGDM behaalde consistent de hoogste Top-1 nauwkeurigheid over alle modellen en checkpoints. Bijvoorbeeld, op ResNet-18 bereikte het 94,81% nauwkeurigheid bij 200 epochs, waarmee het SGD (93,15%), AdamW (94,09%) en Lion (94,04%) versloeg.
CIFAR-100: De prestatiekloof werd groter in deze meer uitdagende setting. LPSGDM behaalde 77,98% op ResNet-18 en 76,78% op ResNet-50, wat significant beter is dan de baselines (bijv. +1,87% ten opzichte van de beste baseline op ResNet-50).
ImageNet-1K: Op ResNet-50 overtrof LPSGDM alle baselines in de middelste en latere trainingsstadia, waarbij het een Top-1 nauwkeurigheid van 74,04% bereikte bij epoch 60, wat een verbetering is van 2,25 procentpunt ten opzichte van AdamW.
Generalisatie: Opvallend genoeg behaalde LPSGDM vaak een hogere testnauwkeurigheid, zelfs wanneer de training Negative Log-Likelihood (NLL) niet de laagste was, wat suggereert dat de methode de kwaliteit van de generalisatie van de oplossing verbetert in plaats van enkel de trainingsverlies te minimaliseren.

Betekenis en Claims

Het artikel claimt dat het voorgestelde cosine ℓp-norm schema effectief de beperking van fixed-norm optimizers aanpakt door zich aan te passen aan de intrinsieke geometrische veranderingen van de DNN-verlieslandschappen. Door de dominantie van richtingen met een hoge kromming in de vroege training te onderdrukken en over te gaan naar stabiele Euclidische updates later, bereikt de methode een superieure generalisatieprestatie. De auteurs benadrukken dat deze aanpak alleen eerste-orde informatie vereist en minimale computationele kosten toevoegt (element-wise herschaling), wat het een praktische en schaalbare verbetering maakt voor bestaande optimalisatieframeworks. De theoretische convergentiesnelheid van $O(T^{-1/2})$ bevestigt dat deze empirische winsten worden ondersteund door een rigoureuze wiskundige analyse.