📊 statistics

Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise

Dit artikel biedt een theoretische verklaring voor de empirische voorkeur voor normalisatie boven clipping bij het trainen van grote modellen onder zwaarstaartige ruis, door aan te tonen dat normalisatie in stochastisch gepreconditioneerde SGD convergeert terwijl clipping in het ergste geval kan falen.

Oorspronkelijke auteurs: Yuchen Fang, James Demmel, Javad Lavaei

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuchen Fang, James Demmel, Javad Lavaei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme berg moet beklimmen in een storm. Je bent een klimmer (de computer) en je probeert de top te bereiken (de beste oplossing voor een probleem). De wind die je duwt en trekt is de ruis in de data.

In de wereld van kunstmatige intelligentie (AI) is deze wind vaak heel onvoorspelbaar. Soms waait het zachtjes, maar soms komen er plotseling enorme, wilde windstoten (dit noemen wetenschappers "heavy-tailed noise"). Deze stoten kunnen je van je pad blazen of je zelfs laten vallen.

Deze paper onderzoekt twee manieren om te voorkomen dat je door die wilde wind wordt omvergewaaid: Knippen (Clipping) en Normaliseren.

Hier is wat de auteurs hebben ontdekt, vertaald naar een simpel verhaal:

1. De Twee Strijders

Stel je voor dat je een kompas hebt dat je vertelt welke kant op te gaan. Maar soms is dat kompas kapot en wijst het in de verkeerde richting, of de naald slaat uit.

Knippen (Clipping): Dit is alsof je zegt: "Als de wind harder waait dan 100 km/u, negeer ik de windstoot en doe ik alsof hij 100 km/u is." Je knipt de extreme waarden af.
- Het probleem: In de gewone wereld werkt dit prima. Maar in de complexe wereld van moderne AI (waar de computer zelf zijn kompas aanpast op basis van de wind), werkt dit niet. De paper laat zien dat als je probeert te "knippen", de computer in de war raakt. De wind en het kompas zijn met elkaar verbonden op een manier die je niet kunt controleren. Het resultaat? De klimmer blijft in een cirkel lopen of valt zelfs terug naar beneden. Het werkt niet als je het ergste scenario moet overleven.
Normaliseren: Dit is alsof je zegt: "Het maakt niet uit hoe hard de wind waait, ik loop altijd met precies dezelfde stapgrootte." Als de wind je een enorme duw geeft, verklein je die duw tot een normale stap. Als de wind heel zacht is, vergroot je die tot een normale stap. Je kijkt alleen naar de richting, niet naar de kracht.
- Het voordeel: De paper bewijst dat deze methode veel robuuster is. Zelfs als de wind waait en het kompas gekke dingen doet, blijft de klimmer stabiel op zijn pad. Hij bereikt de top, en wel op de snelst mogelijke manier die wiskundig mogelijk is.

2. Waarom werkt "Knippen" niet in de moderne AI?

De auteurs leggen uit dat moderne AI-methoden (zoals Adam of Shampoo) niet alleen kijken naar de wind, maar ook zelf proberen het kompas te verbeteren. Ze gebruiken informatie uit het verleden om hun stappen aan te passen.

Hier komt de valkuil van Knippen:
Stel je voor dat je kompas (de "preconditioner") en de wind (de "ruis") met elkaar praten. Als je de wind "knipt", verandert dat hoe het kompas zich gedraagt. Omdat het kompas en de wind afhankelijk zijn van elkaar, creëert het knippen een verborgen bias (een voorkeur voor de ene kant). Het is alsof je probeert een auto te remmen, maar de rempedalen zijn verbonden met het stuur. Als je remt, draait de auto onbedoeld. De paper bewijst wiskundig dat dit in het slechtst mogelijke scenario leidt tot mislukking.

3. Waarom wint "Normaliseren"?

Normaliseren is als een ervaren klimmer die zegt: "Ik laat me niet leiden door de kracht van de wind, alleen door de richting."

Het maakt de stapgrootte constant.
Het breekt de verbinding tussen de wilde wind en de manier waarop je je kompas instelt.
Zelfs als de windstoten enorm zijn, blijft de klimmer op koers.

De paper laat zien dat deze methode niet alleen werkt, maar dat het de beste methode is die we theoretisch kunnen bedenken voor dit soort stormachtige omstandigheden.

De conclusie voor de praktijk

In de echte wereld van AI (zoals het trainen van grote taalmodellen zoals die je nu gebruikt), zien ingenieurs al lang dat normaliseren beter werkt dan knippen. Ze wisten niet precies waarom, maar ze zagen dat het gewoon beter deed.

De auteurs van deze paper hebben nu de wiskundige "bewijslast" geleverd. Ze zeggen: "Het is niet toeval. Knippen faalt wiskundig in deze specifieke, complexe omgeving omdat de wind en het kompas met elkaar verbonden zijn. Normaliseren werkt omdat het die verbinding negeert en zich focust op de richting."

Kort samengevat:
Als je door een storm moet klimmen en je kompas is gekoppeld aan de wind, knip je de wind niet af (dat maakt je onstabiel). Normaliseer je je stappen in plaats daarvan (houd ze constant in grootte, verander alleen de richting). Dan bereik je de top, ongeacht hoe hard het waait.

1. Probleemstelling

Het artikel adresseert een fundamenteel probleem in de stochastische optimalisatie voor machine learning: de instabiliteit van Stochastic Gradient Descent (SGD) en zijn varianten wanneer de ruis in de gradiënt-schattingen zwaarstaartig (heavy-tailed) is.

Context: In moderne toepassingen (zoals het trainen van grote taalmodellen en beeldherkenning) voldoet de gradiëntruis vaak niet aan de klassieke aanname van een eindige variantie. In plaats daarvan bestaat er slechts een eindige $p$ -de moment voor $p \in (1, 2]$ .
De Uitdaging: Onder deze omstandigheden kunnen standaard SGD en Momentum SGD divergeren of instabiel worden.
De Twee Benaderingen: Om dit op te lossen worden twee technieken gebruikt:
1. Clipping (Knippen): Gradiënten boven een bepaalde drempel worden afgekapt.
2. Normalization (Normalisatie): Gradiënten worden herschaald tot een eenheidsnorm.
Het Specifieke Gat in de Theorie: Hoewel beide methoden theoretisch gelijkwaardig lijken in "vanilla" SGD (zonder preconditionering), wordt in de praktijk normalisatie vaak verkiezen boven clipping, vooral bij geavanceerde optimalisatoren zoals Adam, RMSProp en Shampoo. Deze paper onderzoekt waarom dit zo is in de context van Stochastically Preconditioned SGD (SPSGGD), waarbij de updaterichting wordt vermenigvuldigd met een stochastische preconditioneringsmatrix $D_k$ (die afhankelijk is van eerdere gradiënten of kromming).

2. Methodologie

De auteurs ontwikkelen een worst-case complexiteitstheorie voor SPSGD en zijn versnelde varianten onder zwaarstaartige ruis.

Algoritme: Ze analyseren een unificerend updatevoorschrift:
$x_{k+1} = x_k - \eta D_k m_k$
Waarbij $m_k$ een momentum-schatter is en $D_k$ een symmetrische, positief-definiete stochastische preconditioneringsmatrix (die kan variëren per iteratie en afhankelijk is van de data).
Aannames:
- De objectieve functie $f$ is niet-convex en $L$ -glad.
- De gradiëntruis heeft een eindige $p$ -de moment ( $p \in (1, 2]$ ).
- De condition number van de preconditioner $D_k$ is begrensd (hoewel de matrix zelf stochastisch kan zijn).
Vergelijking: Ze vergelijken de convergentie van SPSGD met Step Normalization (waarbij de stap wordt geprojecteerd op een sfeer) versus Step Clipping (waarbij de stap wordt afgekapt binnen een bal).
Wiskundig Instrument: Om de analyse mogelijk te maken, ontwikkelen de auteurs een nieuwe vector-waardige Burkholder-achtige ongelijkheid. Dit is een veralgemening van bestaande scalaire resultaten en essentieel voor het binden van de som van martingaalverschillen in een vectorruimte met zwaarstaartige ruis.

3. Belangrijkste Bijdragen en Resultaten

A. Normalisatie Garandeert Convergentie

De paper bewijst dat Step Normalization robuust blijft onder stochastische preconditionering, zelfs bij zwaarstaartige ruis.

Convergentiesnelheid: De methode convergeert naar een stationair punt van de eerste orde met de optimale snelheid:
- $O(T^{-\frac{p-1}{3p-2}})$ wanneer probleemparameters bekend zijn.
- $O(T^{-\frac{p-1}{2p}})$ wanneer parameters onbekend zijn.
Betekenis: Deze snelheden komen exact overeen met de optimale snelheden voor "normale" Normalized SGD (NSGD). De normalisatie ontkoppelt de grootte van de update van de schaal van de preconditioner $D_k$ , waardoor de statistische afhankelijkheid tussen $D_k$ en de gradiëntruis geen destabiliserend effect heeft.

B. Clipping Kan Falen (Worst-Case)

In scherp contrast hiermee bewijzen de auteurs dat Step Clipping in het ergste geval kan falen om te convergeren wanneer deze wordt gecombineerd met stochastische preconditionering.

Oorzaak van Falen: Het falen komt voort uit de statistische afhankelijkheid tussen de preconditioner $D_k$ $D_{k}$ en de gradiëntschatter.
- Bij clipping blijft de grootte-informatie behouden binnen de "bal" van de drempel.
- Omdat $D_k$ vaak afhankelijk is van de gradiënt (bijv. in Adam of Shampoo), introduceert deze afhankelijkheid een persistent covariantie-term in de verwachte update.
- Deze bias kan niet worden geëlimineerd door het kiezen van een drempelwaarde, wat leidt tot een term in de convergentieanalyse die niet verdwijnt en divergentie kan veroorzaken.
Geometrisch Inzicht: Normalisatie projecteert de update strikt op het oppervlak van een sfeer, waardoor de "grootte-ruis" van $D_k$ wordt geëlimineerd. Clipping laat de update binnen een bal toe; bij een groeiende drempel (nodig voor optimale snelheid) creëert de afhankelijkheid tussen $D_k$ en de gradiënt een bias in het inwendige van deze bal.

C. Nieuw Wiskundig Instrument

De auteurs stellen een vector-waardige Burkholder-ongelijkheid voor. Deze ongelijkheid biedt scherpere constanten dan bestaande bounds en is van onafhankelijk belang voor de analyse van stochastische optimalisatiealgoritmen met zwaarstaartige ruis.

4. Significatie en Implicaties

Theoretische Verklaring voor Empirische Praktijk: De paper levert een rigoureuze theoretische onderbouwing voor de empirische observatie dat normalisatie (zoals gebruikt in LARS, LAMB en varianten) superieur is aan clipping in grote schaal trainingen met adaptieve methoden. Het verklaart waarom clipping, hoewel populair in sommige contexten, fundamentele stabiliteitsproblemen kan hebben bij preconditionering.
Beperkingen van Bestaande Theorie: Het toont aan dat bestaande analyses die aannemen dat de preconditioner onafhankelijk is van de gradiënt (of die alleen lichtstaartige ruis beschouwen) ontoereikend zijn voor moderne deep learning-optimalisatoren.
Richting voor Toekomstig Werk: De resultaten suggereren dat voor robuuste training van grote modellen, normalisatie de voorkeur verdient boven clipping, tenzij specifieke structurele aannames over de preconditioner kunnen worden gemaakt die de bias elimineren.

Conclusie:
De kernboodschap is dat normalisatie de enige methode is die theoretisch gegarandeerd convergentie biedt voor stochastisch gepreconditioneerde methoden onder zwaarstaartige ruis, terwijl clipping fundamenteel kan falen door de inherente statistische afhankelijkheid tussen de preconditioner en de gradiëntruis. Dit verklaart waarom normalisatie de standaard is geworden in state-of-the-art optimizers voor grote modellen.