📊 statistics

What is the long-run distribution of stochastic gradient descent? A large deviations analysis

Dit artikel maakt gebruik van de theorie van grote afwijkingen om aan te tonen dat de langetermijndistributie van stochastische gradiëntafstijging in niet-convexe problemen een Boltzmann-Gibbs-distributie nabootst, waardoor het algoritme exponentieel kritieke gebieden met lagere energietoestanden verkiest boven niet-kritieke gebieden, lokale maximalisatoren en zadelpunten.

Oorspronkelijke auteurs: Waïss Azizian, Franck Iutzeler, Jérôme Malick, Panayotis Mertikopoulos

Gepubliceerd 2026-05-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Waïss Azizian, Franck Iutzeler, Jérôme Malick, Panayotis Mertikopoulos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het laagste punt te vinden in een uitgestrekt, mistig en ongelooflijk complex berglandschap. Dit berglandschap vertegenwoordigt het "verlieslandschap" van een machine learning-probleem. De valleien zijn goede oplossingen (lage fout), de pieken zijn slechte oplossingen (hoge fout), en de vlakke, lastige plekken ertussen zijn "zadelpunten" (plekken die vanuit de ene richting als een vallei lijken, maar vanuit de andere als een heuvel).

Je doel is om de diepste vallei te vinden (het globale minimum). Je hebt een gereedschap genaamd Stochastische Gradientafstijging (SGD). Denk aan SGD als een wandelaar die probeert bergafwaarts te lopen. Deze wandelaar is echter licht dronken of loopt op een hobbelig, schokkerig pad. Bij elke stap krijgen ze een ruisende, licht verkeerde aflezing van welke kant omlaag is.

Decennialang wisten we dat deze wandelaar uiteindelijk zou stoppen met veel heen en weer bewegen (convergeren), maar we wisten niet waar ze uiteindelijk zouden neerstrijken. Zouden ze vast komen te zitten in een ondiepe vallei? Zouden ze doelloos ronddwalen in de buurt van een zadelpunt? Of zouden ze de diepste vallei vinden?

Dit artikel beantwoordt die vraag door de reis van de wandelaar te behandelen als een spelletje natuurkunde.

Het Grote Idee: De Wandelaar is een Gasdeeltje

De auteurs realiseerden zich dat het langetermijngedrag van deze "dronken wandelaar" (SGD) er precies zo uitziet als het gedrag van gasdeeltjes in een kamer.

De Kamer: Het hele berglandschap (de toestandsruimte van het probleem).
De Moleculen: De positie van de wandelaar op elk willekeurig moment.
De Temperatuur: De stapgrootte (hoe groot de stappen van de wandelaar zijn).
- Als de stapgrootte groot is, is de wandelaar "heet" en energiek. Ze stuiteren wild rond, springen over kleine heuvels heen en verkennen de hele kamer.
- Als de stapgrootte miniem is, is de wandelaar "koud". Ze bewegen langzaam en blijven hangen in de dichtstbijzijnde kuiltje.
De Energie: De hoogte van de berg op die plek (de waarde van de objectieve functie).

Het artikel bewijst dat de wandelaar, na lange tijd, niet zomaar een willekeurige plek kiest. Ze vestigen zich in een specifiek patroon dat de Boltzmann-Gibbs-verdeling wordt genoemd. In gewone taal betekent dit:

Lage plekken zijn druk: De wandelaar brengt de meeste tijd door in de diepste valleien.
Hoge plekken zijn leeg: De wandelaar bezoekt de pieken zelden.
De "Temperatuur" is belangrijk: Hoe groter de stapgrootte (hoe heter het systeem), hoe waarschijnlijker het is dat de wandelaar uit een ondiepe vallei springt en hogere grond verkent.

De Vier Belangrijkste Ontdekkingen

Het artikel breekt precies uit waar de wandelaar eindigt aan de hand van vier hoofdregels:

1. De Wandelaar houdt van "Kritieke" Plekken
De wandelaar brengt bijna al hun tijd door in "kritieke gebieden". Dit zijn de vlakke plekken waar de grond perfect horizontaal is (wiskundig gezien, waar de gradiënt nul is). Dit omvat de bodems van valleien, de toppen van pieken en de lastige zadelpunten. De wandelaar stopt bijna nooit op een steile helling, omdat de zwaartekracht (de wiskunde) hen onmiddellijk er af trekt.

2. De "Grondtoestand" is de Favoriet
Van alle vlakke plekken is er één specifieke set valleien die de wandelaar exponentieel vaker bezoekt dan elke andere plek. De auteurs noemen dit de "grondtoestand".

Cruciaal Draai: Deze "grondtoestand" is niet altijd de absolute diepste vallei in het hele berglandschap. Het hangt af van het ruis (het schudden van het pad). Soms is een iets hogere vallei "vlakker" of "veiliger" tegen de ruis, waardoor het de voorkeursrustplek wordt. De wandelaar kiest de plek die een specifieke "energie" minimaliseert die de diepte van de vallei combineert en hoe de ruis erop invloed heeft.

3. De Hiërarchie van Bezoeken
Als de wandelaar niet op de absolute favoriete plek is, volgen ze toch een strikte hiërarchie:

Ze bezoeken lokale minima (kleine valleien) veel vaker dan zadelpunten (de lastige vlakke plekken).
Ze bezoeken zadelpunten veel vaker dan lokale maxima (pieken).
Kortom, de wandelaar vermijdt pieken en zadelpunten en geeft de voorkeur aan rusten in valleien. Als ze toch een zadelpunt bezoeken, is dat alleen omdat ze daar tijdelijk vastzitten voordat de ruis hen naar een vallei duwt.

4. De "Energie"-Berekening
Het artikel biedt een formule om precies te berekenen hoe waarschijnlijk het is dat de wandelaar zich in een specifieke vallei bevindt. Het is als een scorekaart:

Score = (Diepte van de Vallei) + (Hoe de Ruis interacteert met de Vallei).
Hoe lager de score, hoe meer tijd de wandelaar daar doorbrengt.
De "stapgrootte" fungeert als de temperatuurregelaar. Als je de regelaar omlaag draait (kleinere stappen), wordt de wandelaar zeer kieskeurig en bezoekt alleen de plekken met de absoluut laagste score. Draai je hem omhoog, dan worden ze avontuurlijker en bezoeken ze ook plekken met een hogere score.

De "Dronken Wandelaar" versus de "Perfecte Wandelaar"

In een perfecte wereld (geen ruis) zou een wandelaar gewoon de steilste weg afrollen en vast komen te zitten in de eerste vallei die ze tegenkomen. Maar omdat onze wandelaar "dronken" is (ruis), kunnen ze per ongeluk een ondiepe vallei uitstoten en een diepere vinden.

Het artikel laat zien dat deze "dronkenschap" geen bug is; het is een functie die een voorspelbare verdeling creëert. De wandelaar dwaalt niet zomaar willekeurig rond; ze dwalen statistisch. Over een lange periode kun je precies voorspellen welk percentage van de tijd de wandelaar in een specifieke vallei zal doorbrengen, gebaseerd op de "temperatuur" (stapgrootte) en de "energie" (de vorm van de vallei en de ruis).

Samenvatting

Dit artikel vertelt ons dat het langetermijngedrag van het populairste machine learning-algoritme (SGD) niet chaotisch is. Het gedraagt zich als een fysiek systeem in thermisch evenwicht.

Het Algoritme: Een wandelaar die probeert de bodem van een berg te vinden.
De Ruis: Een schuddende vloer die de wandelaar doet struikelen.
De Stapgrootte: De temperatuur van de kamer.
Het Resultaat: De wandelaar vestigt zich in een voorspelbaar patroon waarbij ze de meeste tijd doorbrengen in de "beste" valleien, gedefinieerd door een mix van hoe diep de vallei is en hoe het schudden erop invloed heeft.

De auteurs hebben dit niet geraden; ze hebben geavanceerde wiskunde (Grote Afwijkingentheorie) gebruikt om te bewijzen dat deze fysieke analogie precies is hoe het algoritme op de lange termijn gedraagt.

Technische Samenvatting: De Lange-Tijdverdeling van Stochastische Gradientafstijging

1. Probleemstelling

Het artikel behandelt een fundamentele open vraag in de theorie van Stochastische Gradientafstijging (SGD): Welke gebieden van de toestandsruimte worden door SGD op de lange termijn het meest bezocht, en in welke mate?

Hoewel bestaande literatuur convergentiegaranties biedt voor SGD (bijvoorbeeld grenzen voor de verwachte kwadratische norm van de gradiënt), karakteriseren deze resultaten niet de stationaire verdeling of de specifieke kritieke punten waar de iteraties tot rust komen. In niet-convexe omgevingen, die veel voorkomen in modern machine learning, is het verlieslandschap complex en bevat het talloze lokale minima, zadelpunten en lokale maxima. Vorig werk heeft vastgesteld dat SGD strikte zadelpunten vermijdt, maar het heeft niet gekwantificeerd wat de relatieve waarschijnlijkheid is van het bezoeken van verschillende kritieke componenten, noch de verdeling van iteraties ver weg van het globale minimum.

De auteurs beogen de lange-tijdverdeling van SGD in algemene, niet-convexe problemen te kwantificeren, met name om de hiërarchie van kritieke gebieden die door het algoritme worden bezocht, te begrijpen.

2. Methodologie

Het artikel hanteert een rigoureus wiskundig raamwerk gebaseerd op Grote Afwijkingentheorie en de theorie van willekeurig verstoord dynamische systemen, waarbij de Freidlin–Wentzell-theorie specifiek wordt uitgebreid naar discrete-tijdsystemen over onbegrensde domeinen.

Belangrijkste Technische Stappen:

Grote-Afwijkingenprincipe (GAP) voor SGD:
- De auteurs stellen een GAP vast voor het SGD-proces door de discrete iteraties te interpoleren tot een continue-tijdbaan.
- Zij definiëren een werkingsfunctionaal $S_T[\gamma]$ gebaseerd op de Lagrangiaan van het ruis en de gradiënt van de objectief functie. Deze functionaal meet de "kosten" of "waarschijnlijkheid" van een baan $\gamma$ die afwijkt van de deterministische gradiëntstroom.
- In tegenstelling tot eerdere benaderingen die vertrouwen op Stochastische Differentiaalvergelijkingen (SDV's), die het lange-termijngedrag niet goed vastleggen vanwege trage convergentiesnelheden naarmate de stapgrootte $\eta \to 0$ , analyseert deze benadering de discrete dynamiek direct.
Overgangskosten en Kwaasi-Potentiaal:
- De kritieke verzameling van de objectief functie $f$ wordt ontleed in een eindig aantal samenhangende componenten $K_i$ .
- De auteurs definiëren een kwaasi-potentiaal $B(K_i, K_j)$ die de minimale werkingskosten vertegenwoordigt die nodig zijn voor de SGD-iteraties om van component $K_i$ naar $K_j$ over te gaan.
- Deze kosten vormen een gewogen gerichte graaf (de overgangsgraaf) waarbij de hoekpunten kritieke componenten zijn en de gewichten van de randen de overgangskosten zijn.
Energieniveaus en Invariante Maatstaven:
- De "energie" $E_i$ van een kritieke component $K_i$ wordt gedefinieerd als de minimale totaalgewicht van een opspannende boom in de overgangsgraaf, geworteld bij $i$ .
- Met behulp van de Freidlin–Wentzell-theorie, aangepast voor discrete tijd, leiden de auteurs het asymptotische gedrag af van de invariante maat (of gemiddelde bezettingsmaat) van het SGD-proces.

3. Belangrijkste Bijdragen en Resultaten

Het artikel stelt een hiërarchie van resultaten vast (Stellingen 1–4) die de lange-tijdverdeling van SGD beschrijven:

Concentratie op Kritieke Gebieden (Stelling 3): Op de lange termijn is het exponentieel waarschijnlijker dat de iteraties van SGD zich in de nabijheid van de kritieke verzameling van $f$ bevinden dan in niet-kritieke gebieden. Specifiek neemt de kans om zich buiten een $\delta$ -omgeving van de kritieke verzameling te bevinden af als $1 - e^{-c/\eta}$ .
Boltzmann–Gibbs-verdeling (Stelling 1): De waarschijnlijkheidsmassa die aan een specifieke kritieke component $K_i$ wordt toegewezen, volgt een benaderende Boltzmann–Gibbs-verdeling:
$\mu_\infty(U_i) \propto \exp\left( -\frac{E_i}{\eta} \right)$
waarbij $E_i$ het energieniveau van de component is en $\eta$ fungeert als de "temperatuur" van het systeem.
Dominantie van Minimalisatoren (Stelling 2): Niet-minimaliserende kritieke componenten (lokale maxima of zadelpunten) zijn exponentieel minder waarschijnlijk om bezocht te worden dan minimaliserende componenten. Specifiek geldt voor elke niet-minimaliserende component $K$ dat er een minimaliserende component $K'$ bestaat zodanig dat de verhouding van hun bezoekingskansen exponentieel afneemt met $1/\eta$ .
Concentratie op Grondtoestanden (Stelling 4): De iteraties zijn exponentieel geconcentreerd rond de "grondtoestand" van het systeem – de verzameling kritieke componenten met het minimale energieniveau $E_i$ $E_{i}$ .
- Cruciaal Onderscheid: De grondtoestand van het SGD-systeem (het minimaliseren van $E_i$ ) valt niet noodzakelijk samen met het globale minimum van de objectief functie $f$ . Het energielandschap wordt gevormd door zowel de objectief functie als de statistiek van het ruis.

Specifiek Geval: Gaussisch Ruis

Voor het geval van Gaussisch ruis met variantie $\sigma^2$ leiden de auteurs een gesloten uitdrukking af voor de energieniveaus:
$E_i \approx \frac{2 f(K_i)}{\sigma^2}$
In dit specifieke scenario lijkt de lange-tijdverdeling op de standaard Gibbs-maat $\exp(-f(x)/\eta_{eff})$ , waarbij de effectieve temperatuur evenredig is met de stapgrootte en de ruisvariantie. Voor algemene ruismodellen (bijvoorbeeld die afhankelijk van de gradiënt of positie) kan het energielandschap echter aanzienlijk verschillen van het landschap van de objectief functie.

4. Betekenis en Claims

De auteurs claimen dat dit werk de eerste beschrijving biedt van de invariante maat van SGD in algemene niet-convexe omgevingen, en verder gaat dan lokale convergentieanalyse of het vermijden van zadelpunten.

Thermodynamische Analogie: Het artikel trekt een directe analogie tussen SGD en evenwichtsthermodynamica. De stapgrootte $\eta$ speelt de rol van temperatuur en bepaalt de gemak waarmee overgangen tussen kritieke componenten plaatsvinden. De "energie" van een component bepaalt de waarschijnlijkheid dat deze wordt bezocht.
Voorbij Globale Minima: De resultaten daag de intuïtie uit dat SGD altijd convergeert naar het globale minimum. In plaats daarvan convergeert SGD naar de "grondtoestand" die wordt gedefinieerd door het samenspel tussen de objectief functie en de ruisstatistiek. Een lokaal minimum met een specifieke geometrie (bijvoorbeeld vlakheid) en een gunstige ruisinteractie kan frequenter worden bezocht dan een dieper globaal minimum.
Algemeenheid: Het raamwerk is van toepassing op algemene niet-convexe objectieven en diverse ruismodellen (waaronder minibatch-SGD en ingebrachte ruis), mits het ruis voldoet aan sub-Gaussische staartcondities en het signaal-ruisverhouding zich op oneindig op de juiste manier gedraagt.

Het artikel concludeert dat het begrijpen van de lange-tijdverdeling vereist dat men de "energie" van kritieke componenten analyseert, wat een functionaal is van zowel het verlieslandschap als de ruisstructuur, en niet simpelweg de waarde van de verliesfunctie. Dit biedt een theoretische basis voor het begrijpen waarom SGD bepaalde oplossingen in deep learning de voorkeur kan geven boven andere, zelfs als die oplossingen niet de globale minima van het empirische risico zijn.