🤖 machine learning

Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima

Dit artikel lost de kritiek op de herparametrisatie-invariantie van vlakke minima op door Riemanniaanse scherpte te definiëren via de Fisher-informatie-matrix, te bewijzen dat de gradiëntruis van SGD een stationaire verdeling induceert die deze invariante vlakke minima bevoordeelt, en deze geometrische bias te koppelen aan verbeterde generalisatie via een PAC-Bayes-grens.

Oorspronkelijke auteurs: Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Kaart" vs. Het "Terrein"

Stel je voor dat je probeert het laagste punt te vinden in een uitgestrekt, mistig bergmassief (dit vertegenwoordigt het "loss landscape" van een neuraal netwerk). Je wilt een plek vinden die niet alleen laag is, maar ook vlak. Waarom? Omdat de auteurs beweren dat als je in een brede, vlakke vallei landt, je model beter zal presteren op nieuwe, ongeziene data (het zal "generaliseren").

Er was echter een groot probleem met de manier waarop wetenschappers tot nu toe "vlakheid" maten. Ze gebruikten een standaard liniaal (Euclidische meetkunde) om de vorm van de vallei te meten.

De Analogie: Stel je voor dat je een kaart hebt van een vallei.

De Oude Manier: Je tekent de kaart op een stuk rubber. Als je het rubber horizontaal uitrekt, ziet de vallei er ongelooflijk breed en vlak uit. Als je het verticaal samendrukt, ziet de vallei eruit als een diepe, scherpe piek.
De Kritiek: Een beroemd artikel door Dinh et al. wees erop dat deze "liniaal" vals speelt. Je kunt de kaart uitrekken of samendrukken (de parametrisatie van het neurale netwerk veranderen) zonder de vallei zelf te veranderen. De "vlakheid" die je meet, hangt volledig af van hoe je de kaart hebt getekend, niet van het werkelijke terrein. Dit maakte de theorie dat "vlak goed is" wankel, omdat de meting niet echt was.

De Oplossing: Het "Natuurlijke" Kompas

Dit paper stelt een nieuwe manier voor om vlakheid te meten die er niet om geeft hoe je de kaart uitrekt. Ze gebruiken iets dat de Fisher Information Matrix (FIM) wordt genoemd.

De Analogie: In plaats van een rubberen liniaal te gebruiken, stel je voor dat je een kompas hebt dat in het terrein zelf is ingebouwd. Dit kompas kent de "natuurlijke" vorm van de grond.

Als je de rubberen kaart uitrekt, beweegt het kompas mee met het terrein. Het wijst nog steeds naar dezelfde "natuurlijke" vlakheid.
De auteurs definiëren een nieuwe meting genaamd Riemannian Sharpness ( $S_R$ ). Deze meet hoe gekromd de vallei is ten opzichte van de "natuurlijke" geometrie van de data, niet ten opzichte van een willekeurig raster.

Ze bewijzen wiskundig dat deze nieuwe meting invariant is. Of je de kaart nu uitrekt of samendrukt, de "natuurlijke vlakheid" blijft hetzelfde. Dit lost het fundamentele gebrek van de oude theorie op.

Hoe SGD de Vlakke Valleien Vindt

Het paper legt ook uit waarom Stochastic Gradient Descent (SGD) — het algoritme dat wordt gebruikt om AI te trainen — de neiging heeft om deze vlakke valleien te vinden.

De Analogie: Stel je voor dat je de berg afloopt in de mist.

Standaard Gradient Descent: Je loopt perfect recht naar beneden langs de steilste helling. Je kunt vast komen te zitten in een kleine, scherpe kloof aan de onderkant.
SGD (Stochastisch): Je loopt terwijl je zachtjes wordt gestoten door een menigte mensen (de "ruis" van het verwerken van kleine batches data).
De Ontdekking: De auteurs laten zien dat deze "stoten" niet willekeurige chaos zijn. Ze zijn gevormd naar het terrein zelf (gestuurd door de FIM).
- Als je in een scherpe, smalle vallei bent, zijn de stoten te wild; ze duwen je direct de vallei uit.
- Als je in een brede, vlakke vallei bent, zijn de stoten mild genoeg zodat je daar kunt blijven.

Wiskundig gezien bewijzen ze dat de "ruis" van SGD werkt als een magneet die het model naar de breedste, vlakste valleien trekt. Hoe breder de vallei, hoe groter de kans dat het model daar tot rust komt.

Het Bewijs: Waarom Vlakheid Betere Prestaties Betekent

De auteurs verbinden deze geometrie met de echte wereldprestaties via een wiskundig vangnet genaamd een PAC-Bayes bound.

De Analogie: Denk aan een veiligheidsnet onder een koorddanser.

Als het koord een scherpe, dunne draad is (een scherp minimum), kan een kleine wankeling (een nieuw datapunt) ervoor zorgen dat de wandelaar valt.
Als het koord een breed, vlak platform is (een vlak minimum), kan de wandelaar veel wankelen en toch veilig blijven.

Het paper bewijst dat de "breedte" van dit platform (gemeten met hun nieuwe Riemannian Sharpness) direct voorspelt hoe goed het model zal presteren op nieuwe data. Hoe platter het minimum, hoe strakker het veiligheidsnet, en hoe beter de generalisatie.

Wat de Experimenten Lieten Zien

De auteurs testten dit op twee beroemde datasets (MNIST en CIFAR-10) met verschillende instellingen:

Batch Size: Wanneer ze kleinere groepen data gebruikten (kleinere batches), waren de "stoten" groter en vond het model vlakkere valleien en presteerde het beter.
Learning Rate: Wanneer ze grotere stappen namen (hogere learning rate), hadden ze ook de neiging om vlakkere valleien te vinden.
De Metriek: Hun nieuwe "Natuurlijke Vlakheid" ( $S_R$ ) voorspelde succesvol welke modellen het beste zouden werken. De oude "Rubber Liniaal" vlakheid ( $S_E$ ) faalde in het voorspellen hiervan, vooral wanneer het netwerk werd geherstructureerd.

Belangrijke Kanttekeningen (De Kleine Lettertjes)

De auteurs zijn eerlijk over de beperkingen:

Het "Perfecte" vs. "Echte" Kompas: De wiskunde bewijst dat de echte Fisher Information Matrix perfect invariant is. Echter, in echte computers moeten ze een benadering gebruiken (een "diagonale" versie) om de berekeningen snel te maken. Deze benadering is bijna invariant, maar niet 100% perfect.
De "Stoten" zijn niet altijd perfect: De theorie gaat ervan uit dat de "stoten" (ruis) een specifiek patroon volgen. In de echte wereld volgt dit patroon de theorie heel dicht, maar is het niet exact gelijk. De auteurs laten echter zien dat zelfs met deze kleine imperfecties, de hoofdb conclusie (dat SGD van vlakke valleien houdt) nog steeds standhoudt.

Samenvatting

Dit paper repareert een kapotte theorie over waarom AI-modellen generaliseren.

Het Probleem: Oude manieren om "vlakheid" te meten waren vals omdat ze afhankelijk waren van hoe je de kaart tekende.
De Fix: Ze introduceerden een "natuurlijke" meting (Riemannian Sharpness) die hetzelfde blijft, ongeacht hoe je de kaart uitrekt.
Het Mechanisme: Ze bewezen dat de willekeurige ruis tijdens de training (SGD) modellen natuurlijk naar deze vlakke, veilige valleien duwt.
Het Resultaat: Vlakke valleien (gemeten met deze nieuwe methode) betekenen betere prestaties op nieuwe data.

Kortom: Zoek niet alleen naar het laagste punt; zoek naar de breedste, vlakste vallei, en gebruik een kompas dat het terrein respecteert, niet de kaart.

Technische Samenvatting: Fisher-Geometrische Scherpte en de Impliciete Bias van SGD naar Platte Minima

1. Probleemstelling

De heersende intuïtie in deep learning stelt dat Stochastic Gradient Descent (SGD) impliciet de voorkeur geeft aan "platte minima" in het verlieslandschap, en dat deze platte minima beter generaliseren dan "scherpe" minima. De theoretische basis van dit narratief is echter kritisch ondermijnd door Dinh et al. [2017], die aantoonden dat standaard Euclidische maten van scherpte (bijv. de trace of de maximale eigenwaarde van de Hessiaan van het verlies) niet invariant zijn onder herparametrisatie.

Specifiek kan men voor een neuraal netwerk de gewichten herschalen (bijv. $W_1 \to \alpha W_1, W_2 \to \alpha^{-1} W_2$ ) om de input-output functie van het netwerk exact te behouden terwijl de Euclidische scherpte willekeurig wordt veranderd. Aangezien generalisatie een eigenschap is van de functie, en niet van de specifieke parametrisatie, kan een niet-invariante scherptemaat de generalisatie niet betekenisvol verklaren. Hoewel er partiële stappen richting invariante maten zijn gezet (bijv. Jang et al. [2022]; Kristiadi et al. [2023]), ontbrak een verenigd kader dat invariante scherpte, de impliciete bias van SGD en generalisatiegrenzen met elkaar verbindt.

2. Methodologie

2.1 Riemanniaanse Scherpte ( $S_R$ )

De auteurs vervangen de Euclidische metriek op de parameterruimte door de Fisher Informatie Matrix (FIM), $G(\theta)$ , die een Riemanniaanse structuur induceert die inherent is aan de predictieve distributie van het model. Zij definiëren Riemanniaanse scherpte in een minimum $\theta^*$ als:
$S_R(\theta^*) = \text{tr}\left( G(\theta^*)^{-1} \nabla^2 L(\theta^*) \right)$
waarbij $\nabla^2 L$ de Hessiaan van de trainingsverliesfunctie is. In tegenstelling tot Euclidische scherpte, meet $S_R$ de kromming relatief aan de natuurlijke geometrie van de statistische manifold.

2.2 Theoretisch Kader: SGD als een Stochastische Differentiaalvergelijking (SDE)

De auteurs formaliseren mini-batch SGD als een continue-tijd SDE. Zij introduceren Aanname 3, die stelt dat de covariantie van de gradiëntruis proportioneel is aan de FIM:
$\text{Cov}[\nabla \tilde{L}(\theta^*)] = \frac{\eta}{B} G(\theta^*)$
waarbij $\eta$ de leersnelheid is en $B$ de batchgrootte. Onder deze aanname leiden zij de stationaire distributie $\pi^*$ van het SGD-proces af.

2.3 Generalisatiegrenzen

De auteurs verbinden de geometrische bias met testprestaties via een PAC-Bayes kader. Zij construeren een posterior distributie gecentreerd rond het getrainde minimum en leiden een generalisatiegrens af die expliciet wordt gecontroleerd door $S_R$ .

2.4 Empirische Schatting

Omdat het berekenen van de volledige FIM onhandelbaar is, maken de auteurs gebruik van een diagonale empirische FIM-schatter (door voorspellingen te samplen uit de eigen distributie van het model) en de Hutchinson stochastische trace-schatter voor de Hessiaan. Zij erkennen dat hoewel de ware FIM invariantie garandeert, de diagonale empirische schatter die in experimenten wordt gebruikt, deze invariantie slechts benaderend overneemt.

3. Belangrijkste Bijdragen

Definitie van Reparametrisatie-Invariante Scherpte: Het artikel definieert $S_R$ en bewijst (Lemma 1) dat het invariant is onder gladde, functie-behoudende herparametrisaties, wat direct ingaat op de kritiek van Dinh et al. [2017].
Analyse van de Stationaire Distributie: De auteurs leiden de stationaire distributie van mini-batch SGD af (Theorem 1) en bewijzen dat de waarschijnlijkheidsmassa exponentieel geconcentreerd is bij minima met een lage Riemanniaanse scherpte (Corollary 1). Dit vestigt een rigoureuze impliciete bias naar Riemanniaanse-platte minima.
PAC-Bayes Generalisatiegrens: Een generalisatiegrens (Corollary 2) wordt vastgesteld waarbij de generalisatiekloof expliciet wordt gecontroleerd door $S_R$ , wat een theoretische link biedt tussen Riemanniaanse vlakheid en testprestaties.
Empirische Validatie: Experimenten op MNIST en CIFAR-10 bevestigen dat $S_R$ de generalisatie volgt over verschillende optimizers (SGD, Adam), batchgroottes en leersnelheden op manieren waarop Euclidische scherpte ( $S_E$ ) dat niet doet. De schaling van $S_R$ met $\eta/B$ komt overeen met de theoretische voorspellingen.

4. Resultaten

4.1 Invariantie en Uitlijning

Invariantie: Hoewel de ware FIM strikt invariant is, is de empirische diagonale schatter niet perfect invariant onder willekeurige herschaling. Het blijft echter aanzienlijk stabieler dan Euclidische scherpte onder gewichtsherschaling.
Ruisstructuur: Empirische tests (Sectie 5) laten zien dat de gradiëntruis-covariantie en de FIM directioneel uitgelijnd zijn (cosinus-gelijkenis $\approx 1.0$ ) over configuraties heen. Echter, de scalaire proportionaliteitsconstante is niet exact $\eta/B$ in alle regimes, met name in kleine-batch, hoge-ruis settings. De auteurs verfijnen hun aanname door een scalaire factor $\alpha(\theta)$ toe te staan, waarbij zij bewijzen dat de belangrijkste theoretische conclusies (bias naar platte minima) robuust blijven, zelfs als de scalaire claim niet perfect is.

4.2 Schalingswetten en Generalisatie

Batchgrootte ( $B$ ): Op MNIST leidt het vergroten van $B$ tot een significante toename van $S_R$ en een overeenkomstige afname van de testnauwkeurigheid, consistent met de voorspelling $S_R \propto B/\eta$ . Op CIFAR-10 is de relatie complexer vanwege optimalisatieproblemen in kleine-batch regimes, maar de trend dat een hogere $B$ leidt tot een hogere $S_R$ houdt stand.
Leersnelheid ( $\eta$ ): Het verhogen van $\eta$ verlaagt over het algemeen $S_R$ en verbetert de generalisatie (tot een punt waar training instabiel wordt).
Optimizers:
- SGD: Vindt consequent minima met lagere $S_R$ en hogere nauwkeurigheid in kleine-batch settings.
- Adam: Bereikt een lage $S_R$ en hoge nauwkeurigheid op MNIST. Op CIFAR-10 vindt Adam minima met een lagere $S_R$ dan SGD, maar een iets lagere nauwkeurigheid. De auteurs suggereren dat dit komt omdat de adaptieve preconditioning van Adam de effectieve metriek verandert; de impliciete bias van gepreconditioneerde optimizers is gericht op vlakheid relatief aan hun eigen metriek-tensor.

4.3 Trainingsdynamiek

Trainingstrajecten laten zien dat kleine-batch SGD progressief scherpe bassins verlaat en terechtkomt in vlakkere regio's (afnemende $S_R$ ) naarmate de training vordert. Grote-batch SGD stabiliseert op hogere $S_R$ -waarden, wat consistent is met onvoldoende ruis om scherpe minima te verlaten.

5. Betekenis en Claims

Het artikel beweert de eerste rigoureuze, herparametrisatie-invariante verklaring te bieden voor waarom platte minima generaliseren. Door scherpte te funderen in de Riemanniaanse geometrie van de statistische manifold (via de FIM), lossen de auteurs de fundamentele bezwaar op dat vlakheid slechts een artefact van parametrisatie is.

De betekenis van het werk ligt in:

Theoretische Resolutie: Het overbrugt de kloof tussen de "flatness-generalization" intuïtie en de "reparametrization critique" door een scherptemaat te definiëren dat inherent is aan de functie van het model.
Mechanisme van Impliciete Bias: Het biedt een wiskundige afleiding die laat zien dat de ruisstructuur van SGD (proportioneel aan de FIM) de optimizer natuurlijk naar minima met een lage Riemanniaanse scherpte drijft.
Praktische Metriek: Het demonstreert dat $S_R$ een betrouwbaardere voorspeller van generalisatie is dan Euclidische scherpte, vooral bij het vergelijken van modellen die getraind zijn met verschillende hyperparameters of optimizers.

Beperkingen erkend door de auteurs:

De empirische diagonale FIM-schatter is niet perfect herparametrisatie-invariant; exacte invariantie zou gestructureerde schatters zoals K-FAC vereisen.
De scalaire claim van de ruis-covariantie ( $\alpha = \eta/B$ ) is een benadering die directioneel weliswaar standhoudt, maar varieert in grootte afhankelijk van de dataset en architectuur.
De relatie tussen $S_R$ en generalisatie is het meest informatief wanneer de optimizer is geconvergeerd; in instabiele regimes (bijv. zeer hoge leersnelheden) garandeert een lage $S_R$ geen goede generalisatie.