🤖 machine learning

Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima

Diese Arbeit löst die Kritik der Reparametrisierungsinvarianz an flachen Minima, indem sie die Riemannsche Schärfe über die Fisher-Informationsmatrix definiert, beweist, dass das Gradientenrauschen von SGD eine stationäre Verteilung induziert, die diese invarianten flachen Minima bevorzugt, und diesen geometrischen Bias durch eine PAC-Bayes-Schranke mit verbesserter Generalisierung verknüpft.

Ursprüngliche Autoren: Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

Veröffentlicht 2026-06-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Karte“ vs. das „Territorium“

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einem riesigen, nebligen Gebirge zu finden (dies repräsentiert die „Loss-Landschaft“ eines neuronalen Netzes). Sie wollen einen Ort finden, der nicht nur tief, sondern auch flach ist. Warum? Weil die Autoren argumentieren, dass Ihr Modell besser mit neuen, ungesehenen Daten funktioniert (es wird besser „generalisieren“), wenn Sie in einem weiten, flachen Tal landen.

Es gab jedoch ein großes Problem damit, wie Wissenschaftler die „Flachheit“ bisher gemessen haben. Sie verwendeten ein Standardlineal (euklidische Geometrie), um die Form des Tals zu messen.

Die Analogie: Stellen Sie sich vor, Sie haben eine Karte eines Tals.

Der alte Weg: Sie zeichnen die Karte auf ein Stück Gummi. Wenn Sie das Gummi horizontal dehnen, sieht das Tal unglaublich breit und flach aus. Wenn Sie es vertikal stauchen, sieht das Tal wie ein tiefer, scharfer Stachel aus.
Die Kritik: Ein berühmtes Paper von Dinh et al. wies darauf hin, dass dieses „Lineal“ betrügt. Man kann die Karte dehnen oder stauchen (das neuronale Netz reparametrisieren), ohne das Tal selbst zu verändern. Die gemessene „Flachheit“ hängt also völlig davon ab, wie man die Karte gezeichnet hat, und nicht vom tatsächlichen Gelände. Dies machte die Theorie, dass „flach gut ist“, instabil, da die Messung nicht echt war.

Die Lösung: Der „natürliche“ Kompass

Dieses Paper schlägt eine neue Methode vor, die Flachheit zu messen, der es egal ist, wie Sie die Karte dehnen oder stauchen. Sie verwenden etwas namens Fisher-Informationsmatrix (FIM).

Die Analogie: Anstatt ein Gummilineal zu verwenden, stellen Sie sich vor, Sie haben einen Kompass, der in das Gelände selbst eingebaut ist. Dieser Kompass kennt die „natürliche“ Form des Bodens.

Wenn Sie die Gummi-Karte dehnen, bewegt sich der Kompass mit dem Gelände mit. Er zeigt immer noch dieselbe „natürliche“ Flachheit an.
Die Autoren definen eine neue Messgröße namens Riemannian Sharpness ( $S_R$ ). Diese misst, wie stark das Tal im Verhältnis zur „natürlichen“ Geometrie der Daten gekrümmt ist, nicht im Verhältnis zu einem willkürlichen Gitter.

Sie beweisen mathematisch, dass diese neue Messung invariant ist. Egal, ob Sie die Karte dehnen oder stauchen, die „natürliche Flachheit“ bleibt gleich. Dies behebt den grundlegenden Fehler der alten Theorie.

Wie SGD die flachen Täler findet

Das Paper erklärt auch, warum Stochastic Gradient Descent (SGD) – der Algorithmus, der zum Trainieren von KI verwendet wird – dazu neigt, diese flachen Täler zu finden.

Die Analogie: Stellen Sie sich vor, Sie wandern im Nebel einen Berg hinunter.

Standard Gradient Descent: Sie gehen perfekt gerade den steilsten Hang hinunter. Sie könnten in einer winzigen, scharfen Spalte am Boden stecken bleiben.
SGD (Stochastisch): Sie wandern, während Sie sanft von einer Menschenmenge angestoßen werden (das „Rauschen“ durch das Verarbeiten kleiner Datenpakete bzw. Batches).
Die Entdeckung: Die Autoren zeigen, dass diese „Anstöße“ kein zufälliges Chaos sind. Sie sind geformt wie das Gelände selbst (geleitet durch die FIM).
- Wenn Sie in einem scharfen, engen Tal sind, sind die Anstöße zu wild; sie werfen Sie direkt aus dem Tal heraus.
- Wenn Sie in einem weiten, flachen Tal sind, sind die Anstöße sanft genug, dass Sie dort bleiben können.

Mathematisch beweisen sie, dass das „Rauschen“ von SGD wie ein Magnet wirkt, der das Modell in die weitesten, flachsten Täler zieht. Je breiter das Tal, desto wahrscheinlicher ist es, dass das Modell sich dort niederlässt.

Der Beweis: Warum Flachheit eine bessere Leistung bedeutet

Die Autoren verbinden diese Geometrie mit der realen Leistung unter Verwendung eines mathematischen Sicherheitsnetzes namens PAC-Bayes-Bound.

Die Analogie: Denken Sie an ein Sicherheitsnetz unter einem Seiltänzer.

Wenn das Seil ein scharfer, dünner Draht ist (ein scharfes Minimum), könnte ein winziges Wackeln (ein neuer Datenpunkt) den Walker zum Absturz bringen.
Wenn das Seil eine weite, flache Plattform ist (ein flaches Minimum), kann der Walker viel wackeln und trotzdem sicher bleiben.

Das Paper beweist, dass die „Breite“ dieser Plattform (gemessen durch ihre neue Riemannian Sharpness) direkt vorhersagt, wie gut das Modell bei neuen Daten abschneiden wird. Je flacher das Minimum, desto enger ist das Sicherheitsnetz und desto besser ist die Generalisierung.

Was die Experimente zeigten

Die Autoren testeten dies auf zwei berühmten Datensätzen (MNIST und CIFAR-10) unter verschiedenen Einstellungen:

Batch-Größe: Wenn sie kleinere Gruppen von Daten verwendeten (kleinere Batches), waren die „Anstöße“ größer, und das Modell fand flachere Täler und performte besser.
Lernrate: Wenn sie größere Schritte machten (höhere Lernrate), tendierten sie ebenfalls dazu, flachere Täler zu finden.
Die Metrik: Ihre neue „Natürliche Flachheit“ ( $S_R$ ) konnte erfolgreich vorhersagen, welche Modelle am besten funktionieren würden. Die alte „Gummilineal“-Flachheit ( $S_E$ ) scheiterte daran, dies vorherzusagen, insbesondere wenn das Netzwerk neu angeordnet wurde.

Wichtige Einschränkungen (Das Kleingedruckte)

Die Autoren sind ehrlich über die Einschränkungen:

Der „perfekte“ vs. der „reale“ Kompass: Die Mathematik beweist, dass die wahre Fisher-Informationsmatrix perfekt invariant ist. In echten Computern müssen sie jedoch eine Approximation (eine „diagonale“ Version) verwenden, um die Berechnungen schnell zu halten. Diese Approximation ist fast invariant, aber nicht zu 100 % perfekt.
Die „Anstöße“ sind nicht immer perfekt: Die Theorie nimmt an, dass die „Anstöße“ (Rauschen) einem spezifischen Muster folgen. In der realen Welt ist dieses Muster sehr nah an der Theorie, aber nicht exakt identisch. Die Autoren zeigen jedoch, dass selbst mit diesen kleinen Unvollkommenheiten die Hauptschlussfolgerung (dass SGD flache Täler liebt) weiterhin Bestand hat.

Zusammenfassung

Dieses Paper repariert eine fehlerhafte Theorie darüber, warum KI-Modelle generalisieren.

Das Problem: Alte Wege, „Flachheit“ zu messen, waren Betrug, weil sie davon abhingen, wie man die Karte zeichnete.
Die Lösung: Sie führten eine „natürliche“ Messung ein (Riemannian Sharpness), die gleich bleibt, egal wie man die Karte dehnt oder staucht.
Der Mechanismus: Sie bewiesen, dass das zufällige Rauschen beim Training (SGD) Modelle natürlich in diese flachen, sicheren Täler drängt.
Das Ergebnis: Flachere Täler (gemessen mit dieser neuen Methode) bedeuten eine bessere Leistung bei neuen Daten.

Kurz gesagt: Suchen Sie nicht nur nach dem tiefsten Punkt; suchen Sie nach dem weitesten, flachsten Tal und benutzen Sie einen Kompass, der das Gelände respektiert, nicht die Karte.

Technisches Resümee: Fisher-Geometrische Schärfe und der implizite Bias von SGD zu flachen Minima

1. Problemstellung

Die vorherrschende Intuition im Deep Learning besagt, dass der stochastische Gradientenabstieg (SGD) implizit „flache Minima“ bevorzugt und dass diese flachen Minima besser generalisieren als „scharfe“ Minima. Die theoretische Grundlage dieser Erzählung wurde jedoch durch Dinh et al. [2017] kritisch untergraben, die zeigten, dass Standard-Maße für euklidische Flachheit (z. B. die Spur oder der maximale Eigenwert der Verlust-Hesse-Matrix) nicht reparametrisierungsinvariant sind.

Speziell kann man bei einem neuronalen Netzwerk die Gewichte skalieren (z. B. $W_1 \to \alpha W_1, W_2 \to \alpha^{-1} W_2$ ), um die Input-Output-Funktion des Netzwerks exakt beizubehalten, während man die euklidische Schärfe beliebig verändert. Da die Generalisierung eine Eigenschaft der Funktion ist, nicht der spezifischen Parametrisierung, kann ein nicht-invariantes Schärfemaß die Generalisierung nicht sinnvoll erklären. Während partielle Schritte in Richtung invarianter Maße unternommen wurden (z. B. Jang et al. [2022]; Kristiadi et al. [2023]), fehlte bislang ein vereinheitlichter Rahmen, der invariante Schärfe, den impliziten Bias von SGD und Generalisierungsgrenzen verbindet.

2. Methodik

2.1 Riemannsche Schärfe ( $S_R$ )

Die Autoren ersetzen die euklidische Metrik auf dem Parameterraum durch die Fisher-Informationsmatrix (FIM), $G(\theta)$ , welche eine Riemannsche Struktur induziert, die der prädiktiven Verteilung des Modells inhärent ist. Sie definieren die Riemannsche Schärfe an einem Minimum $\theta^*$ als:
$S_R(\theta^*) = \text{tr}\left( G(\theta^*)^{-1} \nabla^2 L(\theta^*) \right)$
im Gegensatz zur euklidischen Schärfe misst $S_R$ die Krümmung relativ zur natürlichen Geometrie der statistischen Mannigfaltigkeit.

2.2 Theoretischer Rahmen: SGD als stochastische Differentialgleichung (SDE)

Die Autoren formalisieren Mini-Batch-SGD als kontinuierliche Zeit-SDE. Sie führen Annahme 3 ein, die postuliert, dass die Kovarianz des Gradientenrauschens proportional zur FIM ist:
$\text{Cov}[\nabla \tilde{L}(\theta^*)] = \frac{\eta}{B} G(\theta^*)$
wobei $\eta$ die Lernrate und $B$ die Batch-Größe ist. Unter dieser Annahme leiten sie die stationäre Verteilung $\pi^*$ des SGD-Prozesses ab.

2.3 Generalisierungsgrenzen

Die Autoren verbinden den geometrischen Bias mit der Testleistung mittels eines PAC-Bayes-Rahmens. Sie konstruieren eine Posterior-Verteilung, die um das trainierte Minimum zentriert ist, und leiten eine Generalisierungsgrenze ab, die explizit durch $S_R$ kontrolliert wird.

2.4 Empirische Schätzung

Da die Berechnung der vollen FIM unpraktikabel ist, nutzen die Autoren einen diagonalen empirischen FIM-Schätzer (Sampling der Vorhersagen aus der eigenen Verteilung des Modells) und Hutchinson's stochastischen Spur-Schätzer für die Hesse-Matrix. Sie räumen ein, dass der im Experiment verwendete diagonale empirische FIM-Schätzer die Invarianz nur annähernd erbt, obwohl die wahre FIM die Invarianz garantiert.

3. Zentrale Beiträge

Definition der Reparametrisierungsinvarianten Schärfe: Das Paper definiert $S_R$ und beweist (Lemma 1), dass es unter glatten, funktionserhaltenden Reparametrisierungen invariant ist, womit die Kritik von Dinh et al. [2017] direkt adressiert wird.
Analyse der stationären Verteilung: Die Autoren leiten die stationäre Verteilung von Mini-Batch-SGD ab (Theorem 1) und beweisen, dass die Wahrscheinlichkeitsmasse an Minima mit niedriger Riemannscher Schärfe exponentiell konzentriert ist (Korollar 1). Dies etabliert einen rigorosen impliziten Bias hin zu Riemannschen-flachen Minima.
PAC-Bayes Generalisierungsgrenze: Eine Generalisierungsgrenze (Korollar 2) wird etabliert, wobei die Generalisierungslücke explizit durch $S_R$ kontrolliert wird, was eine theoretische Verbindung zwischen Riemannscher Flachheit und Testleistung herstellt.
Empirische Validierung: Experimente auf MNIST und CIFAR-10 bestätigen, dass $S_R$ die Generalisierung über verschiedene Optimierer (SGD, Adam), Batch-Größen und Lernraten hinweg verfolgt, in einer Weise, wie es die euklidische Schärfe ( $S_E$ ) nicht tut. Die Skalierung von $S_R$ mit $\eta/B$ entspricht den theoretischen Vorhersagen.

4. Ergebnisse

4.1 Invarianz und Ausrichtung

Invarianz: Während die wahre FIM streng invariant ist, ist der empirische diagonale Schätzer nicht perfekt invariant unter beliebiger Skalierung. Er bleibt jedoch wesentlich stabiler als die euklidische Schärfe unter Gewichtsskalierung.
Rauschstruktur: Empirische Tests (Abschnitt 5) zeigen, dass die Kovarianz der Gradientenrausch-Struktur und die FIM richtungsweise ausgerichtet sind (Cosinus-Ähnlichkeit $\approx 1.0$ ) über verschiedene Konfigurationen hinweg. Der skalare Proportionalitätsfaktor ist jedoch nicht in allen Regimen exakt $\eta/B$ , insbesondere in Settings mit kleinen Batches und hohem Rauschen. Die Autoren verfeinern ihre Annahme, indem sie einen Skalarfaktor $\alpha(\theta)$ zulassen, und beweisen, dass die Hauptschlussfolgerungen (Bias zu flachen Minima) robust bleiben, selbst wenn die skalare Behauptung unvollkommen ist.

4.2 Skalierungsgesetze und Generalisierung

Batch-Größe ( $B$ ): Auf MNIST führt eine Erhöhung von $B$ zu einer signifikanten Zunahme von $S_R$ und einer entsprechenden Abnahme der Testgenauigkeit, konsistent mit der Vorhersage $S_R \propto B/\eta$ . Auf CIFAR-10 ist die Beziehung aufgrund von Optimierungsschwierigkeiten in Small-Batch-Regimen komplexer, aber der Trend, dass ein höheres $B$ zu einem höheren $S_R$ führt, hält an.
Lernrate ( $\eta$ ): Eine Erhöhung von $\eta$ verringert im Allgemeinen $S_R$ und verbessert die Generalisierung (bis zu einem Punkt, an dem das Training instabil wird).
Optimierer:
- SGD: Findet konsistent Minima mit niedrigerem $S_R$ und höherer Genauigkeit in Small-Batch-Settings.
- Adam: Erreicht ein niedriges $S_R$ und eine hohe Genauigkeit auf MNIST. Auf CIFAR-10 findet Adam Minima mit einem niedrigeren $S_R$ als SGD, aber eine etwas geringere Genauigkeit. Die Autoren vermuten, dass dies daran liegt, dass Adams adaptive Preconditioning die effektive Metrik verändert; der implizite Bias von präkonditionierten Optimierern liegt in der Flachheit relativ zu ihrer eigenen Metrik-Tensoren.

4.3 Trainingsdynamik

Trainingsverläufe zeigen, dass Small-Batch-SGD progressive scharfe Basen verlässt und sich im weiteren Verlauf in flachere Regionen begibt (sinkendes $S_R$ ), während das Training fortschreitet. Large-Batch-SGD stabilisiert sich bei höheren $S_R$ -Werten, was konsistent mit unzureichendem Rauschen ist, um scharfe Minima zu verlassen.

5. Bedeutung und Ansprüche

Das Paper beansprucht, die erste rigorose, reparametrisierungsinvariante Erklärung dafür zu liefern, warum flache Minima generalisieren. Durch die Fundierung der Schärfe in der Riemannschen Geometrie der statistischen Mannigfaltigkeit (via FIM) lösen die Autoren den grundlegenden Einwand auf, dass Flachheit lediglich ein Artefakt der Parametrisierung sei.

Die Bedeutung der Arbeit liegt in:

Theoretische Auflösung: Sie schließt die Lücke zwischen der „Flachheit-Generalisierung“-Intuition und der „Reparametrisierungskritik“, indem sie ein Schärfemaß definiert, das eine intrinsische Eigenschaft der Funktion des Modells ist.
Mechanismus des impliziten Bias: Sie liefert eine mathematische Ableitung, die zeigt, dass die Rauschstruktur von SGD (proportional zur FIM) den Optimierer natürlich zu Minima mit niedrigem Riemannschem $S_R$ treibt.
Praktisches Maß: Sie demonstriert, dass $S_R$ ein zuverlässigerer Prädiktor für die Generalisierung ist als die euklidische Schärfe, insbesondere beim Vergleich von Modellen, die mit unterschiedlichen Hyperparametern oder Optimierern trainiert wurden.

Vom Autor eingeräumte Limitationen:

Der empirische diagonale FIM-Schätzer ist nicht perfekt reparametrisierungsinvariant; eine exakte Invarianz würde strukturierte Schätzer wie K-FAC erfordern.
Die skalare Behauptung der Rauschkovarianz ( $\alpha = \eta/B$ ) ist eine Approximation, die richtungsorientiert gilt, aber je nach Datensatz und Architektur in der Größenordnung variiert.
Die Beziehung zwischen $S_R$ und Generalisierung ist am informativsten, wenn der Optimierer konvergiert ist; in instabilen Regimen (z. B. sehr hohe Lernraten) garantiert ein niedriges $S_R$ keine gute Generalisierung.