🤖 machine learning

How the Hessian-Spectrum of Neural Networks Depends on Data

Diese Arbeit leitet die Eigenwerte der Hesse-Matrix für lineare Netzwerke mit beliebigen Architekturen und Datensätzen her, wobei sie aufzeigt, dass die Schärfe der Lösung bei Klassifizierungsaufgaben direkt durch den maximalen Anteil der Proben in einer einzelnen Klasse bestimmt wird, während sie gleichzeitig demonstriert, dass diese theoretischen Erkenntnisse selbst dann robust bleiben, wenn vereinfachende Annahmen gelockert und Nichtlinearitäten eingeführt werden.

Ursprüngliche Autoren: Jasraj Singh, Enea Monzio Compagnoni, Antonio Orvieto

Veröffentlicht 2026-07-16

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jasraj Singh, Enea Monzio Compagnoni, Antonio Orvieto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Katzen, Hunde und Vögel zu erkennen. Sie übergeben ihm nicht einfach nur ein Bild und sagen „lerne“; Sie geben ihm eine massive, unsichtbare Landschaft aus Hügeln und Tälern. Jedes Mal, wenn der Roboter falsch rät, gleitet er einen Hang hinunter in Richtung einer besseren Antwort. Diese Landschaft wird als „Loss-Landschaft“ bezeichnet, und die Reise des Roboters über sie hinweg ist „Optimierung“. Aber hier ist der knifflige Teil: Die Landschaft ist nicht nur hügelig; sie ist eine wilde, gewundene Gebirgskette mit Klippen, flachen Ebenen und scharfen Gipfeln. Um zu verstehen, wie sich der Roboter bewegt, nutzen Wissenschaftler ein mathematisches Werkzeug namens Hessian-Matrix. Betrachten Sie den Hessian als eine topografische Karte, die Ihnen genau sagt, wie steil der Boden an einer bestimmten Stelle ist. Wenn der Boden sehr steil (scharf) ist, könnte der Roboter wild umherhüpfen; wenn er flach ist, könnte der Robot feststecken oder sich zu langsam bewegen. Das Verständnis dieser „Steilheit“ hilft Wissenschaftlern, bessere Roboter zu bauen, die schneller lernen und weniger Fehler machen.

Ein Team von Forschern der Universität Basel und des ELLIS Institute in Tübingen beschloss, die Mathematik hinter dieser Karte genauer zu untersuchen. Sie wollten wissen: Wie verändert die Form der Daten selbst die Steilheit der Landschaft? Sie bauten ein mathematisches Modell eines „neuronalen Netzwerks“ (einer Art KI-Gehirn) und fragten: „Wenn wir dieses Netzwerk mit verschiedenen Arten von Daten füttern – einigen mit vielen Stichproben, einigen mit seltsamen Merkmalen, einigen mit unbalancierten Labels – wie verändert sich dann der Hessian?“ Sie haben nicht nur geraten; sie haben exakte Formeln für die „Eigenwerte“ (die Zahlen, die die Steilheit angeben) dieser Karte hergeleitet. Ihre große Entdeckung? Die Steilheit der Lösung hängt nicht nur davon ab, wie komplex das Netzwerk ist, sondern ist direkt mit der Verteilung der Daten verknüpft. Speziell gilt: Wenn eine Klasse von Daten (wie „Katzen“) viel häufiger vorkommt als andere, wird die Lösung „schärfer“. Sie fanden heraus, dass, obwohl ihre Mathematik auf einigen idealisierten Annahmen (wie perfekt runden Datenwolken) basierte, die entdeckten Regeln überraschend gut Bestand hatten, selbst als sie diese Regeln brachen und reale Unordnung wie nicht-lineare Aktivierungen hinzufügten.

Die Gestalt der Lernlandschaft

Um zu verstehen, was diese Forscher herausgefunden haben, lernen wir zuerst die Akteure kennen. Sie untersuchten ein „lineares neuronales Netzwerk“, eine vereinfachte Version der KI-Gehirne, die wir heute verwenden. Stellen Sie sich eine Fabrik-Montageband vor, bei dem ein Rohmaterial (die Eingangsdaten) mehrere Stationen (Schichten) durchläuft, um zu einem fertigen Produkt (der Vorhersage) zu werden. Die „Gewichte“ sind die Einstellungen der Maschinen an jeder Station. Das Ziel ist es, diese Einstellungen so anzupassen, dass das Produkt perfekt mit dem Ziel übereinstimmt. Die Forscher verwendeten einen „Mean-Squared Error“ (MSE) Loss, was im Grunde nur eine schicke Art ist zu sagen, dass sie den Abstand zwischen der Vermutung des Roboters und der echten Antwort quadrierten und versuchten, diese Zahl so klein wie möglich zu machen.

Um zu sehen, wie sich der Roboter bewegt, betrachteten sie den Hessian, ein riesiges Gitter aus Zahlen, das die Krümmung der Fehlerlandschaft beschreibt. Anstatt den exakten, unordentlichen Hessian zu berechnen (was rechenintensiv ist), nutzten sie eine clevere Abkürzung namens Generalized Gauss-Newton (GGN) Approximation. Betrachten Sie dies als die Nutzung eines Satellitenfotos, um das Gelände zu schätzen, anstatt jeden Zentimeter zu Fuß abzuwandern. Während der Roboter lernt und der Fehler kleiner wird, wird dieses Satellitenfoto unglaublich genau.

Die Regeln des Spiels

Die Forscher begannen damit, eine sehr saubere, ideale Welt aufzubauen, um die Mathematik zu lösen. Sie nahmen an, dass die Daten „isotrop“ seien, was bedeutet, dass die Merkmale in alle Richtungen perfekt gleichmäßig verteilt sind, wie eine perfekt runde Punktwolke. Sie nahmen auch an, dass die Schichten des Netzwerks „stark ausbalanciert“ seien, was bedeutet, dass die Einstellungen in einer Schicht perfekt auf die nächste abgestimmt waren, wie bei einer synchronisierten Tanzgruppe.

Unter diesen perfekten Bedingungen entdeckten sie ein wunderschönes Muster. Für ein einfaches zweischichtiges Netzwerk wird die Steilheit der Landschaft (die Eigenwerte) durch die Summe der quadrierten „Stärken“ (Singularwerte) der Gewichte in jeder Schicht bestimmt. Es ist, als würde man sagen, dass die gesamte Steilheit eines Berges die Summe der Steilheit seiner zwei Haupthänge ist. Sie fanden heraus, dass der schärfste Punkt der Landschaft einfach die Summe der quadrierten Größen der Gewichte in der ersten und zweiten Schicht ist. Dies widersprach einer früheren Idee, die nahelegte, dass die Schärfe nur die größere der beiden sei, und bewies, dass beide Schichten zur Gesamtschärfe beitragen.

Als sie dies auf tiefere Netzwerke (mehr als zwei Schichten) ausdehnten, fanden sie: Wenn die Schichten „ausbalanciert“ bleiben (die Tanzgruppe bleibt im Einklang), folgt die Steilheit einer spezifischen Formel, die die Anzahl der Schichten und die Stärke der Gewichte beinhaltet. Eine wichtige Erkenntnis hierbei ist, dass der Großteil der Landschaft tatsächlich flach ist! Von tausenden möglicher Richtungen, in die der Roboter sich bewegen könnte, sind nur ein winziger Bruchteil tatsächlich steil; der Rest liegt nahe bei Null. Dies erklärt, warum KI-Modelle oft einen „Bulk“ (eine Masse) an flachen Richtungen aufweisen, ein Phänomen, das in realen Experimenten beobachtet wurde.

Wie Daten das Terrain formen

Der spannendste Teil der Arbeit ist, wie die Daten selbst die Form dieser Landschaft diktieren. Die Forscher fragten: „Was passiert, wenn wir den Datensatz ändern?“

Datensatzgröße: Überraschenderweise, wenn man die Datenpunkte konsistent hält, hängt die Schärfe der Lösung nicht von der Anzahl der Stichproben ab. Egal, ob Sie 100 Bilder oder 10.000 Bilder haben, die Steilheit der endgültigen Lösung bleibt gleich. Dies stellt die bisherige Annahme infrage, dass mehr Daten immer zu einer spezifischen Art von schärferer (oder flacherer) Landschaft führen.
Tiefe: Die Anzahl der Schichten spielt eine Rolle. Wenn die Eingangsdaten „kleiner“ sind als die Ausgabelabels, macht das Netzwerk tiefer das System tatsächlich schärfer. Es ist, als würde man mehr Stufen zu einer Treppe hinzufügen; wenn die Stufen uneben sind, wird die gesamte Struktur prekärer.
Merkmalsmagnitude: Wenn Ihre Datenmerkmale groß und weit gestreut sind (hohe Varianz), wird die Lösung schärfer. Stellen Sie sich vor, Sie versuchen, auf einem Drahtseil zu balancieren, das sehr straff gespannt ist; es reagiert empfindlicher auf Bewegungen als ein loses Seil.
Label-Verteilung (Die große Entdeckung): Dies ist der „rauchende Colt“ der Arbeit. Für Klassifizierungsaufgaben (wie das Sortieren von Katzen, Hunden und Vögeln) steht die Schärfe der Lösung in direktem Zusammenhang mit der Frage, wie unbalanciert die Klassen sind. Wenn eine Klasse eine unverhältnismäßig große Anzahl von Stichproben hat (z. B. 90 % Katzen, 10 % Hunde), wird die Lösung schärfer.
- Warte mal, ist ein Datensatz mit einer dominanten Klasse nicht einfacher zu lernen? Intuitiv ja. Es ist einfacher, „Katze“ zu raten, wenn fast alles eine Katze ist. Die Mathematik zeigt jedoch, dass diese „einfache“ Lösung auf einem schärferen Gipfel sitzt.
- Dies widerspricht der früheren Idee, dass einfachere Datensätze zu „flacheren“ (robusteren) Lösungen führen. Die Autoren legen nahe, dass das Lernen zwar einfacher sein mag, die mathematische Landschaft jedoch tatsächlich prekärer (schärfer) ist, wenn die Daten unbalanciert sind.

Die Theorie in der realen Welt testen

Die Forscher wussten, dass ihre Mathematik auf „perfekten“ Annahmen beruhte (runde Datenwolken, ausbalancierte Schichten). Also taten sie etwas Mutiges: Sie brachen die Regeln nacheinander, um zu sehen, ob ihre Theorie Bestand hatte.

Das Brechen der „Runden Daten“-Regel: Sie verwendeten echte, unordentliche Daten (wie Bilder von MNIST-Ziffern und CIFAR-Objekten), die nicht perfekt rund waren. Obwohl die exakte Mathematik nicht perfekt hielt, blieb der Trend bestehen. Die Schärfe korrelierte immer noch mit der Unbalanciertheit der Labels.
Das Brechen der „Ausbalancierten Schichten“-Regel: Sie initialisierten das Netzwerk zufällig (die Standardmethode beim Aufbau von KI) anstatt es künstlich auszubalanciert zu halten. Auch hier hielt die Theorie stand. Während des Trainings wurde das Netzwerk natürlich ausgewogener, und die Schärfe folgte weiterhin ihren Vorhersagen.
Hinzufügen von Nicht-Linearität: Sie fügten „Tanh“-Aktivierungsfunktionen hinzu (eine in der KI übliche nicht-lineare Wendung), um das Netzwerk einem echten Gehirn anzähern. Die Ergebnisse unterschieden sich zwar leicht von der perfekten Mathematik, aber das qualitative Verhalten war dasselbe. Die Unbalanciertheit der Labels trieb die Schärfe weiterhin an.

Das Fazit

In einfachen Worten sagt uns diese Arbeit, dass die „Steilheit“ der Lernreise einer KI nicht nur eine Eigenschaft der KI selbst ist. Sie ist tief in der Geometrie der Daten verwurzelt. Wenn Ihre Daten einseitig sind – wenn eine Klasse die anderen dominiert – findet die KI eine Lösung, die mathematisch „schärfer“ ist, selbst wenn diese Lösung leichter zu finden ist. Die Autoren legen nahe, dass diese Schärfe eine direkte Folge der Datenstruktur ist, speziell des maximalen Anteils der Proben, die zu einer einzelnen Klasse gehören.

Obwohl ihre Erkenntnisse aus linearen Netzwerken und spezifischen mathematischen Setups abgeleitet wurden, deutet die Tatsache, dass diese Regeln auch dann bestehen bleiben, wenn sie reale Komplexität (Nicht-Linearitäten, unbalancierte Gewichte, unordentliche Daten) hinzufügen, darauf hin, dass diese Beziehung zwischen Datenverteilung und Landschaftsschärfe eine fundamentale Wahrheit des Deep Learning ist. Es ist eine Erinnerung daran, dass in der Welt der KI die Daten, die man der Maschine füttert, nicht nur lehren, was sie lernen soll, sondern auch die Gestalt der Lernlandschaft bestimmen – und damit entscheiden, ob der Roboter sanft in eine Lösung gleitet oder prekär auf einem scharfen Gipfel balanciert.

Technisches Resümee: Wie das Hessian-Spektrum neuronaler Netze von Daten abhängt

Problemstellung

Die Hessian-Matrix ist ein entscheidendes Werkzeug zur Analyse von Verlustlandschaften, Optimierungsdynamiken und Generalisierung im Deep Learning. Bisherige Forschungsarbeiten stützten sich jedoch weitgehend entweder auf empirische Beobachtungen oder auf theoretische Behandlungen unter übermäßig vereinfachten Bedingungen. Diese Arbeit zielt darauf ab, das vollständige Spektrum der Hessian für neuronale Netze präzise zu charakterisieren, wobei insbesondere untersucht wird, wie die Geometrie der Daten die Schärfe (Sharpness) der gelernten Lösung beeinflusst. Im Gegensatz zu vorangegangenen Arbeiten, die minimale Annahmen auf Kosten der Modellkomplexität priorisieren, nutzt dieses Paper Standard-Annahmen des Deep Learnings, um Ergebnisse für Netzwerke mit beliebiger Breite und Tiefe sowie Datensätzen mit einer beliebigen Anzahl an Stichproben, Merkmalen und Labels abzuleiten.

Methodik

Die Autoren analysieren $L$ -schichtige lineare neuronale Netze, definiert als $f(x; W_{1:L}) = xW_1^\top \dots W_L^\top$ , die auf Eingaben $X$ und Ausgaben $Y$ unter Verwendung des Mean-Squared Error (MSE) Verlusts trainiert werden.

Hessian-Approximation: Die Studie verwendet die verallgemeinerte Gauss-Newton-Approximation (GGN) der Hessian. Da das Training den Verlust reduziert, wird die GGN zunehmend präziser. Es wird gezeigt, dass die nicht-null Eigenwerte der GGN identisch mit denen der Neural Tangent Kernel (NTK)-Matrix sind, welche analytisch leichter handhabbar ist.
Theoretische Annahmen:
- Annahme 1 (Isotrope Merkmale): Die Merkmatsrix $X$ ist vollen Rang besitzend und isotrop ( $\Sigma = \Sigma_{11}I$ ), was ein überbestimmtes System darstellt ( $n \ge d_0$ ).
- Annahme 2 (Stark balancierte Schichten): Hintereinanderliegende Schichten erfüllen $W_\ell W_\ell^\top = W_{\ell+1}^\top W_{\ell+1}$ . Dies impliziert eine Ausrichtung zwischen den linken Singulärvektoren einer Schicht und den rechten Singulärvektoren der nächsten. Die Autoren merken an, dass beliebige Parameterpunkte nicht notwendigerweise balanciert sein müssen, aber Gradientenfluss oder Weight-Decay-Training dazu neigen, diese Balance zu induzieren, insbesondere am „Edge-of-Stability“ (EoS).
Analytische Ableitung: Die Autoren leiten Schranken und exakte Charakterisierungen für die Eigenwerte des NTK (und damit der Hessian) ab, indem sie die Singulärwertzerlegung (SVD) der Merkmatsrix und die Singulärwerte der Gewichtmatrizen nutzen.

Zentrale Beiträge und Ergebnisse

1. Charakterisierung der Hessian-Eigenwerte

Flache Netzwerke ( $L=2$ ): Die nicht-null Eigenwerte werden durch die paarweisen Summen der quadrierten Singulärwerte der zwei Gewichtsschichten charakterisiert. Konkret gilt $\lambda_{ij} \le \frac{\|X\|_2^2}{n} (\sigma_i^2(W_1) + \sigma_j^2(W_2))$ . Die Schranke wird unter Annahme 1 erreicht.
Tiefe Netzwerke ( $L \ge 2$ ): Unter der Annahme stark balancierter Schichten werden die nicht-null Eigenwerte durch ein spezifisches Verhältnis von Potenzen der Singulärwerte der Gewichte bestimmt. Die Anzahl der nicht-null Eigenwerte ist durch $(\min \{d_0, \dots, d_L\})^2$ beschränkt, was die empirische Beobachtung erklärt, dass der Großteil der Hessian-Eigenwerte nahe Null liegt.

2. Abhängigkeit von der Datengeometrie

Das Paper leitet explizite Beziehungen zwischen der Spektralnorm (Schärfe) der Hessian und den Eigenschaften der Daten ab:

Datensatzgröße: Für balancierte Lösungen ist die Schärfe unabhängig von der Datensatzgröße $n$ , vorausgesetzt, die Einträge von $X$ und $Y$ skalieren als $\Theta(1)$ . Dies steht im Gegensatz zu Befunden, die suggerieren, dass die Schärfe mit $n$ zunimmt.
Tiefe: Die Schärfe nimmt mit der Tiefe $L$ zu, wenn $\|X\|_2 \le \|Y\|_2$ .
Merkmal-Magnitude: Größere Merkmals-Magnituden (höhere Varianz) führen zu einer erhöhten Schärfe der Lösung.
Label-Verteilung (Kernbefund): Für Klassifikationsaufgaben mit One-Hot-kodierten Labels steht die Schärfe in direktem Zusammenhang mit der empirischen Verteilung der Labels. Speziell ist die Schärfe proportional zum maximalen Anteil der Stichproben, die zu einer einzelnen Klasse gehören ( $\alpha_{max}$ ). Das Modell lernt bei unausgewogenen Datensätzen (eine Klasse dominiert) schärfere Lösungen als bei einer Gleichverteilung.

3. Empirische Validierung und Robustheit

Die Autoren validieren ihre theoretischen Vorhersagen durch numerische Berechnungen auf MNIST, FashionMNIST und CIFAR10.

Approximationsgenauigkeit: Die theoretischen Schranken stimmen eng mit den obersten Eigenwerten der Hessian überein, während das Training fortschreitet.
Ablationsstudien: Das Paper untersucht systematisch das Weglassen von Annahmen, um die Robustheit zu testen:
- Nicht-isotrope Inputs: Das Entfernen der isotropen Annahme führt dazu, dass die Theorie sofort zusammenbricht, was zeigt, dass die Input-Geometrie die Spitzen-Schärfe stark beeinflusst.
- Unbalancierte Gewichte: Die Verwendung der Standard-Kaiming-Initialisierung (unbalanciert) bewahrt dennoch den qualitativen Trend, dass die Schärfe mit der Label-Imbalance zunimmt.
- Nichtlinearitäten: Die Einbeziehung von Tanh-Aktivierungen liefert qualitativ ähnliche Ergebnisse wie die lineare Theorie, was es den Autoren ermöglicht, ihre Schlussfolgerungen bezüglich der Label-Verteilung auf nichtlineare Netzwerke zu erweitieren.

Bedeutung und Behauptungen

Das Paper beansprucht, eine präzise theoretische Charakterisierung des Hessian-Spektrums zu liefern, die die Lücke zwischen vereinfachten theoretischen Modellen und praktischen Deep-Learning-Settings schließt. Seine primäre Bedeutung liegt in der Identifizierung eines direkten Zusammenhangs zwischen Label-Imbalance und Lösungsschärfe.

Die Autoren beobachten, dass Modelle, die auf Datensätzen mit einer unverhältnismäßig großen Anzahl von Stichproben in einer einzelnen Klasse trainiert wurden, zu schärferen Lösungen konvergieren. Dieser Befund stellt die Intuition (und einige vorangegangene Literatur, z. B. Cohen et al.) infrage, wonach einfachere Datensätze (wie solche mit extremer Klassenimbalance) zu einer geringeren Spitzen-Schärfe führen sollten. Stattdessen argumentieren die Autoren, dass die Geometrie der Daten, speziell die Konzentration der Labels, die Schärfe des Minimierers diktiert.

Obwohl die theoretischen Ableitungen auf starken Annahmen beruhen (isotrope Merkmale, balancierte Gewichte), deuten die empirischen Ablationsstudien darauf hin, dass die Kernschlussfolgerung bezüglich des Zusammenhangs zwischen Label-Verteilung und Schärfe selbst dann robust bleibt, wenn diese Annahmen gelockert oder Nichtlinearitäten eingeführt werden. Die Arbeit bietet einen Rahmen zum Verständnis darüber, wie die Datengeometrie die Optimierungslandschaft formt, und bietet Erkenntnisse, die für Generalisierungsmaße und Optimierungsalgorithien zweiter Ordnung relevant sind.