🤖 machine learning

How the Hessian-Spectrum of Neural Networks Depends on Data

Dit artikel leidt de eigenwaarden van de Hessiaanse matrix af voor lineaire netwerken met willekeurige architecturen en datasets, waarbij wordt onthuld dat de scherpte van de oplossing in classificatietaken direct wordt bepaald door het maximale aandeel monsters in een enkele klasse, terwijl wordt aangetoond dat deze theoretische inzichten robuust blijven, zelfs wanneer vereenvoudigende aannames worden versoepeld en nietlineariteiten worden geïntroduceerd.

Oorspronkelijke auteurs: Jasraj Singh, Enea Monzio Compagnoni, Antonio Orvieto

Gepubliceerd 2026-07-16

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jasraj Singh, Enea Monzio Compagnoni, Antonio Orvieto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om katten, honden en vogels te herkennen. Je geeft hem niet alleen een plaatje en zegt "leer"; je geeft hem een enorm, onzichtbaar landschap van heuvels en dalen. Elke keer als de robot het fout heeft, glijdt hij een helling af naar een beter antwoord. Dit landschap wordt het "loss landscape" genoemd, en de reis van de robot door dit landschap is "optimalisatie". Maar hier komt het lastige gedeelte bij: het landschap is niet alleen bobbelig; het is een wilde, kronkelende bergketen met kliffen, vlakke vlaktes en scherpe pieken. Om te begrijpen hoe de robot beweegt, kijken wetenschappers naar een wiskundig hulpmiddel genaamd de Hessian-matrix. Denk aan de Hessian als een topografische kaart die je precies vertelt hoe steil de grond is op elk punt. Als de grond erg steil is (scherp), kan de robot wild rondstuiteren; als het vlak is, kan de robot vast komen te zitten of te langzaam bewegen. Het begrijpen van deze "steilheid" helpt wetenschappers om betere robots te bouwen die sneller leren en minder fouten maken.

Een team onderzoekers van de Universiteit van Basel en het ELLIS Institute in Tübingen besloot de wiskunde achter deze kaart uit te diepen. Ze wilden weten: Hoe verandert de vorm van de data zelf de steilheid van het landschap? Ze bouwden een wiskundig model van een "neuraal netwerk" (een type AI) en vroegen zich af: "Als we dit netwerk verschillende soorten data voeren — sommige met veel monsters, sommige met vreemde kenmerken, sommige met ongebalanceerde labels — hoe verandert de Hessian dan?" Ze gokten niet alleen; ze leidden exacte formules af voor de "eigenwaarden" (de getallen die de steilheid aangeven) van deze kaart. Hun grote ontdekking? De steilheid van de oplossing gaat niet alleen over hoe complex het netwerk is; het is direct verbonden met de distributie van de data. Specifiek, als één klasse aan data (zoals "katten") veel gebruikelijker is dan andere, wordt de oplossing "scherper". Ze ontdekten dat hoewel hun wiskunde gebaseerd was op enkele geïdealiseerde aannames (zoals perfect ronde dataclouds), de regels die ze ontdekten verrassend goed standhielden, zelfs toen ze die regels braken en real-world rommel toevoegden zoals niet-lineaire activaties.

De Vorm van het Leerlandschap

Om te begrijpen wat deze onderzoekers hebben gevonden, moeten we eerst de spelers leren kennen. Ze bestudeerden een "lineair neuraal netwerk", een vereenvoudigde versie van de AI-hersenen die we vandaag de dag gebruiken. Stel je een fabriekslijn voor waar een grondstof (de input data) door verschillende stations (lagen) gaat om een eindproduct (de voorspelling) te worden. De "gewichten" zijn de instellingen van de machines op elk station. Het doel is om deze instellingen zo aan te passen dat het product perfect overeenkomt met het doel. De onderzoekers gebruikten een "Mean-Squared Error" (MSE) loss, wat gewoon een chique manier is om te zeggen dat ze de afstand tussen de gok van de robot en het echte antwoord maten, deze kwadraten, en probeerden dat getal zo klein mogelijk te maken.

Om te zien hoe de robot beweegt, keken ze naar de Hessian, een gigantisch rooster van getallen dat de kromming van het foutenlandschap beschrijft. In plaats van de exacte, rommelige Hessian te berekenen (wat rekenintensief is), gebruikten ze een slimme afkorting genaamd de Generalized Gauss-Newton (GGN) benadering. Denk hierbij aan het gebruik van een satellietfoto om het terrein in te schatten in plaats van elke centimeter te voet te bewandelen. Naarmate de robot leert en de fout kleiner wordt, wordt deze satellietfoto ongelooflijk nauwkeurig.

De Regels van het Spel

De onderzoekers begonnen met het opzetten van een zeer schone, ideale wereld om de wiskunde op te lossen. Ze namen aan dat de data "isotroop" was, wat betekent dat de kenmerken in alle richtingen evenmatig verspreid waren, zoals een perfect ronde wolk van punten. Ze namen ook aan dat de lagen van het netwerk "sterk gebalanceerd" waren, wat betekent dat de instellingen in één laag perfect waren afgestemd op de volgende, als een gesynchroniseerde dansgroep.

Onder deze perfecte omstandigheden ontdekten ze een prachtig patroon. Voor een eenvoudig tweelaags netwerk wordt de steilheid van het landschap (de eigenwaarden) bepaald door de som van de gekwadrateerde "sterktes" (singuliere waarden) van de gewichten in elke laag. Het is alsoك zeggen dat de totale steilheid van een berg de som is van de steilheid van de twee belangrijkste hellingen. Ze ontdekten dat het scherpste punt van het landschap simpelweg de som is van de gekwadrateerde grootheden van de gewichten in de eerste en tweede laag. Dit weersprak een eerder idee dat suggereerde dat de scherpte slechts de grootste van de twee was, waarmee werd bewezen dat beide lagen bijdragen aan de totale steilheid.

Wanneer ze dit uitbreidden naar diepere netwerken (meer dan twee lagen), ontdekten ze dat als de lagen "gebalanceerd" blijven (de dansgroep blijft in sync), de steilheid een specifieke formule volgt die verband houdt met het aantal lagen en de sterkte van de gewichten. Een belangrijke bevinding hier is dat het grootste deel van het landschap eigenlijk vlak is! Van de duizenden mogelijke richtingen waarin de robot zou kunnen bewegen, zijn er slechts een fractie die daadwerkelijk steil zijn; de rest is bijna nul. Dit verklaart waarom AI-modellen vaak een "bulk" van vlakke richtingen lijken te hebben, een fenomeen dat in real-world experimenten wordt waargenomen.

Hoe Data het Terrein Vormgeeft

Het meest opwindende deel van het artikel is hoe de data zelf de vorm van dit landschap dicteert. De onderzoekers vroegen zich af: "Wat gebeurt er als we de dataset veranderen?"

Dataset Grootte: Verrassend genoeg, als je de datapunten consistent houdt, hangt de scherpte van de oplossing niet af van het aantal monsters. Of je nu 100 of 10.000 foto's hebt, de steilheid van de uiteindelijke oplossing blijft hetzelfde. Dit daagt eerdere overtuigingen uit dat meer data altijd leidt tot een scherper (of platter) landschap op een specifieke manier.
Diepte: Het aantal lagen doet er toe. Als de input data "kleiner" is dan de output labels, maakt het de het netwerk dieper maken de oplossing juist scherper. Het is als het toevoegen van meer treden aan een trap; als de treden ongelijk zijn, wordt de hele structuur precairder.
Kenmerk Magnitude: Als je data-kenmerken groot en breed verspreid zijn (hoge variantie), wordt de oplossing scherper. Stel je voor dat je probeert te balanceren op een koord dat heel strak gespannen is; het is gevoeliger voor beweging dan een losse koord.
Label Distributie (De Grote Ontdekking): Dit is de "smoking gun" van het artikel. Voor classificatietaken (zoals het sorteren van katten, honden en vogels), is de scherpte van de oplossing direct gerelateerd aan hoe ongebalanceerd de klassen zijn. Als één klasse een onevenredig groot aantal monsters heeft (bijv. 90% katten, 10% honden), wordt de oplossing scherper.
- Wacht, is een dataset met één dominante klasse niet makkelijker te leren? Intuïtief gezien wel. Het is makkelijker om "kat" te raden als bijna alles een kat is. Echter, de wiskunde laat zien dat deze "makkelijke" oplossing op een scherpere piek zit.
- Dit spreept een eerder idee tegen dat eenvoudiger datasets leiden tot "vlakkere" (robuustere) oplossingen. De auteurs suggereren dat hoewel het leren misschien makkelijker is, het wiskundige landschap in werkelijkheid precairder (scherper) is wanneer de data ongebalanceerd is.

De Theorie Testen in de Wereld van Nu

De onderzoekers wisten dat hun wiskunde steunde op "perfecte" aannames (ronde dataclouds, gebalanceerde lagen). Daarom deden ze iets gedurfd: ze braken de regels één voor één af om te zien of hun theorie zou overleven.

De "Ronde Data" Regel Breken: Ze gebruikten echte, rommelige data (zoals afbeeldingen van MNIST-cijfers en CIFAR-objecten) die niet perfect rond was. Hoewel de exacte wiskunde niet perfect standhield, bleef de trend behouden. De scherpte correleerde nog steeds met de onbalans van de labels.
De "Gebalanceerde Lagen" Regel Breken: Ze initialiseerden het netwerk willekeurig (de standaardmanier waarop AI wordt gebouwd) in plaats van het gebalanceerd te dwingen. Opnieuw hield de theorie stand. Terwijl het netwerk trainde, werd het vanzelf meer gebalanceerd, en de scherpte volgde nog steeds hun voorspellingen.
Niet-lineariteit Toevoegen: Ze voegden "Tanh" activatiefuncties toe (een veelvoorkomende niet-lineaire twist in AI) om het netwerk meer op een echt brein te laten lijken. De resultaten waren iets anders dan de perfecte wiskunde, maar het kwalitatieve gedrag was hetzelfde. De onbalans van de labels dreef nog steeds de scherpte aan.

De Kernboodschap

In eenvoudige termen vertelt dit artikel ons dat de "steilheid" van de leerreis van een AI niet alleen een eigenschap is van de AI zelf. Het is diep geworteld in de geometrie van de data. Als je data scheef is — waarbij één klasse de andere domineert — vindt de AI een oplossing die wiskundig gezien "scherper" is, zelfs als die oplossing makkelijker te vinden is. De auteurs suggereren dat deze scherpte een direct gevolg is van de structuur van de data, specif kind de maximale proportie monsters die tot een enkele klasse behoort.

Hoewel hun bevindingen zijn afgeleid van lineaire netwerken en specifieke wiskundige opstellingen, suggereert het feit dat deze regels standhouden wanneer ze real-world complexiteit toevoegen (niet-lineariteiten, ongebalanceerde gewichten, rommelige data), dat deze relatie tussen datadistributie en de scherpte van het landschap een fundamentele waarheid van deep learning is. Het is een herinnering dat in de wereld van AI, de data die je de machine voert niet alleen leert wat hij moet leren; het vormt ook hoe het leerlandschap eruit ziet, en bepaalt of de robot zachtjes in een oplossing glijdt of precair balanceert op een scherpe piek.

Technische Samenvatting: Hoe het Hessiaans-spectrum van Neurale Netwerken Afhangt van Data

Probleemstelling

De Hessiaanse matrix is een cruciaal instrument voor het analyseren van verlieslandschappen (loss landscapes), optimalisatiedynamiek en generalisatie in deep learning. Echter, voorafgaand onderzoek heeft grotendeels vertrouwd op ofwel empirische observaties ofwel theoretische behandelingen onder overdreven vereenvoudigde omstandigheden. Dit werk beoogt het volledige spectrum van de Hessiaan voor neurale netwerken nauwkeurig te karakteriseren, waarbij specifiek wordt onderzocht hoe de geometrie van de data de scherpte (sharpness) van de geleerde oplossing beïnvloedt. In tegenstelling tot eerdere werken die prioriteit geven aan minimale aannames ten koste van modelcomplexiteit, maakt dit artikel gebruik van standaard deep learning-aannames om resultaten af te leiden voor netwerken met willekeurige breedtes en dieptes en datasets met een willekeurig aantal monsters, kenmerken en labels.

Methodologie

De auteurs analyseren $L$ -laagse lineaire neurale netwerken gedefinieerd als $f(x; W_{1:L}) = xW_1^\top \dots W_L^\top$ , getraind op inputs $X$ en outputs $Y$ met behulp van Mean-Squared Error (MSE) loss.

Hessiaanse Benadering: De studie maakt gebruik van de Generalized Gauss-Newton (GGN) benadering van de Hessiaan. Naarmate de training het verlies vermindert, wordt de GGN steeds nauwkeuriger. De niet-nul eigenwaarden van de GGN zijn identiek aan die van de Neural Tangent Kernel (NTK) matrix, wat analytisch meer hanteerbaar is.
Theoretische Aannames:
- Aanname 1 (Isotrope Kenmerken): De feature-matrix $X$ is vol-rang en isotroop ( $\Sigma = \Sigma_{11}I$ ), wat een overgedetermineerd systeem vertegenwoordigt ( $n \ge d_0$ ).
- Aanname 2 (Sterk Gebalanceerde Lagen): Achtereenvolgende lagen voldoen aan $W_\ell W_\ell^\top = W_{\ell+1}^\top W_{\ell+1}$ . Dit impliceert een uitlijning tussen de linker singuliere vectoren van de ene laag en de rechter singuliere vectoren van de volgende. De auteurs merken op dat hoewel willekeurige parametervoerpunten niet noodzakelijkerwijs gebalanceerd hoeven te zijn, gradiëntstroom of training met weight-decay de neiging heeft deze balans te induceren, met name bij de "edge-of-stability" (EoS).
Analytische Afleiding: De auteurs leiden grenzen (bounds) en exacte karakterisaties af voor de eigenwaarden van de NTK (en dus de Hessiaan) door gebruik te maken van de Singular Value Decomposition (SVD) van de feature-matrix en de singuliere waarden van de gewichtsmatrices.

Belangrijkste Bijdragen en Resultaten

1. Karakterisering van Hessiaanse Eigenwaarden

Ondiepe Netwerken ( $L=2$ ): De niet-nul eigenwaarden worden gekarakteriseerd door de paarwijze sommen van de gekwadrateerde singuliere waarden van de twee gewichtslagen. Specifiek $\lambda_{ij} \le \frac{\|X\|_2^2}{n} (\sigma_i^2(W_1) + \sigma_j^2(W_2))$ . De grens wordt bereikt onder Aanname 1.
Diepe Netwerken ( $L \ge 2$ ): Onder de aanname van sterk gebalanceerde lagen worden de niet-nul eigenwaarden bepaald door een specifieke ratio van machten van de singuliere waarden van de gewichten. Het aantal niet-nul eigenwaarden wordt begrensd door $(\min \{d_0, \dots, d_L\})^2$ , wat de empirische observatie verklaart dat het merendeel van de Hessiaanse eigenwaarden nabij nul ligt.

2. Afhankelijkheid van Data-geometrie

Het artikel leidt expliciete relaties af tussen de spectrale norm (scherpte) van de Hessiaan en eigenschappen van de data:

Datasetgrootte: Voor gebalanceerde oplossingen is de scherpte onafhankelijk van de omvang van de dataset $n$ , mits de elementen van $X$ en $Y$ schalen als $\Theta(1)$ . Dit staat in contrast met bevindingen die suggereren dat scherpte toeneemt met $n$ .
Diepte: De scherpte neemt toe met diepte $L$ wanneer $\|X\|_2 \le \|Y\|_2$ .
Feature Grootte: Grotere feature-magnitudes (hogere variantie) leiden tot een verhoogde scherpte van de oplossing.
Labelverdeling (Kernbevinding): Voor classificatietaken met one-hot gecodeerde labels is de scherpte direct gerelateerd aan de empirische distributie van labels. Specifiek is de scherpte proportioneel aan het maximale aandeel monsters dat tot een enkele klasse behoort ( $\alpha_{max}$ ). Het model leert scherpere oplossingen wanneer de dataset ongebalanceerd is (één klasse domineert) vergeleken met een uniforme distributie.

3. Empirische Validatie en Robuustheid

De auteurs valideren hun theoretische voorspellingen tegen numerieke berekeningen op MNIST, FashionMNIST en CIFAR10.

Benaderingsnauwkeurigheid: De theoretische grenzen komen nauw overeen met de top-eigenwaarden van de Hessiaan naarmate de training vordert.
Ablatie-studies: De auteurs testen systematisch de robuustheid door aannames te verwijderen:
- Niet-isotrope Inputs: Het verwijderen van de isotrope aanname zorgt ervoor dat de theorie onmiddellijk instort, wat aangeeft dat de input-geometrie de piek-scherpte sterk beïnvloedt.
- Ongebalanceerde Gewichten: Het gebruik van standaard Kaiming-initialisatie (ongebalanceerd) behoudt nog steeds de kwalitatieve trend dat scherpte toeneemt met label-imbalans.
- Niet-lineariteiten: Het integreren van Tanh-activaties levert resultaten op die kwalitatief vergelijkbaar zijn met de lineaire theorie, waardoor de auteurs hun conclusies over de labelverdeling naar niet-lineaire netwerken kunnen uitbreiden.

Betekenis en Claims

Het artikel claimt een precieze theoretische karakterisering van het Hessiaanse spectrum te bieden die de kloof overbrugt tussen vereenvoudigde theoretische modellen en praktische deep learning-opstellingen. De primaire betekenis ligt in het identificeren van een directe link tussen label-imbalans en oplossingsscherpte.

De auteurs observeren dat modellen getraind op datasets met een disproportioneel groot aantal monsters in een enkele klasse, convergeren naar scherpere oplossingen. Deze bevinding daagt de intuïtie (en sommige eerdere literatuur, bijv. Cohen et al.) uit dat eenvoudigere datasets (zoals die met extreme klasse-imbalans) een lagere piek-scherpte zouden moeten resulteren. In plaats daarvan stellen de auteurs dat de geometrie van de data, speciffisch de concentratie van labels, de scherpte van de minimizer dicteert.

Hoewel de theoretische afleidingen steunen op sterke aannames (isotrope kenmerken, gebalanceerde gewichten), suggereren de empirische ablatie-studies dat de kernconclusie met betrekking tot de relatie tussen labelverdeling en scherpte robuust blijft, zelfs wanneer deze aannames worden versoepeld of wanneer niet-lineariteiten worden geïntroduceerd. Het werk biedt een kader voor het begrijpen van hoe de geometrie van data het optimalisatielandschap vormgeeft, wat inzichten biedt die relevant zijn voor generalisatiemaatstaven en tweede-orde optimalisatie-algoritmen.