🤖 machine learning

Effects of width-dependent model hyperparameters and $\ell_2$ -regularization on the loss landscape of two-layer ReLU networks

Dit artikel onderzoekt hoe breedte-afhankelijke hyperparameters en $\ell_2$ -regularisatie het verlieslandschap van twee-laagse ReLU-netwerken vormgeven, waarbij condities voor de ineenstorting naar een nuloplossing worden afgeleid, een analytische oplossing voor één-dimensionale inputs wordt geboden, en wordt onthuld dat AdamW parameterineenstorting voorkomt terwijl SGD dat niet doet.

Oorspronkelijke auteurs: Haruka Eshima, Makoto Yamada

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haruka Eshima, Makoto Yamada

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om katten te herkennen. Je geeft het een brein gemaakt van lagen kleine schakelaars, en je laat het oefenen door het duizenden foto's te laten zien. Maar hier komt de crux: het brein van de robot is een beetje rommelig. Soms, wanneer je het probeert te leren, stort het hele ding in en vergeet het alles, eindigend met een brein vol nullen. Dit is een beetje als het proberen te balanceren van een kaartenhuis op een winderige dag; als de wind (of de wiskunde achter de training) te sterk is, stort de hele structuur in.

In de wereld van machine learning bestuderen wetenschappers het "loss landscape" (het verlieslandschap). Denk aan dit als een enorme, bobbelige bergketen waarbij de hoogte van het terrein vertegenwoordigt hoe slecht de robot zijn werk doet. Het doel is om de diepste vallei te vinden, wat betekent dat de robot zijn best doet. Maar dit landschap is lastig. Het verandert van vorm afhankelijk van hoe breed het brein van de robot is (hoeveel schakelaars het heeft) en hoeveel "weight decay" (gewichtsverval) wordt toegepast. Weight decay is als een zachte hand die de robot constant naar eenvoud probeert te duwen, in een poging te voorkomen dat het te ingewikkeld wordt. De grote vraag is: helpt deze zachte duw de robot om te leren, of duwt het per ongeluk het hele brein naar een nutteloze nul?

Dit artikel, getiteld "Effects of width-dependent model hyperparameters and ℓ2-regularization on the loss landscape of two-layer ReLU networks", duikt diep in precies dit probleem. De auteurs, Haruka Eshima en Makoto Yamada, keken naar een specifiek type eenvoudig neuraal netwerk (een twee-laags netwerk met ReLU-activatie) om te zien wat er gebeurt als je de grootte van het netwerk en de sterkte van de weight decay verandert. Ze wilden weten: onder welke omstandigheden stort het brein van de robot in tot niets, en kunnen we dat stoppen?

De onderzoekers ontdekten dat het antwoord sterk afhangt van hoe je de schaal aanpast. Ze ontdekten een wiskundige "kantelpunt". Als je het netwerk breder maakt (meer schakelaars toevoegt), maar de weight decay te sterk houdt ten opzichte van die breedte, zal het brein van de robot onvermijdelijk instorten. De enige manier om de bodem van de vallei te bereiken, is door elke enkele schakelaar uit te zetten, wat betekent dat de robot niets leert. Het is als het proberen te vullen van een zwembad met een klein bekertje terwijl de afvoer wijd openstaat; hoeveel je ook giet, het zwembad blijft leeg.

Echter, het artikel onthult ook een fascinerende draai wat betreft hoe de robot leert. De auteurs voerden computersimulaties uit om te zien wat er gebeurt als je verschillende "optimizers" gebruikt (de algoritmen die de leerstappen van de robot begeleiden). Ze ontdekten dat als je een standaardmethode gebruikt genaamd SGD (Stochastic Gradient Descent), het brein van de robot inderdaad instort tot nul wanneer de weight decay te sterk is, precies zoals de wiskunde voorspelde. Maar, als je een andere methode gebruikt genaamd AdamW, overleeft de robot! Zelfs wanneer de wiskunde zegt dat het brein zou moeten instorten, houdt AdamW het brein actief en lerend. Het is alsof AdamW een speciale truc heeft, zoals een veiligheids harnas, dat voorkomt dat de robot in de nul-gat valt, zelfs wanneer het terrein er gevaarlijk uitziet.

Het team zoomde ook in op een zeer specifiek, vereenvoudigd scenario waarbij de robot slechts één getal tegelijk ziet (een eendimensionale input). In deze gecontroleerde setting waren ze in staat om een exacte kaart van de best mogelijke oplossingen uit te schrijven. Ze ontdekten dat het toevoegen van weight decay werkt als de beitel van een beeldhouwer. Zonder het, zijn de beste oplossingen verspreid overal, wat een enorme, verbonden en onbegrensde wolk van mogelijkheden vormt. Maar met weight decay krimpt de wolk en wordt deze veel meer georganiseerd. De "connectiviteit" — hoe gemakkelijk het is om van de ene goede oplossing naar de andere te lopen zonder van een klif af te vallen — blijft hetzelfde, ongeacht hoe breed het netwerk is. Echter, de "dimensionaliteit" — het aantal manieren waarop de robot zijn brein kan bewegen om een oplossing te vinden — krimpt aanzienlijk naarmate het netwerk breder wordt. Het is alsof je een enorme, uitgestrekte speeltuin neemt en deze verandert in een smal, goed gedefinieerd parcours.

Kortom, dit artikel laat zien dat de omvang van je neurale netwerk en de sterkte van je regularisatie een delicate dans zijn. Als je ze niet correct op elkaar afstemt, stort het netwerk in. Maar als je het juiste leeralgoritme kiest (zoals AdamW), kun je de dans voortzetten, zelfs wanneer de omstandigheden onmogelijk lijken. De resultaten zijn gebaseerd op strikte wiskundige bewijzen voor de instorting en het vereenvoudigde eendimensionale geval, en worden ondersteund door numerieke experimenten op echte gegevens zoals yacht hydrodynamica en MNIST-cijfers. Hoewel de wiskunde bewijst dat de instorting onder bepaalde omstandigheden plaatsvindt, is de overleving van het netwerk met AdamW iets wat de auteurs observeerden in hun simulaties, wat suggereert dat de keuze van de optimizer een cruciale, misschien verborgen factor is in waarom deep learning in de praktijk zo goed werkt.

Technische Samenvatting: Effecten van Breedte-afhankelijke Modelhyperparameters en $\ell_2$ -regularisatie op het Loss Landschap van Twee-laagse ReLU-netwerken

Probleemstelling
De theoretische eigenschappen van diepe neurale netwerken, met name twee-laagse ReLU-netwerken, blijven slecht begrepen wanneer expliciete weight decay ( $\ell_2$ -regularisatie) wordt toegepast. Hoewel recente werken de globale optima en hun geometrische structuren voor geregulariseerde netwerken hebben gekarakteriseerd, zijn de systematische effecten van breedte-afhankelijke hyperparameter-schalingen op deze loss landschappen nog niet volledig onderzocht. Specifiek is het onduidelijk hoe het schalen van de netwerkbreedte ( $m$ ) ten opzichte van de schaling van de output ( $\alpha$ ), initialisatie ( $\tau$ ) en de regularisatiecoëfficiënt ( $\beta$ ) de existentie, dimensionaliteit en connectiviteit van globale minima beïnvloedt.

Methodologie
De auteurs analyseren een twee-laags ReLU-netwerk $f_\theta: \mathbb{R}^d \to \mathbb{R}$ gedefinieerd als:
$f_\theta(x) = \frac{1}{\alpha} \sum_{j=1}^m (x u_j)_+ \omega_j$
waarbij $\theta = (u_j, \omega_j)_{j=1}^m$ . De studie richt zich op het minimaliseren van een loss functie $\mathcal{L}_\ell(\theta) = \ell(\theta) + \frac{\beta}{2} \sum_{j=1}^m (\|u_j\|_2^2 + \omega_j^2)$ .

De kern van de methodologische aanpak is het introduceren van een breedte-afhankelijke hyperparameter-instelling waarbij parameters schalen met de netwerkbreedte $m$ :

Output schaling: $\alpha = m^a$
Initialisatie schalen: $\tau_1 = m^{-b_1}, \tau_2 = m^{-b_2}$
Regularisatiecoëfficiënt: $\beta = m^{-\delta}$

De analyse verloopt in twee hoofdrichtingen:

Algemene Dimensionaliteit ( $d$ ): Het afleiden van voldoende voorwaarden waaronder de globale minima instorten naar de nuloplossing op basis van de relatie tussen de schalingsexponenten $a$ en $\delta$ .
Eén-dimensionale Input ( $d=1$ ): Het beperken van de inputdimensie tot één om analytische gesloten vorm oplossingen voor de globaal optimale parameterset te verkrijgen. Dit maakt een precieze karakterisering van de geometrie (dimensie, begrensdheid en connectiviteit) van de oplossingsverzamelingen mogelijk voor zowel ongeregulariseerde ( $\beta=0$ ) als geregeliseerde ( $\beta>0$ ) gevallen. De bewijzen maken gebruik van de convexe formulering van twee-laagse ReLU-netwerken geïntroduceerd door Pilanci en Ergen [31], die in de 1D-setting hanteerbaar wordt.

Belangrijkste Bijdragen en Resultaten

Inklap van Globale Optima:
Het artikel stelt een voldoende voorwaarde vast voor de inklap van globale minima naar de nuloplossing. Theorem 1 bewijst dat als de regularisatiecoëfficiënt sneller schaalt dan de netwerkoutput (d.w.z. $\delta < a$ ), dan voor voldoende grote $m$ de unieke globale minimum de nul-gewichtvector is. Dit geldt voor de meeste convex loss functies die in de praktijk worden gebruikt.
Optimizer-afhankelijke Inklap:
Numerieke experimenten onthullen een kritiek verschil tussen theoretische globale minima en praktische trainingsdynamiek. Wanneer $\delta < a$ (condities die inklap bevorderen), zorgt SGD ervoor dat de geleerde parameters inklappen naar nul, consistent met Theorem 1. Echter, AdamW (en Adam) voorkomt deze inklap en behoudt niet-nul parameters. De auteurs suggereren dat dit gerelateerd kan zijn aan de ontkoppelde weight decay van AdamW en zijn impliciete bias naar $\ell_\infty$ -beperkte optimalisatie, wat verschilt van het optimaliseren van de expliciete $\ell_2$ -geregeliseerde doelstelling.
Analytische Karakterisering van 1D Globale Minima:
Voor $d=1$ leiden de auteurs exacte beschrijvingen af van de oplossingsverzamelingen:

Ongeregulariseerd ( $\beta=0$ ): De verzameling van globale minima $\phi^*(m)$ $ϕ^{*} (m)$ wordt gekenmerkt door beperkingen op de sommen van producten $u_j \omega_j$ $u_{j} ω_{j}$ .
- Connectiviteit: Voor $m=1$ is de verzameling leeg; voor $m=2$ heeft het exact 2 verbonden componenten; voor $m \ge 3$ is het verbonden.
- Dimensionaliteit: De dimensie is $2m-2$ , en de verzameling is onbegrensd.
Geregulariseerd ( $\beta>0$ ): De verzameling van globale minima $\Theta^*(m)$ $Θ^{*} (m)$ is aanzienlijk meer beperkt.
- Connectiviteit: Het artikel identificeert kritieke breedtes $M$ en $\bar{M}$ (afhankelijk van hyperparameters) die fase-transities dicteren. Voor $m < M$ is de oplossing de nulvector. Voor $m > M$ wordt de verzameling verbonden. In tegenstelling tot het ongeregulariseerde geval is het connectiviteitsgedrag meer beperkt, met slechts drie mogelijke gedragingen (singleton, eindige verzameling, of verbonden) voor niet-lege verzamelingen.
- Dimensionaliteit: De dimensie van de oplossingsverzameling wordt gereduceerd tot $m-2$ .
- Begrensdheid: In tegenstelling tot het ongeregulariseerde geval is de geregeliseerde oplossingsverzameling begrensd. De norm van de optimale parameters schaalt als $\Theta(m^{a/2})$ .

Breedte-afhankelijke Effecten:
De analyse toont aan dat $\ell_2$ -regularisatie een breedte-invariante effect op connectiviteit heeft (zodra het netwerk breed genoeg is om niet-triviaal te zijn), maar een dimensionaliteits-reducerend effect dat sterker wordt met de breedte. Specifiek groeit het verschil in dimensie tussen de parameterruimte ( $2m$ ) en de geregeliseerde oplossingsverzameling lineair met $m$ (van een verschil van 2 in het ongeregulariseerde geval naar een verschil van $m+2$ in het geregeliseerde geval).

Significantie
Dit artikel biedt een rigoureus theoretisch kader voor het begrijpen van hoe hyperparameter-schaling interageert met regularisatie in overgeparameteriseerde netwerken. Het benadrukt dat de geometrie van het loss landschap niet statisch is, maar kritiek afhangt van de relatieve schaling van de regularisatiecoëfficiënt en de netwerkbreedte. De bevindingen bieden een theoretische verklaring voor het empirische succes van AdamW bij het voorkomen van parameter-inklap in regimes waar SGD faalt, en ze verhelderen hoe regularisatie de geometrie van optimale oplossingen fundamenteel verandert door de dimensionaliteit te reduceren en begrensdheid af te dwingen, effecten die prominenter worden naarmate de netwerkbreedte toeneemt.

Meer zoals dit