🤖 machine learning

Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

Dit artikel toont aan dat de training van brede twee-laagse ReLU-netwerken voor multivariate regressie via ruisende stochastische gradiëntafdaling een impliciete bias induceert naar een unieke, effectief eindige voorspeller waarbij neuronen uitlijnen langs een begrensd aantal richtingen die worden bepaald door de combinatorische geometrie van de trainingsdata, ondanks de oneindige overparameterisatie van het netwerk.

Oorspronkelijke auteurs: Shuang Liang, Tom Jacobs, Guido Montúfar

Gepubliceerd 2026-07-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shuang Liang, Tom Jacobs, Guido Montúfar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, chaotische werkplaats voor vol met duizenden arbeiders (neuronen). Elke arbeider heeft een specifieke taak: ze kijken naar een set datapunten (zoals plaatjes of getallen) en beslissen of ze "aan" of "uit" gaan op basis van een regel die ze zelf hebben bedacht. Je wilt dat deze arbeiders een patroon leren dat het juiste antwoord voorspelt voor nieuwe data.

Het artikel dat je hebt verstrekt, onderzoekt wat er gebeurt wanneer je deze enorme werkplaats traint met een specifieke methode genaamd Stochastic Gradient Descent (SGD) met een beetje "ruis" (willekeur) en een regel genaamd weight decay (wat arbeiders ontmoedigt om te sterk te worden).

Hier is de eenvoudige analyse van hun bevindingen:

1. De "oneindige" werkplaats die krimpt

Je begint met een netwerk dat zo breed is dat het praktisch oneindig is. Je zou verwachten dat de uiteindelijke oplossing een rommelige, complexe kluwen van duizenden verschillende regels is.

De verrassing: Zelfs al begon je met duizenden arbeiders, het trainingsproces dwingt hen van nature om te collapsen (in te krimpen).

De analogie: Stel je voor dat je 1.000 mensen hebt die een kaart proberen te tekenen. In plaats van dat iedereen een unieke, kronkelende lijn tekent, werkt het trainingsproces als een magneet. Het trekt bijna ieders tekening naar slechts een paar specifieke, rechte lijnen.
Het resultaat: De uiteindelijke "kaart" (de functie die het netwerk leert) is geen gladde, gebogen vlek. Het wordt een piecewise affine functie. In gewone mensentaal betekent dit dat het uiteindelijke antwoord bestaat uit platte, rechte lijnsegmenten die bij scherpe hoeken (knikken) samenkomen. Het ziet eruit als een zigzaglijn in 2D of een verkreukeld vel papier in 3D.

2. De "combinatorische" limiet

Hoeveel van deze rechte lijnen (of "knikken") krijgt het netwerk uiteindelijk?

Het artikel bewijst dat het aantal lijnen niet wordt bepaald door hoeveel arbeiders je begon met (wat oneindig was).
In plaats daarvan wordt het volledig bepaald door de geometrie van je trainingsdata.
De analogie: Denk aan je trainingsdata als een set palen die in de grond zijn geslagen. Het aantal lijnen dat het netwerk tekent, wordt beperkt door hoeveel manieren je de grond kunt doorsnijden met een mes, zodat de palen in verschillende groepen vallen.
De wiskunde: Als je $P$ manieren hebt om je datapunten met een rechte lijn te scheiden, zal het netwerk maximaal $2P - 1$ verschillende richtingen leren. Het is een harde grens gebaseerd op de vorm van de data, niet op de grootte van het netwerk.

3. Het "Alignment"-fenomeen

Voordat de training begint, wijzen je arbeiders (neuronen) in willekeurige richtingen. Na de training gebeurt er iets magisch:

De analogie: Stel je een kamer voor vol mensen die zaklampen vasthouden die in willekeurige richtingen schijnen. Terwijl de training vordert, klikken de zaklampen plotseling in lijn. Ze wijzen allemaal naar slechts een handvol specifieke richtingen.
Het resultaat: De "input weights" en "biases" (de regels die de neuronen gebruiken) stoppen met unieke individuen zijn. Ze lijnen uit langs een eindig aantal richtingen. Dit wordt Effective Width Collapse genoemd. Het netwerk vergeet effectief dat het duizenden neuronen had en gedraagt zich alsof het er slechts een handvol heeft.

4. De "Geen Redundantie"-regel

Het artikel vond ook dat deze enkele overgebleven richtingen zeer efficiënt zijn.

De analogie: Als je een team van experts hebt, wil je niet dat twee experts precies hetzelfde werk doen. Het artikel laat zien dat elke "aligned direction" (elke overlevende expert) iets unieks doet.
Het resultaat: Elke geleerde richting creëert een onderscheidend patroon van "aan/uit"-signalen voor je trainingsdata. Geen twee richtingen zijn redundant; geen twee richtingen zijn slechts "versies" van elkaar. Ze zijn allemaal essentieel en verschillend.

5. De rol van "Ruis" en "Decay"

Waarom gebeurt dit? Het artikel suggereert dat dit een specifiek bijeffect (of "implicit bias") is van het trainingsalgoritme:

Ruis: De willekeur in de training (zoals het schudden van de werkplaats) helpt het systeem om in een stabiele staat te komen.
Weight Decay: Dit is een straf voor het zijn van te "sterk". Het werkt als een filter dat onnodige complexiteit weg snoeit.
De uitkomst: Samen duwen ze het oneindige netwerk om de simpelst mogelijke "piecewise linear" oplossing te vinden die bij de data past, gestuurd door de geometrie van de data zelf.

Samenvatting

Het artikel beweert dat wanneer je een gigantisch neuraal netwerk traint met ruisende SGD, het universum van oneindige mogelijkheden inklapt. Het netwerk "onthoudt" de data niet alleen; het organiseert zichzelf in een eindige, efficiënte structuur bestaande uit rechte lijnsegmenten. De complexiteit van deze structuur wordt volledig bepaald door de vorm van je data, niet door de grootheid van je computer. Het is alsof het trainingsalgoritme een beeldhouwer is die al het overtollige marmer weghakt totdat alleen de essentiële, geometrisch noodzakelijke lijnen overblijven.

Technische Samenvatting: Impliciete Bias van SGD in Multivariate ReLU-netwerken: Effectieve Breedte-instorting

Probleemstelling
Overgeparameteriseerde neurale netwerken bezitten oneindig veel oplossingen die de trainingsdata interpoleren, maar stochastische gradiëntafdaling (SGD) selecteert consistent oplossingen met sterke generalisatie-eigenschappen. Dit fenomeen wordt toegeschreven aan de "impliciete bias" van het optimalisatiealgoritme. Hoewel impliciete bias goed begrepen is voor lineaire modellen en in het "luie" (kernel) regime van brede netwerken, blijft de bias in feature-learning regimes voor niet-lineaire netwerken onvolledig begrepen. Specifiek is er een gebrek aan een rigoureuze karakterisering van hoe ruisige SGD specifieke oplossingen selecteert in multivariate regressie-instellingen met ReLU-activaties, met name met betrekking tot de spaarzaamheid van geleerde features en de geometrische structuur van de resulterende predictor.

Methodologie
De auteurs analyseren de trainingsdynamiek van brede twee-laagse ReLU-netwerken met behulp van het mean-field regime. In dit kader worden de parameters van het netwerk gemodelleerd als een waarschijnlijkheidsmaat over neuronen, en worden de trainingsdynamiek van ruisige SGD benaderd door een Wasserstein gradiëntstroom.

Belangrijke methodologische stappen zijn onder meer:

Mean-Field Benadering: De training van een netwerk met $N$ verborgen eenheden wordt beschreven door een partiële differentiaalvergelijking (PDE) die de evolutie van de parameterverdeling $\rho_t$ regelt. De inclusie van Gaussische ruis (temperatuur $\beta^{-1}$ ) en weight decay ( $\lambda$ ) garandeert de existentie van een unieke stationaire maat $\rho^*$ als $t \to \infty$ .
Benadering van ReLU: Omdat standaard ReLU-neuronen onbegrensd en niet-glad zijn, wat de aannames vereist voor mean-field convergentie-stellingen schendt, gebruiken de auteurs een begrensde, gladde benadering ( $\sigma_{m,\tau}$ ) van de ReLU-functie. Zij analyseren de limieten naarmate de smoothing-parameter $\tau \to \infty$ en de truncatie-parameter $m \to \infty$ , waarmee ze effectief de ReLU-gedragingen herstellen.
Verdwijnend Temperatuurlimiet: De studie richt zich op de limiet waar het ruisniveau $\beta^{-1} \to 0$ (verdwijnende temperatuur), wat overeenkomt met standaard SGD met weight decay. De auteurs onderzoeken de structurele eigenschappen van de stationaire maat en de bijbehorende oplossingsfunctie in deze limiet, zonder vooraf een unieke limiet aan te nemen, maar door in plaats daarvan naar accumulatiepunten te kijken.
Geometrische Analyse: De bewijzen berusten op het analyseren van de Hessiaan van de oplossingsfunctie en de geometrie van de parameterruimte. Specifiek maken zij gebruik van een "Quadratic Positivity Condition" om de Hessiaan te begrenzen en aan te tonen dat de ondersteuning van de stationaire maat concentreert op specifieke stralen in de parameterruimte.

Kernbijdragen en Resultaten

Stuksgewijs Affiene Oplossing (Stelling 4):
De auteurs bewijzen dat naarmate het netwerkbreedte $N \to \infty$ gaat en de ruis verdwijnt, de door ruisige SGD geselecteerde oplossing convergeert naar een continue stuksgewijs affine functie. Deze functie is affien op de verbonden componenten van het complement van een eindige verzameling hypervlakken.
- Complexiteit-bound: Het aantal kink-hypervlakken $K$ is begrensd door $K \le 2P - 1$ , waarbij $P$ het aantal lineaire dichotomieën is die realiseerbaar zijn op de trainingsinputs. Deze grens hangt uitsluitend af van de combinatorische geometrie van de trainingsdata, niet van de netwerkbreedte of de omgevingsdimensie.
Effectieve Breedte-instorting (Stelling 5):
Het artikel stelt vast dat, ondanks dat het netwerk oneindig overgeparameteriseerd is, de geleerde predictor een effectief eindige representatie toelaat.
- Feature Alignment: De inputgewichten en biases van het getrainde netwerk lijnen uit langs maximaal $2P - 1$ verschillende richtingen (stralen) in de parameterruimte.
- Instorting: Als gevolg hiervan stort het oneindig brede netwerk in tot een effectieve breedte van maximaal $2P - 1$ . De oplossing kan exact worden gerepresenteerd door een ondiep ReLU-netwerk met dit eindige aantal verborgen neuronen.
Niet-redundantie van Features (Stelling 6):
De auteurs stellen een sterke niet-redundantie-eigenschap vast voor de geleerde richtingen.
- Distinctie Patronen: Elke geleerde richting induceert een uniek ternair activatiepatroon op de trainingsdata (het mappen van inputs naar $\{-1, 0, 1\}$ ).
- Onvergelijkbaarheid: Deze patronen zijn onvergelijkbaar onder een specifieke partiële orde (waarbij één patroon een "degeneratie" is van een ander door $\pm 1$ labels om te zetten naar $0$). Specifiek, voor elk binair tekenpatroon kunnen maximaal twee geleerde ternaire patronen degenereren van het.
Specifieke Karakterisering voor Symmetrische Data (Propositie 7):
Voor symmetrische twee-punts datasets karakteriseren de auteurs expliciet de locatie van de kink-hypervlakken, waarbij zij aantonen dat deze afhangen van de norm van de inputdata en de labelconfiguratie (even versus oneven labels).

Betekenis en Claims
Het artikel claimt de eerste afleiding van effectieve breedte-instorting te bieden als een impliciete bias van ruisige SGD voor multivariate regressie met algemene trainingsdata. In tegenstelling tot eerdere werken die rustten op restrictieve aannames (bijv. orthogonale of symmetrische data) of statische variatiestudies analyseerden (bijv. minimale $L_1$ -norm interpolatie), leidt dit werk de eindige-breedte structuur direct af uit de trainingsdynamiek van ruisige SGD in het mean-field regime.

De resultaten overbruggen de kloof tussen statische optimalisatiekarakteriseringen en dynamische trainingsprocessen, door aan te tonen dat de combinatorische geometrie van de trainingsdata (specifiek het aantal lineaire dichotomieën) de complexiteit van de geleerde predictor bepaalt. De auteurs merken op dat hun analyse ervan afhankelijk is van het feit dat het netwerk voldoende breed is om het mean-field framework te exploiteren en een positieve weight decay parameter ( $\lambda > 0$ ) vereist om de validiteit van de stationaire maat-analyse te waarborgen. Zij erkennen dat het verkrijgen van niet-asymptotische bounds op de "failure set" (waar de Hessiaan niet verdwijnt) voor dimensies $d > 1$ een openstaande uitdaging blijft vergeleken met het univariate geval.

Dit werk breidt de bevindingen van Shevchenko et al. (2022) uit van univariate naar multivariate settings en karakteriseert uniek de structuur van de stationaire maat in de parameterruimte, in plaats van enkel in de functieruimte.