🤖 machine learning

On Regularization via Early Stopping for Least Squares Regression

Dit artikel karakteriseert de dynamica van discrete full-batch gradiëntafdaling voor lineaire regressie om aan te tonen dat vroege stopzetting een oplossing oplevert die equivalent is aan minimale-norm gegeneraliseerde ridge-regressie, waardoor het de generalisatievoordelen over willekeurige dataspectra en leersnelheidsschema's bewijst, terwijl het tegelijkertijd een schatting geeft voor de optimale stopzettingstijd.

Oorspronkelijke auteurs: Rishi Sonthalia, Jackie Lok, Elizaveta Rebrova

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rishi Sonthalia, Jackie Lok, Elizaveta Rebrova

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student (het machine learning-model) leert om een wiskundig probleem op te lossen (het voorspellen van uitkomsten uit data). Je hebt een tekstboek met voorbeelden (de trainingsdata), en je wilt dat de student de onderliggende regels leert zodat hij nieuwe problemen kan oplossen die hij nog nooit eerder heeft gezien (generalisatie).

Het artikel dat je hebt verstrekt, gaat over een specifieke onderwijstactiek genaamd Early Stopping (vroegtijdig stoppen). Meestal laten leraren studenten studeren totdat ze elke enkele oefenopgave perfect beheersen. Maar soms, als een student te lang doorgaat met studeren, begint hij de specifieke eigenaardigheden van het oefenboek te memoriseren (zoals het lettertype of de papierstructuur) in plaats van de werkelijke wiskundige regels. Dit wordt "overfitting" genoemd, en het zorgt ervoor dat ze falen op nieuwe toetsen.

Early Stopping is de strategie om te zeggen: "Oké, stop nu met studeren, voordat je begint met het memoriseren van de ruis."

Hier is wat de auteurs hebben ontdekt, eenvoudig uitgelegd:

1. De "Onzichtbare Hand" van het vroegtijdig stoppen

De auteurs wilden weten: Wat gebeurt er precies in het brein van de student wanneer we hem vroegtijdig stoppen?

Ze ontdekten dat vroegtijdig stoppen wiskundig identiek is aan een specifiek type "discipline" genaamd Ridge Regression.

De Analogie: Stel je voor dat Ridge Regression lijkt op het geven van een zware rugzak aan de student. De rugzak dwingt hem om zijn antwoorden simpel en dicht bij nul te houden (het startpunt).
De Ontdekking: Het artikel bewijst dat als je de student op het juiste moment laat stoppen, zijn hersentoestand exact hetzelfde is als wanneer hij die zware rugzak de hele tijd had gedragen. Je hoeft niet fysiek de rugzak toe te voegen (de wiskundige straf); je hoeft alleen de les op het perfecte moment te stoppen, en het resultaat is hetzelfde.

2. De "Volumeknop" voor verschillende frequenties

De auteurs keken naar hoe de student verschillende delen van het probleem leert. Ze realiseerden zich dat de data niet één groot blok is, maar bestaat uit veel verschillende "frequenties" of richtingen (sommige makkelijk, andere moeilijk).

De Analogie: Denk aan de data als een symfonie. Sommige instrumenten spelen harde, voor de hand liggende noten (makkelijke patronen), terwijl andere zachte, complexe noten spelen (moeilijke patronen).
De Ontdekking: Wanneer je Gradient Descent gebruikt (de standaard manier van lesgeven), leert de student de harde noten heel snel. Als je doorgaat, begint hij de zachte noten te leren, maar in dat proces begint hij ook "statische ruis" (ruis) in de zachte noten te horen en die statische ruis te memoriseren alsof het muziek is.
Het Resultaat: Early stopping werkt als een volumeknop. Het draait het volume van de complexe, zachte noten net genoeg omlaag, zodat de student de muziek hoort maar de statische ruis negeert. Het artikel geeft een formule om precies te bepalen hoe lang je de volumeknop omlaag moet houden.

3. De "Learning Rate" is van belang

Een cruciaal onderdeel van het artikel gaat over Learning Rates (leersnelheden). Dit is hoe snel de student een stap zet tijdens het leren.

Constant Tempo: Als de student een gestaag, traag tempo aanhoudt, leert hij de harde noten, dan de zachte noten, en uiteindelijk begint hij de statische ruis te horen. Hier werkt vroegtijdig stoppen goed.
Afnemend Tempo: Als de student snel begint en dan te snel vertraagt (zoals bij exponentiële afname), kan het zijn dat hij al stopt met het leren van de zachte noten voordat hij zelfs bij de statische ruis is gekomen. In dat geval helpt vroegtijdig stoppen niet veel, omdat hij al op zijn eigen manier vertraagde.
De Bewering van het Artikel: De auteurs bieden een regelboek aan. Ze zeggen: "Als het schema van jouw leersnelheid eruit ziet als X, dan is vroegtijdig stoppen een superkracht. Als het eruit ziet als Y, is vroegtijdig stoppen nutteloos."

4. De "Magische Formule" voor wanneer je moet stoppen

Het meest praktische deel van het artikel is een formule die zij hebben afgeleid om je precies te vertellen wanneer je moet stoppen.

De Inputs: Je moet drie dingen weten:
1. Hoeveel "ruis" er in je tekstboek zit (hoe rommelig de data is).
2. Hoe sterk het "signaal" is (hoe duidelijk de werkelijke regels zijn).
3. Hoe snel de student loopt (de leersnelheid).
De Output: De formule geeft een specifiek aantal stappen (iteraties) uit.
De Test: De auteurs hebben dit getest op echte gegevens (zoals handgeschreven cijfers en afbeeldingen). Ze ontdekten dat hun formule het "sweet spot" bijna perfect voorspelde. Als ze stopten op de tijd die hun formule suggereerde, presteerde de student beter dan wanneer hij langer of korter had gestudeerd.

5. Wanneer je NIET vroegtijdig moet stoppen

Het artikel waarschuwt ook dat vroegtijdig stoppen niet altijd de oplossing is.

De Analogie: Als je al een zeer zware rugzak draagt (een sterke wiskundige straf genaamd "Ridge Regularization"), hoef je niet vroegtijdig te stoppen. De rugzak doet al het werk om de student simpel te houden.
De Bewering: Als de "rugzak" te zwaar is, schaadt vroegtijdig stoppen de prestaties. De student moet doorgaan om de taak te voltooien. De auteurs bewijzen wiskundig dat als de straf sterk genoeg is, je de student gewoon moet laten doorstuderen tot hij klaar is.

Samenvatting

Dit artikel is een "gebruikershandleiding" voor de strategie van Early Stopping.

Het legt uit waarom het werkt (het is hetzelfde als het toevoegen van een wiskundige straf).
Het legt uit wanneer het werkt (het hangt af van hoe snel je leert en hoe rommelig de data is).
Het geeft je een rekenmachine om het exacte moment te vinden waarop je moet stoppen, wat zij bewezen hebben te werken op echte data.

Ze hebben geen nieuwe manier van lesgeven uitgevonden; ze hebben alleen de precieze fysica ontdekt van wanneer je de stekker eruit moet trekken om de beste resultaten te krijgen.

Technische Samenvatting: Regularisatie via Early Stopping voor Least Squares Regressie

Probleemstelling

Het artikel behandelt de fundamentele uitdaging om de effecten van early stopping op de parameters en de generalisatiecapaciteiten van machine learning-modellen te begrijpen, specifiek binnen de context van lineaire regressie. Hoewel early stopping een veelgebruikte regularisatietechniek is, blijven de theoretische eigenschappen ervan onvolledig begrepen, met name voor discrete full-batch gradiëntafdaling met willekeurige leercurve-schema's (learning rate schedules) en datadistributies.

Bestaande literatuur leunt vaak op sterke aannames, zoals continue-tijd gradiëntstroomdynamica of Gaussische aannames op de feature-matrix, om stopregels af te leiden. Deze benaderingen slagen er niet in om de optimale stoppertijd te kwantificeren onder praktische, niet-constante leercurve-schema's of om fenomenen zoals "grokking" (waarbij modellen eerst overfitten voordat ze generaliseren) in discrete settings te verklaren. Bovendien vereisen de precieze relatie tussen early stopping en expliciete $L_2$ (ridge) regularisatie, en de condities waaronder early stopping gunstig versus nadelig is, een meer rigoureuze karakterisering zonder restrictieve distributionele aannames.

Methodologie

De auteurs analyseren de discrete dynamica van full-batch gradiëntafdaling voor lineaire regressie, waarbij zij de continu-tijd gradiëntstroombenadering vermijden. De kern van de methodologische bijdrage is de afleiding van exacte, gesloten vorm expressies voor het parametertraject $\beta_k$ .

Belangrijke methodologische componenten zijn:

Spectrale Decompositie: De analyse wordt uitgevoerd in de eigenbasis van de steekproefcovariantiematrix $X^T X$ . De auteurs definiëren een functie $\phi(k; \zeta, \{\eta_i\})$ die het cumulatieve effect van een leercurve-schema $\{\eta_i\}$ op een specifieke eigenwaarde $\zeta$ vastlegt.
Exacte Traject Formulering: Met behulp van deze functie leiden de auteurs een expliciete formule af voor $\beta_k$ die geldt voor elke datamatrix $X$ , elk leercurve-schema en elke initialisatie. Deze formule ontleedt de fout in een signaalcomponent (afhankelijk van initialisatie en ware parameters) en een ruiscomponent (afhankelijk van residuen).
Risicoanalyse: Het verwachte excessieve risico wordt geanalyseerd door verwachtingswaarden te nemen over de ruis en, onder een sferische prior-aanname, over het signaal. De auteurs differentiëren het risico met betrekking tot het iteratiegetal (door dit als een continue variabele te behandelen via Aanname 2) om kritieke punten te identificeren.
Equivalentiebewijzen: Het artikel vestigt wiskundige equivalenties tussen early-stopped oplossingen en oplossingen van gegeneraliseerde ridge-regressieproblemen, wat een directe vergelijking van de regularisatie-effecten mogelijk maakt.

Belangrijkste Bijdragen

1. Exacte Trajecten voor Discrete Dynamica

Het artikel biedt Propositie 1, die exacte formules geeft voor de discrete dynamica van $\beta_k$ voor het kernel ridge regressie-probleem. In tegenstelling tot eerdere werken, maken deze formules geen aannames over de datadistributie, het leercurve-schema of de ruisverdeling. De auteurs bieden gesloten vorm expressies voor $\phi$ onder diverse veelvoorkomende schema's, inclus\nclusief constante, polynomiale afname, constante additieve afname en exponentiële afname (met behulp van Gamma-functies en $q$ -Pochhammer symbolen).

2. Equivalentie met Gegeneraliseerde Ridge Regressie

De auteurs bewijzen Theorem 5, waarmee zij aantonen dat, voor generieke data en willekeurige leercurve-schema's, de oplossing verkregen na $T$ iteraties van early stopping (met $\mu=0$ ) equivalent is aan de minimum norm oplossing van een gegeneraliseerd ridge regressie probleem. De regularisatiematrix $D$ in dit gegeneraliseerde probleem wordt expliciet bepaald door het leercurve-schema en de stoppertijd.
Omgekeerd toont Theorem 6 aan dat elke minimum norm oplossing van een standaard ridge regressie probleem verkregen kan worden via early stopping als men een afzonderlijke leercurve aan elke eigenspace van de steekproefcovariantiematrix kan toewijzen.

3. Condities voor Voordeel en Nadeel

Het artikel stelt voldoende voorwaarden vast waaronder early stopping de generalisatieprestaties verbetert:

Theorem 8 (Gunstig): Early stopping is gunstig als het leercurve-schema het "shrinkage factor" $\phi(k)$ voldoende snel laat afnemen zodat de limiet van de ratio $\phi(k)/\phi(0)$ kleiner is dan een drempelwaarde die bepaald wordt door de signaal-ruisverhouding. Dit geldt voor constante, lineair afnemende en andere schema's waarbij de cumulatieve stapgrootte divergeert.
Theorem 9 (Niet Gunstig): Early stopping is niet gunstig als de leercurve te snel afneemt (bijv. snelle polynomiale of exponentiële afname), waardoor de shrinkage factor de noodzakelijke drempelwaarde niet bereikt. In deze gevallen blijft het risico afnemen met verdere training.
Theorem 10 (Ridge Regularisatie): Deze condities worden uitgebreid naar het geval waarin expliciete ridge regularisatie ( $\mu > 0$ ) aanwezig is. Een belangrijke bevinding is dat als de expliciete regularisatieparameter $\mu$ een kritieke waarde overschrijdt ( $\mu \ge \tau^2 / (n\sigma^2)$ ), early stopping geen extra voordeel biedt.

4. Schatting van de Optimale Stoppertijd

De auteurs stellen een schatting voor de optimale stoppertijd voor (Vergelijking 31) gebaseerd op het cumulatieve leercurve-budget $\sum \eta_i$ . De schatting wordt afgeleid door de shrinkage factor gelijk te stellen aan de optimale balans tussen signaal en ruis voor een representatieve eigenwaarde. Deze schatting generaliseert eerdere resultaten uit het gradiëntstroom-regime naar discrete dynamica met willekeurige spectra en niet-constante leercurves.

Resultaten en Empirische Validatie

De theoretische bevindingen worden gevalideerd door experimenten op synthetische data en real-world datasets (MNIST en CIFAR10).

Nauwkeurigheid van de Schatting: De voorgestelde schatting voor de stoppertijd (Vergelijking 31) komt nauw overeen met de empirisch waargenomen optimale stoppertijden over diverse leercurve-schema's (constant, polynomiaal, lineair, exponentieel, cosine annealing en random).
Regime-afhankelijkheid: De experimenten bevestigen de theoretische voorspelling dat early stopping gunstig is wanneer de expliciete ridge-parameter $\mu$ onder de optimale ridge-parameter $\mu^*$ ligt, maar nadelig (of onnodig) wordt wanneer $\mu \ge \mu^*$ .
Gevoeligheid voor Schema's: De resultaten laten zien dat de iteratie waarbij het optimum optreedt aanzienlijk varieert afhankelijk van het leercurve-schema, maar dat het cumulatieve budget van de leercurves een robuuste voorspeller is voor het optimale stoppunt.
Grokking: De analyse suggereert dat voor veel veelvoorkomende leercurve-schema's (waar de cumulatieve stapgrootte divergeert), lineaire modellen geen "grokking" vertonen (late generalisatie na overfitting); in plaats daarvan vertonen ze de klassieke bias-variance tradeoff waarbij early stopping optimaal is.

Betekenis en Claims

Het artikel claimt een niet-asymptotische, distributie-vrije karakterisering van early stopping in lineaire regressie te bieden. De betekenis ligt in:

Brug tussen Theorie en Praktijk: Door afstand te nemen van continue-tijd gradiëntstroom en Gaussische aannames, zijn de resultaten toepasbaar op praktische, discrete trainingsscenario's met willekeurige leercurve-schema's.
Verenigend Perspectief: Het verenigt formeel early stopping met gegeneraliseerde ridge-regularisatie, waarbij het aantoont dat de "impliciete" regularisatie van early stopping wiskundig equivalent is aan een expliciete, datagestuurde $L_2$ -penalty.
Praktische Begeleiding: Het biedt een concrete, theoretisch onderbouwde schatting voor de optimale stoppertijd die alleen afhangt van observeerbare grootheden (signaal-ruisverhouding, eigenwaarde-spectrum en leercurve-schema), in plaats van de kennis van het werkelijke onderliggende signaal te vereisen.
Verheldering van Limieten: Het werk brengt expliciet in kaart wanneer early stopping gunstig is versus wanneer dit niet het geval is, met name door de interactie tussen expliciete ridge-regularisatie en early stopping te belichten, en door specifieke leercurve-schema's te identificeren die early stopping ineffectief maken.

De auteurs concluderen dat hoewel de huidige analyse beperkt is tot lineaire modellen, het kader een fundament biedt voor het begrijpen van complexere modellen, zoals twee-laag neurale netwerken, en suggereert toekomstige richtingen voor het uitbreiden van deze resultaten naar stochastic gradient descent en adaptieve optimalisatiemethoden.