📊 statistics

A Stochastic--Geometric Theory of Scaling Laws in Grokking

Dit artikel stelt een stochastisch-geometrische theorie voor die grokking verklaart als een door optimalisatie geïnduceerde transitie van een memorisatie-schil naar een generalisatie-kern binnen de parameterruimte van Adam, waardoor schaalwetten voor de vertragingstijd worden afgeleid en gevalideerd op basis van leersnelheid, batchgrootte en regularisatie.

Oorspronkelijke auteurs: Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Gepubliceerd 2026-07-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een videogame-personage kijkt dat een lastige puzzel probeert op te lossen. Eerst rent het personage paniekerig rond en onthoudt elk afzonderlijk stapje van het pad dat het net heeft afgelegd. Ze krijgen de score direct naar nul, maar ze hebben de regels nog niet echt geleerd; ze hebben alleen de specifieke kaart uit het hoofd geleerd. Dit wordt memorisatie genoemd.

Dan gebeurt er iets magisch. Na een lange, saaie periode waarin schijnbaar niets verandert, stopt het personage plotseling, kijkt naar het bord en snapt het. Ze beginnen nieuwe, ongeziene puzzels perfect op te lossen. Dit plotselinge "aha!"-moment is wat onderzoekers grokking noemen.

Lange tijd wist niemand waarom deze vertraging plaatsvond. Was het magie? Een glitch? In dit artikel suggereren de auteurs een nieuwe manier om te visualiseren wat er gebeurt in de "hersenen" van de computer (het neurale netwerk) met behulp van een kaart van vormen en afstanden.

De Ui van Oplossingen

De auteurs stellen voor dat de ruimte waar de "hersenen" van de computer kunnen bestaan, lijkt op een reeks geneste sferen, een beetje zoals een ui of een doelwit.

De Buitenste Schil (Initialisatie): Wanneer de computer begint, zijn de instellingen verspreid op een dunne, buitenste schil. Het is alsof je pijltjes gooit die allemaal op de uiterste rand van een enorme ballon landen.
De Middelste Schil (Memoristatie): Terwijl de computer leert, glijdt hij snel naar een middelste laag. Hier heeft hij de trainingsdata perfect uit het hoofd geleerd. Het is als het personage in ons spel dat de kaart uit het hoofd heeft geleerd, maar de regels niet begrijpt. De computer blijft hier een lange tijd steken.
De Kern (Generalisatie): Diep in het centrum van de ui ligt de "generalisatie"-kern. Dit is de ideale plek waar de computer de regels daadwerkelijk begrijpt en nieuwe problemen kan oplossen.

Het "grokking"-fenomeen is simpelweg de reis van de middelste schil, door de lege ruimte, naar de kern. Het mysterie was: Waarom duurt het zo lang om daar te komen?

De Dronken Wandeling en de Magnetische Trek

De auteurs leggen uit dat het leerproces van de computer (met een optimizer genaamd Adam) een mix is van twee krachten:

De Dronken Wandeling (Diffusie): Omdat de computer leert van kleine batches data, is zijn pad een beetje wiebelig, zoals een dronken persoon die in een rechte lijn loopt. Deze wiebel is willekeurig.
De Magnetische Trek (Drift): Er is ook een constante kracht die de computer naar het centrum trekt, vooral vanwege een regel die $\ell_2$ -regularisatie wordt genoemd (wat werkt als een zachte magneet die probeert de instellingen klein te houden).

De auteurs suggereren dat de computer vast komt te zitten in de middelste schil omdat de "dronken wandeling" te zwak is om hem uit deze laag te duwen, en de "magnetische trek" niet sterk genoeg is om hem direct rechtstreeks naar het centrum te sleuren. Hij moet een tijdje ronddwalen in de middelste schil totdat hij, door toeval, door de willekeurige wiebelingen net ver genoeg wordt geduwd om in de kern te vallen.

De Regels van het Spel (Scaling Laws)

De auteurs hebben niet alleen gegokt; ze hebben wiskunde gebruikt (specifiek stopping-time theory en stochastische differentiaalvergelijkingen) om precies te voorspellen hoe lang deze vertraging zou duren. Ze ontdekten drie belangrijke "knoppen" die de snelheid van deze reis bepalen:

Leersnelheid ( $\eta$ ): Dit is hoe groot de stap is die de computer zet. Het artikel laat zien dat als je de stappen te klein maakt, het eeuwig duurt om de middelste schil te verlaten. Als je ze te groot maakt, kan de computer het doel missen. Er is een "Goldilocks"-zone.
Batchgrootte ( $b$ ): Dit is hoeveel voorbeelden de computer bekijkt voordat hij een stap zet. Het artikel suggereert dat grotere batches de "dronken wandeling" minder wiebelig maken, wat de ontsnapping uit de middelste schil juist vertraagt.
Regularisatie ( $\lambda$ ): Dit is de sterkte van de "magnetische trek". Het artikel stelt dat een sterkere trek de computer helpt om sneller uit de middelste schil te ontsnappen, maar alleen tot op zekere hoogte.

Ze hebben specifieke formules (scaling laws) afgeleid voor hoe deze knoppen de tijd die het kost om te grokken beïnvloeden. Bijvoorbeeld, de tijd die het kost om van memorisatie naar generalisatie te springen, is ongeveer evenredig aan $1/(\eta \lambda)$ . Dit betekent dat als je de leersnelheid of de regularisatie verdubbelt, de vertragingstijd met de helft wordt verminderd.

Wat Ze Hebben Uitgesloten

Het paper is zeer voorzichtig in wat ze niet beweren. Ze zeggen niet dat grokking gebeurt omdat een netwerk plotseling "een circuit vindt" of door een mysterieus biologisch-achtig ontwaken. In plaats daarvan stellen ze dat het puur een resultaat is van de geometrie van de oplossingsruimte en de willekeur van het optimalisatieproces. Ze sluiten ook de mogelijkheid uit dat dit slechts een toevallige gelukstreffer is; hun wiskunde suggereert dat het een voorspelbaar, structureel kenmerk is van hoe Adam deze specifieke soorten problemen optimaliseert.

Hoe Zeker Zijn Ze?

De auteurs zijn vrij zelfverzekerd over hun theorie, maar ze maken een zorgvuldig onderscheid tussen wat ze hebben bewezen en wat ze hebben gemeten.

De Wiskunde: Ze hebben deze scaling laws afgeleid met rigoureuze wiskundige bewijzen gebaseerd op continu-tijdmodellen van het leerproces. Ze hebben een symbolisch algebraïsch systeem (een computerprogramma dat met wiskunde werkt) gebruikt om hun formules te controleren, wat hen veel vertrouwen geeft in de vergelijkingen.
Het Bewijs: Ze hebben hun ideeën getest op twee specifieke soorten puzzels: groepentheoretisch leren (specifiek op de symmetrische groep $S_5$ ) en modulaire rekenkunde (specifiek op gehele getallen modulo 127, geschreven als $Z_{127}$ ).
De Resultaten: In deze experimenten kwam het gedrag van de computer exact overeen met hun voorspellingen. Zo veranderde de tijd die nodig was om te grokken exact zoals hun formules voorspelden toen ze de leersnelheid of de batchgrootte aanpasten. Ze zagen ook de "U-vormige" curve voor de memorisatie-radius, wat hun theorie voorspelde.

Ze merken echter op dat hun wiskunde steunt op bepaalde voorwaarden, zoals een kleine leersnelheid en een grote batchgrootte. Ze beweren niet dat dit elk geval van grokking in elk mogelijk neuraal netwerk verklaart, maar wel dat het het fenomeen verklaart in deze specifieke, gestructureerde taken waar de "schil-kern"-geometrie bestaat.

De Kern van het Verhaal

Grokking is geen magie; het is een geometrische reis. De computer begint aan de buitenkant, komt vast te zitten in een "memoristatieschil", en moet ronddwalen totdat de willekeurige ruis van zijn leerproces hem in de "generalisatiekern" duwt. De tijd die nodig is om deze sprong te maken, hangt af van hoe snel hij stappen zet (leersnelheid), hoe constant zijn stappen zijn (batchgrootte) en hoe sterk hij naar het centrum wordt getrokken (regularisatie). De auteurs hebben deze regels met wiskunde in kaart gebracht en bevestigd met experimenten, waardoor ze een duidelijker beeld geven van waarom deze neurale netwerken soms zo lang lijken te slapen voordat ze plotseling wakker worden.

Probleemstelling
Vertraagde generalisatie, of "grokking", is een fenomeen dat wordt waargenomen bij neurale netwerken die worden getraind op ruisvrije, hooggestructureerde taken (bijv. modulaire rekenkunde, groepstheoretisch leren). In deze settings bereiken modellen snel een bijna nul trainingsverlies (memorisatie), maar falen ze gedurende een langere periode in het generaliseren voordat ze abrupt overgaan naar sterke testprestaties. Ondanks uitgebreid empirisch onderzoek blijft het onderliggende mechanisme dat de vertraging drijft en de specifieke rol van hyperparameters (leersnelheid, batchgrootte, regularisatie) slecht begrepen.

Methodologie
De auteurs stellen een stochastisch-geometrisch kader voor om grokking te karakteriseren, gebaseerd op de optimalisatiedynamiek van de Adam-optimizer met $\ell_2$ gewichtsverkleining-regularisatie.

Topologische Karakterisering: Het artikel stelt dat de optimalisatiedynamiek van Adam een "schil-kern" topologische configuratie induceert in de parameterruimte.
- Initialisatie: Oplossingen concentreren zich op een dunne buitenste hypersferische schil ( $\Theta$ ).
- Memorizatie: Binnen $\Theta$ bevindt zich een schil van memorisatie-oplossingen ( $M \setminus G$ ), waarbij het model de trainingsdata past maar faalt in het generaliseren.
- Generalisatie: In het centrum ligt een compacte kern van generalisatie-oplossingen ( $G$ ).
- De overgang van memorisatie naar generalisatie wordt gemodelleerd als een stochastische ontsnapping uit de buitenste schil naar de binnenste kern.
Stochastische Differentiaalvergelijking (SDE) Formulering:
- De auteurs leiden een continu-tijd limiet af voor de Adam-dynamiek, waarbij een gezamenlijke toestands-SDE wordt geformuleerd voor de parameters ( $\theta$ ) en de eerste- en tweede-moment schattingen ( $m, v$ ). Deze SDE houdt rekening met de stochasticiteit van mini-batch gradiënten en de bias-correctiemechanismen van Adam.
- Laat-fase Reductie: Empirische observaties suggereren dat in de latere stadia van training (post-memorizatie), de moment-schattingen convergeren naar hun gemiddelde-veld limieten en de gradiëntruis klein en isotroop wordt. Deze eigenschappen maken het mogelijk om de complexe gezamenlijke toestands-SDE te reduceren tot een hanteerbare radiale SDE die de evolutie van de gekwadrateerde parameter-norm ( $r_t^2 = \|\theta_t\|^2$ ) beheerst.
Stopping-Time Analyse:
- De transitietijd van de memorisatie-manifold ( $\partial M$ ) naar de generalisatie-manifold ( $\partial G$ ) wordt geanalyseerd met behulp van stopping-time theorie voor stochastische processen.
- De auteurs leiden schaalwetten af voor de radii van deze manifolds en de verwachte transitietijd door Dirichlet randwaardeproblemen en mean first-passage time vergelijkingen op te lossen die zijn afgeleid van de gereduceerde SDE's.

Belangrijkste Bijdragen

Door Optimalisatie Geïnduceerde Schil-Kern Topologie: Het artikel introduceert een theoretische prior waarbij initialisatie concentreert op een schil die memorisatie-oplossingen omsluit, welke op hun beurt een generalisatie-kern omsluiten. Deze configuratie wordt specifief geïnduceerd door de Adam-dynamiek met gewichtsverkleining.
Stochastisch-Geometrische Karakterisering: Grokking wordt formeel gekarakteriseerd als een stochastisch transitieprobleem. De geometrie van de oplossingsruimte wordt gedefinieerd door de eerste stopping time waarbij stochastische gradiëntstromen de memorisatie-manifold ontsnappen en de generalisatie-manifold bereiken.
Afleiding van Schaalwetten: De auteurs leiden gesloten vorm asymptotische schaalwetten af voor:
- Memorizatie Radius ( $\rho_M$ ): Afhankelijk van de leersnelheid ( $\eta$ ), batchgrootte ( $b$ ) en regularisatie ( $\lambda$ ). De theorie voorspelt een U-vormige afhankelijkheid van de ratio $\eta/b$ .
- Generalisatie Radius ( $\rho_G$ ): Afhankelijk van $\eta$ , $\lambda$ , en $b$ , waarbij het uiteenvalt in een landschap-afhankelijke term en een fluctuatie-correctie.
- Oplossings Transitietijd ( $\tau_{M \to G}$ ): Het verwachte aantal iteraties om te transiteren van memorisatie naar generalisatie schaalt invers met de regularisatiecoëfficiënt ( $\lambda$ ) en de leersnelheid ( $\eta$ ), specifiek $\tau \propto 1/(\eta \lambda)$ .

Resultaten
De theoretische voorspellingen werden gevalideerd door experimenten op twee gestructureerde leertaken: groepstheoretisch leren op de symmetrische groep $S_5$ en modulaire rekenkunde op $\mathbb{Z}_{127}$ .

Empirische Validatie: Experimenten bevestigden de voorspelde schaalwetten voor manifold radii en transitietijden over variërende hyperparameters.
U-vormige Curve: De data ondersteunden de theoretische voorspelling dat de memorizatie radius $\rho_M$ een U-vormige curve vertoont met betrekking tot $\eta/b$ .
Literatuur Terugwinning: De afgeleide schaalwetten herstelden bekende empirische resultaten uit eerdere literatuur, zoals de inverse afhankelijkheid van de grokking-vertraging van regularisatie en de "Goldilocks zone" voor gewichtsnormen.
Symbolische Verificatie: Alle closed-form en asymptotische resultaten werden machinaal gecontroleerd met een symbolisch algebraïsch systeem (Julia) om de technische correctheid te waarborgen.

Betekenis
Het artikel beweert een theoretisch kader te bieden dat de geometrie van oplossings-manifolds verbindt met de stochastische dynamiek van de Adam-optimizer. Door grokking te karakteriseren via stopping-time analyse van SDE's, biedt het werk een mechanistische verklaring voor het fenomeen van vertraagde generalisatie. Het verheldert hoe specifieke hyperparameters de stochastische diffusie en deterministische drift moduleren om de tijd te beïnvloeden die nodig is voor een model om van memorisatie naar generalisatie te transiteren. De auteurs merken op dat hun resultaten steunen op de condities die vereist zijn voor de Adam SDE-limiet (voldoende kleine leersnelheid en grote batchgrootte) en niet direct van toepassing zijn op het regime met een grote $\eta/b$ .