🤖 machine learning

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold

Dit artikel legt het fenomeen van vertraagde generalisatie, bekend als grokking, uit door te bewijzen dat gradiëntafdaling in de limiet van kleine leersnelheden en gewichtsverval de gewichtsnorm op het zero-loss-variëteit minimaliseert, een mechanisme dat wordt gevalideerd door een afgeleide gesloten vormelijke expressie voor de dynamiek na memorisatie en experimentele simulaties.

Oorspronkelijke auteurs: Tiberiu Musat

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tiberiu Musat

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Mysterie: Wat is "Grokking"?

Stel je voor dat je een robot leert rekenen. Je laat hem één voorbeeld zien: $1 + 1 = 2$ .

Fase 1 (Memoriseren): De robot leert snel om "2" te zeggen wanneer hij "1 + 1" ziet. Hij heeft het antwoord onthouden. Als je hem een nieuw probleem vraagt, zoals $2 + 2$ , faalt hij. Hij is slechts een papegaai die herhaalt wat hij heeft gehoord.
Het Lange Wachten: Je blijft de robot trainen. Een lange tijd lijkt er niets te veranderen. Hij kent nog steeds alleen dat ene voorbeeld.
Fase 2 (Grokking): Plotseling, na honderden of duizenden extra stappen, heeft de robot een "eureka-moment". Hij ontdekt de regel van optellen. Nu kan hij $2+2$ , $5+3$ en elk ander optelprobleem perfect oplossen.

Deze vreemde vertraging — waarbij de robot van "memoriseren" naar "begrijpen" gaat, lang nadat hij de trainingsdata al onder de knie heeft — wordt Grokking genoemd.

De Hoofdgedachte van het Papier: Het "Zero-Loss" Manifold

De auteurs van dit papier willen verklaren waarom dit gebeurt. Ze stellen een nieuwe manier voor om te kijken naar hoe de robot leert tijdens die lange wachtperiode.

Beschouw de hersenen van de robot als een gigantisch, meerdimensionaal landschap.

Het Doel: De robot wil een vallei bereiken waar de "fout" (hoe fout hij zit) nul is.
De Zero-Loss Vallei: Zodra de robot het enkele voorbeeld ( $1+1=2$ ) heeft gememoriseerd, heeft hij de bodem van een zeer specifieke, vlakke vallei bereikt. In deze vallei maakt de robot nul fouten op de trainingsdata.
Het Probleem: Deze vallei is enorm. Er zijn miljoenen verschillende manieren om de interne knoppen (gewichten) van de robot zo in te stellen dat de fout nul is. Sommige van deze instellingen zijn "slim" (ze generaliseren naar nieuwe wiskunde), en sommige zijn "dom" (ze werken alleen voor dat ene voorbeeld).

Het Geheime Mechanisme: Norm Minimalisatie

Het papier betoogt dat zodra de robot in deze "Zero-Loss Vallei" is, het trainingsproces zijn doel verandert. Het stopt met het proberen te verlagen van de fout (omdat de fout al nul is) en begint te proberen zichzelf te vereenvoudigen.

De Analogie: De Koorddanser
Stel je voor dat de robot een koorddanser is op een zeer lange, kronkelende draad (de Zero-Loss Vallei).

De Draad: De draad vertegenwoordigt alle mogelijke manieren waarop de robot het antwoord juist kan krijgen.
De Duw: Het trainingsproces bevat een "weight decay" (een kleine kracht die de robot constant probeert te dwingen minder energie te gebruiken).
Het Resultaat: Omdat de robot al op de draad zit (fout nul), is het enige wat hij kan doen om langs de draad te glijden. De "energiebesparende" kracht duwt hem naar het deel van de draad dat het kortste en simpelste is.

De auteurs bewijzen wiskundig dat de robot in essentie langs deze draad glijdt, op zoek naar de simpelste oplossing. Uiteindelijk vindt hij het "simpelste" pad, wat toevallig de weg is die de algemene regel van optellen begrijpt. Dit is waarom generalisatie plaatsvindt na het memoriseren: de robot moet zijn lange, langzame glijpartij langs de draad voltooien om de simpele oplossing te vinden.

Het "Toy Model" Bewijs

Om aan te tonen dat dit geen toevalstreffer is, bouwden de auteurs een piekleine, simpele robot (een lineair model) met slechts twee knoppen.

Ze trainden het op $1+1=2$ .
Observatie: De robot vond snel een oplossing die werkte voor de trainingsdata, maar die vreemd was (bijvoorbeeld door een enorm positief getal en een enorm negatief getal te gebruiken die elkaar opheffen).
De Glijvlucht: Daarna duwde de "weight decay" de knoppen langzaam naar een veel simpelere, gebalanceerde oplossing (1 en 1).
Het Resultaat: Zodra de knoppen dat simpele, gebalanceerde punt bereikten, werd de robot plotseling geweldig in het oplossen van elk optelprobleem, niet alleen $1+1$ .

Het "Geïsoleerde" Perspectief: Focus op de Embedding Layer

Het papier behandelt ook een tweede vraag: Kunnen we een deel van de hersenen van de robot begrijpen zonder het geheel te modelleren?

In het specifieke geval van modulaire optelling (rekenen met een klok, zoals $11 + 2 = 1$ ), toonde eerder onderzoek aan dat de robot getallen in een cirkel rangschikt.

De Analogie: Stel je voor dat de eerste laag van de robot een kaartenmaker is. Hij neemt getallen en plaatst ze op een kaart.
De Ontdekking: De auteurs creëerden een wiskundige afkorting. Ze toonden aan dat als je aanneemt dat de tweede laag van de robot altijd "perfect is aangepast" aan de eerste laag, je een eenvoudige formule kunt schrijven die precies voorspelt hoe de kaartenmaker (de eerste laag) zal bewegen.
De Simulatie: Wanneer ze deze formule op een computer draaiden, reproduceerde het perfect het "Grokking"-effect. De kaartenmaker rangschikte de getallen langzaam van een rommelige vlek naar een perfecte cirkel, en daarna begon de robot de wiskunde te begrijpen.

Samenvatting van de Bevindingen

Grokking is Geometrie: De vertraging in het leren is geen bug, maar een kenmerk van de geometrie. De robot moet een lange afstand afleggen langs een "zero-error" pad om de simpelste oplossing te vinden.
Weight Decay is de Motor: De kleine kracht die probeert de getallen van de robot kleiner te maken (weight decay), is wat hem langs dit pad duwt. Zonder deze kracht zou de robot voor eeuwig vast komen te zitten in de "memoriserende" plek.
Vereenvoudiging Werkt: Je kunt voorspellen hoe een complex netwerk leert door slechts één deel ervan te bekijken (de embedding layer) en ervan uit te gaan dat de rest van het netwerk zich er direct aan aanpast.

Wat het Papier Niet Beweert

Het beweert niet dat dit voor elk type AI of elke soort data werkt (het richt zich op specifieke wiskundige problemen en simpele netwerken).
Het suggereert nog niet om dit te gebruiken voor het bouwen van betere medische AI of zelfrijdende auto's.
Het beweert niet het mysterie van alle neurale netwerken te hebben opgelost, alleen het specifieke "grokking"-fenomeen in deze omgevingen.

Kortom, het papier vertelt ons dat Grokking de robot is die een lange, langzame wandeling maakt over een rechte lijn om de simpelste, meest elegante manier te vinden om een probleem op te lossen.

Technische Samenvatting: De Geometrie van Grokking

Probleemstelling
Het artikel behandelt het fenomeen van "grokking" in neurale netwerken, waarbij een model pas na een aanzienlijke vertraging na de volledige memorisatie van de trainingsset een perfecte generalisatie op de testdata bereikt. Hoewel eerder onderzoek dit vertraagde generalisatieproces heeft gekoppeld aan representatieleer gedreven door weight decay, blijven de exacte onderliggende dynamieken onduidelijk. Specifiek zoeken de auteurs naar antwoorden op: (1) Wat is de exacte rol van weight decay in de post-memorization leerfase? en (2) Kunnen de leerdynamieken van specifieke netwerkcomponenten (zoals embedding-lagen) worden geïsoleerd van de rest van het netwerk?

Methodologie en Theoretisch Kader
De auteurs benaderen het probleem vanuit het perspectief van geconstreerde optimalisatie en gradient flow, waarbij ze het systeem analyseren in de limiet van oneindig kleine leersnelheden en weight decay-coëfficiënten ( $\lambda \to 0$ ).

Post-Memorization Dynamiek: Het artikel bewijst formeel dat zodra een netwerk een nul-verlies (zero training loss) bereikt (memorizatie), de daaropvolgende leerdynamiek beperkt is tot de zero-loss manifold ( $Z$ ). In dit regime voert gradient descent effectief de gewichtsnorm ( $\|\theta\|^2$ ) te minimaliseren terwijl het op $Z$ blijft. De auteurs stellen vast dat de loss-gradiënt loodrecht staat op de raakruimte van de zero-loss manifold wanneer de parameters $Z$ naderen, wat betekent dat de verliesfunctie de parameterupdates niet langer aanstuurt; in plaats daarvan drijft weight decay de parameters naar de minimum-norm oplossing binnen de zero-loss set.
Geïsoleerde Component Dynamiek: Om specifieke lagen te analyseren, stellen de auteurs een benadering voor waarbij de dynamiek van een subset van parameters ( $\theta_1$ ) wordt ontkoppeld van de rest ( $\theta_2$ ). Door aan te nemen dat $\theta_2$ zich instantaan aanpast aan de optimale waarde voor elke gegeven $\theta_1$ (het effectief behandelen van $\theta_2$ als een snelle variabele), leiden zij een effectieve kostenfunctie af: $R(\theta_1) = \min_{\theta_2} L_\lambda(\theta_1, \theta_2)$ .
Twee-laag Netwerk Afleiding: Door dit kader toe te passen op een twee-laags netwerk met een mean-squared error loss, leiden de auteurs een gesloten vorm uitdrukking af voor de leerdynamiek van de eerste laag (de embedding-laag). In de overgeparameteriseerde, zero-loss limiet, wordt aangetoond dat de dynamiek van de gewichten van de eerste laag $W_1$ de gradient flow volgt van een specifieke kostenfunctie die weight decay balanceert tegen de fit van de tweede laag.

Belangrijkste Resultaten

Theoretisch Bewijs: Het artikel bewijst dat voor bijna elke dataset de zero-loss set een gladde manifold is zonder singulariteiten tijdens standaard training. Verder bewijzen zij dat de loss-gradiënt loodrecht staat op deze manifold nabij de oplossing, wat bevestigt dat post-memorization learning volledig wordt gedreven door norm-minimalisatie.
Toy Model Validatie: Met behulp van lineaire modellen op optel-taken demonstreren de auteurs dat modellen aanvankelijk convergeren naar een zero-loss oplossing (memorizatie) en vervolgens langzaam langs de zero-loss manifold driften naar de minimum-norm oplossing (generalisatie). De snelheid van deze drift is omgekeerd evenredig aan de weight decay-coëfficiënt.
Gesimuleerde Grokking: De auteurs simuleren de afgeleide gesloten vorm dynamiek voor de eerste laag van een netwerk dat getraind is op modulaire optelling. De simulatie reproduceert succesvol de karakteristieke vertraagde generalisatie: het model behoudt een zero training loss terwijl de testnauwkeurigheid honderden stappen lang op random chance blijft, om vervolgens naar perfecte generalisatie te springen.
Representatieleer: De simulatie onthult dat de embedding-vectoren tijdens de generalisatiefase zich organiseren in circulaire structuren in het Fourier-domein. Specifiek worden de normen van de Fourier-features gelijkgetrokken en worden de features orthogonaal, wat de "circulaire representaties" weerspiegelt die eerder zijn waargenomen in interpretatieonderzoeken van grokking.

Betekenis en Claims
Het artikel claimt een formele geometrische verklaring te bieden voor grokking, waarbij het wordt geïdentificeerd als een tweefasig proces: een snelle fase van memorizatie gevolgd door een langzame fase van norm-minimalisatie op de zero-loss manifold. Door een gesloten vorm uitdrukking voor de dynamiek van de embedding-laag af te leiden, bieden de auteurs een theoretische basis voor het begrijpen van hoe specifieke netwerkcomponenten representaties leren.

De auteurs positioneren dit werk als een stap naar het demystificeren van de interne werking van neurale netwerken, wat cruciaal is voor het ontwikkelen van veiligere en betrouwbaardere AI-systemen. Zij merken op dat hun bevindingen overeenkomen met gelijktijdig werk door Boursier et al. (2026) met betrekking tot geregulariseerde gradient flow. Het artikel erkent bescheiden de beperkingen, waarbij wordt opgemerkt dat het zich richt op mean-squared error loss in plaats van cross-entropy en momenteel beperkt is tot twee-laag netwerken, wat de dynamiek van diepere architecturen een openstaande uitdaging laat.