Spectral Entropy Collapse as an Empirical Signature of Delayed Generalisation in Grokking

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een student hebt die een heel moeilijk wiskundig probleem moet oplossen. Deze student (het computerprogramma) doet het volgende:

De "Bijleren"-fase: Eerst leert de student het antwoord op elk vraagje uit zijn oefenboek letterlijk uit het hoofd. Hij haalt 100% op zijn toetsen, maar hij begrijpt de logica erachter niet. Als je hem een nieuw vraagje geeft dat niet in het boek staat, faalt hij.
De "Wachttijd": Dan komt er een lange periode van stilte. De student blijft 100% halen op het oefenboek, maar hij leert er niets nieuws van. Het lijkt alsof hij vastloopt.
Het "Grokken" (Het moment van inzicht): Plotseling, na duizenden stappen, gebeurt er iets magisch. De student schiet van 0% naar 100% op de nieuwe, onbekende vragen. Hij heeft het concept ineens begrepen.

In de wereld van kunstmatige intelligentie noemen we dit Grokking. Het probleem is: niemand wist precies waarom of wanneer dit moment van inzicht zou komen. Het was een mysterie.

Dit paper biedt een oplossing: een nieuwe manier om te meten wat er in het hoofd van de computer gebeurt, met een concept dat we Spectrale Entropie noemen.

De Analogie: De "Geordende Chaos"

Om dit te begrijpen, moeten we kijken naar hoe de computer informatie opslaat. Stel je voor dat de interne gedachten van de computer een grote, rommelige kamer zijn vol met ballen (de data).

Hoge Entropie (De rommelige kamer): Aan het begin zijn de ballen overal verspreid. Er is veel chaos en variatie. De computer probeert alles tegelijk te onthouden, maar het is een puinhoop. Dit is de fase van "uit het hoofd leren".
Entropie-instorting (De kamer wordt opgeruimd): Op een bepaald moment begint de computer de ballen in één specifieke hoek te stapelen. De chaos verdwijnt. De kamer wordt extreem geordend en strak. De computer heeft de "essentie" van het probleem gevonden en alle overbodige rommel weggegooid.

De auteurs van dit paper hebben ontdekt dat dit opruimen (de instorting van de entropie) het signaal is dat het "Grokken" gaat gebeuren.

De 5 Belangrijkste Ontdekkingen (Vertaald)

Hier is wat ze hebben gevonden, vertaald naar alledaags taal:

1. Eerst groeien, dan opruimen
De computer begint met het "groeien" van zijn kennis (de ballen worden zwaarder en groter), maar dat is nog niet genoeg. Pas als hij stopt met groeien en begint met het opruimen (de entropie daalt), komt het inzicht. Het opruimen is de echte sleutel.

2. Het magische getal 0,61
De auteurs hebben een meetlat ontwikkeld. Als de "rommeligheid" (de entropie) onder een specifiek getal zakt (ongeveer 0,61), dan weet je met bijna 100% zeker dat de computer binnenkort gaat "grokken". Het is als een wekker die afgaat net voordat de zon opkomt.

3. Het is de oorzaak, niet alleen een teken
Om te bewijzen dat dit echt de oorzaak is, hebben ze een experiment gedaan. Ze hebben de computer een beetje "in de war gebracht" door de ballen in de kamer weer een beetje te verspreiden (zodat de kamer niet opgeruimd kon worden).

Resultaat: De computer kon niet meer grokken! Hij bleef vastlopen.
Conclusie: Zolang de computer niet "opruimt" (de entropie niet instort), kan hij het probleem niet begrijpen. Het opruimen is de motor achter het inzicht.

4. Voorspellen als een waarzegger
Omdat ze weten dat de entropie onder een bepaalde drempel moet zakken, kunnen ze nu voorspellen wanneer het inzicht komt.

Ze hebben een formule gevonden: Hoe dichter de entropie bij het magische getal komt, hoe sneller het inzicht komt.
Ze kunnen nu zeggen: "Over ongeveer 12.000 stappen gaat deze computer het begrijpen." Dit bespaart enorme hoeveelheden tijd en rekenkracht.

5. Het werkt niet voor iedereen
Dit is misschien wel het belangrijkste punt: Opruimen is nodig, maar niet genoeg.
Ze hebben getest of dit ook werkt bij een heel simpel type computer (een "MLP"). Die computer deed ook het opruimen (de entropie zakte), maar hij begreep het probleem nooit.

Waarom? Omdat hij de verkeerde "bril" op had. Alleen computers met een specifieke bouw (zoals een Transformer, die een soort "aandacht" heeft) kunnen het opruimen omzetten in echt inzicht. De "bril" (de architectuur) moet goed zijn.

Waarom is dit belangrijk?

Voorheen was het trainen van slimme AI's een beetje als blinden in het donker: je wachtte en hoopte dat het inzicht zou komen.

Met deze ontdekking hebben we nu een dashboard gekregen. We kunnen kijken naar de "rommeligheid" in het hoofd van de computer.

Als de rommeligheid niet daalt? Stop dan, het gaat niet lukken.
Als de rommeligheid net onder de drempel zakt? Houd de adem in, het inzicht is er bijna!

Het paper laat zien dat "Grokking" geen toeval is, maar een voorspelbaar proces van het ordenen van informatie, mits de computer de juiste bouw heeft om die ordening te begrijpen.

Each language version is independently generated for its own context, not a direct translation.

Titel: Spectrale Entropie-instorting als Empirische Signatuur van Vertraagde Generalisatie in Grokking

Auteurs: Truong Xuan Khanh, Truong Quynh Hoa, Luu Duc Trung, Phan Thanh Duc.
Context: Onderzoek uitgevoerd op 1-laags Transformers getraind op groepstheoretische taken (modulaire rekenkunde en permutaties).

1. Het Probleem: Het "Grokking"-fenomeen

"Grokking" is een opvallend trainingsdynamisch fenomeen waarbij een neurale netwerk eerst het trainingsset perfect memoriseert (hoge trainingsnauwkeurigheid), maar pas na duizenden optimalisatiestappen, na een lange periode van stagnatie, generaliseert naar ongezette data (hoge testnauwkeurigheid).

Uitdaging: Hoewel het fenomeen empirisch goed gedocumenteerd is, ontbreekt er een principieel mechanistisch verklaring. Bestaande theorieën (zoals gewichts-norm dynamiek, Fourier-features of circuit-efficiëntie) bieden geen enkele meetbare grootheid die zowel causaal ingrijpbaar is als voorspellend werkt vóór de overgang.
Doel: Een meetbare, causale indicator vinden die de overgang van memorisatie naar generalisatie signaleert en verklaart.

2. Methodologie en Framework

De auteurs introduceren een nieuwe diagnostische maatstaf: de genormaliseerde spectrale entropie ( $\tilde{H}$ ) van de covariantiematrix van de representaties in de voorlaatste laag van het netwerk.

Definitie: Laat $\hat{\Sigma}(\theta)$ de empirische covariantiematrix zijn van de representaties $z(x)$ . De eigenwaarden zijn $\lambda_1 \geq \dots \geq \lambda_d$ . De genormaliseerde spectrale entropie wordt gedefinieerd als:
$\tilde{H}(\theta) = \frac{-\sum_{k=1}^d p_k \log p_k}{\log d}$
waarbij $p_k = \lambda_k / \sum \lambda_j$ .
- $\tilde{H} = 1$ : Maximale uniformiteit (isotrope covariantie).
- $\tilde{H} = 0$ : Volledige rang-1 dominantie (alle energie in één richting).
Twee-fasen Beschrijving:
1. Fase I (Norm-expansie): De parameter-norm ( $\|\theta\|_2$ ) groeit snel tijdens memorisatie. De entropie $\tilde{H}$ blijft hoog en stabiel.
2. Fase II (Entropie-instorting): De norm-groei plat af. $\tilde{H}$ begint monotoon te dalen, wat wijst op concentratie van representatieve energie in een laag-dimensionale deelruimte. Generalisatie volgt zodra $\tilde{H}$ een specifieke drempelwaarde $\tilde{H}^*$ passeert.

3. Belangrijkste Bijdragen en Resultaten

De auteurs presenteren vijf kernbijdragen, gevalideerd op 1-laags Transformers:

A. Empirische Regelmaat en Drempelwaarde

In alle geteste runs (10 zaden, 3 modulaire rekenkundetaken) daalt $\tilde{H}$ consistent onder een stabiele drempelwaarde $\tilde{H}^* \approx 0.61$ voordat generalisatie optreedt.
Deze daling gebeurt gemiddeld 1.020 stappen vóórdat de testnauwkeurigheid naar 1.0 springt.
Er is een zwakke anti-correlatie ( $\rho = -0.248$ ) tussen parameter-norm en entropie, wat aantoont dat deze twee onafhankelijke dynamieken zijn.

B. Causaal Bewijs (Interventie)

Om causaliteit te bewijzen, voerden de auteurs een "representation-mixing" interventie uit:

Methode: Representaties werden gemixt ( $\tilde{z}_i = (1-\alpha)z_i + \alpha z_{\sigma(i)}$ ) om de covariantie-instorting te voorkomen zonder de loss-landscape fundamenteel te veranderen.
Resultaat: De interventie vertraagde grokking met +5.020 stappen ( $p=0.044$ ). Een controlegroep met een vergelijkbare norm-vertraging maar zonder entropie-beperking vertraagde het proces nog meer (+8.304 stappen).
Conclusie: Entropie-instorting is de directe drijvende kracht (proximate driver) voor generalisatie in deze setting, niet de parameter-norm.

C. Voorspellend Vermogen

De auteurs fit een machtsvergelijking (power-law) om de resterende tijd tot grokking ( $\Delta T$ ) te voorspellen op basis van de entropie-gap:
$\Delta T(t) = C_1 (\tilde{H}(t) - \tilde{H}^*)^\gamma + C_2$

Met $\gamma = 1.65$ en $R^2 = 0.543$ .
Dit model maakt online voorspellingen mogelijk met een gemiddelde fout van 4.1% en een gemiddelde waarschuwingstijd van 12.370 stappen.

D. Cross-structuur Consistentie

Het patroon werd bevestigd op de $S_5$ permutatie-taak (niet-abelisch, 120 klassen).

Hier was de drempelwaarde verschoven naar $\tilde{H}^* = 0.655$ , wat correleert met de hogere complexiteit van de taak.
Dit bewijst dat het fenomeen geldt voor zowel abelse als niet-abelse groepen.

E. Noodzaak vs. Voldoende Voorwaarde (MLP vs. Transformer)

Een cruciale bevinding is dat entropie-instorting niet voldoende is voor grokking.

MLP Experiment: Een MLP getraind op dezelfde taak vertoonde een sterke entropie-instorting (onder de drempel), maar groeide nooit (testnauwkeurigheid bleef ~0).
Oorzaak: De MLP mist de architecturale inductieve bias (de attention-mechanisme) om de vereiste Fourier-representaties van de modulaire groep te leren.
Conclusie: Entropie-instorting is een noodzakelijke voorwaarde, maar de overgang naar generalisatie vereist dat de samengeperste deelruimte overeenkomt met de taakstructuur, wat afhangt van het modelarchitectuur.

4. Praktische Toepassingen

Het framework biedt drie concrete voordelen voor practitioners:

Vroege Stop: Training kan worden gestopt binnen 1.000 stappen na het passeren van $\tilde{H}^*$ , wat tot 86% van het trainingsbudget kan besparen.
Diagnostiek: Als $\tilde{H}$ plateauert en niet daalt, is het onwaarschijnlijk dat het model zal grokken. Dit is een goedkope online diagnose zonder testdata.
Hyperparameter Zoek: Een korte pilot-run kan de specifieke $\tilde{H}^*$ voor een nieuwe taak kalibreren.

5. Beperkingen en Toekomstig Werk

Scope: De bevindingen zijn beperkt tot 1-laags Transformers op kleine groepstheoretische taken. Generalisatie naar grotere modellen of niet-groepstaken (zoals taalmodellen) is nog onbekend.
Voldoende Voorwaarde: Het model kan niet volledig voorspellen wanneer grokking optreedt als de architectuur de juiste inductieve bias mist (zoals bij de MLP).
Statistiek: De causale interventie had een p-waarde dicht bij de significantiedrempel (0.044), hoewel de norm-gecontroleerde experimenten sterkere bewijzen leverden.

6. Conclusie

Het artikel identificeert de genormaliseerde spectrale entropie als een empirische ordeparameter voor grokking. Het stelt dat grokking een tweestapsproces is: eerst norm-expansie, gevolgd door een kritieke instorting van de spectrale entropie. Hoewel deze instorting noodzakelijk is, is de architecturale capaciteit om de juiste gestructureerde representaties te leren (bijv. via attention) de sleutel die de instorting omzet in daadwerkelijke generalisatie. Dit biedt een nieuwe, meetbare lens om vertraagde generalisatie te monitoren en te begrijpen.