🤖 machine learning

Detecting overfitting in Neural Networks during long-horizon grokking using Random Matrix Theory

Dit artikel introduceert een nieuwe methode op basis van de theorie van willekeurige matrices die het begin van overfitting, genaamd "anti-grokking", in deep learning-modellen detecteert door structurele anomalieën, "Correlation Traps" genoemd, binnen gewichtsmatrices te identificeren, waardoor het detecteren van schadelijke overfitting mogelijk is zonder toegang tot trainings- of testgegevens.

Oorspronkelijke auteurs: Hari K. Prakash, Charles H Martin

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hari K. Prakash, Charles H Martin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Perfecte Student" Valstrik

Stel je een student voor die een zeer moeilijke examen doet.

Fase 1 (Verwarring): Ze studeren hard, maar blijven vragen verkeerd beantwoorden.
Fase 2 (Grokking): Plotseling hebben ze een doorbraak! Ze begrijpen de regels van het vak. Ze beginnen perfecte scores te halen op oefentoetsen en echte examens. Dit is geweldig.
Fase 3 (Het Verborgen Gevaar): De student blijft wekenlang studeren nadat ze het materiaal al beheersen. In eerste instantie halen ze nog steeds perfecte scores op oefentoetsen. Maar op nieuwe vragen die ze nog nooit hebben gezien, beginnen ze te zakken.

Deze derde fase noemt het artikel "Anti-Grokking". Het model (de student) heeft de specifieke oefenvragen zo perfect uit het hoofd geleerd dat het de algemene regels is vergeten. Het lijkt een genie op de oefentoets, maar is in werkelijkheid breekbaar en faalt in de echte wereld.

Het probleem? Meestal kun je niet zien of een student zich in Fase 2 (slim) of Fase 3 (te veel uit het hoofd geleerd) bevindt, alleen door naar hun toetsscores te kijken. Beide lijken 100% te halen op de oefentoets.

De Oplossing: De "Shuffle Test"

De auteurs, Hari K. Prakash en Charles H. Martin, hebben een manier bedacht om een kijkje te nemen in het brein van de student (de gewichten van het neurale netwerk) zonder de toetsvragen of de aantekeningen van de student te hoeven zien.

Ze gebruiken een methode gebaseerd op Random Matrix Theory, wat werkt als een statistische "leugendetector" voor wiskunde. Hier is hoe hun methode stap voor stap werkt:

1. De "Gescrambelde Brein" Test

Stel je voor dat het brein van de student een enorm rooster is van verbindingen (gewichten) tussen neuronen.

De Truc: De onderzoekers nemen dit rooster en scrambelen het. Ze schudden elk enkel getal in het rooster willekeurig door elkaar, alsof je een kaartspel schudt.
De Verwachting: Als de student gezond is en algemene regels heeft geleerd, zou het gescrambelde rooster eruit moeten zien als een willekeurige rommel. De getallen zouden gelijkmatig verspreid moeten zijn, zoals zand op een strand.
De Realiteit (De Valstrik): Als de student zich in de "Anti-Grokking" fase bevindt (overfitting), ziet het gescrambelde rooster er niet willekeurig uit. Het heeft luid, vreemde pieken.

2. De "Correlatievalstrikken"

Deze vreemde pieken noemen de auteurs Correlatievalstrikken.

De Analogie: Stel je een menigte mensen op een concert voor. In een gezonde menigte staat iedereen willekeurig. Maar in een "gevangen" menigte houdt een kleine groep mensen elkaar vast in een strakke, stijve cirkel, en negeert ze iedereen anders.
In de wiskunde zijn deze "stijve cirkels" specifieke richtingen in de data waar het model zich te strak aan heeft vastgeklampt. Ze zijn "valstrikken" omdat het model vastzit aan specifieke, breekbare patronen uit de trainingsdata in plaats van te generaliseren.

Hoe Ze Weten Dat Het Slecht Is (De "JSD" Test)

Het vinden van een "Correlatievalstrik" vertelt je dat er iets vreemds is, maar is het slecht? Misschien heeft het model gewoon een vreemde eigenaardigheid die het niet schaadt.

Om dit te controleren, doen de onderzoekers een tweede test:

Ze nemen de "Valstrik" (die vreemde, stijve cirkel in het brein) en vervangen deze door willekeurige ruis.
Ze vragen het model om een probleem op te lossen.
Het Resultaat: Als het gedrag van het model drastisch verandert (het begint willekeurig te raden of dingen verkeerd te doen), was de valstrik Schadelijk. Het hield het model bij elkaar met lijm die alleen werkte op de oefentoets. Als het model het niet uitmaakt, was de valstrik Onschuldig.

Wat Ze Vonden

Ze testten dit op drie verschillende soorten AI-modellen:

Een eenvoudige beeldclassificator (MNIST): Het leerde cijfers herkennen, daarna te veel leren, en de valstrikken verschenen precies op het moment dat het begon te zakken op nieuwe cijfers.
Een wiskundige solver (Modulaire Optelling): Het leerde wiskunde doen, daarna te veel leren, en de valstrikken verschenen.
Een taalmodel (GPT2): Dezelfde patroon.

De Belangrijkste Ontdekking:

Voor het leren: Geen valstrikken.
Tijdens het leren (Grokking): Geen valstrikken. Het model is gezond.
Na te veel leren (Anti-Grokking): Valstrikken verschijnen en groeien. Hoe meer het model overfit, hoe meer valstrikken het heeft.

Ze keken zelfs naar enorme, real-world AI-modellen (OpenAI's GPT-OSS) en vonden daar ook deze valstrikken, wat suggereert dat zelfs enorme, krachtige modellen op manieren die we voorheen niet konden zien, stiekem overfitting vertonen.

De Conclusie

Dit artikel geeft ons een nieuw hulpmiddel om naar een getraind AI-model te kijken en te zeggen: "Hé, je ziet er perfect uit op papier, maar je brein heeft deze 'Correlatievalstrikken' die betekenen dat je de toets uit je hoofd hebt geleerd in plaats van de les te begrijpen."

Het is als een monteur die naar een motorkap kan kijken, hem kan schudden en een specifiek gerommel kan horen dat hen vertelt dat de auto op de snelweg zal stukvallen, zelfs al zegt de snelheidsmeter dat alles in orde is. Deze methode vereist geen data, geen hertraining en geen toegang tot de oorspronkelijke toetsvragen – alleen de gewichten van het model.

Technische Samenvatting: Detectie van Overfitting in Neuronale Netwerken tijdens Lang-Horizon Grokking met Gebruik van Random Matrix Theory

Probleemstelling

Het trainen van diepe neuronale netwerken (NN) zonder overfitting is uitdagend, en het detecteren van overfitting is even moeilijk, vooral wanneer toegang tot trainingsdata, testdata, optimizer-toestanden of trainingsgeschiedenissen ontbreekt. Dit is een kritiek probleem voor open-weight foundation-modellen, waarbij gebruikers modelgewichten en -kaarten kunnen bezitten maar de context missen om te bepalen of een checkpoint robuust is getraind of is overgefit op specifieke data-correlaties.

Het artikel richt zich op het fenomeen van grokking, waarbij de trainingsnauwkeurigheid van een model bijna perfect wordt terwijl de testnauwkeurigheid gedurende een langere periode dicht bij toeval blijft, voordat deze plotseling verbetert. Waar eerdere onderzoek zich richtte op de overgang van memorisatie naar generalisatie, onderzoekt dit werk het regime na grokking op lange termijn. In deze fase, termed "anti-grokking", kan een model dat succesvol heeft gegeneraliseerd zijn prestaties op de vastgehouden data verliezen en terugvallen naar overfitting van de trainingsdata, ondanks het behoud van een bijna perfecte trainingsnauwkeurigheid. Het onderscheiden van deze schadelijke "anti-grokking"-fase van de initiële "pre-grokking"-fase (waarbij het model nog geen generaliserende oplossing heeft gevonden) is moeilijk met alleen standaard train/test-nauwkeurigheidscurves, aangezien beide regimes hoge trainingsnauwkeurigheid en slechte testnauwkeurigheid vertonen.

Methodologie

De auteurs stellen een nieuwe diagnostische methode voor op basis van Random Matrix Theory (RMT) die uitsluitend werkt met de gewichtsmatrices van het model zonder toegang tot data.

Kernconcept: Correlatievalstrikken

De methode rust op het principe van zelfgemiddelde. In een goed getraind, generaliserend model moeten de gewichtsmatrices statistische eigenschappen vertonen die consistent zijn met willekeurige matrices wanneer hun interne structuur wordt gerandomiseerd.

Randomisatie: Voor elke laag-gewichtsmatrix $W$ worden de elementen elementsgewijs gewijzigd om een gerandomiseerde matrix $W_{rand}$ te creëren.
Spectrale Analyse: De empirische spectrale verdeling (ESD) van de covariantiematrix $X_{rand} = \frac{1}{N} W_{rand}^\top W_{rand}$ wordt berekend.
Marchenko-Pastur (MP) Referentie: De ESD wordt gefit aan de Marchenko-Pastur-verdeling, die dient als theoretische referentie voor een zelfgemiddelde, ongecorreleerde willekeurige matrix.
Valstrik-detectie: De auteurs identificeren Correlatievalstrikken als eigenwaarde-uitbijters ( $\lambda_{trap}$ $λ_{t r a p}$ ) die significant buiten de rechterrand van de gefitte MP-verdeling liggen (rekening houdend met Tracy-Widom-fluctuaties).
- Definitie: Een Correlatievalstrik is een eigenwaarde $\lambda_{trap} > \lambda_{MP}^+ + \Delta_{TW}$ .
- Betekenis: Deze uitbijters duiden op een schending van zelfgemiddelde, wat wijst op de aanwezigheid van gestructureerde, niet-willekeurige correlaties binnen de laag die zelfs na elementsgewijze herschikking blijven bestaan.

Onderscheid tussen Schadelijke en Onschadelijke Valstrikken

Aangezien de aanwezigheid van valstrikken aangeeft dat er geen sprake is van zelfgemiddelde, maar dit op zich niet inherent schadelijke overfitting bewijst, introduceren de auteurs een data-vrije JSD (Jensen-Shannon Divergence) diagnostische ablatietest:

Procedure: Een specifieke valstrik (eigenvector) wordt vervangen door een willekeurige vector. Het model wordt vervolgens uitgevoerd op proefinputs (willekeurige tokens voor transformers, Gaussische inputs voor MLP's).
Meting: De JSD tussen de output-logits van het originele model en het geablateerde model wordt berekend.
Classificatie:
- Schadelijke Valstrik: Het verwijderen van de valstrik verandert de outputverdeling van het model significant (hoge JSD) en beïnvloedt de testnauwkeurigheid.
- Onschadelijke Valstrik: Het verwijderen van de valstrik heeft een verwaarloosbaar effect op outputs en nauwkeurigheid.

Belangrijkste Bijdragen

Definitie van Correlatievalstrikken: De auteurs definiëren Correlatievalstrikken als spectrale uitbijters in gewijzigde laag-gewichtsmatrices die de Marchenko-Pastur-referentie schenden, en fungeren als een kenmerk van een niet-zelfgemiddelde structuur.
Identificatie van Anti-Grokking: Het artikel karakteriseert "anti-grokking" als een distincte fase na succesvolle generalisatie waarbij de testnauwkeurigheid verslechtert terwijl de trainingsnauwkeurigheid hoog blijft. Deze fase is structureel verschillend van pre-grokking.
Correlatievalstrikken als Diagnostisch Instrument: De studie toont aan dat Correlatievalstrikken afwezig zijn tijdens pre-grokking en grokking, maar specifiek tijdens het begin van anti-grokking ontstaan en groeien in aantal en schaal.
Mechanistisch Verband met Overfitting: De auteurs koppelen deze valstrikken aan lokalisatie (waarbij variantie geconcentreerd is op een kleine set coördinaten) en spectrale condensatie (waarbij een enkele dominante mode macroscopische variantie draagt), wat beide voorkomen dat de generalisatiefout zich concentreert.
Empirische Validatie: De methode is gevalideerd over drie verschillende architecturen en taken:
- Een 3-laags MLP op MNIST.
- Een kleine Transformer op een Modulaire Optelling (MA) taak.
- Een GPT2-achtige Transformer op een synthetische compositietaak.
Toepassing op Foundation-modellen: De diagnostiek is toegepast op open-weight checkpoints van OpenAI's gpt-oss-20b en gpt-oss-120b, waarbij de aanwezigheid van Correlatievalstrikken werd blootgelegd, wat wijst op potentieel overfitting in frontier-scale modellen.

Resultaten

Fasescheiding: In alle drie de benchmarks (MLP, MA, GPT2) blijft het aantal Correlatievalstrikken effectief nul tijdens pre-grokking en grokking. Een scherpe toename in het aantal valstrikken correleert precies met de daling in testnauwkeurigheid tijdens de anti-grokking-fase.
Gewichtsvervalcontrole: Experimenten met gewichtsverval (WD=0.01) toonden aan dat, hoewel anti-grokking nog steeds optreedt, de groei van Correlatievalstrikken en de ernst van de verslechtering van de testnauwkeurigheid aanzienlijk worden onderdrukt in vergelijking met de instelling zonder gewichtsverval (WD=0).
Robuustheid tegen Perturbatie: Perturbatiestudies bevestigden dat het aantal valstrikken niet zomaar een proxy is voor de globale schaal (norm) van de gewichten. Zelfs wanneer de globale gewichtsnormen werden gewijzigd, bleven valstrikken afwezig in pre-grokking/grokking en verschenen ze uitsluitend in anti-grokking.
Mechanistisch Inzicht (MLP): In de MLP-casestudy bleek dat gelokaliseerde valstrik-richtingen evolueren naar "prototype-achtige" structuren in pixelruimte. Deze structuren veroorzaakten dat het model vertrouwde op de globale inputgrootte (bijv. $\|x\|^2$ ) in plaats van semantische cijferpatronen, wat leidde tot breekbaar gedrag op gewijzigde of Gaussische inputs terwijl de trainingsnauwkeurigheid perfect bleef.
JSD Ablatie: De JSD-diagnostiek onderscheidde succesvol tussen valstrikken die, bij verwijdering, de modelprestaties verslechterden (schadelijk) en die welke weinig effect hadden (onschadelijk).

Betekenis en Beweringen

Het artikel beweert dat Correlatievalstrikken een praktische, uitsluitend op gewichten gebaseerde diagnostiek bieden voor het detecteren van tekenen van potentieel schadelijke overfitting in getrainde modellen zonder toegang tot trainings- of testdata.

Structureel Onderscheid: De primaire betekenis is het vermogen om structureel te onderscheiden tussen een model dat nog niet heeft geleerd (pre-grokking) en een model dat heeft geleerd en vervolgens heeft vergeten/slecht heeft gegeneraliseerd (anti-grokking). Beide toestanden zien er identiek uit via nauwkeurigheidsmetingen, maar verschillen fundamenteel in hun gewichtsspectra.
Screening van Foundation-modellen: De detectie van Correlatievalstrikken in grote open-weight LLM's suggereert dat foundation-scale modellen onbedoeld hun trainingsdata kunnen overfitten op manieren die detecteerbaar zijn via spectrale analyse.
Regulatorische en Praktische Nut: De auteurs suggereren dat deze methode kan dienen als een onbevooroordeeld instrument voor regelgevende instanties of gebruikers om de veiligheid en robuustheid van modellen te beoordelen, vooral wanneer propriëtaire data niet beschikbaar is.
Beperkingen: De auteurs merken bescheiden op dat hun bewijs voortkomt uit gecontroleerde lang-horizon grokking-instellingen. Zij claimen niet dat alle overfitting Correlatievalstrikken produceert, noch stellen zij dat de aanwezigheid van valstrikken in frontier-modellen zonder verdere taakgebaseerde evaluatie definitief schadelijk gedrag bewijst. Het aantal valstrikken is een waarschuwingssignaal, geen universele kwaliteitscore.