🤖 machine learning

The Grokked Illusion: True Equilibrium Mitigates Catastrophic Forgetting

Dit artikel onthult dat high-entropy neurale netwerken, in tegenstelling tot conventionele met AdamW getrainde modellen, robuustheid tegen catastrofale vergetelheid behouden ondanks identieke generalisatieprestaties, een fenomeen dat de "grokked illusion" wordt genoemd en dat wordt toegeschreven aan rijkere feature-representaties die worden aangegeven door een hogere effectieve rang in de gewichten van het netwerk.

Oorspronkelijke auteurs: Xiaotian Zhang, Lai Shun Chan, Yue Shang, Entao Yang, Ge Zhang

Gepubliceerd 2026-08-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaotian Zhang, Lai Shun Chan, Yue Shang, Entao Yang, Ge Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om wiskundige puzzels op te lossen. Je wilt dat de robot slim is, maar je wilt ook dat hij taai is. In de wereld van kunstmatige intelligentie betekent "slim" meestal dat een robot een probleem kan oplossen dat hij nog nooit eerder heeft gezien. Dit wordt generalisatie genoemd. Maar er is een verborgen valstrik: een robot kan op het ene moment ongelooflijk slim zijn, om vervolgens ongelooflijk fragiel te zijn. Als je hem vraagt om direct na het beheersen van de eerste vaardigheid een nieuwe vaardigheid te leren, kan hij plotseling alles vergeten wat hij net heeft geleerd. Dit wordt catastrofale vergetelheid genoemd.

Wetenschappers vragen zich al lang af: wat maakt het brein van een robot werkelijk robuust? Gaat het alleen om het geven van de juiste antwoorden, of is er iets diepers aan de hand met hoe de robot die antwoorden opslaat? Denk aan een bibliotheek. Je kunt een bibliotheek hebben met de perfecte boeken (hoge generalisatie), maar als de planken wankel zijn en de boeken precair opgestapeld liggen, kan het toevoegen van één nieuw boek de hele toren doen instorten. Dit artikel onderzoekt of de "vorm" van het brein van de robot — specif specifiek hoe veel "speling" het heeft in zijn geheugen — bepaalt of hij nieuwe informatie kan verwerken zonder de oude te verliezen.

De "Grokked" Illusie: Wanneer Perfecte Scores een Zwakte Verbergen

De onderzoekers achter deze studie besloten een fascinerend idee te testen: Garandeert een perfecte score een sterk geheugen? Om dit te ontdekken, zetten ze een gecontroleerd experiment op met een simpel wiskundig spel: modulo-rekenen (eigenlijk optellen en de restwaarde vinden, zoals een klok die reset na 67 uur).

Ze trainden twee verschillende soorten AI-modellen op dit spel totdat beide een perfecte score van 100% behaalden.

Het "Standaard" Model: Dit model werd getraind met een gebruikelijke, standaardmethode (genaamd AdamW). Het leerde de taak snel en behaalde een perfecte score.
Het "Hoge-Entropie" Model: Dit model werd getraind met een speciale, door de natuurkunde geïnspireerde methode (genaamd Wang-Landau Molecular Dynamics). Het behaalde ook een perfecte score van 100%, maar werd gevonden in een "groter" gebied van de wiskundige ruimte waar oplossingen bestaan. Denk aan het standaardmodel dat een kleine, smalle vallei vindt om in te gaan zitten, terwijl het hoge-entropiemodel een enorme, brede hoogvlakte vond.

Beide modellen zagen er op papier identiek uit: ze waren beiden 100% perfect in het wiskundige spel. Maar de onderzoekers vermoedden dat ze een geheim verschil verborgen.

De Ruis-injectietest: Met Opzet Vergeten

Om hun taaiheid te testen, speelden de onderzoekers een trucje. Ze zeiden tegen beide modellen: "Oké, jullie zijn geweldig in wiskunde. Onthoud nu deze lijst met willekeurige gegevens." Ze injecteerden "ruis" — willekeurige, betekenisloze getallen met willekeurige labels — in de trainingsmix. Ze dwongen de modellen om deze nieuwe onzin perfect te onthouden (een nauwkeurigheid van 99,8% op de nieuwe gegevens) terwijl ze nog steeds probeerden het oorspronkelijke wiskundige spel te onthouden.

De resultaten waren schokkend en onthulden wat de auteurs de "Grokked Illusion" noemen.

Het Standaardmodel (AdamW): Zodra het begon met het onthouden van de nieuwe onzin, begon het te wankelen. Het vermogen om het oorspronkelijke wiskundige spel op te lossen, kelderde van 100% naar minder dan 75%. Het had de oorspronkelijke vaardigheid "vergeten" om ruimte te maken voor de nieuwe. Het was als een student die, bij het proberen te onthouden van een lijst met willekeurige telefoonnummers, plotseling vergat hoe hij basisoptellingen moest maken.
Het Hoge-Entropie Model: Dit model was een tank. Zelfs nadat het dezelfde onzin-gegevens perfect had onthouden, hield het zijn oorspronkelijke wiekeundige vaardigheden bijna volledig intact, met een nauwkeurigheid van rond de 95% tot 98%. Het kon de nieuwe informatie vasthouden zonder de oude te verliezen.

Het artikel suggereert dat de "perfecte" score van het standaardmodel een illusie was. Het zag er sterk uit, maar het was eigenlijk fragiel. Het hoge-entropiemodel was echter werkelijk robuust.

Waarom Faalde de Een en Slagte de Ander?

De onderzoekers duikelden in de "hersenen" van deze modellen om te zien wat het verschil was. Ze gebruikten een wiskundig hulpmiddel genaamd Singular Value Decomposition (denk aan een röntgenfoto die laat zien hoeveel verschillende "richtingen" een model gebruikt om informatie op te slaan).

Ze ontdekten dat het Hoge-Entropie Model een veel hogere "effectieve rang" had. In gewone mensentaal betekent dit dat het brein een veel breder, diverser scala aan instrumenten gebruikte om het probleem op te lossen. Het vertrouwde niet op slechts een paar strakke, fragiele paden. In plaats daarvan had het een rijk, verdeeld netwerk van kenmerken.

Toen de ruis binnenkwam:

Moest het Standaardmodel zijn enkele, smalle paden vervormen om de nieuwe data te passen, wat de oude paden verbrak.
Had het Hoge-Entropie Model zoveel "extra ruimte" en zoveel verschillende paden dat het de nieuwe ruis kon absorberen zonder de oude wiskundige vaardigheden te verstoren. Het was als een brede, stevige brug die een zware vrachtwagen (de nieuwe data) kon verwerken zonder de fundering te laten trillen, terwijl de smalle brug (het standaardmodel) onder hetzelfde gewicht bezweek.

Wat Dit Betekent voor de Toekomst

De studie concludeert dat perfecte generalisatie niet gelijk staat aan perfecte robuustheid. Alleen omdat een model een A+ haalt voor een toets, betekent dat niet dat het niet zal falen wanneer het leven een onverwachte wending neemt.

De auteurs suggereren dat de "vorm" van het geheugen van een model ertoe doet. Modellen die grotere, "hoge-entropie" ruimtes in hun wiskundige wereld innemen, zijn van nature beter in staat om dingen te onthouden wanneer ze nieuwe dingen moeten leren. Dit wijst erop dat we AI in de toekomst niet alleen moeten trainen om het juiste antwoord te krijgen, maar om de "bredere valleien" in de oplossingsruimte te vinden. Dit zou kunnen helpen bij het bouwen van AI die niet vergeet wat het verleden was wanneer het zijn toekomst leert, wat het veel betrouwbaarder maakt voor real-world taken waarbij de situatie constant verandert.

Hoewel deze resultaten momenteel gebaseerd zijn op simulaties met wiskundige puzzels, geloven de auteurs dat dit principe ook kan gelden voor veel grotere, complexere AI-systemen, wat potentieel het eeuwenoude probleem van machines die vergeten wat ze gisteren hebben geleerd, kan oplossen.

Technische Samenvatting: De Grokked Illusie: Ware Evenwichtigheid Mitigeert Catastrofale Vergetenheid

Probleemstelling
Hoewel de prestaties van neurale netwerken (NN) traditioneel worden geëvalueerd via trainings- en testmetrieken, vatten deze de robuustheid van een geleerde representatie niet volledig samen. Een model kan perfect generaliseren naar een testset, maar toch fragiel blijven; daaropvolgende parameterupdates die nodig zijn om nieuwe informatie te leren, kunnen leiden tot catastrofale vergetenheid, waarbij eerder verworven kennis instort. Deze discrepantie tussen generalisatie en robuustheid roept een fundamentele vraag op: welke eigenschappen van een neuraal netwerk bepalen de veerkracht tegen interferentie? Recent werk heeft een "high-entropy advantage" vastgesteld, waarbij oplossingen die grotere volumes in de parameterruimte bezetten (gekwantificeerd door Boltzmann-entropie) een superieure generaliseerbaarheid vertonen vergeleken met conventioneel geoptimaliseerde oplossingen. Dit papier onderzoekt of deze high-entropy advantage zich uitstrekt voorbij generalisatie naar robuustheid tegen catastrofale vergetenheid.

Methodologie
De auteurs maken gebruik van modulaire aritmetica ( $x + y \mod 67$ ) als een gecontroleerde experimentele setting, specifiek gebruikmakend van het "grokking"-fenomeen waarbij modellen uiteindelijk perfecte generalisatie bereiken. Om het effect van entropie te isoleren van de generalisatieprestaties, vergelijkt de studie twee typen modellen die identieke perfecte testnauwkeurigheid (100%) en vergelijkbare trainingsverliezen bereiken onder dezelfde gewichtsnormbeperking ( $\|w\|=30$ ):

AdamW-goldilocks: Een standaard Transformer getraind met de AdamW-optimizer.
WLMD-equilibrium: Een Transformer gesampled uit het Boltzmann-entropielandschap met behulp van Wang-Landau Molecular Dynamics (WLMD), wat een high-entropy staat vertegenwoordigt.

Ruisinjectie-experiment:
Om robuustheid te evalueren, ontwerpen de auteurs een ruisinjectieprotocol. De vocabulaire van de getrainde modellen wordt uitgebreid, en de modellen worden gefinetuned op een gemengde dataset die de oorspronkelijke trainingsdata bevat plus nieuwe, ruizige data met willekeurige of gestructureerde labels. Het doel is om de modellen te dwingen de nieuwe data volledig te memoriseren (het bereiken van >99,8% trainingsnauwkeurigheid op de gecombineerde set) terwijl de retentie van de testnauwkeurigheid van de oorspronkelijke taak wordt gemonitord. Drie soorten ruis worden getest:

Willekeurige ruis.
Gestructureerde ruis met gedeelde gelijkenis ( $x^2 + y \mod 37$ ).
Gestructureerde ruis met hoge gelijkenis ( $x + y \mod 37$ ).

Mechanistische Analyse:
De studie maakt gebruik van Singular Value Decomposition (SVD) op de gewichtsmatrices van de attention- en MLP-lagen om de Effectieve Rang (ER) te analyseren. ER kwantificeert het aantal significante singuliere richtingen, wat dient als een maatstaf voor de representatieve rijkdom. Daarnaast wordt de cosinus-gelijkenis berekend tussen de parametervectoren vóór en na de ruisinjectie om de globale parameterverplaatsing te meten.

Belangrijkste Resultaten

De "Grokked Illusie": Ondanks het feit dat ze aanvankelijk perfecte generalisatie bereiken, lijden AdamW-getrainde modellen onder catastrofale vergetenheid wanneer ze gedwongen worden nieuwe data te memoriseren. In de meest uitdagende conditie (willekeurige ruis) daalt hun oorspronkelijke taak-testnauwkeurigheid van 100% naar onder de 75%. In contrast hiermee behouden WLMD-equilibrium (high-entropy) modellen ongeveer 95% testnauwkeurigheid onder dezelfde condities.
Entropie en Robuustheid: Het robuustheidsverschil blijft bestaan over alle soorten ruis heen, maar wordt kleiner naarmate de nieuwe data structureel meer lijkt op de oorspronkelijke taak. High-entropy modellen presteren consistent beter dan AdamW-modellen in het behouden van voorkennis.
Effectieve Rang als Buffer: SVD-analyse onthult dat WLMD-equilibrium modellen een significant hogere effectieve rang bezitten in de attention- en MLP-lagen, zowel vóór als na de ruisinjectie, vergeleken met AdamW-modellen. Hoewel beide modellen een afname in effectieve rang ervaren na het leren van nieuwe data, behouden de high-entropy modellen een veel rijkere representatie van kenmerken. Dit sugggeert dat de overvloed aan representatieve capaciteit in high-entropy staten als een buffer fungeert tegen vergetenheid.
Parameterverplaatsing: De cosinus-gelijkenis tussen de parameters vóór en na injectie is lager voor WLMD-modellen, wat wijst op grotere parameterverplaatsingen. Echter, omdat deze modellen zich in een high-volume, high-entropy bekken bevinden, blijven ze binnen dezelfde functionele regio ondanks de verplaatsing, terwijl AdamW-modellen, die in nauwere low-entropy bekken verblijven, uit de functionele regio vallen.

Betekenis en Claims
Het artikel claimt een fenomeen geïdentificeerd te hebben dat de "grokked illusion" wordt genoemd, waarbij oplossingen die via conventionele training schijnbaar "gegrokt" hebben (verzadigde testprestaties hebben bereikt), nog steeds zeer fragiel kunnen zijn voor nieuwe informatie. De primaire bijdrage is het demonstreren dat perfecte generalisatie niet gelijkstaat aan gelijke robuustheid.

De auteurs stellen dat het statistisch-fysische kader, specif gezien het concept van Boltzmann-entropie, een fundamenteel perspectief biedt voor het begrijpen van de veerkracht van modellen. Zij postuleren dat high-entropy staten, door grotere volumes in de parameterruimte te bezetten, inherent een voordeel in robuustheid hebben. Verder koppelt de studie deze robuustheid aan een hogere effectieve rang, wat suggereert dat rijkere, meer gedistribueerde representaties van kenmerken dienen als een buffer tegen interferentie. Deze bevinding daagt de heersende opvatting uit dat low-rank structuren altijd geassocieerd zijn met robuustheid (zoals gezien in contexten van adversariële training), en stelt in plaats daarvan een derde regime voor waarin high-entropy sampling leidt tot high-rank, intrinsiek robuuste representaties.

Het artikel concludeert dat deze bevindingen een nieuw perspectief bieden op catastrofale vergetenheid in continual learning, en suggereren dat entropie-gestuurde strategieën modellen in regio's van de parameterruimte kunnen positioneren die intrinsiek robuuster zijn tegen vergetenheid, in plaats van enkel de updates te regulariseren.

De "Grokked" Illusie: Wanneer Perfecte Scores een Zwakte Verbergen

De Ruis-injectietest: Met Opzet Vergeten

Waarom Faalde de Een en Slagte de Ander?

Wat Dit Betekent voor de Toekomst

Meer zoals dit