📊 statistics

Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise

Dit artikel onderzoekt hoe overgeparametriseerde neurale netwerken tegelijkertijd ruisachtige labels memoriseren en generaliseren op rekenkundige taken, en onthult dat terwijl ruis de output van een interne generalisatiestructuur onderdrukt, deze structuur zelfs onder zware labelruis effectief kan worden hersteld via frequentiegebaseerde methoden.

Oorspronkelijke auteurs: Linyu Liu, Pinyan Lu

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Linyu Liu, Pinyan Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar lichtelijk chaotische student wiskunde aanleert. Je geeft hen een hoop oefenopgaven, maar je mengt per ongeluk enkele opgaven met verkeerde antwoorden (ruis) erdoorheen.

Meestal denken we dat een student die de verkeerde antwoorden uit het hoofd leert, de echte toets zal zakken. Maar dit paper ontdekt iets verrassends: De student kan eigenlijk tegelijkertijd de juiste wiskunderegels leren en de verkeerde antwoorden uit het hoofd leren. Ze verstoppen de juiste regels gewoon in hun brein, terwijl hun mond blijft zeggen wat verkeerd is.

Hier is een uiteenzetting van wat de onderzoekers hebben gevonden, met behulp van eenvoudige analogieën:

1. De "Dubbele Afdaling"-Verrassing

In de oude dagen van machine learning dachten we dat grotere modellen gewoon "grotere sponzen" waren die elke fout zouden opzuigen en zouden falen.

De Analogie: Stel je een student voor die te klein is om de wiskunde te begrijpen. Ze raden willekeurig. Naarmate ze groter worden (meer neuronen), beginnen ze de specifieke verkeerde antwoorden die je hen gaf uit het hoofd te leren, waardoor ze slechter worden in de echte toets.
De Twist: Maar als je de student enorm maakt (overgeparametriseerd), gebeurt er iets magisch. Ze worden zo groot dat ze twee dingen tegelijk kunnen vasthouden: een perfect begrip van de wiskunderegels en een lijst met alle verkeerde antwoorden.
Het Resultaat: Hoe groter het model, hoe beter ze worden in de echte toets, zelfs als de trainingsdata vol leugens zit. Ze hebben gewoon de juiste "studiehabit" (optimalisatie-instellingen) nodig om dit vermogen te ontsluiten.

2. Het "Slecht Nieuws Reist Sneller"-Fenomeen

Een van de meest tegen-intuïtieve bevindingen gaat over wanneer de student dingen leert.

De Analogie: Je zou kunnen verwachten dat een student eerst de juiste, logische regels leert, en daarna langzaam de rare, willekeurige fouten uit het hoofd leert.
De Realiteit: Het paper vond dat de student eerst de verkeerde antwoorden uit het hoofd leert. Het is alsof de student een luid, verwarrend geschreeuw (de ruis) hoort en dit direct opschrijft omdat het makkelijk te grijpen is. De stille, logische regels (de schone data) doen er langer over om binnen te dringen.
Waarom dit belangrijk is: Dit betekent dat als je het trainen van de student te vroeg stopt, ze alleen de leugens kennen. Ze moeten lang genoeg getraind blijven zodat de "logica" bijhaalt en de "uit het hoofd leren" overtreft.

3. De "Verborgen Bibliotheek" versus de "Ruizige Mond"

Zelfs wanneer het model is getraind op data die voor 80% verkeerd is, leert het nog steeds de juiste wiskunderegels in zijn brein. Het probleem is dat de "ruis" zo luid is dat het het juiste antwoord overschreeuwt wanneer het model spreekt.

De Analogie: Stel je een bibliotheek voor waar de juiste boeken netjes georganiseerd staan op de planken (de interne structuur), maar iemand heeft plakbriefjes met willekeurige onzin op de omslagen geplakt (de ruis). Als je alleen naar de omslagen kijkt, lijkt het een puinhoop.
De Ontdekking: De onderzoekers vonden een manier om de plakbriefjes "af te pellen". Door een frequentiefilter te gebruiken (een tool die zoekt naar terugkerende patronen, zoals een muziektuner), konden ze de "juiste bibliotheek" isoleren van de "onzin-omslagen".
Het Resultaat: Zelfs met 80% ruis konden ze de verborgen bibliotheek eruit halen en bijna perfecte toetsscores behalen. De regels waren er de hele tijd; ze waren gewoon bedolven onder ruis.

4. Waarom Je de Slechte Delen Niet Gewoon "Kunt Wegknippen"

De onderzoekers probeerden een eenvoudigere methode: ze probeerden de specifieke neuronen (hersencellen) die verantwoordelijk zijn voor de goede wiskunde te vinden en die verantwoordelijk zijn voor de slechte ruis eruit te knippen.

De Analogie: Stel je voor dat je een rommelige kamer probeert op te ruimen door de "slechte" spullen weg te gooien en alleen de "goede" spullen te houden.
Het Falen: Dit werkte niet erg goed. Waarom? Omdat de "goede" wiskunde en de "slechte" ruis niet in aparte kamers zijn opgeslagen. Ze zijn met elkaar gemengd in dezelfde neuronen, zoals ingrediënten in een smoothie. Je kunt niet gewoon de aardbeien eruit halen zonder de banaan te verliezen.
De Conclusie: Om het goede spul eruit te halen, heb je een verfijnd gereedschap nodig (zoals de hierboven genoemde frequentiefilter) dat de ingrediënten kan scheiden op basis van hun "smaak" (wiskundige structuur), en niet gewoon door te proberen specifieke neuronen te verwijderen.

Samenvatting

Dit paper toont aan dat enorme AI-modellen ongelooflijk robuust zijn. Zelfs wanneer ze gevoed worden met een dieet van leugens, kunnen ze nog steeds de waarheid leren. Ze leren de waarheid langzaam en verstoppen die diep van binnen, terwijl ze tegelijkertijd snel de leugens aan het oppervlak uit het hoofd leren. Met de juiste tools kunnen we die verborgen waarheid opgraven, wat bewijst dat het model niet alleen de ruis uit het hoofd heeft geleerd — het heeft eigenlijk de regels geleerd.

Technische Samenvatting: Het Blootleggen van het Coëxisteren van Memorizatie en Generalisatie

Probleemstelling

Hoog overgeparameteriseerde modellen, zoals Large Language Models, tonen het vermogen om zowel ruisachtige labels te memoriseren als zich goed te generaliseren naar ongezette data. De interne mechanismen die regeren hoe deze twee verschillende gedragingen coëxisteren, blijven echter slecht begrepen. In realistische situaties is trainingsdata vaak verontreinigd met ruis (bijvoorbeeld verkeerd gelabelde samples), wat een interne competitie creëert tussen generalisatie (het ontdekken van structurele regels die toepasbaar zijn op ongezette data) en memorizatie (het aanpassen aan specifieke ruisachtige labels die de onderliggende regels niet weerspiegelen).

Het diagnosticeren van deze interactie in complexe, real-world taken is moeilijk, omdat een hoge testnauwkeurigheid op zichzelf geen onderscheid maakt tussen het leren van ware regels en het exploiteren van lokale patronen of shortcuts. Om dit aan te pakken, onderzoeken de auteurs modulaire rekenkundige taken (specifiek optellen en vermenigvuldigen modulo $P$ ) als een gecontroleerde experimentele omgeving. Deze taken zijn gekozen vanwege hun duidelijke onderscheid tussen regelgebaseerde generalisatie en puntsgewijze memorizatie, hun vertoning van "grokking" (generalisatie die optreedt lang na memorizatie), en de beschikbaarheid van bekende analytische oplossingen voor specifieke modelconfiguraties.

Methodologie

De studie maakt gebruik van een tweelaags neuraal netwerk geparametriseerd door $\theta = \{W, U, V, \mu\}$ , getraind op modulaire rekenkundige taken met ingevoerde labelruis. Het ruisratio $\alpha$ wordt gevarieerd, waarbij een subset van de trainingsdata toewijzing krijgt van uniforme willekeurige labels die verschillen van het ware resultaat.

Het onderzoek adresseert drie kernvragen door middel van uitgebreide experimenten die verschillende activatiefuncties (ReLU, Quadratisch, GeLU, LeakyReLU), optimalisatoren (Adam, AdamW, Muon, SGD) en regularisatiesterktes bestrijken:

V1: Onder welke condities verbetert het vergroten van de modelgrootte de generalisatie met ruisachtige labels?
V2: Kunnen modellen interne structurele regels herstellen onder extreme labelruis?
V3: Kunnen neuronen die verantwoordelijk zijn voor generalisatie worden gescheiden van die welke worden gebruikt voor memorizatie?

De methodologie omvat:

Analyse van Trainingsdynamiek: Het volgen van de nauwkeurigheid op schone versus ruisachtige subsets tijdens het trainen om de leerorde te observeren.
Frequentiefiltratie (FF): Het benutten van de bekende analytische oplossing voor quadratische activaties (die periodieke structuren vertonen) om Reulu-netwerkgewichten te decomponeren. De auteurs hypothetiseren dat het generalisatiesignaal wordt gedragen door de dominante frequentiecomponent van de gewichten, terwijl memorizatie is gecodeerd in residuale frequenties.
Netwerkpartitionering: Het proberen het netwerk te scheiden in generalisatie- en memorizatiesubnetwerken met behulp van taak-agnostische neuronbelangrijkheidsscores (Inverse Participatie Ratio en Neuronsterkte) versus taak-specifieke frequentie-priors.

Belangrijkste Bevindingen

1. Schaling en Dubbele Afdaling

De auteurs observeren robuust het dubbele afdaling-fenomeen in aanwezigheid van labelruis.

Overparameterisatie: Binnen het overparameteriseerde regime verbetert het vergroten van de modelgrootte consistent de testnauwkeurigheid, mits optimalisatie en regularisatie correct zijn geconfigureerd.
Regularisatie: Sterkere regularisatie verschuift het model van het overparameteriseerde regime naar het onderparameteriseerde regime, waardoor de tweede afdaling wordt uitgesteld.
Activatiefuncties: ReLU-modellen tonen een niet-afnemende testnauwkeurigheid in het overparameteriseerde regime. Daarentegen vertonen modellen met Quadratische of GeLU-activaties plafonds in testnauwkeurigheid naarmate de modelgrootte toeneemt, mogelijk vanwege symmetriebeperkingen op hoe ruis wordt geabsorbeerd.

2. Contra-intuïtieve LeerDynamiek

Een significante bevinding is dat ruisachtige labels sneller worden gememoriseerd dan schone labels tijdens de eerste trainingsepochen, ongeacht de optimalisator (AdamW, Adam, Muon) of het ruisratio.

Deze omkering van de typische leerorde wordt toegeschreven aan full-batch trainingsdynamiek. De ruisachtige subset, zijnde kleiner, ontvangt een sterker per-sample optimalisatiesignaal vanuit de full-batch gradient vergeleken met de grotere schone subset, waardoor hun nauwkeurigheid eerder stijgt.
Dit fenomeen werd ook waargenomen in MNIST-experimenten, wat suggereert dat het een bredere eigenschap is van vroege full-batch optimalisatie onder expliciete labelcorruptie.

3. Coëxistentie van Regels en Ruis

Zelfs onder extreme labelruis (tot 80%) leren modellen intern de correcte algebraïsche regel, hoewel deze regel in de ruwe output wordt onderdrukt door de noodzaak om ruisachtige labels te interpoleren.

Frequentiefiltratie: Door de dominante frequentiecomponent van de gewichten te isoleren (in lijn met de analytische oplossing voor quadratische activaties), kunnen de auteurs een subnetwerk extraheren dat bijna perfecte testnauwkeurigheid bereikt, zelfs wanneer de output van het volledige model zwaar is gecorrumpeerd.
Residuen: De residuale frequentiecomponenten behouden voornamelijk het vermogen om ruisachtige labels te fitten, maar dragen weinig bij aan generalisatie.
Activatie-onafhankelijkheid: Het vervangen van de ReLU-activatie door Quadratisch of Reverse ReLU in een getraind netwerk behoudt of verbetert de generalisatie, wat aangeeft dat de geleerde gewichten al een symmetrische regelrepresentatie coderen die compatibel is met deze functies.

4. Grenzen van Taak-agnostische Scheiding

Het paper onderzoekt of generalisatie en memorizatie op neuronenniveau kunnen worden gescheiden zonder te vertrouwen op taak-specifieke priors (zoals Fourier-structuur).

Neuronselectie: Met behulp van metrieken zoals Inverse Participatie Ratio (IPR) of Neuronsterkte (Str.) snoeien de auteurs het netwerk om neuronen voor generalisatie te selecteren. Hoewel dit de generalisatie licht verbetert, is de winst significant zwakker dan die bereikt door Frequentiefiltratie.
Verstrengeling: De resultaten suggereren dat de generaliseerbare structuur niet gelokaliseerd is tot een kleine subset van neuronen, maar diffuus is gecodeerd over het netwerk en diep verstrengeld is met componenten die worden gebruikt voor ruismemorizatie. Taak-agnostisch snoeien kan de door het model geleerde regelstructuur niet volledig extraheren.

Betekenis en Claims

Het paper claimt een rigoureuze, verifieerbare grens te bieden tussen structurele generalisatie en ongestructureerde memorizatie in overparameteriseerd leren. De primaire bijdragen zijn:

Mechanistisch Inzicht: Het toont aan dat overparameteriseerde modellen intern onderliggende regels kunnen leren, zelfs onder expliciete labelruis, maar dat deze regels worden gemaskeerd door de noodzaak om ruis te fitten.
Frequentie-gebaseerde Ontkoppeling: Het introduceert een methode (Frequentiefiltratie) die generalisatie succesvol ontkoppelt van memorizatie in modulaire rekenkundige taken door gebruik te maken van de structurele priors van de taak, waardoor bijna perfecte nauwkeurigheid wordt hersteld vanuit zwaar gecorrumpeerde training.
Beperking van Post-hoc Snoeien: Het benadrukt een fundamentele beperking van huidige tools op neuronenniveau. Hoewel taak-agnostische neuronselectie marginale verbeteringen biedt, faalt het om de generaliseerbare structuur volledig te extraheren omdat de regel is verdeeld en verstrengeld over het netwerk.
Breder Implicaties: De auteurs suggereren dat toekomstige leerparadigma's mogelijk expliciet memorizatie moeten isoleren van logisch redeneren tijdens het trainen, en dat effectieve post-hoc kennisextractie mogelijk domeinspecifieke structurele priors vereist in plaats van generieke belangrijkheidsscores.

De auteurs erkennen dat hun opstelling de complexe variabiliteit van natuurlijke visuele of taal-taken abstracteert. Zij betogen echter dat deze gecontroleerde setting noodzakelijk is om het coëxisteren van memorizatie en generalisatie rigoureus te bestuderen, en dat het fundamenteel bewijs levert dat deze processen diep verweven zijn in overparameteriseerde netwerken.