Grokking the Discrete Logarithm: Scaling Across Model Capacity and Mechanistic Analysis
Dit artikel presenteert de eerste systematische demonstratie dat transformers "grokking" kunnen vertonen — een vertraagde overgang van memorisatie naar algoritmische generalisatie — op het volledige discrete logaritmeprobleem met een variabele basis, waarbij wordt onthuld dat dit fenomeen niet-monotoon schaalt met de modelcapaciteit en wordt gedreven door de opkomst van multiplicatieve karakter- en Fourier-gealigneerde representaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van kunstmatige intelligentie proberen onderzoekers voortdurend te begrijpen hoe machines leren. Een bijzonder verwarrend gedrag, bekend als "grokking", heeft onlangs hun aandacht getrokken. Stel je een student voor die elk antwoord in een tekstboek uit het hoofd leert voor een toets. Ze kunnen de antwoorden perfect opzeggen, maar als er een iets andere vraag wordt gesteld, falen ze volledig. Grokking is het moment, dat vaak optreedt lang nadat de student de stof al heeft uit het hoofd geleerd, waarop ze plotseling stoppen met het simpelweg opzeggen van feiten en beginnen met het werkelijk begrijpen van de onderliggende regels. Deze verschuiving van rote memorisatie naar werkelijke generalisatie vindt abrupt plaats, soms na duizenden uren oefening, waardoor wetenschappers zich afvragen hoe en waarom het brein van de machine zichzelf plotseling reorganiseert om de logica achter de data te vinden.
Dit fenomeen werd voor het eerst opgemerkt bij eenvoudige wiskundige taken, maar een nieuwe studie door David Vesterlund neemt het in veel moeilijker terrein. De onderzoeker wilde zien of een computermodel een probleem kon 'grokkien' dat berucht moeilijk is voor zowel mensen als machines: de discrete logaritme. In eenvoudige termen is dit een puzzel van reverse-engineering. Als je een startgetal en een eindgetal weet, is de taak om precies te achterhalen hoe vaak je het startgetal met zichzelf moest vermenigvuldigen om het eindgetal te bereiken. Hoewel de voorwaartse berekening eenvoudig is, is het achterwaarts werken extreem moeilijk, vooral wanneer de getallen groot zijn en de regels strikt zijn. Dit specifieke type wiskundig probleem vormt de basis van de moderne digitale beveiliging, wat het een serieuze test maakt voor elk leersysteem. Vesterlund wilde zien of een neuraal netwerk, een type AI dat ontworpen is om het menselijk brein na te bootsen, uiteindelijk deze code zou kunnen kraken, niet door elke mogelijke oplossing uit het hoofd te leren, maar door de verborgen wiskundige structuur te ontdekken die ze met elkaar verbindt.
Om dit te onderzoeken, bouwde de onderzoeker een reeks computermodellen, variërend van klein tot zeer groot, en voedde ze met een enorme dataset van deze reverse-engineering puzzels. De modellen werden getraind op een specifiek priemgetal, 113, dat de regels van het spel bepaalt. Het kleinste succesvolle model had ongeveer 427.000 aanpasbare instellingen, een getal dat de complexiteit van zijn interne brein vertegenwoordigt. Wanneer de training begon, gedroeg het model zich precies zoals verwacht voor een machine learning systeem: het memoriseerde snel de antwoorden die het eerder had gezien, waarmee het bijna perfecte scores behaalde op de oefenopgaven. Echter, wanneer het werd getest op nieuwe, ongeziene puzzels, presteerde het niet beter dan willekeurig gokken. Voor een zeer lange tijd leek het model vast te zitten in deze staat van memorisatie, niet in staat tot te generaliseren.
Toen, na duizenden extra trainingsstappen, gebeurde er iets dramatisch. Het model begon plotseling de nieuwe puzzels correct op te lossen, met een sprong van willekeurig gokken naar bijna perfecte nauwkeurigheid. Dit was het moment van grokking. De vertraging was opvallend; het model had ongeveer driehonderd keer meer trainingsstappen nodig om tot echt begrip te komen dan om simpelweg de antwoorden te memoriseren. Om te testen of dit een toevalstreffer was of een fundamentele eigenschap van deze systemen, testte de onderzoeker twaalf verschillende modellen van uiteenlopende grootte, van piepkleine met 90.000 instellingen tot enorme met meer dan 14 miljoen. De resultaten lieten zien dat grokking niet beperkt is tot een specifieke grootte. Het kwam voor in de middelgrote modellen en opnieuw in de grootste modellen, mits ze genoeg trainingsdata kregen. Interessant genoeg was er een middenbereik waar de modellen er niet in slaagden te leren, wat suggereert dat de relatie tussen de grootte van het brein en de hoeveelheid benodigde data complex is en geen eenvoudige rechte lijn vormt.
Om te achterhalen wat er gebeurde in de geest van het model tijdens deze transformatie, keek de onderzoeker nauwgezet naar de interne signalen die het model gebruikte om beslissingen te nemen. Hij vond dat naarmate het model bewoog van memorisatie naar begrip, de interne taal veranderde. Het stopte met het vertrouwen op eenvoudige, oppervlakkige patronen en begon zijn kennis te organiseren rond een specif kind type wiskundig ritme, vergelijkbaar met hoe geluidsgolven kunnen worden opgedeeld in afzonderlijke frequenties. Door een techniek te gebruiken die zoekt naar eenvoudige vergelijkingen om deze interne signalen te beschrijven, ontdekte de onderzoeker dat het model spontaan had geleerd om trigonometrische patronen te gebruiken — golven van sinus en cosinus — om de oplossing te representeren. Dit was een diepgaande bevinding omdat het model nooit expliciet was onderwezen in het gebruik van deze golven; het ontdekte ze zelfstandig als de meest efficiënte manier om de puzzel op te lossen.
De studie bevatte ook rigoureuze controles om te waarborgen dat het model niet slechts een kortere route had gevonden die specifiek was voor de gebruikte getallen. De onderzoeker testte de modellen op een andere versie van het probleem waarbij de regels iets complexer waren en de getallen priem waren, waardoor gemakkelijke shortcuts werden geëlimineerd. De modellen vertoonden nog steeds grokking, wat bewees dat ze een algemene regel hadden geleerd in plaats van een specifieke truc. Bovendien, wanneer de modellen werden getest op generatoren die ze nog nooit hadden gezien, slaagden ze er nog steeds in, wat aantoonde dat ze werkelijk de onderliggende logica van het systeem hadden geleerd. De onderzoeksresultaten suggereren dat de sleutel tot deze plotselinge sprong in begrip een specifieke trainingsmethode was die de druk om de interne verbindingen van het model geleidelijk te vereenvoudigen verhoogde, waardoor het gedwongen werd om memoriseerde details weg te gooien en alleen de essentiële structuur te behouden.
Dit werk vestigt de discrete logaritme als een krachtig nieuw instrument voor het bestuderen van hoe kunstmatige intelligentie leert. Het demonstreert dat zelfs voor moeilijke, inverse problemen waarbij geen eenvoudige regel bestaat, neurale netwerken uiteindelijk kunnen overgaan van rote memorisatie naar diep structureel begrip. De bevindingen bevestigen dat deze transitie geen magische gebeurtenis is, maar een meetbaar proces waarbij interne representaties worden georganiseerd in efficiënte, golfachtige patronen. Hoewel de studie werd uitgevoerd op relatief kleine getallen en het probleem van het breken van de echte wereld encryptie niet oplost, biedt het een helder venster naar de mechanica van het leren. Het laat zien dat deze systemen, gegeven voldoende tijd en de juiste omstandigheden, verder kunnen gaan dan het memoriseren van het verleden om de regels te begrijpen die de toekomst beheersen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.