📊 statistics

Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations

Dit artikel demonstreert dat in twee-laagse neurale netwerken met holomorfe monomiale activaties getraind op modulaire rekenkunde, de uitdrukbare functieklasse inklapt tot een einddimensionale algebraïsche variëteit, wat ervoor zorgt dat het netwerk een binaire uitkomst vertoont van ofwel instantane generalisatie ofwel gegarandeerd trainingsfalen—waardoor het grokkingsfenomeen volledig wordt geëlimineerd naarmate de relatie tussen capaciteit en grokking het limietregime bereikt.

Oorspronkelijke auteurs: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Gepubliceerd 2026-07-16

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om wiskundige puzzels op te lossen. Normaal gesproken, wanneer we dit soort robots trainen (neurale netwerken), verwachten we dat ze beter worden naarmate we meer oefenen. Maar soms gebeurt er iets vreemds: de robot onthoudt de antwoorden perfect, haalt een perfect cijfer voor zijn huiswerk, maar faalt jammerlijk wanneer je hem een nieuwe, vergelijkbare opdracht geeft. Hij zit daar maar, vastgelopen in een "memoratie-modus", voor duizenden stappen. En dan plotseling, zonder enige waarschuwing, springt hij over naar een nieuwe modus en begint hij de nieuwe problemen correct op te lossen. Deze vreemde, vertraagde ontwaking wordt grokking genoemd. Het is als een student die voor een examen leert door te stampen, alles de volgende dag vergeet, en dan plotseling een week later het concept begrijpt.

Wetenschappers proberen te achterhalen waarom deze vertraging optreedt. Ze weten dat de grootte van de hersenen van de robot (de "capaciteit") ertoe doet. Als de hersenen te klein zijn, zal hij misschien nooit leren. Als ze enorm zijn, leert hij direct. Maar wat gebeurt er in het midden? Wordt de vertraging simpelweg korter naarmate de hersenen van de robot groter worden? Of is er een punt waarop de hersenen van de robot zo vreemd gebouwd zijn dat hij het antwoord niet kan leren, hoe lang je ook wacht? Dit artikel duikt in die vraag door een zeer specifieke, wiskundig perfecte robot te bouwen om te zien wat er gebeurt wanneer de regels van het leren tot hun absolute limiet worden gedreven.

De Robot met een Brein voor Eén Formaat

De auteurs van dit artikel besloten niet te gissen, maar te bouwen. In plaats van een standaard, rommelig robotbrein, bouwden ze een speciaal soort netwerk met een zeer strikte regel: het kan alleen denken in een specifiek type wiskundig patroon dat een "holomorfe monoom" wordt genoemd.

Beschouw de hersenen van deze robot als een slotenmaker met een zeer specifieke set sleutels.

Standaard Robots (Universele Approximatoren): De meeste AI-modellen zijn als een slotenmaker met een enorme gereedschapskist. Welk slot je ze ook geeft, ze kunnen het uiteindelijk openen als ze maar genoeg tijd en genoeg gereedschap hebben. Ze kunnen er wel een lange tijd over doen om het juiste combinatieslot te ontdekken (memoratie), en dan plotseling de oplossing vinden (generalisatie), maar ze kunnen de deur altijd openen.
De Robot uit dit Artikel: Deze robot heeft slechts één specifieke sleutelvorm. Hij kan alleen sloten openen die precies bij die vorm passen. Als je hem een slot geeft dat niet bij die vorm past, duurt het niet alleen lang voordat hij het opent; hij kan het helemaal niet openen. Het is geen kwestie van "niet genoeg oefening"; het is een kwestie van het "verkeerde gereedschap".

De onderzoekers testten deze robot op modulaire rekenkunde (in feite wiskundige problemen waarbij getallen ronddraaien, zoals een klok). Ze vroegen zich af: Als de hersenen van de robot zo beperkt zijn dat hij het antwoord niet eens kan weergeven, kan hij dan nog steeds "grokken"?

De Grote Ontdekking: De "Alles-of-Niets"-Schakelaar

Het antwoord dat ze vonden is verrassend eenvoudig en binair. Er is geen middenweg, geen trage vertraging en geen grokking.

Het "Ja"-geval: Als de wiskundige opdracht die de robot moet oplossen toevallig overeenkomt met de specifieke vorm van zijn sleutel, lost de robot het onmiddellijk op. Hij leert de trainingsdata en de nieuwe data op exact hetzelfde moment. Er is geen wachttijd. Het is alsoals je de slotenmaker de exacte sleutel geeft waarvoor hij geboren is; de deur zwaait direct open.
Het "Nee"-geval: Als het probleem niet overeenkomt met de vorm van de sleutel, faalt de robot volledig. Hij onthoudt de antwoorden niet. Hij blijft niet in een lus hangen. Hij blijft voor altijd op het niveau van willekeurig gokken. De trainingsverlies (een maatstaf voor hoe fout hij zit) bereikt een harde bodem en weigert lager te gaan, ongeacht hoe breed de hersenen van de robot zijn of hoe lang je traint.

De auteurs hebben dit wiskundig bewezen. Ze lieten zien dat voor dit specifieke type robot, de verzameling problemen die hij kan oplossen een kleine, vaste subset is van alle mogelijke problemen. Als jouw probleem niet in die subset zit, is de robot wiskundig niet in staat om de data te fitten. Het is geen optimalisatieprobleem; het is een structurele onmogelijkheid.

Het Experiment: 585 Proeven van Waarheid

Om te bewijzen dat dit niet slechts een theorie was, voerde het team 585 experimenten uit. Ze testten de robot op 39 verschillende wiskundige problemen met 5 verschillende "sleutelvormen" (activatiegraden).

Het Resultaat: Het gedrag van de robot kwam met 99,8% nauwkeurigheid overeen met de wiskundige voorspellingen.
Het Patroon: De resultaten vormden een perfecte "trap". Als de getallen van het probleem samen de juiste totale waarde vormden, slaagde de robot onmiddellijk. Als dat niet het geval was, faalde hij onmiddellijk.
De Ontbrekende Middenweg: In 585 runs waren er nul gevallen van "grokking" (de vertraagde successen) en nul gevallen van "memoratie zonder generalisatie" (het huiswerk goed maken maar de toets niet halen). De robot won of verloor onmiddellijk.

De Vergelijking: De "Normale" Robot

Om er zeker van te zijn dat dit niet slechts een vreemde eigenaardigheid van hun speciale robot was, voerden ze dezelfde tests uit op een standaard, "normale" robot (gebruikmakend van een ReLU-activatie, de industriestandaard).

De Normale Robot: Deze robot kon elk probleem oplossen. Hij onthield alles. Maar bij de moeilijke problemen vertoonde hij het klassieke grokking-gedrag: hij onthield de trainingsset, zat daar duizenden stappen lang, en begon dan plotseling te generaliseren.
Het Contrast: De problemen die ervoor zorgden dat de speciale robot volledig faalde, waren exact dezelfde problemen die de normale robot lieten grokken. Dit bewijst dat de "vertraging" in grokking niet alleen komt doordat het probleem moeilijk is, maar doordat de hersenen van de robot bijna groot genoeg zijn, maar net niet. De speciale robot liet ons zien wat er gebeurt wanneer de hersenen te klein zijn om zelfs maar aan de race te beginnen.

De "Bottleneck"-Test: De Kloof Overbruggen

De onderzoekers wilden zien of er een vloeiend pad bestond tussen "onmiddellijk falen" en "onmiddellijk succes". Ze namen een normale robot en persten zijn hersenen door een "bottleneck" (flessehals), waardoor ze steeds smaller werden.

Brede Bottleneck: De robot grokt (vertraagd succes).
Medium Bottleneck: De robot onthoudt, maar generaliseert nooit (hij zit vast).
Kleine Bottleneck: De robot faalt zelfs om te onthouden (onmiddellijk falen).

Dit experiment verbond de punten. Het toonde aan dat het "onmiddellijk falen"-regime van de speciale robot het uiterste einde is van hetzelfde spectrum waar grokking plaatsvindt. Naarmate je de capaciteit van een robot verkleint, wordt de vertraging steeds langer, totdat de vertraging uiteindelijk oneindig wordt omdat de robot niet eens meer in staat is om de data te onthouden.

Wat betreft het Leren van de Sleutels?

Men zou zich kunnen afvragen: "Wat als de robot zijn eigen sleutels kon leren?" De auteurs testten dit door de robot zijn eigen input-encodering te laten leren (in plaats van de vaste "roots of unity" encodering te geven).

Het Resultaat: De "trap" van onmiddellijk succes en falen verdween. De robot kon nu bijna alle lineaire problemen onmiddellijk oplossen.
De Uitzondering: Er was nog één probleem dat hij niet kon oplossen: de vermenigvuldigingstaak ( $a \times b$ ). Zelfs met een geleerd brein was de structuur van de robot te simpel om de complexiteit van vermenigvuldiging te vatten. Dit bevestigde dat het falen niet alleen ging over de specifieke wiskunde die ze gebruikten om de robot te voeden; het was een fundamentele limiet van de architectuur van de robot.

De Kernboodschap

Dit artikel onthult een fundamentele waarheid over AI-training: Grokking is een race tussen memorisatie en generalisatie. Maar voor die race te kunnen starten, moet de loper eerst zijn veters kunnen strikken.

Als de hersenen van een neuraal netwerk te klein of te rigide zijn om het antwoord überhaupt te kunnen weergeven (om "zijn veters te strikken"), dan start de race nooit. Er is geen vertraging, geen strijd en geen plotseling ontwaken. Er is alleen een harde stop. De vraag "wanneer zal het grokken?" lost op in de simpelere, meer primitieve vraag: "Is het überhaupt in staat om het doel te representeren?"

De auteurs hebben aangetoond dat wanneer je een netwerk tot zijn wiskundige limieten drijft, het rommelige, verwarrende gedrag van grokking verdwijnt en wordt vervangen door een heldere, binaire realiteit: of de wiskunde past, en je wint onmiddellijk; of het past niet, en je verliest onmiddellijk. Het is een herinnering dat voordat we kunnen praten over hoe AI leert, we eerst moeten controleren of het daadwerkelijk in staat is om te leren wat we het vragen te doen.

Technische Samenvatting: Algebraïsche Representeerbaarheid als het Limiterende Regime van Grokking

Probleemstelling
Recente literatuur over "grokking"—het fenomeen waarbij neurale netwerken getraind op modulaire rekenkunde-taken overgaan van memorisatie naar generalisatie na een aanzienlijke vertraging—heeft vastgesteld dat de capaciteit van het model het tijdstip van deze transitie bepaat. Echter, bestaande kaders (bijv. Song en Ye 2026) gaan ervan uit dat het netwerk voldoende groot is om uiteindelijk de trainingsdata te memoriseren. Dit artikel onderzoekt het limiterende regime waarin de expressieve functieklasse van het netwerk zo beperkt is dat het de doelfunctie niet eens in principe kan representeren. De centrale vraag is: Wat gebeurt er met de memorisatie-generalisatie dynamiek wanneer de architecturale capaciteit structureel onvoldoende is om de trainingsset te fitten, in plaats van slechts traag te zijn in het doen daarvan?

Methodologie
De auteurs bestuderen een specifieke, exact oplosbare architectuur: een tweelaags complex-waardig neuraal netwerk met een holomorfe monomiale activatie $\sigma(z) = z^k$ . Het netwerk wordt getraind op modulaire rekenkunde-taken $f: \mathbb{Z}_p \times \mathbb{Z}_p \to \mathbb{Z}_p$ (waarbij $p$ priem is) met behulp van een roots-of-unity codering, waarbij inputs $(a, b)$ worden gemapt naar $(\omega^a, \omega^b)$ met $\omega = e^{2\pi i/p}$ .

Belangrijke methodologische keuzes zijn:

Algebraïsche Tractabiliteit: De keuze voor $\sigma(z) = z^k$ zorgt ervoor dat de output van het netwerk een polynoom is van graad $k$ . Op de roots-of-unity codering beperkt dit de output van het netwerk tot een specifieke subspace van karakters van de groep $(\mathbb{Z}_p)^2$ .
Fourieranalyse: De auteurs maken gebruik van harmonische analyse op eindige abelse groepen om de "expressieve klasse" $\mathcal{F}_k$ te karakteriseren. Ze bewijzen dat de output van het netwerk, ongeacht de verborgen breedte $H$ , beperkt blijft tot een $(k+1)$ -dimensionale subspace gespannen door karakters met frequentielabels $(\ell, k-\ell)$ voor $0 \le \ell \le k$ .
Theoretische Grenzen: Het artikel leidt een ondergrens af voor de trainingsverlies bij niet-representeerbare doelen, en bewijst dat de loss strikt positief blijft en onafhankelijk is van de verborgen breedte.
Experimentele Validatie: De theorie wordt getest via 585 experimentele runs met 39 taken (35 lineaire fase, 4 niet-lineaire fase) en 5 activatiegraden ( $k=2$ tot $6$).
Comparatieve Ablaties: De studie bevat een ReLU-baseline (universele benaderaar) en een "bottleneck" ablatie op ReLU-netwerken om de transitie van representatiefalen naar grokking te traceren.

Kernbijdragen

Exacte Algebraïsche Karakterisering van Representeerbaarheid:
Het artikel biedt een volledige karakterisering van welke modulaire taken binnen de expressieve klasse $\mathcal{F}_k$ liggen.
- Lineaire fase-doelen ( $f(a,b) = ma + nb \mod p$ ): Een taak is representeerbaar indien en slechts indien $m + n = k$ (ervan uitgaande dat $m+n \le k$ ). Als niet aan deze voorwaarde wordt voldaan, is het doel orthogonal aan de gehele expressieve subspace.
- Niet-lineaire fase-doelen (bijv. $ab$, $a^2+b^2$ ): Deze taken hebben een Fourier-support die verder reikt dan de diagonaal $u+v \equiv k \pmod p$ . Het artikel bewijst dat deze niet-representeerbaar zijn voor elke eindige $k < p$ .
- Codering-onafhankelijkheid: Via Propositie 1 tonen de auteurs aan dat zelfs met geleerde embeddings, de representeerbaarheid van een taak wordt beperkt door de rang van de doelmatrix. Specifiek blijft de taak $ab$ (die overeenkomt met een full-rank DFT-matrix) niet-representeerbaar voor elke $k < p-1$ , ongeacht de input-codering.
Het "Geen Memorisatie" Regime:
Het artikel bewijst dat voor niet-representeerbare doelen het netwerk de trainingsset niet kan memoriseren. Omdat de output algebraïsch beperkt is tot een subspace die het doel niet bevat, is de trainingsloss begrensd door een positieve constante (de spectrale kloof). Bijgevolg is er geen "memorizatie"-fase, geen "grokking"-vertraging en geen geleidelijke verbetering; het netwerk faalt simpelweg om de data te fitten en blijft op een nauwkeurigheid van niveau 'chance'.
Empirische Validatie van Binaire Uitkomsten:
Over 585 runs stemde de algebraïsche voorspelling met 99,8% nauwkeurigheid overeen met de geobserveerde uitkomst. De resultaten waren strikt binair:
- Representeerbare taken: Werden bijna onmiddellijk geleerd (Instant Generalization, of INST) zonder gat tussen trainings- en testnauwkeurigheid.
- Niet-representeerbare taken: Volledige mislukking (FAIL) waarbij de trainingsnauwkeurigheid vast bleef zitten op 'chance'-niveaus.
- Er waren nul instanties van grokking of memorisatie-zonder-generalisatie voor het holomorfe netwerk.
Verbinding met het Capaciteitsspectrum:
Het artikel overbrugt de kloof tussen het "algebraïsche extreme" (holomorfe netwerken) en standaard universele benaderaars (ReLU-netwerken).
- ReLU Baseline: Standaard ReLU-netwerken memoriseren alle taken en vertonen grokking op moeilijke niet-lineaire taken, waarbij de vertraging schaalt met de complexiteit van de taak.
- Bottleneck Ablatie: Door een ReLU-netwerk te comprimeren via een lineaire bottleneck, traceren de auteurs een continu pad van FAIL (wanneer de bottleneck te smal is om de data te fitten) naar MEM (memorizatie zonder generalisatie) naar GROK (met een krimpend gat naarmens de capaciteit toeneemt). Dit demonstreert dat het "FAIL"-regime waargenomen in het holomorfe model de structurele limiet is van het capaciteit-grokking spectrum.

Significantie en Claims
Het artikel betoogt dat de vraag "wanneer een netwerk zal grokken" een secundaire vraag is die een primaire voorwaarde van representeerbaarheid veronderstelt.

Limiterend Regime: Het holomorfe netwerk representeert het limietgeval waarbij de expressieve klasse inklapt tot een vast algebraïsch object. In dit regime begint de competitie tussen memorisatie- en generalitiesnelheden (het mechanisme van grokking) nooit, omdat de memorisatiefase structureel onmogelijk is.
Structurele vs. Optimalisatiebeperkingen: De resultaten onderscheiden optimalisatieproblemen (die grokking-vertragingen veroorzaken in standaard netwerken) van representatieve onmogelijkheid (die onmiddellijk falen veroorzaken in beperkte netwerken).
Universaliteit van de Obstructie: Het falen van de taak $ab$ wordt getoond als een intrinsieke eigenschap van de rang-beperkingen van de architectuur, en niet als een artefact van de vaste roots-of-unity codering.

De auteurs concluderen dat hun werk een regime definieert waarin de dynamiek van grokking oplost in een binaire vraag van representeerbaarheid. Hoewel de specifieke algebraïsche resultaten van toepassing zijn op deze holomorfe setting, suggereren de bottleneck-experimenten dat de drie-regime structuur (Failure $\to$ Memorization $\to$ Grokking) een algemeen kenmerk is van het capaciteitsspectrum, waarbij het holomorfe model een rigoureus, analytisch oplosbaar randvoorwaardelijk model biedt voor het "Failure"-uiteinde van dat spectrum.