🤖 machine learning

Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking

Deze empirische studie valideert Tian's (2025) theoretisch mechanisme van feature-repulsie in modulaire additienetwerken, en toont aan dat hoewel de voorspelde tekenstructuur van feature-interacties robuust geldt over activatiefuncties heen, de resulterende spectrale handtekeningen in parameterupdates strikt afhankelijk zijn van de afgeleide van de activatie, waarbij kwadratische activaties een detecteerbare rank-2 spectrale vergrendeling tijdens het 'grokking'-proces mogelijk maken die ReLU-activaties niet voortbrengen.

Oorspronkelijke auteurs: Yongzhong Xu

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongzhong Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student ziet die een zeer moeilijke wiskundetoets maakt. Aan het begin memoriseert hij de antwoorden louter uit het hoofd (Fase 1). Vervolgens begint hij de onderliggende patronen te begrijpen, maar hij is nog steeds verward en maakt fouten (Fase 2). Plotseling, op een specifiek moment, heeft hij een "lichtmoment" waarbij hij stopt met gokken en perfecte scores begint te behalen op vragen die hij nog nooit heeft gezien. Deze plotselinge sprong van memorisatie naar echt begrijpen wordt "Grokking" genoemd.

Dit artikel onderzoekt hoe en wanneer dat lichtmoment plaatsvindt binnen een eenvoudig computerbrein (een neurale netwerken). De onderzoekers testen een specifieke theorie die is voorgesteld door een wetenschapper genaamd Tian, die suggereert dat tijdens het leerproces de interne "ideeën" (kenmerken) van de computer elkaar wegduwen als ze te veel op elkaar lijken, waardoor het brein zich efficiënt moet organiseren.

Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Afstotings"-regel (De Theorie)

Tians theorie stelt dat wanneer twee interne ideeën in het computerbrein te veel op elkaar gaan lijken, een wiskundige kracht hen uit elkaar duwt. Denk hierbij aan twee magneten met dezelfde pool naar elkaar toe gericht; ze stoten elkaar af.

Wat ze testten: Ze controleerden of deze "wegduwende" werking daadwerkelijk plaatsvindt tijdens echte training.
Het Resultaat: Ja, het gebeurt. Het werkt perfect, ongeacht of het computerbrein een "gladde" activatiefunctie gebruikt (zoals kwadrateren van getallen, $x^2$ ) of een "ruwe" (zoals ReLU).
De Metafoor: Stel je een drukke dansvloer voor. Als twee dansers precies op dezelfde manier beginnen te bewegen, treedt een regel in werking die hen dwingt naar verschillende plekken te bewegen. Deze regel werkt ongeacht wat voor muziek (activatiefunctie) er speelt.

2. De "Spectrale Vergrendeling" (Het Waarneembare Signaal)

De onderzoekers wilden weten: Kunnen we een specifiek signaal op een computerscherm zien dat ons vertelt dat het "lichtmoment" op het punt staat te gebeuren?
Ze keken naar het "update-spectrum" – in feite hoe de gewichten van de computer (de knoppen die hij draait om te leren) in de loop van de tijd veranderen. Ze zochten naar een specifiek patroon: Rank-2 Vergrendeling.

De Analogie: Stel je voor dat de computer probeert de beste weg door een doolhof te vinden.
- Voor het lichtmoment: De computer draait zijn wielen, probeert 100 verschillende richtingen tegelijk (chaos).
- De Vergrendeling: Plotseling beseft hij dat hij slechts twee specifieke richtingen nodig heeft om het doolhof op te lossen. Alle andere richtingen storten in tot ruis. De computer "vergrendelt" zich op slechts die twee paden.
Het Resultaat: Dit "vergrendelings"-signaal is alleen zichtbaar wanneer de computer de "gladde" activatie ( $x^2$ $x^{2}$ ) gebruikt.
- Met $x^2$ : Het signaal is luid en duidelijk. De computer stort zijn vele richtingen in tot precies twee.
- Met ReLU: Het signaal verdwijnt. De computer vergrendelt zich niet op twee richtingen; hij blijft verspreid, gedomineerd door slechts één hoofdrichting.

3. De Grote Ontdekking: "De Regel versus het Resultaat"

Dit is het belangrijkste deel van het artikel. De onderzoekers vonden een splitsing tussen het mechanisme (de regel) en de handtekening (het zichtbare resultaat).

Het Mechanisme (De Afstoting): De regel dat "gelijkende ideeën elkaar uit elkaar duwen" is universeel. Het gebeurt bij beide soorten computerbreinen ( $x^2$ en ReLU).
De Handtekening (De Vergrendeling): Het zichtbare teken dat de computer het "begrepen heeft" (de Rank-2 vergrendeling) is specifiek voor het $x^2$ -brein.

De Metafoor:
Stel je twee verschillende soorten auto's voor (één met een gladde motor, één met een ruwe motor) die een heuvel oprijden.

De Regel: Beide auto's hebben een regel die zegt: "Als de wielen slippen, moeten de remmen ingrijpen." Deze regel werkt voor beide auto's.
De Handtekening: Echter, alleen de gladde auto maakt een duidelijk klikkend geluid wanneer de remmen ingrijpen. De ruwe auto grijpt ook in met de remmen, maar hij maakt alleen een zoemend geluid.
De Les: Als je alleen luistert naar het klikkende geluid, denk je misschien dat de ruwe auto niet remt. Maar dat doet hij wel! Het is alleen dat het "geluid" (de spectrale handtekening) afhangt van het motortype, zelfs al is de "remlregel" (de afstoting) hetzelfde.

4. Praktische Leerpunten voor de "Bestuurder"

Het artikel biedt ook wat adviezen voor mensen die proberen dit "lichtmoment" in real-time te detecteren:

Venstergrootte is belangrijk: Om het "klikkende geluid" (de vergrendeling) te zien, moet je de data over een specifiek tijdvenster bekijken (ongeveer 20 tot 30 stappen). Als je te snel kijkt (5 stappen), krijg je valse alarmen. Als je te traag kijkt, mis je het moment.
Timing: Het "klikkende geluid" gebeurt net voordat de computer begint met het behalen van perfecte toetsscores. Het is een betrouwbare vroegtijdige waarschuwing, maar alleen voor het gladde ( $x^2$ ) type computer.
De "Trage" Modus: Als je het leerproces vertraagt (door een parameter genaamd $\eta$ te verkleinen), gebeurt het "lichtmoment" veel later, maar de wiskunde blijft overeind. Het "klikkende geluid" is dan alleen zachter en duurt langer om te verschijnen.

Samenvatting

Het artikel bewijst dat de "afstotings"-regel die Tian voorstelde echt is en in alle gevallen plaatsvindt. Echter, het specifieke visuele signaal dat we gebruiken om het te detecteren (de "Rank-2 Vergrendeling") is een lichttruc die alleen werkt voor bepaalde soorten computerbreinen. Als je een ander type brein gebruikt (zoals ReLU), moet je zoeken naar een ander signaal, omdat de "vergrendeling" anders verloopt, zelfs al is de onderliggende logica hetzelfde.

Technische Samenvatting: Feature-afstoting en Spectrale Lock-in

Probleemstelling

Grokking—het fenomeen waarbij neurale netwerken abrupt overgaan van memorisatie naar generalisatie, lang nadat de trainingsfout een plateau heeft bereikt—is verklaard via verschillende perspectieven, waaronder mechanische interpreteerbaarheid en impliciete regularisatie. Tian [2025] leverde een principieel kader dat grokking-dynamiek in netwerken met twee lagen decomposeert in drie fasen, die culmineren in een fase van "Interactief feature-leren" (Fase III). Binnen deze fase postuleert Tian's Stelling 6 een "afstotingsstelling": vergelijkbare verborgen features stoten elkaar af als gevolg van de niet-diagonale structuur van de matrix $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$ .

Het kader van Tian liet echter twee empirische vragen onbeantwoord:

Timing: Op welk specifiek moment tijdens het trainen wordt dit afstotingsmechanisme empirisch waarneembaar?
Waarnembaarheid: Manifesteert dit mechanisme zich als een meetbaar, online signaal in grootheden die praktici kunnen berekenen zonder dure offline diagnostiek?

Dit artikel beantwoordt deze vragen door Stelling 6 en een kandidaat-spectraal waarneembaar signaal te testen op Tian's exacte setup voor modulaire optelling.

Methodologie

De studie repliceert Tian's [2025] setup voor modulaire optelling ( $M=71$ klassen, $K=2048$ verborgen eenheden, trainingsfractie $p \approx 0,40$ ) met behulp van Adam-optimisatie met gewichtsdecay $\eta$ . De auteurs hanteren twee complementaire tests over meerdere willekeurige zaden:

Directe verificatie van Stelling 6:
- De auteurs berekenen $B$ exact met behulp van de Woodbury-identiteit om de computationele complexiteit te verminderen.
- Bij deterministische checkpoints identificeren ze de top-200 meest vergelijkbare feature-paren op basis van cosinus-ähnelijkheid.
- Ze verifiëren de tekenregel: $\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$ , waarbij $P$ een projectiematrix is die kolommen $j$ en $\ell$ uitsluit.
- Deze verificatie wordt uitgevoerd voor verschillende activatiefuncties ( $\sigma(x)=x^2$ en $\sigma(x)=\text{ReLU}$ ).
Detectie van spectraal signaal:
- De auteurs monitoren de Gram-matrix van parameterupdates ( $\Delta W$ ) over een rollend venster.
- Ze volgen de eigengap-ratio $\sigma_2/\sigma_3$ (de ratio van de tweede tot de derde eigenwaarde).
- Een op helling gebaseerde detector identificeert het moment van "lock-in" wanneer deze ratio een aanhoudende stijging ingaat, met de hypothese dat afstoting redundante features consolideert tot een laag-rang structuur (specifiek rang-2).
- Er worden gevoeligheidsanalyses uitgevoerd op venstergrootte ( $W$ ) en gewichtsdecay ( $\eta$ ).

Belangrijkste Resultaten

1. Verificatie van Stelling 6 (Activatie-generaal)

De tekenregel van Stelling 6 geldt empirisch voor verschillende activatiefuncties, wat bevestigt dat het mechanisme activatie-generaal is.

$\sigma(x) = x^2$ : De empirische teken-match voor de top-200 vergelijkbare paren stijgt van 0,865 bij epoch 50 naar een strakke verzadiging van 0,985 tegen epoch 300. Verzadiging ( $\ge 0,95$ ) treedt consistent op bij epoch 175 over alle zaden heen.
$\sigma(x) = \text{ReLU}$ : De tekenregel geldt ook hier, en verzadigt zelfs sneller (1,000 tegen epoch 500).
Conclusie: Het afstotingsmechanisme, dat wordt geregeerd door de structuur van $\tilde{F}^\top \tilde{F}$ , werkt ongeacht of de activatie een machtfunctie of ReLU is.

2. Spectrale Lock-in (Activatie-specifiek)

Hoewel het mechanisme algemeen is, is de spectrale signatuur van parameterupdates activatie-specifiek.

$\sigma(x) = x^2$ (Gerichte memorisatie): De op helling gebaseerde detector slaat aan bij 15/15 grokking-zaden bij epoch 174. Er is een enorme magnitude-scheiding ( $229\times$ ) in de late-stadia $\sigma_2/\sigma_3$ -ratio tussen grokking-zaden (mediaan $\approx 300$ ) en controlezaden ( $\eta=0$ , mediaan $\approx 1,31$ ). Het spectrum stort in tot rang-2, wat aangeeft dat features consolideren tot twee persistente richtingen.
$\sigma(x) = \text{ReLU}$ (Verspreide memorisatie): De detector slaat aan bij 0/15 grokking-zaden. De magnitude-scheiding stort in tot $1,4\times$ , en het spectrum blijft rang-1 gedomineerd ( $\sigma_1 \gg \sigma_2 \approx \sigma_3$ ).
Conclusie: De rang-2 lock-in-signatuur komt alleen voor in het regime van "gerichte memorisatie" (machtsactivaties) waarbij features instorten op scherpe pieken. In het regime van "verspreide memorisatie" (ReLU) blijven features verdeeld, wat de vorming van een onderscheidende rang-2 spectraal signaal verhindert.

3. Methodologische Controles en Schaling

Gevoeligheid Venstergrootte: De detector vereist een venstergrootte $W \in \{20, 30\}$ . Kleinere vensters ( $W \le 10$ ) produceren vals-positieven in controlecondities.
$\eta$ -Schaling: Een uitgebreide run bij $\eta = 10^{-5}$ bevestigt Tian's $1/\eta$ -schalingsvoorspelling voor grokkingstijd (grokking bij epoch 1527). De lock-in-magnitude ( $\sigma_2/\sigma_3$ ) is echter aanzienlijk verminderd ( $\approx 25$ versus $\approx 300$ ), wat suggereert dat de rang-2-structuur op dit trage tijdschaal onvolledig ontwikkeld is.
Level-maatstaf Detector ( $\rho_{tian}$ ): Een eenvoudigere maatstaf gebaseerd op de niet-diagonale structuur van de activatie-Gram voorspelt het begin van grokking met een positieve lead-tijd voor $\sigma=x^2$ , maar faalt om te generaliseren naar ReLU of verschillende $(M, p)$ -configuraties. Dit markeert de start van feature-dynamiek in plaats van succesvolle grokking.

Betekenis en Claims

Het artikel trekt een kritieke structuur-mechanisme onderscheiding:

Het Mechanisme (Algemeen): Tian's Stelling 6 regelt de niet-diagonale tekenstructuur van $B$ via eigenschappen van de feature-Gram $\tilde{F}^\top \tilde{F}$ . Dit mechanisme is robuust en onafhankelijk van de specifieke activatiefunctie $\sigma$ .
De Signatuur (Specifiek): De waarneembare spectraal signatuur in parameterupdates hangt af van hoe de afstoting vertaalt naar gewichtsupdates, wat wordt bemiddeld door de afgeleide $\sigma'$ $σ^{'}$ .
- Machtsactivaties ( $\sigma=x^2$ ) produceren gerichte features die consolideren tot twee richtingen, wat resulteert in een rang-2 spectraal lock-in.
- ReLU produceert verspreide features die rang-1 gedomineerd blijven, zonder de spectraal lock-in-signatuur, ondanks de aanwezigheid van het onderliggende afstotingsmechanisme.

De auteurs koppelen deze empirische dissociatie aan Tian's Stelling 5, die formeel onderscheid maakt tussen regimes van gerichte en verspreide memorisatie. Het artikel concludeert dat hoewel het afstotingsmechanisme universeel is in Fase III, de spectrale aanpak voor grokking-diagnostiek activatie-afhankelijk is. Praktici kunnen er niet van uitgaan dat een enkele spectraal maatstaf (zoals $\sigma_2/\sigma_3$ ) grokking zal detecteren over alle activatiefuncties heen; de keuze van de diagnostiek moet overeenkomen met het specifieke memorisatieregime dat door de activatiefunctie wordt geïnduceerd.