Spectral Edge Dynamics Reveal Functional Modes of Learning

Dit onderzoek toont aan dat grokking wordt gekenmerkt door trainingsdynamica die zich concentreert in een klein aantal dominante spectrale randrichtingen die laag-dimensionale functionele modi over het invoergebied vertegenwoordigen, waarbij de specifieke structuur van deze modi afhankelijk is van de algebraïsche symmetrie van de taak en niet zichtbaar is voor traditionele mechanistische interpretatietools.

De kern

Stel je voor dat je een enorm complex orgel bouwt, met duizenden pijpen (de parameters van een AI-model). Als je dit orgel traint om een specifieke melodie te spelen (bijvoorbeeld wiskundige sommen modulo een getal), gebeurt er iets vreemds: eerst klinkt het als een luidruchtig, willekeurig geruis. Dan, plotseling, begint het perfect te spelen. Dit fenomeen noemen onderzoekers "grokking" (een woord dat een mix is van "grasping" en "grokking" uit sciencefiction, wat zoiets betekent als "plotseling volledig begrijpen").

De vraag die deze paper beantwoordt is: Wat gebeurt er precies in het orgel op het moment dat het plotseling de melodie begint te spelen?

Hier is de uitleg in simpele taal, met een paar creatieve metaforen:

1. De zoektocht naar de "geheime knop"

Vroeger dachten onderzoekers dat het antwoord lag in het vinden van specifieke onderdelen in het orgel. Ze keken naar:

• Welke pijp (neuron) het hardst blaast?
• Welke klavier (attention head) wordt gebruikt?
• Welke toets (feature) wordt ingedrukt?

De auteurs van dit paper zeggen echter: "Nee, jullie kijken op de verkeerde plek."

Ze ontdekten dat de veranderingen die het orgel nodig heeft om de melodie te leren, niet zitten in één specifieke pijp of één klavier. Het is alsof je denkt dat een orkest een liedje leert door één vioolist te laten oefenen, terwijl in werkelijkheid het hele orkest samen een heel specifiek, subtiel geluid maakt dat je niet kunt isoleren tot één instrument.

2. De "Spectrale Rand": De rimpels in de vijver

De auteurs kijken naar de beweging van het orgel als een hele. Ze gebruiken een wiskundige techniek (spectrale analyse) om te kijken hoe de bewegingen zich gedragen.

Ze vinden een "Spectrale Rand".

• De metafoor: Stel je voor dat je een steen in een vijver gooit. De meeste golven zijn kleine, willekeurige rimpeltjes (dat is de "bulk" of het gewone gedrag). Maar er is een paar grote, krachtige golven die zich afscheiden van de rest.
• Deze grote golven zijn de "Spectrale Rand". Ze zijn de enige bewegingen die echt belangrijk zijn voor het leren van de taak. Alles daarbuiten is ruis.

3. Geen onderdelen, maar een "Liedje"

Het belangrijkste inzicht is dit: deze grote golven zijn niet gebonden aan specifieke onderdelen van het orgel. Ze zijn functies.

• De analogie: Stel je voor dat je een danser hebt. Als je vraagt "Welke spier beweegt?", krijg je een lijst met honderden spieren die allemaal een beetje bewegen. Dat is niet heel nuttig.
• Maar als je vraagt "Wat voor dansbeweging maakt hij?", zie je een duidelijk patroon: hij draait, hij springt, hij zwaait.
• De "Spectrale Rand" is die dansbeweging. Het is een patroon van hoe het model reageert op verschillende ingangen, niet waar het in het model zit.

4. De sleutel tot de dans: De juiste "Taal"

De paper laat zien dat deze dansbewegingen pas duidelijk worden als je ze bekijkt in de juiste taal.

• Optellen (Addition): Als het model optelt, is de dansbeweging heel simpel. Het is alsof het model een enkele, perfecte golf zingt. Als je de juiste wiskundige "bril" opzet (de Fourier-basis), zie je dat het model precies één frequentie gebruikt. Het is als een fluit die één toon blaast.
• Vermenigvuldigen (Multiplication): Hier is het lastiger. In de gewone taal lijkt het een chaos. Maar als je de "bril" verwisselt voor een speciale wiskundige taal (de discrete logaritme), zie je plotseling weer die ene perfecte fluittoon. Het model leert vermenigvuldigen door het probleem te vertalen naar een taal waar het makkelijker is.
• Aftrekken (Subtraction): Dit is iets complexer. Het model zingt hier niet één toon, maar een klein koor van drie of vier stemmen die samenwerken.
• X² + Y² (Kwadraten): Dit is de moeilijkste dans. Hier is er geen enkele toon of simpel koor. Het model moet een complexe compositie maken, waarbij het de "optel-dans" en de "vermenigvuldig-dans" door elkaar haalt. Het is alsof het model twee liedjes tegelijk zingt en ze samenvoegt tot een nieuw, complex lied.

5. Deelbare danspassen (Multitask Learning)

Het meest fascinerende deel is wat er gebeurt als je het model meerdere taken laat leren tegelijk (bijvoorbeeld optellen én kwadraten).

• De ontdekking: Als het model leert om kwadraten te berekenen, terwijl het al optellen en vermenigvuldigen kent, huurt het de danspassen van de andere taken.
• Het model gebruikt de "optel-dans" die het al kent, en plakt daar een paar extra bewegingen aan vast.
• Dit bewijst dat neurale netwerken niet zomaar alles opnieuw uitvinden. Ze bouwen complexe vaardigheden op door herbruikbare bouwstenen (de functies) te combineren.

Samenvatting in één zin

In plaats van te kijken naar welke "schakelaars" in de computer aan- en uitgaan, laat deze paper zien dat leren gaat over het vinden van nieuwe, elegante dansbewegingen (functies) die de juiste muziek spelen, en dat slimme modellen deze danspassen kunnen delen en hergebruiken voor nieuwe uitdagingen.

De les voor ons: Als we willen begrijpen hoe AI leert, moeten we stoppen met kijken naar de onderdelen (de hardware) en gaan kijken naar het gedrag en de patronen (de muziek) die het produceert.

Technische samenvatting

Titel: Spectrale Randdynamica onthult Functionele Modi van Leren

Auteur: Yongzhong Xu
Kernonderwerp: Interpretatie van trainingsdynamica in transformer-modellen via spectrale analyse.

---

1. Het Probleem

Neurale netwerken doorlopen tijdens het trainen complexe trajecten in een ruimte met enorme dimensionaliteit (parameters). Hoewel er steeds meer bewijs is dat optimalisatie-dynamica zich concentreert langs een klein aantal dominante richtingen, vooral tijdens fase-overgangen zoals "grokking" (het plotseling generaliseren na een lange periode van memorisatie), blijft de aard van deze richtingen onduidelijk.

• De vraag: Zijn deze dominante richtingen gelokaliseerde circuits, interpreteerbare features, of iets anders?
• De beperking van bestaande methoden: Standaard mechanische interpretatiemethoden (zoals attributie per attention-head, analyse in activatieruimte en sparse auto-encoders) falen vaak om deze structuren te vangen. Dit suggereert een mismatch tussen het object van studie (de leerprocessen) en de analyse-tools (die werken in representatieruimte).

2. Methodologie

De auteurs gebruiken een spectrale analyse van gewichtsupdates in transformer-modellen getraind op modulaire rekenkundige taken (modulo $p=97$).

• Model en Taken: Een 2-laags Transformer (290k parameters) getraind op zes binaire operaties: optellen, aftrekken, vermenigvuldigen, $x^2+y^2$, en twee niet-grokking controles.
• Spectrale Rand (Spectral Edge) Definitie:
  • Berekening van de Gram-matrix van gewichtsupdates ($\delta\theta$) over een schuifend venster.
  • Identificatie van een "spectrale rand": een klein blok van leidende richtingen (eigenvectoren) dat zich scheidt van de "bulk" (de rest van het spectrum).
  • De positie van de rand ($k^*$) wordt bepaald door de grootste verhouding tussen opeenvolgende eigenwaarden, gewogen door signaalmassa.
• Van Parameter naar Functie:
  • In plaats van de richting $v_k$ in de parameter ruimte te analyseren, definiëren de auteurs een functionele modus $f_k(x)$.
  • Dit wordt gedaan door de respons van het model op een kleine verstoring langs $v_k$ te meten: $\Delta h_k(x) = h(x; \theta + \epsilon v_k) - h(x; \theta)$.
  • De scalar $f_k(x) = \|\Delta h_k(x)\|^2$ beschrijft hoe gevoelig de input $x$ is voor deze specifieke parameterverandering.
• Fourier-analyse: De auteurs testen of deze functionele modi gestructureerd zijn in specifieke Fourier-bases die zijn afgestemd op de algebraïsche structuur van de taak (bijv. additieve karakters voor optelling, discrete logaritmen voor vermenigvuldiging).

3. Belangrijkste Bijdragen

1. Robuuste detectie van de spectrale rand: Bevestiging dat een spectrale rand consistent ontstaat tijdens grokking en grokking onderscheidt van niet-grokking regimes over verschillende taken en zaden.
2. Negatieve resultaten voor representatie-niveau interpretatie: Aantonen dat standaard tools (head-attributie, SAE's) de spectrale rand niet kunnen vangen. De structuur is niet gelokaliseerd in parameter- of feature-ruimte, maar is een functioneel object.
3. Functionele structuur in symmetrie-aangepaste bases: De spectrale rand richt zich op laag-dimensionale subruimtes in de input-domein. Voor symmetrische taken (optellen, vermenigvuldigen) collapseert dit naar één dominante Fourier-modus in de juiste groep-theoretische basis.
4. Niet-harmonische structuur in samengestelde taken: Voor de taak $x^2 + y^2$ is er geen enkele Fourier-basis die de structuur volledig beschrijft; de structuur wordt gedeeltelijk verklaard door kruistermen van additieve en multiplicatieve features.
5. Bewijs van compositie en hergebruik: In multitask-training (gedeelde trunk) wordt de spectrale rand van de complexe taak ($x^2 + y^2$) sterker uitgelijnd met de functionele modi van de eenvoudigere componenttaken (optellen en vermenigvuldigen), wat bewijst dat neurale netwerken herbruikbare functionele primitieven leren.

4. Resultaten

• Grokking vs. Non-Grokking: De spectrale gap ($g_{23}$) neemt drastisch af (15-110x) tijdens grokking, wat aangeeft dat updates zich concentreren op een laag-dimensionale subruimte. Dit gebeurt niet bij niet-grokking taken.
• Optellen (Addition): Alle leidende richtingen collapseerden naar één enkele Fourier-frequentie ($\omega \approx 25-26$) in de additieve basis. Dit bevestigt een 1-dimensionale harmonische structuur.
• Vermenigvuldiging (Multiplication): In de standaard additieve basis was het signaal diffuus. Echter, na transformatie naar de discrete-logaritmen basis (aangepast aan de multiplicatieve groep), collapseerde de spectrale rand ook naar één dominante modus ($\omega = 29$).
• Aftrekken (Subtraction): De structuur beslaat een kleine familie van modi (meerdere frequenties), maar vertoont geen scherpe scheiding tussen rand en bulk zoals bij optellen.
• $x^2 + y^2$: Geen enkele harmonische basis voldeed. De structuur vereiste een combinatie van additieve en multiplicatieve features (kruistermen). Dit toont aan dat de spectrale rand een laag-dimensionale functionele subruimte kan zijn zonder dat deze noodzakelijk een enkele harmonische modus is.
• Multitask Training: Wanneer een model $x^2 + y^2$ leert met een gedeelde trunk voor optellen en vermenigvuldigen, neemt de overlap met de additieve modi toe. De spectrale rand van de complexe taak "erft" de functionele modi van de componenttaken.

5. Betekenis en Conclusie

Dit artikel biedt een fundamenteel nieuw perspectief op hoe neurale netwerken leren:

• Verschuiving van Representatie naar Functie: Leren wordt niet beschreven door welke neuronen of circuits actief zijn, maar door welke functies over het input-domein worden geleerd. De spectrale rand identificeert deze functionele subruimtes.
• Algebraïsche Structuur: De eenvoud van de leerstructuur (bijv. één Fourier-modus) hangt af van de algebraïsche symmetrie van de taak. Als de taak een geschikte symmetrie-adaptieve basis toelaat, is de structuur eenvoudig; anders is deze complexer maar nog steeds laag-dimensionaal.
• Hergebruik van Primitieven: Neuronale netwerken bouwen complexe taken op door bestaande, herbruikbare functionele primitieven (zoals optellen) te combineren.
• Implicaties voor Interpretatie: Standaard mechanische interpretatiemethoden missen deze structuren omdat ze in de verkeerde ruimte (representatie) kijken. Toekomstige interpretatie moet zich richten op functionele bases die zijn afgestemd op de taakstructuur.

Kortom, de auteurs tonen aan dat trainingsdynamica laag-dimensionale functionele subruimtes selecteert die de algebraïsche structuur van de taak reflecteren, en dat deze subruimtes de sleutel zijn tot het begrijpen van grokking en generalisatie.