A Counterexample to Fourier Alignment in Single-Neuron Modular Addition

Technische Samenvatting: Een Tegenvoorbeeld voor Fourier-alignement in Modulaire Optelling met Eén Neuron

Probleemstelling
Het artikel behandelt een specifieke vraag over de representatietheoretische eigenschappen van neurale netwerken die getraind zijn op modulaire rekenkunde, een taak die centraal staat bij het begrijpen van "grokking" en algoritmische generalisatie. Specifiek onderzoekt het de kwestie die werd opgeworpen in [Cla26d] betreffende een enkel ReLU-neuron dat getraind is via exacte full-table cross-entropy op optelling in de cyclische groep $\mathbb{Z}/p\mathbb{Z}$ (waarbij $p \ge 5$ een priemgetal is).

De kernvraag is of de genormaliseerde parametervector $(u, v, w)$, onder de voorwaarde dat het neuron initieel actief is, moet convergeren naar een richting die wordt ondersteund door een enkele niet-nul reële Fourier-klasse (oftewel een specifieke frequentie $\zeta$ en zijn conjugaat $-\zeta$). Vorig theoretisch werk op twee-laagse netwerken suggereerde dat individuele neuronen de neiging hebben om single-frequency Fourier-features te selecteren, waarbij frequenties met elkaar concurreren op basis van initiële spectrale magnituden. Dit artikel onderzoekt of dit "single-frequency alignment" een noodzakelijk gevolg is van de trainingsdynamiek voor het eenvoudigst mogelijke model: een enkel neuron.

Methodologie
De auteur hanteert een rigoureuze analytische benadering met behulp van Clarke differentiaal-inclusies om continue-tijd trainingsdynamica te modelleren, waarbij rekening wordt gehouden met de niet-differentieerbaarheid van de ReLU-activatie bij nul. De methodologie omvat:

1. Constructie van Specifieke Initiële Condities: De auteur definieert een verzameling initiële parameters waarbij exact één input gate (overeenkomend met inputs $(0,0)$) actief is, terwijl alle andere gates strikt inactief zijn (negatieve pre-activatie).
2. Analyse van het Dynamisch Systeem: Er wordt een analyse uitgevoerd van de gradiëntflow van de cross-entropy loss. Door gebruik te maken van symmetrie, wordt het hoogdimensionale systeem gereduceerd tot een laagdimensionale gewone differentiaalvergelijking (ODE) die de pre-activatie van de actieve gate en de output-gewichten beheert.
3. Invariante Analyse: De auteur identificeert een geconserveerde grootheid (of een grootheid met een specifieke monotone gedraging) die de verschillen in output-gewichten en de input pre-activatie relateert. Dit maakt het mogelijk om te bewijzen dat de pre-activatie van de actieve gate lineair afneemt naar nul in eindige tijd.
4. Clarke Trajectselectie: Zodra de pre-activatie nul bereikt, maakt de auteur gebruik van het Clarke generalized derivative framework. Zij demonstreren dat door de afgeleide van ReLU bij nul als 0 te kiezen (een standaard conventie in automatische differentiatie), het traject een "dode" staat betreedt waarin alle gradiënten verdwijnen en de parameters bevriezen.
5. Fourier Spectrale Analyse: De auteur berekent de Fourier-energieverdeling van de bevroren parametervectoren. Zij tonen aan dat de limiterende richting een scalair veelvoud is van een gecentreerde puntmassa-vector, die de energie gelijkmatig verdeelt over alle niet-nul reële Fourier-klassen.

Belangrijkste Bijdragen en Resultaten

• Weerlegging van Single-Frequency Alignment: Het artikel biedt een negatief antwoord op het probleem gesteld in [Cla26d]. Het construeert een tegenvoorbeeld waarbij de genormaliseerde parameters convergeren naar een limiet die niet wordt ondersteund door een enkele Fourier-klasse. In plaats daarvan wordt de Fourier-energie gelijkmatig verdeeld over alle $p-1$ niet-nul frequentieklassen. Voor $p \ge 5$ is het fractie van de energie in elke enkele klasse $2/(p-1)$, wat strikt minder is dan 1.
• Eindige-Tijd Dood en Bevriezing: Het tegenvoorbeeld demonstreert dat een enkel neuron in een volledig inactieve staat kan raken ("dying ReLU") in eindige tijd. Eenmaal dood, bevriezen de parameters op een limiet die bepaald wordt door de initiële condities en de dynamica die tot de dood leidde.
• Robuustheid en Waarschijnlijkheid: Het tegenvoorbeeld is geen geïsoleerd artefact.
  • Het houdt stand op een open verzameling van initiële condities, wat impliceert dat het voorkomt met een positieve waarschijnlijkheid onder standaard Gaussische initialisatie.
  • Appendix A versterkt deze resultaten door aan te tonen dat:
    • De mislukking optreedt voor elke Clarke-traject vanuit een open verzameling initiële condities (waardoor de noodzaak voor specifieke trajectselectie wordt weggenomen).
    • Het fenomeen standhoudt onder de conventie $\text{ReLU}'(0)=0$.
    • Het ook geldt voor gladde dead-zone benaderingen van ReLU ($C^\infty$ functies die nul zijn voor $z \le 0$).
    • Het voorkomt in fixed-step full-batch gradient descent, waarbij het neuron in één stap sterft.
• Persistent Actief Tegenvoorbeeld: De appendix presenteert ook een "persistent sliding" traject waarbij het neuron actief blijft (één gate blijft positief), maar de genormaliseerde gewichten nog steeds convergeren naar een multi-frequency limiet, waardoor het faalt voor single-frequency alignment zelfs zonder dat het neuron sterft.

Significantie en Claims
Het artikel claimt dat single-frequency, of monosemantische, Fourier-structuur geen algemeen gevolg is van het trainen van een enkel neuron op modulaire optelling.

• Mechanisme van Falen: Het falen komt voort uit twee bekende mechanismen: het neuron dat sterft (een dode regio betreedt) of het neuron dat actief blijft terwijl het effectief één tabelentry "onthoudt" (het $(0,0)$ geval) in plaats van het algemene algoritme te leren. Het persistente traject realiseert de "memorization" zijde van de memorization-to-generalization dichotomie die geassocieerd wordt met grokking in het kleinste mogelijke model.
• Beperkingen: De auteur merkt expliciet op dat hun resultaten steunen op het bestaan van een exacte dode regio in de activatiefunctie. De vraag blijft open voor overal positieve activaties (zoals softplus), waarbij het "sterfmechanisme" niet kan optreden.
• Context: Het werk verheldert dat hoewel Fourier-structuur aanwezig is in de oplossingsruimte, de trainingsdynamica de selectie van een enkele frequentie niet afdwingt. De resultaten onderscheiden het gedrag van single-neuron modellen van de multi-frequency selectiemechanismen waargenomen in bredere netwerken (bijv. breedte $m \ge 4(p-1)$ zoals in [MEO+24]).

Samenvattend stelt het artikel vast dat de hypothese van onvermijdelijke single-frequency alignment in single-neuron modulaire optelling onjuist is, door een concreet tegenvoorbeeld te leveren waarbij de limiterende richting maximaal niet-zuiver is in termen van Fourier-klassen.