🤖 machine learning

The Discrete-Log Clock: How a Transformer Learns Modular Multiplication

Dit artikel으로 toont aan dat de schijnbare complexiteit waarmee transformers modulaire vermenigvuldiging leren een artefact is van het gebruik van de verkeerde analytische basis, wat onthult dat ze in werkelijkheid een spaarzaam, interpreteerbaar "Discrete-Log Klok"-algoritme implementeren door vermenigvuldiging te reduceren tot optelling in de ruimte van multiplicatieve karakters.

Oorspronkelijke auteurs: Huu Danh Nguyen (Stanford University)

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huu Danh Nguyen (Stanford University)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Mysterie: Waarom was de AI "in de war"?

Stel je voor dat je een robot probeert te leren rekenen. Specifiek wil je dat het leert om modulair te vermenigvuldigen (twee getallen met elkaar vermenigvuldigen en alleen de restwaarde behouden bij een deling door een specifief getal, zoals 113).

Lange tijd merkten wetenschappers iets vreemds op. Wanneer de robot eindelijk "het begreep" (een fenomeen genaamd grokking, waarbij het plotseling overgaat van het onthouden van antwoorden naar het begrijpen van de regel), zag de interne wiskunde er rommelig uit.

Het Oude Perspectief: Wanneer wetenschappers naar het brein van de robot keken met standaardinstrumenten, zagen ze een "dichte" bende. Het leek alsof de robot elke mogelijke frequentie van geluid gebruikte om het probleem op te lossen. Het leek chaotisch en moeilijk te begrijpen, in tegenstelling tot hoe hij eenvoudige optelling oploste, wat er netjes en georganiseerd uitzag.
Het Probleen: De wetenschappers keken naar het brein van de robot door de verkeerde bril. Ze gebruikten een "standaard liniaal" die ontworpen is voor optellen, maar de robot was eigenlijk aan het vermenigvuldigen.

De Oplossing: De Lens Veranderen

De auteurs van dit paper realiseerden zich dat je, om vermenigvuldiging te begrijpen, moet stoppen met het bekijken van de getallen zoals ze zijn (1, 2, 3...) en ze moet gaan bekijken als machten van een generator.

Denk hierover na als volgt:

Het Standaard Perspectief (Additief): Stel je een klok voor met getallen 1 tot 12. Als je 1 optelt, beweeg je één stap. Dit is makkelijk te zien.
Het Verborgen Perspectief (Multiplicatief): Stel je nu voor dat de getallen op de klok door elkaar gehusseld zijn. Het getal "1" is eigenlijk een "3", het getal "2" is een "9", enzovoort. In deze gehusselde wereld werkt vermenigvuldiging precies hetzelfde als optellen.

Het paper noemt dit de "Discrete-Log Klok." Het is een geheime code waarbij het rommelige vermenigvuldigingsprobleem transformeert in een eenvoudig optelprobleem.

Wat Ze Vonden (Het "Aha!" Moment)

Toen de onderzoekers het brein van de robot opnieuw onderzochten met deze nieuwe "gehusselde" lens (die ze de multiplicatieve karaktertransformatie noemen), verdween de chaos.

De Ruis Werd een Signaal: In plaats van een rommelig, "dens" spectrum te zien, zagen ze een heel schoon, spaars patroon. De robot gebruikte niet alle frequenties; hij gebruikte slechts 4 specifieke frequenties om de wiskunde uit te voeren. Het was alsof je een enkele, heldere melodie vond in een kamer vol statische ruis.
De Neuronen Raakten Georganiseerd: De robot heeft duizenden kleine verwerkingseenheden (neuronen). In het oude perspectief zagen ze er willekeurig uit. In het nieuwe perspectief waren 97% van hen perfect afgestemd op slechts één van die 4 frequenties. Ze waren als een koor waarbij elke zanger precies weet welke noot hij moet raken.
Het Patroon Kwam Voort: Wanneer ze de gegevens herschikten op basis van deze geheime code, vormde de interne activiteit van de robot perfecte diagonale strepen. Dit bewees dat de robot een specifieke truc had geleerd:
- Stap 1: Converteer de getallen naar hun "geheime code" (discrete logaritmen).
- Stap 2: Tel de codes bij elkaar op (net als normale optelling).
- Stap 3: Converteer het resultaat terug naar het normale getal.

De "Klok" Analogie

Het paper vergelijkt dit met een beroemd "Klok Algoritme" dat wordt gebruikt voor optellen.

Voor Optellen: De robot leert een klokwijzer te laten draaien.
Voor Vermenigvuldiging: De robot leert een andere soort klok te laten draaien (de Discrete-Log Klok). Zodra hij de wijzer op deze speciale klok laat draaien, staat het antwoord direct klaar.

Waarom Hebben Eerdere Wetenschappers Dit Gemist?

Stel je voor dat je naar een liedje probeert te luisteren, maar je draagt een noise-cancelling koptelefoon die alleen de bas doorlaat. Je hoort een dreunend, rommelig geluid en concludeert: "Dit liedje is gewoon ruis."

De vorige onderzoekers droegen die "koptelefoons" (de standaard wiskundige instrumenten). Ze zagen de "dreun" (dens spectrum) en dachten dat de robot een complexe, onverklaarbare methode gebruikte. De auteurs haalden simpelweg de koptelefoon af, schakelden naar de juiste frequentie en realiseerden zich dat de robot eigenlijk een prachtige, eenvoudige melodie speelde.

De Kernboodschap

De belangrijkste les van dit paper gaat niet alleen over wiskunde; het gaat over hoe we naar dingen kijken.

De Les: Als je een complex systeem probeert te begrijpen (zoals een AI of een groep mensen), zorg er dan voor dat je de juiste "taal" of "basis" gebruikt voor de taak.
Het Resultaat: Wanneer je het analyse-instrument afstemt op de werkelijke structuur van het probleem (in dit geval het gebruik van de "multiplicatieve" lens voor vermenigvuldiging), verandert de rommelige, onverklaarbare ruis in een helder, eenvoudig en begrijpelijk algoritme.

De robot heeft geen nieuwe, mysterieuze manier van rekenen uitgevonden. Hij heeft alleen de geheime code gevonden die een moeilijk probleem in een makkelijk probleem verandert, en de onderzoekers hebben eindelijk geleerd hoe ze die code moeten lezen.

Technische Samenvatting: De Discrete-Log Klok

Probleemstelling
Hoewel de interne mechanismen van transformers die modulaire optelling ( $a + b \mod p$ ) leren volledig zijn teruggevormd als ijle Fourier-representaties (het "Clock"-algoritme), is het mechanisme voor modulaire vermenigvuldiging ( $a \cdot b \mod p$ ) een mysterie gebleven. Eerdere empirische studies (Doshi et al., 2024; Furuta et al., 2024) rapporteerden dat transformers getraind op vermenigvuldiging "dichte" Fourier-spectra leren die alle frequenties vereisen, wat scherp contrasteert met de ijle structuur die bij optelling wordt gevonden. Dit suggereerde dat vermenigvuldiging mogelijk steunt op een fundamenteel ander, minder interpreteerbaar algoritme.

Methodologie
De auteurs trainen een 1-laag decoder-only transformer om $a \cdot b \mod 113$ te voorspellen voor inputs $a, b \in \{1, \dots, 112\}$ . Het model wordt getraind op 30% van de data en moet generaliseren naar de resterende 70%, waarbij het "grokking"-fenomeen optreedt: generalisatie vindt plotseling plaats na een lange periode van memorisatie.

De kern van de methodologische innovatie is een verschuiving in de analysebasis. In plaats van de standaard additieve Discrete Fourier Transform (DFT) toe te passen op de token-embeddings, passen de auteurs de multiplicatieve karakter-transformatie toe. Dit houdt in:

Het herkennen dat de niet-nul gehele getallen modulo een priemgetal $p$ een cyclische groep $(\mathbb{Z}/p\mathbb{Z})^*$ vormen.
Het gebruik van een primitieve wortel $g$ (hier $g=3$ ) om inputs te mappen naar hun discrete logaritmen: $\alpha = \log_g(a)$ en $\beta = \log_g(b)$ .
Het herordenen van de rijen van de embedding-matrix volgens deze discrete logaritmen.
Het toepassen van de standaard DFT op deze geherordende data.

Deze aanpak maakt gebruik van de groepsisomorfie waarbij vermenigvuldiging in de oorspronkelijke ruimte overeenkomt met optelling in de discrete-log-ruimte ( $a \cdot b \equiv g^{\alpha + \beta} \mod p$ ).

Belangrijkste Resultaten

Spectrale IJlheid: Wanneer geanalyseerd in de additieve basis, lijkt het embedding-spectrum vlak en dicht (Gini-coëfficiënt 0,07). Echter, in de multiplicatieve karakter-basis wordt het spectrum zeer ijl (Gini-coëfficiënt 0,58), waarbij de energie geconcentreerd is in slechts 4 sleutelfrequenties ( $\{2, 8, 47, 56\}$ ).
Neuron Tuning: In de multiplicatieve basis zijn 96,9% (496/512) van de MLP-neuronen "helder afgestemd" op een enkele frequentie, waarbij meer dan 85% van hun activatie-energie daarop geconcentreerd is. In de additieve basis voldoet nul neuronen aan deze drempelwaarde.
Structurele Visualisatie: Wanneer de heatmap van neuron-activaties wordt geherordend door discrete logaritmen, onthullen deze duidelijke 2D-periodieke diagonale strepen. Dit geeft aan dat de neuronen functies berekenen van de vorm $\cos(k(\alpha + \beta))$ , waarmee ze effectief optelling uitvoeren in de log-ruimte.
SVD-Analyse: De hoofdcomponenten van de embedding-matrix vertonen, wanneer ze geherordend worden door discrete logaritmen, duidelijke sinusvormige structuren, wat de codering van multiplicatieve karakters bevestigt.

Het "Discrete-Log Klok" Algoritme
Het paper concludeert dat de transformer een algoritme implementeert dat analoog is aan het "Clock"-algoritme voor optelling, getermd de Discrete-Log Klok. Het mechanisme verloopt als volgt:

Embedding: Gehele getallen worden geëmbed als sinusvormige functies van hun discrete logaritmen.
Routing: Attention-mechanismen routeren deze embeddings naar de output-positie.
Compositie: De MLP past trigonometrische identiteiten toe om sommen van de discrete logaritmen te berekenen (effectief het optellen van $\alpha + \beta$ ).
Decoding: Het model scoort kandidaat-outputs door ze af te stemmen op de berekende som in de log-ruimte, waarbij het juiste antwoord constructieve interferentie bereikt over de sleutelfrequenties.

Betekenis en Claims
De primaire bijdrage is het aantonen dat het geobserveerde "dichte spectrum" in eerder werk een artefact is van het analyseren van de data in de verkeerde basis, en geen reflectie van algoritmische complexiteit. Door de analysebasis af te stemmen op de algebraïsche structuur van de taak (de multiplicatieve groep), onthullen de auteurs dat vermenigvuldiging wordt gereduceerd tot optelling in de discrete-log-ruimte.

Het paper claimt dat deze methodologie generaliseerbaar is:

Het ijle multiplicatieve spectrum werd bevestigd over 10 verschillende priemgetallen ( $p=59$ tot $113$).
Het mechanisme is universeel over willekeurige seeds (ongeveer 80% van de seeds).
Voorlopige resultaten suggereren dat de aanpak zich uitbreidt naar modulaire exponentiatie ( $a^b \mod p$ ) met behulp van een 2-laags transformer.

De auteurs benadrukken dat voor elke algebraïsche taak het toepassen van de Fourier-transformatie op de relevante groep (in plaats van de standaard additieve DFT) essentieel is om een interpreteerbare structuur te onthullen waar standaardinstrumenten voorheen alleen ruis zagen.