🤖 machine learning

Prime Fourier Embeddings: A Principled Basis for Modular Arithmetic

Dit artikel introduceert Prime Fourier Embeddings (PFE), een fundamentele representatie die gehele getallen codeert met behulp van priem-geïndexeerde harmonische componenten om algebraïsche structuren op natuurlijke wijze bloot te leggen, waardoor modulaire rekenkunde kan worden opgelost via kanaalselectie met theoretische garanties van equivariantie en empirisch bewijs van extreme kanaalspecialisatie en perfecte nauwkeurigheid op vrij vierkante samengestelde moduli.

Oorspronkelijke auteurs: Hyunsang Hwang, Suhyun Bae, Donghun Lee

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hyunsang Hwang, Suhyun Bae, Donghun Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Een Robot Leren Rekenen

Stel je voor dat je een robot probeert te leren hoe hij moet omgaan met modulaire rekenkunde (zoals een klok: als het 10 uur is en je telt er 5 uur bij op, dan is het 3 uur).

Standaard AI-modellen beginnen meestal met een "leeg blad". Ze krijgen getallen aangeleverd als generieke lijsten met getallen (embeddings) en moeten de regels van de wiskunde zelf ontdekken door naar miljoenen voorbeelden te kijken. Dit is moeilijk. Het paper merkt op dat deze modellen vaak eerst de antwoorden uit het hoofd leren en pas na een lange tijd plotseling "het begrijpen" — een fenomeen dat de auteurs "grokking" noemen. Het is als een student die een tafel van vermenigvuldiging uit het hoofd leert, maar pas jaren later begrijpt waarom 3 keer 4 gelijk is aan 12.

De auteurs stellen dat dit gebeurt omdat de robot niet over de juiste "gereedschappen" beschikt om de structuur van getallen te zien.

De Oplossing: Prime Fourier Embeddings (PFE)

De auteurs hebben een nieuwe manier ontwikkeld om getallen te representeren, genaamd Prime Fourier Embeddings (PFE).

Denk aan getallen niet als losse blokken, maar als een symfonie van verschillende frequenties.

In de standaard wiskunde denken we vaak in het tientallig stelsel (zoals onze vingers). Maar het paper zegt dat het tientallig stelsel rommelig is omdat 10 een mix is van 2 en 5.
PFE breekt getallen af in hun primaire ingrediënten (zoals 3, 5, 7, 11, enzovoort).

De Analogie: De Radiozender
Stel je het getal 21 voor.

In standaard AI is 21 gewoon een generiek signaal.
In PFE wordt 21 uitgezonden op twee specifieke radiozenders: Zender 3 en Zender 7 (omdat $3 \times 7 = 21$ ).
Het getal wordt gecodeerd als een paar golven (sinus en cosinus) voor elk priemgetal.

Wanneer je twee getallen bij elkaar optelt in dit systeem, vindt de wiskunde van nature plaats op deze specifie specifieke radiozenders. Als je sommen maakt modulo 21, hoeft de AI alleen maar te luisteren naar Zender 3 en Zender 7. De AI hoeft niet naar Zender 5 of Zender 11 te luisteren.

De Grote Ontdekking: De "Blokdiagonaal"-regel

Het meest opwindende deel van het paper is een wiskundig bewijs over hoe dit systeem werkt.

De auteurs bewezen dat als een AI dit PFE-systeem gebruikt, het wiskundig gedwongen wordt om elk priemgetal te behandelen als een aparte, onafhankelijke kamer.

De Regel: De AI kan de informatie van "Zender 3" niet mengen met die van "Zender 5". Ze bevinden zich in verschillende, afgesloten kamers.
Het Resultaat: Als de taak is om een probleem op te lossen dat betrekking heeft op het getal 21, moet de AI de kamers voor 3 en 7 gebruiken. De kamers voor 5, 11 en 13 zullen volledig leeg en ongebruikt blijven.

Dit is als een Chinese Reststelling (een beroemde wiskundige regel) die direct in het brein van de AI is ingebouwd. De AI hoeft niet zelf te ontdekken dat 21 bestaat uit 3 en 7; de structuur van de input dwingt de AI om dit onmiddellijk te zien.

De Experimenten: Werkt het?

De onderzoekers testten dit door AI-modellen te trainen op verschillende wiskundeproblemen en vervolgens "chirurgie" uit te voeren op het model (onderdelen verwijderen) om te zien wat er gebeurde.

De "Chirurgie"-test: Ze zetten het "Zender 3"-kanaal uit in een model dat een probleem probeerde op te lossen met betrekking tot het getal 3.
- Resultaat: De prestaties van het model stortten in.
- Contrast: Wanneer ze "Zender 5" uitzetten (die niet nodig was voor dat specifieke probleem), gaf het model er totaal niet om.
- De Ratio: Het verschil in belang tussen het "nodige" kanaal en het "nutteloze" kanaal was meer dan 500 keer. Dit bewijst dat de AI strikt de juiste kanalen gebruikt en de rest negeert.
Perfecte Scores: Voor alle complexe wiskundeproblemen die ze testten (met behulp van getallen bestaande uit verschillende priemcombinaties), behaalden de modellen 100% nauwkeurigheid op de testdata. Ze hebben niet alleen uit het hoofd geleerd; ze generaliseerden perfect omdat de wiskunde in de input was ingebouwd.

Waarom dit Belangrijk is

Het paper betoogt dat we niet gewoon data in een "black box" moeten gooien en hopen dat het de regels van de wiskunde leert. In plaats daarvan moeten we de input ontwerpen om overeen te komen met de wiskundige structuur van het probleem.

De Oude Manier: Geef de AI een generieke lijst met getallen en hoop dat hij ontdekt dat $10 = 2 \times 5$ .
De Nieuwe Manier (PFE): Geef de AI een set gespecialiseerde instrumenten (priemkanalen) waarbij de wiskunde al gescheiden en georganiseerd is.

Door dit te doen, slaat de AI de lange, verwarrende "grokking"-fase over en gaat hij direct over tot begrijpen. Het verandert een moeilijk probleem van "ontdekking" in een eenvoudig probleem van "selectie" (het simpelweg kiezen van de juiste radiozender).

Samenvatting

Het paper introduceert een nieuwe manier om getallen aan AI te voeden die de natuurlijke "priemgetal"-structuur van de wiskunde respecteert. Dit dwingt de AI om zijn denken te organiseren in onafhankelijke kanalen voor elk priemgetal. Het resultaat is een AI die modulaire rekenkunde direct, perfect en zonder de verwarring die standaardmodellen teistert, begrijpt. Het is een bewijs dat als je de juiste wiskundige fundering in je AI bouwt, deze de wiskunde correct uitvoert door ontwerp.

Technische Samenvatting: Prime Fourier Embeddings

Probleemstelling

Standaard neurale embeddings falen vaak in het blootleggen van de inherente algebraïsche structuur van gehele getallen, met name met betrekking tot modulaire rekenkunde. Hoewel de Chinese Reststelling (CRS) dicteert dat optelling modulo een samengesteld getal $N$ uiteenvalt in onafhankelijke optellingen modulo zijn priemfactoren, weerspiegelen standaard geleerde embeddings deze decompositie niet op natuurlijke wijze. Bijgevolg lijden modellen die getraind zijn op taken met modulaire rekenkunde vaak onder "grokking"—een fenomeen waarbij modellen een langdurige memorisatiefase ondergaan voordat ze plotseling generaliseren. Deze vertraging wordt toegeschreven aan een representationeel falen: wanneer de input het gebrek heeft aan expliciete priem-lokale structuur, moet het netwerk deze algebraïsche relaties vanaf nul reconstrueren via gradiëntafdaling, een proces dat data-intensief en fragiel is.

Bestaande benaderingen hebben beperkingen: continue encodings (bijv. xVal) behouden de grootte maar verliezen periodiciteit, terwijl periodieke benaderingen zoals Fourier Number Embeddings (FoNE) vaak samengestelde bases (bijv. base-10) gebruiken die verschillende priemstructuren (bijv. 2-adische en 5-adische) verstrengelen binnen gedeelde kanalen, waardoor ze er niet in slagen de priem-lokale informatie te isoleren.

Methodologie: Prime Fourier Embeddings (PFE)

De auteurs introduceren Prime Fourier Embeddings (PFE), een principieel embedding-schema afgeleid van de harmonische analyse van de rationale getallen $\mathbb{Q}$ .

Constructie: PFE codeert een geheel getal $a$ als een collectie priem-geïndexeerde $(\cos, \sin)$ paren. Voor een priem $p$ en diepte $d$ (waarbij $0 \le d < D$ ), is de embedding gedefinieerd als:
$\text{PFE}_{p,d}(a) = \left[ \cos\left(\frac{2\pi a}{p^{d+1}}\right), \sin\left(\frac{2\pi a}{p^{d+1}}\right) \right] \in \mathbb{R}^2$
Dit komt overeen met de reële decompositie van het karakter $\chi_1$ van de groep $\mathbb{Z}/p^{d+1}\mathbb{Z}$ .
Theoretische Basis: Het ontwerp wordt gemotiveerd door Pontryagin-dualiteit en de factorisatie van adelische karakters. De embedding implementeert direct lokale $p$ -adische karakters, wat ervoor zorgt dat de residu-structuur van elk geheel getal leesbaar is vanuit het corresponderende priemkanaal zonder kruis-priem koppeling.
Implementatie: In experimenten gebruiken de auteurs een vaste set van 16 priemgetallen ( $P_0 = \{3, \dots, 59\}$ ) en een diepteplafond van $D=3$ , wat resulteert in een embedding-dimensie van 96. De embedding-features zijn deterministisch en niet-trainbaar.

Belangrijkste Theoretische Bijdragen

Het artikel stelt een rigoureuze structurele garantie vast voor elke lineaire afbeelding die opereert op PFE:

Block-Diagonal Decomposition Theorem (Theorem 3.1): Elke lineaire afbeelding $W$ $W$ die equivariant is met betrekking tot de productgroep-actie op PFE, moet blok-diagonaal zijn.
- Er is één onafhankelijk blok per priem $p$ en diepte $d$ .
- Er is nul koppeling tussen blokken van verschillende priemgetallen.
- Er is nul koppeling tussen blokken van verschillende dieptes binnen hetzelfde priemgetal.
Bewijsmethode: Dit resultaat volgt uit Schur's Lemma. Elk PFE-blok vertegenwoordigt een niet-isomorfe irreducibele representatie (een karakter) van de additieve groep $\mathbb{Z}$ . Omdat de karakters voor verschillende $(p, d)$ paren niet-isomorf zijn, moet elke equivariante intertwiner tussen hen nul zijn.
CRS Voorspelling: Voor een taak met modulus $N = p_1 \cdots p_k$ , voorspelt de theorie dat alleen de $k$ priemkanalen die overeenkomen met de factoren van $N$ relevante informatie voor de taak zullen dragen, terwijl alle andere kanalen irrelevant blijven.

Experimentele Resultaten

De auteurs valideren deze voorspellingen door middel van systematische ablatie-studies op modulaire optellingstaken $(a+b) \mod N$ .

Experiment 1 (Single-Prime Taken): Modellen werden getraind op taken met variërende priemmoduli. Wanneer de specifieke priemrij die overeenkomt met de taakmodulus werd geablateerd (op nul gezet), daalde de testnauwkeurigheid aanzienlijk. In contrast hiermee veroorzaakte het ablateren van irrelevante priemrijen een bijna nul-effect op de nauwkeurigheid.
- Resultaat: Specialisatieverhoudingen (diagonale daling versus off-diagonale daling) overstegen 500 $\times$ in de meeste configuraties, wat bevestigt dat het netwerk alleen het relevante priemkanaal gebruikt.
Experiment 2 (Samengestelde Moduli):vi Modellen werden getraind op samengestelde moduli zonder kwadratische factoren (bijv. $N=15, 21, 105$ $N = 15, 21, 105$ ).
- Resultaat: Het ableren van de priemfactoren van $N$ veroorzaakte grote nauwkeurigheidsdalingen, terwijl het ableren van niet-factoren een verwaarloosbare impact had. De factor/niet-factor verhouding oversteeg ook hier weer de 500 $\times$ .
- Nauwkeurigheid: De modellen bereikten 100% in-distribution testnauwkeurigheid voor alle geteste samengestelde moduli zonder kwadratische factoren en inputbereiken (mits het inputbereik voldoende groot was ten opzichte van $N$ ).

Betekenis en Claims

Het artikel beweert dat PFE het leren van modulaire rekenkunde transformeert van een representatieve ontdekkingsprobleem naar een selectieprobleem.

Geprincipeerd vs. Arbitrair: In tegenstelling tot heuristische frequentiekeuze is de priembasis wiskundig gegrond in de adelische Fourier-decompositie van $\mathbb{Q}$ . Dit zorgt ervoor dat de noodzakelijke algebraïsche structuur aanwezig is vanaf de initialisatie.
Mechanistische Interpreteerbaarheid: Het werk toont aan dat de vormgeving van embeddings gestuurd kan worden door de wiskunde van de objecten die zij representeren. De interne structuur van het netwerk wordt gekarakteriseerd vóór de training (via representatietheorie) en geverifieerd ná de training (via gerichte ablaties).
Falsifieerbare Theorie: Het Block-Diagonal Decomposition Theorem biedt een bewijsbaar structureel verband op het gedrag van netwerken. De empirische bevestiging van dit verband biedt een pad naar meer betrouwbare en transparante numerieke redeneringen in neurale netwerken, waarbij men verder gaat dan post-hoc observatie naar wiskundig gefundeerde theorie.

De auteurs merken op dat hoewel de blok-diagonale structuur bewezen is, het specifieke mechanisme waarmee gradiëntafdaling convergeert naar een equivariante oplossing (in plaats van symmetrie te breken) een open vraag blijft voor toekomstig onderzoek.