IntSeqBERT: Learning Arithmetic Structure in OEIS via Modulo-Spectrum Embeddings

Het paper introduceert IntSeqBERT, een dubbelstroom Transformer-model dat door het combineren van logaritmische magnitude-embeddings en modulo-embeddings de rekenkundige structuur van geheeltallige rijen in de OEIS effectiever leert dan standaard modellen, wat leidt tot aanzienlijk betere voorspellingen van volgende termen via een op het Chinese Reststelling-gebaseerde solver.

De kern

🧠 De Wiskundige Gokker: IntSeqBERT

Stel je voor dat je een enorme bibliotheek hebt vol met rijen getallen. Dit is de OEIS (de Online Encyclopedia of Integer Sequences). In deze bibliotheek staan rijen die variëren van simpele patronen (zoals 1, 2, 3, 4...) tot onbegrijpelijk grote getallen, zoals de hoeveelheid manieren om een heel groot aantal sterren te rangschikken (factoren en exponenten).

Het probleem voor computers is dat ze deze getallen vaak niet begrijpen. Voor een standaard computerprogramma is het getal 1.000.000 slechts een woordje in een woordenboek. Als ze een getal zien dat ze niet kennen (bijvoorbeeld 10.000.000.000), raken ze in de war en zeggen ze: "Ik heb dit woord nog nooit gehoord."

IntSeqBERT is een nieuwe, slimme computer die deze bibliotheek leest, maar op een heel andere manier dan zijn voorgangers.

🎻 Twee Sporen in plaats van Eén

Stel je voor dat je een symfonieorkest hebt. Een standaard computer (de "Vanilla Transformer") luistert alleen naar de melodie (de grootte van de getallen). Maar IntSeqBERT luistert naar twee dingen tegelijk:

1. De Grootte (De Melodie): Hoe groot is het getal? Is het klein als een muis of groot als een olifant?
2. De Rest (Het Ritme): Dit is het geheim. Als je getallen deelt door andere getallen (bijvoorbeeld door 2, 3, of 7), wat is dan de rest?
   • Analogie: Denk aan een klok. Als het 13:00 uur is, is dat op de klok 1:00 uur. De "grootte" is 13, maar de "klok-positie" is 1. Veel wiskundige patronen verstoppen zich in deze klok-positie (de rest), niet in de enorme grootte.

IntSeqBERT kijkt naar 100 verschillende klokken tegelijk (van 2 uur tot 101 uur). Het leert dat als een getal op de "2-uurs klok" een rest van 0 heeft, het een even getal is. Als het op de "3-uurs klok" een rest van 1 heeft, is het een specifiek type oneven getal.

🧩 De Puzzel Oplossen: De "Solver"

Het doel van het spel is: "Hier zijn de eerste 10 getallen van een rij. Wat is het 11e getal?"

1. De Standaard Computer: Probeer het 11e getal te raden door te kijken naar zijn woordenlijst. Als het antwoord een getal is dat niet in zijn lijst staat (bijvoorbeeld een heel groot getal), raadt hij verkeerd.
2. IntSeqBERT:
   • Het schat eerst hoe groot het getal ongeveer is (de "grootte").
   • Het berekent de resten voor al die 100 klokken (de "ritmes").
   • Dan komt de Solver (de puzzeloplosser) in actie. Deze gebruikt een oude wiskundige truc, de Chinese Reststelling.
   • Analogie: Stel je voor dat je een sleutel zoekt. Je weet niet precies hoe hij eruitziet, maar je weet dat hij:
     • Op de "2-klok" past (even getal).
     • Op de "3-klok" past (rest 1).
     • Op de "5-klok" past (eindigt op 0 of 5).
       De Solver combineert al deze hints om de unieke sleutel (het getal) te vinden die aan alle regels tegelijk voldoet.

🏆 Wat hebben ze ontdekt?

De onderzoekers hebben getest hoe goed dit werkt en ontdekten drie interessante dingen:

1. Het Ritme is Koning: De computer werd veel beter in het raden van getallen toen hij naar de "klokken" (de resten) keek. Zonder deze klokken was hij veel minder succesvol. Het bewijst dat wiskundige patronen vaak beter te zien zijn in de rest van een deling dan in het getal zelf.
2. Samenwerking werkt: De "grootte" en de "klokken" werken samen. Als je weet dat een getal een rest van 1 heeft bij deling door 100, helpt dat de computer om de grootte van het getal beter te schatten. Het is alsof je een raadsel oplost: als je weet dat het antwoord een "paard" is, is het makkelijker om te raden of het een "klein paard" of een "groot paard" is.
3. Grotere hersenen = Beter ritme: Hoe groter het model (meer parameters), hoe beter het werd in het begrijpen van deze complexe ritmes. De grootte van de getallen werd al snel goed voorspeld, maar het begrijpen van de complexe patronen (de resten) bleef verbeteren naarmate het model groeide.

🚀 Het Resultaat

In de test bleek IntSeqBERT 7,4 keer beter dan de oude methode om het volgende getal in een rij te voorspellen.

• De oude methode had maar 2,6% kans op een goed antwoord.
• IntSeqBERT had bijna 19% kans.

Dat klinkt misschien niet als 100%, maar in de wereld van wiskundige voorspellingen met enorme getallen is dit een enorme sprong voorwaarts. Het laat zien dat als je computers leert om naar de "resten" (de muziek van de getallen) te luisteren in plaats van alleen naar de "woorden" (de getallen zelf), ze veel slimmer worden in het ontdekken van wiskundige geheimen.

Kortom: IntSeqBERT is een computer die niet alleen naar de grootte van getallen kijkt, maar ook naar hun "klok-ritme", waardoor het veel beter kan voorspellen wat er als volgende in een wiskundige rij komt.

Technische samenvatting

Probleemstelling

De On-Line Encyclopedia of Integer Sequences (OEIS) bevat honderdduizenden rijen gehele getallen die variëren van enkele cijfers tot astronomisch grote getallen (zoals factorials en exponentiële reeksen). Het voorspellen van deze rijen is uitdagend voor standaard getokeniseerde Transformer-modellen om de volgende redenen:

1. Out-of-Vocabulary (OOV) Problemen: Standaard tokenisatie kent elk getal een discrete token toe. Dit faalt bij getallen die buiten het vaste vocabulair vallen (bijv. getallen groter dan 20.000), wat leidt tot het gebruik van een "UNKNOWN"-token en het verlies van numerieke informatie.
2. Gebrek aan Arithmetische Structuur: Token-ID's verbergen de onderliggende wiskundige relaties (zoals periodieke patronen, restklassen en multiplicatieve structuren). Modellen moeten deze structuren "vanaf nul" leren, wat inefficiënt is, vooral bij grootschalige groeiende reeksen.
3. Heterogeniteit: De reeksen vertonen extreme variatie in schaal (verschillen van tientallen ordes van grootte) en verschillende wiskundige eigenschappen (pariteit, combinatorische patronen).

Methodologie: IntSeqBERT

De auteurs stellen IntSeqBERT voor, een dual-stream Transformer-encoder die is ontworpen voor gemaskeerde modellering van gehele getallenreeksen. In plaats van getallen te tokeniseren, encodeert het model elk element langs twee complementaire assen:

1. Magnitude Stream (Grootte):

   • Een continue embedding op logaritmische schaal van de absolute waarde ($1 + \log_{10}|x_i|$).
   • Dit vangt de groeigedragingen en de schaal van de getallen op.
   • Voor extreem grote getallen wordt het aantal decimalen gebruikt in plaats van de exacte waarde om overflow te voorkomen.

2. Modulo Stream (Restklassen):

   • Sinus/cosinus embeddings voor 100 verschillende restklassen (moduli $m = 2$ tot $101$).
   • Voor elke modulus $m$ wordt de rest $r = x_i \mod m$ geëmbed als een punt op de eenheidscirkel: $\phi_m(r) = [\sin(2\pi r/m), \cos(2\pi r/m)]$.
   • Dit vangt periodieke en getaltheoretische structuren in, onafhankelijk van de grootte van het getal.

3. Fusie via FiLM:

   • De twee streams worden samengevoegd via FiLM (Feature-wise Linear Modulation). De modulo-embedding genereert schaal- ($\gamma$) en verschuifingsparameters ($\beta$) die de magnitude-stream moduleren. Dit stelt het model in staat om de grootte-voorspelling te conditioneren op de arithmetische restklassen.

4. Trainingsdoel en Solver:

   • Het model wordt getraind met een multi-task loss bestaande uit: magnitude-regressie, teken-classificatie (+/-/0) en modulo-classificatie voor 100 moduli.
   • Solver: Om concrete gehele getallen te voorspellen, gebruikt een probabilistische solver op basis van de Chinese Reststelling (CRT). Deze combineert de voorspelde grootte, het teken en de verdelingen van de 100 restklassen om de meest waarschijnlijke integer te reconstrueren.

Belangrijkste Bijdragen

1. Architectuur: Een dual-stream Transformer die continue magnitude-embeddings combineert met expliciete modulo-spectra via FiLM. Dit overwint de beperkingen van tokenisatie voor grote getallen en multiplicatieve structuren.
2. Getaltheoretische Inzicht: Een analyse van het modulo-spectrum toont een sterke negatieve correlatie ($r = -0.851$) tussen de Normalized Information Gain (NIG) en de verhouding van de Euler-totientfunctie ($\phi(m)/m$). Dit bewijst empirisch dat samengestelde moduli (compositen) arithmetische structuren efficiënter vastleggen via CRT-aggregatie dan priemgetallen.
3. Schalingsgedrag: Het onderzoek toont aan dat de prestaties op modulo-voorspelling en de Solver-accuraatheid sterker verbeteren met toenemende modelgrootte dan de magnitude-voorspelling alleen. Dit suggereert dat arithmetisch redeneren meer baat heeft bij extra modelcapaciteit.

Resultaten

Het model werd getraind op 274.705 OEIS-reeksen en geëvalueerd op drie modelgroottes (Small, Middle, Large). De resultaten voor het Large-model (91,5M parameters) zijn opmerkelijk:

• Magnitude Accuratie: 95,85% (een verbetering van +8,9 punten ten opzichte van een standaard tokeniseerde Transformer-baseline).
• Mean Modulo Accuracy (MMA): 50,38% (+4,5 punten verbetering).
• Solver Voorspelling (Next-Term): De solver bereikt een Top-1 nauwkeurigheid van 19,09%, wat een 7,4-voudige verbetering is ten opzichte van de baseline (2,59%).
• Ablatie-studie: Het verwijderen van de modulo-stream (Ablation model) leidt tot een daling van 15,2 punten in MMA en een daling van 6,2 punten in magnitude-accuratie, wat aantoont dat de modulo-informatie essentieel is voor zowel periodieke als grootte-voorspellingen.
• Schaal-invariantie: De baseline faalt catastraal bij grote getallen (buiten het vocabulair), terwijl IntSeqBERT consistent presteert, zelfs bij getallen in de orde van $10^{20}$ en hoger, hoewel de solver bij de allergrootste getallen nog beperkingen heeft.

Betekenis en Conclusie

IntSeqBERT demonstreert dat het expliciet inbouwen van wiskundige structuur (via modulo-embeddings) superieur is aan het proberen deze structuren te leren uit ruwe token-sequenties. De methode biedt een robuust kader voor het modelleren van integer sequences die variëren in schaal en complexiteit.

De belangrijkste implicaties zijn:

• Efficiëntere Representatie: Modulo-spectra fungeren als krachtige features die de diepte van het netwerk vereist om multiplicatieve structuren te leren, drastisch reduceren.
• Toekomstige Toepassingen: De embeddings kunnen dienen als een rijke feature-backbone voor downstream taken zoals het genereren van wiskundige conjecturen of het automatisch bewijzen van stellingen.
• Beperkingen: De huidige solver heeft moeite met zeer grote getallen ($|x| \ge 10^{20}$) omdat kleine fouten in de modulo-voorspellingen leiden tot mislukte reconstructies via de Chinese Reststelling. Toekomstig werk richt zich op benaderende CRT-methoden om dit op te lossen.

Kortom, IntSeqBERT markeert een stap voorwaarts in "AI for Mathematics" door de brug te slaan tussen continue deep learning en discrete getaltheorie.