Numbers Already Carry Their Own Embeddings

Technische Samenvatting: Adelic Operation-Preserved Embeddings (AOE)

Probleemstelling
Ondanks recente mijlpalen in wiskundig redeneren door grote taalmodellen (LLM's), blijft er een fundamentele bottleneck bestaan: het "getalprobleem". Huidige architecturen behandelen getallen voornamelijk als reeksen tekens via tokenisatie-schema's zoals Byte Pair Encoding (BPE). Deze aanpak fragmenteert numerieke waarden in willekeurige subwoordeenheden, waardoor de intrinsieke additieve en multiplicatieve relaties die getallen definiëren, verloren gaan. Bijgevolg vertonen modellen broze redeneringen, inconsistente generalisatie en systematische fouten in taken die precisie in rekenkunde vereisen. Hoewel eerdere pogingen continue embeddings of digit-wijze positionele encodings hebben verkend, vertrouwen deze methoden vaak op de hoop dat modellen wiskundige regels impliciet herontdekken tijdens de training, in plaats van ze direct in te bedden.

Methodologie: Adelic Operation-Preserved Embeddings (AOE)
De auteurs stellen AOE voor, een training-vrije representatie die geworteld is in de algebraïsche getaltheorie. In plaats van getallen te tokeniseren, construeert AOE embeddings binnen een Adele-ruimte, die de reële lijn verenigt met de $p$-adische completions van de rationale getallen.

• Wiskundige Fundering: De constructie maakt gebruik van de Adele-ring ($\mathbb{A}_\mathbb{Q}$), waarbij een rationaal getal $q$ wordt gerepresenteerd als een tupel bestaande uit zijn reële waarde ($a_\infty$) en zijn $p$-adische expansies ($a_p$) voor een geselecteerde verzameling priemgetallen.
• Structuurbehoud: Door ontwerp behoudt deze representatie de algebraïsche structuur coördinaatgewijs. Voor alle rationalen $q_1, q_2$:
  • $A(q_1 + q_2) = A(q_1) \oplus A(q_2)$
  • $A(q_1 \cdot q_2) = A(q_1) \otimes A(q_2)$
    Hierbij duiden $\oplus$ en $\otimes$ op coördinaatgewijze operaties op de geconcateneerde reële en $p$-adische vectoren.
• Constructie van de Embedding: Om de embedding voor een rationaal $q = n/m$ te genereren:
  1. Reëel Component: Gerepresenteerd als een vector van lengte-$N$ op de reële lijn.
  2. $p$-adische Componenten: Voor een vaste verzameling priemgetallen berekent de auteur $N$-cijferige $p$-adische expansies. Dit omvat het oplossen van de congruentie $mx \equiv n \pmod{p^N}$ met behulp van Hensel's Lemma om oplossingen iteratief te liften van modulo $p$ naar modulo $p^N$.
  3. Concatenatie: De reële vector en de afgekorte $p$-adische vectoren worden geconcateneerd om een tensor te vormen met de vorm $(n_p + 1) \times N$, waarbij $n_p$ het aantal gekozen priemgetallen is.
• Integratie: AOE is architectuur-agnostisch en "plug-and-play". Het vervangt standaard embedding-lagen in Transformers door vooraf berekende Adelische tensors. Om structurele informatie te behouden, wordt een lichtgewicht 2D positionele encoding toegevoegd, die de sequentiepositie, de priemindex en de digit-index codeert.

Belangrijkste Bijdragen

1. Voorstel van AOE: Een training-vrije, algebraïsch gefundeerde representatie die de numerieke structuur direct respecteert zonder dat taakspecifieke hertraining nodig is.
2. Aanpak van het "Getalprobleem": Het werk frameert AOE als een principiële oplossing voor de numerieke representatie-bottleneck in AI, wat een pad biedt om de beperkingen van token-gebaseerde benaderingen te overwinnen.
3. Empirische Validatie: De auteurs demonstreren dat Transformers uitgerust met AOE de standaard baselines overtreffen op benchmarks voor algebraïsche combinatoriek, waarbij ze perfecte nauwkeurigheid bereiken op taken waar voorheen modellen faalden.

Experimentele Resultaten
De auteurs evalueerden AOE op de Algebraic Combinatorics Dataset (ACD), een benchmark ontworpen voor onderzoeksniveau conjecturen in de algebraïsche combinatoriek. De experimenten vergeleken een standaard Transformer-baseline (gebruikmakend van trainbare nn.Embedding en sinusvormige positionele encodings) met een AOE-uitgeruste Transformer (gebruikmakend van vaste, vooraf berekende Adelische tensors).

• Prestaties: Over zes classificatietaken heen (inclusief lattice paths, quiver mutation classes en Schubert polynomials) presteerde het AOE-model consistent beter dan de baseline.
• Opmerkelijke Prestatie: Het AOE-model behaalde 100% nauwkeurigheid op de Weaving Patterns benchmark (voor $n=6$ en $n=7$), een taak waarbij de baseline slechts ~53% behaalde en die historisch gezien resistent bleef tegen grootschalige taalmodellen.
• Generalisatie: Verbeteringen varieerden van bescheiden winsten (bijv. lattice paths) tot dramatische sprongen (bijv. Schubert polynomials en quiver mutation classes), waarbij lagere testverliezen duidden op een betere modelkalibratie.
• Efficiëntie: Hoewel AOE computationele overhead introduceert (de training is ongeveer 4–5 keer langzamer door pre-computatie en 2D positionele encoding), werden de prestatiewinsten behaald zonder het aantal leerbare parameters te verhogen; sterker nog, de baseline had meer trainbare parameters.

Betekenis en Claims
Het artikel stelt dat getallen inherent de structuur bevatten die nodig is voor hun eigen representatie. Door deze structuur expliciet te maken via AOE, kunnen neurale modellen een niveau van betrouwbaarheid op symbolische wiskundige taken bereiken dat zelfs de grootste LLM's ontgaat.

De auteurs argumenteren dat de toekomst van AI-redeneren afhangt van het inbedden van de wiskundige structuren van objecten zelf, in plaats van enkel de taal die gebruikt wordt om ze te beschrijven. AOE dient als een bewijs van concept dat ideeën uit de algebraïsche getaltheorie als plug-and-play componenten in neurale architecturen kunnen fungeren, wat een pad suggereert om symbolische strengheid te verenigen met neurale schaalbaarheid.

Beperkingen Erkend door de Auteurs

• Scope: Het huidige framework is beperkt tot rationale getallen ($\mathbb{Q}$) vanwege de definitie van de Adele-ring. Het uitbreiden naar irrationale getallen, complexe waarden of transcendente constanten vereist nieuwe theoretische instrumenten.
• Hyperparameters: De selectie van priemgetallen en digit-precisie is momenteel heuristisch en handmatig; meer adaptieve strategieën zijn nodig voor efficiëntie.
• Computationele Kosten: De pre-computatie en 2D positionele encoding verhogen de trainingstijd aanzienlijk vergeleken met standaard embeddings.