Technische Samenvatting: Efficiënt Numeriek Vermogen in Taalmodellen via Eén-token Getalcoderingen

Probleemstelling

Grote Taalmodellen (LLMs) worstelen momenteel met het efficiënt verwerken van numerieke data en het oplossen van complexe berekeningen. Hoewel geavanceerde modellen hoge nauwkeurigheid kunnen behalen bij rekenkundige taken, vertrouwen ze vaak op twee inefficiënte strategieën:

1. Gebruik van Externe Hulpmiddelen: Het uitbesteden van berekeningen aan rekenmachines of code-interpreters. Dit introduceert latentie, potentiële fouten bij de selectie van hulpmiddelen en verhindert dat het model tijdens een forward pass tussentijdse numerieke representaties genereert.
2. Redeneerketens: Het genereren van uitgebreide stap-voor-stap tekst om problemen op te breken. Zoals geïllustreerd in het artikel, kan het oplossen van één enkele vermenigvuldiging tienduizenden tokens vereisen, wat de complexiteit en lengte van oplosbare problemen beperkt vanwege contextvenster- en kostenbeperkingen.

De geïdentificeerde oorzaak is de standaard tokenisatiestrategie, die getallen behandelt als tekst en ze splitst in meerdere subwoord-tokens (bijvoorbeeld cijfers of tripletten). Deze fragmentatie verstoort de interne logica die nodig is voor rekenkunde, zoals het doorgeven van overdrachten, en dwingt modellen om inefficiënte algoritmen te leren.

Methodologie

1. Evaluatie van Geavanceerde LLM's

De auteurs hebben eerst acht geavanceerde LLM's (waaronder GPT-5, Gemini 2.5, DeepSeek v3.1 en Llama 4) getoetst aan negen numerieke taken: vergelijking (Min/Max, Interval, Sorteren), basisrekenkunde (Optellen, Vermenigvuldigen, Delen) en meerstapsbewerkingen (Exponentiëren, Gemiddelde, Standaardafwijking).

• Vondsten: Modellen zonder redeneervermogen presteerden slecht bij vermenigvuldiging, deling en exponentiëren (vaak <60% log-sMAPE). Modellen met "Maximaal" redeneervermogen behaalden een hogere nauwkeurigheid, maar ten koste van het genereren van 5.000 tot 30.000 tokens per berekening.
• Maatstaf: Het artikel introduceert log-sMAPE, een maatstaf die het fractie van significante cijfers meet die correct zijn voorspeld voordat de eerste fout optreedt, en zo een gedetailleerder beeld geeft van numerieke precisie dan exacte overeenkomstnauwkeurigheid.

2. Vereisten voor Eén-token Coderingen

Om de inefficiënties van de huidige tokenisatie aan te pakken, stellen de auteurs een reeks van negen vereisten (Desiderata) voor een ideale één-token getalcodering:

• D1 (Token-efficiëntie): Één token per getal.
• D2 (Uniciteit): Bijectieve mapping tussen waarde en codering.
• D3 (Structuur): Meetkunde die numerieke orde en afstand weerspiegelt.
• D4 (Schaalinvariantie): Ondersteuning voor brede bereiken en precisies.
• D5 (Normalisatie): Beperkt en stabiel onder LayerNorm/RMSNorm.
• D6 (Stabiliteit): Robuust tegen activaties met lage precisie (bijv. FP8).
• D7 (Continuïteit): Gladde variatie met onderliggende waarden.
• D8 (Robuustheid): Betrouwbare decoding onder ruis.
• D9 (Rekenkunde): Toestaan van leerbare algoritmen voor kernbewerkingen.

3. Analyse van Bestaande Benaderingen

Het artikel analyseert twee bestaande één-token strategieën:

• xVal: Schaalt een geleerde token op basis van de numerieke waarde. Dit faalt bij D4 (beperkt bereik/precisie) en D6 door normalisatiebeperkingen.
• FoNE: Gebruikt Fourier-features (sinusvormige functies) om getallen te coderen. Hoewel dit voldoet aan de meeste desiderata, bewijzen de auteurs via Propositie 4.3 dat sinusvormige coderingen een eenvoudige, lokale mapping voor vermenigvuldiging missen. Vermenigvuldiging in deze ruimte vereist een computatief intensief, niet-lokaal decoding-, convolutie- en hercoderingsproces, waardoor het ongeschikt is voor efficiënt leren door neurale netwerken.

4. Voorgestelde Oplossing: BitTokens

De auteurs introduceren BitTokens, een nieuwe coderingsstrategie gebaseerd op het IEEE 754 double-precision binary floating-point formaat.

• Codering: Een getal wordt weergegeven als één token met een 64-dimensionale vector die overeenkomt met het tekenbit (1), exponentbits (11) en significandbits (52).
• Constructie: De binaire vector wordt geschaald naar $[-1, 1]$ om te voldoen aan normalisatiebeperkingen (D5) en toegevoegd aan een leerbare [NUM] token-embedding.
• Reciproque Augmentatie: Om het leren van deling te faciliteren, wordt de binaire representatie van het omgekeerde van het getal aan de codering gekoppeld.
• Decoding: Een speciale "getalkop" (lineaire laag + sigmoid) voorspelt de binaire vector vanuit de verborgen toestand. Een vaste drempelwaarde (0,5) genereert de binaire output.
• Verlies: Training gebruikt Bit-wise Binary Cross-Entropy (BCE) in plaats van regressie op de gereconstrueerde waarde, aangezien laatstgenoemde onhaalbaar is vanwege grootte- en drempelproblemen.

Belangrijkste Bijdragen

1. Systematische Evaluatie: Aangetoond dat geavanceerde LLM's overmatig vertrouwen op redeneertokens voor rekenkunde, wat de noodzaak benadrukt van intrinsieke numerieke capaciteiten.
2. Theoretisch Kader: Een set van negen desiderata voor één-token coderingen vastgesteld en theoretisch bewezen dat sinusvormige coderingen (FoNE) fundamenteel ongeschikt zijn voor vermenigvuldiging vanwege non-localiteit en computatieve complexiteit.
3. BitTokens Implementatie: Een deterministische, IEEE 754-gebaseerde codering voorgesteld en gevalideerd die voldoet aan de desiderata, waardoor zelfs kleine modellen rekenkundige algoritmen kunnen leren.

Resultaten

Experimenten werden uitgevoerd met nanoGPT-2 modellen (117M parameters) die vanaf nul werden getraind op 30 miljoen samples per taak, gecombineerd met tekstdata (FineWeb).

• Prestaties: BitTokens behaalden bijna perfecte prestaties (log-sMAPE > 0,98) bij vergelijking en éénstaps rekenkundige taken (Optellen, Vermenigvuldigen, Delen), en presteerden aanzienlijk beter dan subwoord-, enkel-cijfer-, xVal- en FoNE-baselines.
• Efficiëntie: BitTokens verlaagden de tokenkosten voor rekenkundige taken tot één token, vergeleken met de duizenden die door redeneerketens worden vereist.
• Beperkingen:
  • Meerstaps Taken: BitTokens hadden moeite met complexe meerstaps taken zoals Gemiddelde, Standaardafwijking en Exponentiëren in één enkele forward pass. De auteurs schrijven dit toe aan de beperkte capaciteit van het model om hoog-precisie resultaten te comprimeren in één enkele latente stap, terwijl multi-token modellen antwoorden iteratief kunnen verfijnen over meerdere forward passes.
  • Vergelijking: Bij de Gemiddelde-taak presteerden traditionele multi-token methoden (enkel-cijfer) beter dan BitTokens, waarschijnlijk vanwege hun vermogen om gegenereerde tokens te gebruiken als een extern "schrijfbord" voor tussenliggende toestanden.

Betekenis en Claims

Het artikel stelt dat BitTokens een veelbelovende stap zijn naar intrinsieke numeriek in LLM's. Door inefficiënte tokenisatie te vervangen door een gestructureerde, één-token representatie, kunnen modellen berekeningsalgoritmen intern leren zonder te vertrouwen op overmatige redeneerketens of externe hulpmiddelen.

De auteurs bescheiden claimen dat, hoewel BitTokens basisrekenkunde efficiënt oplossen, ze de noodzaak van redeneren bij complexe, meerstapsproblemen nog niet volledig vervangen. Zij suggereren dat de meest effectieve toekomstige aanpak een hybride strategie kan zijn: het gebruik van BitTokens voor efficiënte tussenberekeningen om het tokenbudget vrij te maken voor logisch redeneren, waardoor de complexiteit van problemen die LLM's kunnen oplossen, wordt uitgebreid. Het werk benadrukt dat de afhankelijkheid van huidige geavanceerde modellen van lange redeneerketens een symptoom is van een slechte numerieke representatie, en geen fundamentele limiet van de architectuur zelf.