A Triadic Suffix Tokenization Scheme for Numerical Reasoning

Dit paper introduceert Triadic Suffix Tokenization (TST), een deterministisch schema dat getallen in drie-cijferige triaden verdeelt met expliciete magnitude-markers om de inconsistenties van standaard subwoord-tokenisatie op te lossen en zo numeriek redeneren in grote taalmodellen te verbeteren.

De kern

Stel je voor dat je een groot language model (zoals een slimme chatbot) probeert te leren rekenen. Het probleem is dat deze modellen getallen vaak op een rare manier "lezen".

Normaal gesproken splitsen ze getallen op in willekeurige stukjes, net als een kind dat een lange zin in losse letters probeert te snijden. Als je het getal 1.004.000 geeft, ziet de computer misschien alleen "100" en "400". Het verliest het idee dat het ene stukje "een miljoen" is en het andere "vierduizend". Het is alsof je iemand vraagt de afstand van Amsterdam naar New York te schatten, maar je geeft ze alleen de letters van de stadnamen zonder de afstanden. Ze moeten het dan raden, en dat gaat vaak mis (zoals bij het beroemde voorbeeld dat 9,11 groter is dan 9,9).

Deze paper introduceert een nieuwe manier om getallen te "verpakken" voor computers, genaamd Triadische Suffix-tokenisatie (TST).

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het probleem: De "Willekeurige Puzzel"

Stel je voor dat je een enorme legpuzzel hebt, maar de stukjes zijn niet op de juiste manier gesneden. Soms is een stukje "100", soms "1000", en soms "10". De computer ziet alleen de stukjes, maar weet niet hoe groot ze zijn in verhouding tot elkaar. Het moet alles zelf uitvinden, wat heel moeilijk en onnauwkeurig is.

2. De oplossing: De "Gepakte Koffers" (TST)

De auteurs zeggen: "Laten we getallen niet in willekeurige stukjes hakken, maar in pakketjes van drie cijfers (zoals duizendtallen, miljoenen, miljarden) en elk pakketje een duidelijk etiket geven."

Ze noemen dit Triadic Suffix Tokenization.

• Triadisch: Je groepeert cijfers in blokken van drie (zoals wij dat doen met komma's: 1.000.000).
• Suffix (Achtervoegsel): Je plakt een duidelijk label achter het blokje.

Voorbeeld:
In plaats van 100400 (wat de computer in de war brengt), wordt het:
100k 400

• 100k betekent: "Dit is 100 duizend".
• 400 betekent: "Dit is gewoon 400".

Het is alsof je in plaats van een losse lading bakstenen, dozen krijgt met daarop duidelijk geschreven: "Doos 1: 100 bakstenen", "Doos 2: 400 bakstenen". De computer hoeft niet meer te raden hoe zwaar de doos is; het staat erop.

3. Hoe werkt het met decimalen (komma's)?

Bij getallen met een komma (zoals 3,14159) doen ze iets vergelijkbaars, maar dan in de andere richting. Ze gebruiken een soort "diepte-markers" (zoals p, pp, ppp).

• 3.141p betekent: "Dit is 141 tienden".
• 592pp betekent: "Dit is 592 honderdduizendsten".

Om ervoor te zorgen dat alles netjes blijft, vullen ze lege plekken op met nullen. Of je nu schrijft 0,1 of 0,100, voor de computer wordt het exact hetzelfde pakketje: 0.100p. Dit voorkomt verwarring.

4. Waarom is dit zo slim? (De Vergelijking)

• Huidige methode (BPE): Het is alsof je een boek leest waarbij de woorden willekeurig zijn opgesplitst. Je moet zelf raden of "123" nu 123 euro is, of 123.000 euro, afhankelijk van waar het in de zin staat.
• Nieuwe methode (TST): Het is alsof je een boek krijgt waarin elk getal een kleurcode en een eenheid heeft. "123" is altijd rood (duizend), "456" is altijd blauw (miljoen). De computer hoeft niet meer te gissen; het ziet de grootte direct.

5. Twee manieren om dit te doen

De paper stelt twee manieren voor om dit in te voeren:

1. De losse methode: Je leert de computer alleen de etiketten (k, m, b) en de cijfers apart. Dit is lichtgewicht.
2. De samengestelde methode: Je maakt nieuwe woorden van het hele pakketje, zoals 123k of 456m als één enkel woord. Dit is nog sneller voor de computer, omdat het direct ziet wat het betekent zonder eerst te moeten rekenen.

6. Het grote voordeel

De belangrijkste boodschap is: Geen giswerk meer.
Door deze duidelijke labels te geven, hoeft het computermodel niet te leren wat "duizend" of "miljoen" betekent door duizenden voorbeelden te zien. Het staat er gewoon op. Dit zou moeten leiden tot:

• Minder rekenfouten.
• Sneller leren.
• Betere resultaten in wetenschap en financiën.

Kortom:
De auteurs zeggen: "Laten we stoppen met computers getallen te laten raden als een raadsel. Laten we ze getallen geven in duidelijk verpakte dozen met etiketten, zodat ze precies weten wat ze hebben." Het is een simpele, maar krachtige truc om slimme computers beter te laten rekenen.

Technische samenvatting

Titel: Een Triadische Suffix-Tokenisatieschema voor Numeriek Redeneren

Auteur: Olga Chetverina

---

1. Het Probleem

Grote Taalmodellen (LLMs) presteren vaak slecht op basiswiskunde en wetenschappelijk redeneren, ondanks hun vermogen om complexe taalopdrachten uit te voeren. Een fundamentele oorzaak hiervan is de tokenisatie van getallen.

• Inconsistentie: Standaard subwoord-tokenisatie (zoals BPE) breekt getallen op in willekeurige eenheden, waardoor de positiewaarde en de decimale structuur verloren gaan.
• Voorbeeld: Het getal "100400" wordt vaak opgesplitst in "100" en "400", zonder dat het model begrijpt dat het eerste deel honderdduizenden vertegenwoordigt.
• Gevolg: Modellen moeten de relatie tussen grootte (magnitude) en positie volledig uit het niets leren, wat statistisch inefficiënt is en leidt tot fouten (bijv. het denken dat 9.11 groter is dan 9.9).

2. Methodologie: Triadische Suffix-Tokenisatie (TST)

De auteur introduceert Triadic Suffix Tokenization (TST), een deterministisch schema dat getallen structureel hertekent om de grootte expliciet te maken. Het schema combineert het groeperen van cijfers in drietallen (triaden) met expliciete magnitude-markers.

Kernprincipes:

1. Triadische Groepering: Cijfers worden gegroepeerd in blokken van drie (basis 1000).
2. Expliciete Markers: Elke triade krijgt een suffix (achtervoegsel) die de orde van grootte aangeeft.
3. Behoud van Exactheid: De exacte cijfers blijven behouden; er wordt geen informatie verloren.

Implementatievarianten:

• Gehele Getallen: Cijfers worden van rechts naar links gegroepeerd. Elk blok krijgt een suffix:
  • k (duizend, $10^3$), m (miljoen, $10^6$), b (miljard, $10^9$), t (biljoen, $10^{12}$), q (biljard, $10^{15}$).
  • Voorbeeld: 1234567 wordt 1m 234k 567.
• Decimale Getallen (Fractionele Delen): Cijfers worden van links naar rechts gegroepeerd. Er worden herhaalde 'p'-markers gebruikt om de diepte van de decimaal aan te geven (tenths, thousandths, etc.).
  • Normalisatie: Om een eenduidige mapping te garanderen, worden decimale blokken rechts opgevuld met nullen tot een vaste lengte van drie cijfers.
  • Voorbeeld: 0.0045 wordt 0. 004p 500pp. 1.12345678 wordt 1. 123p 456pp 780ppp.
  • Dit zorgt ervoor dat 0.1, 0.10 en 0.100 allemaal naar dezelfde tokenreeks worden gemap, wat convergentie verbetert.

Vocabulaire-opties:

1. Optie A (Gescheiden tokens): Cijfergroepen en suffixen zijn aparte tokens. Voegt slechts ~10 nieuwe tokens toe (k, m, b, t, q, p, pp, etc.).
2. Optie B (Samengestelde tokens): Cijfergroepen en suffixen worden gecombineerd tot één token (bijv. "123k"). Dit vereist ongeveer 10.000 extra tokens (1000 triaden × 10 suffixen), maar verkort de inputsequentie en elimineert ambiguïteit.

3. Belangrijkste Bijdragen

• Deterministische Mapping: In tegenstelling tot probabilistische tokenizers (zoals BPE) die moeten gokken naar de waarde, biedt TST een bijectieve mapping (één-op-één) tussen een token en zijn numerieke waarde. Een token als "123k" betekent altijd 123.000.
• Expliciete Inductieve Bias: Het schema geeft het model direct toegang tot de schaal van elke cijfergroep, in plaats van dat het model dit uit positiepatronen moet infereren.
• Schalen: Het systeem is inherent schaalbaar en kan eenvoudig worden uitgebreid naar willekeurige precisie en bereiken (huidig bereik: $10^{-15}$ tot $10^{18}$) door nieuwe suffixen toe te voegen zonder de kernlogica te veranderen.
• Architectuur-onafhankelijk: TST is een "drop-in" voorverwerkingsstap. Het vereist geen wijzigingen in de modelarchitectuur, alleen een aangepaste tokenizer.

4. Resultaten en Validatie

• Huidige Status: Het paper presenteert voornamelijk een hypothese en theoretisch kader. Er worden nog geen empirische resultaten op benchmarks (zoals NumericBench) gepresenteerd; dit wordt uitgesteld voor toekomstig werk.
• Vergelijking: De auteur vergelijkt TST theoretisch met bestaande methoden:
  • Digit-level: Behoudt precisie maar mist magnitude-informatie.
  • xVal: Gebruikt continue embeddings (goed voor interpolatie) maar verliest exacte cijfers.
  • Rechts-naar-links (komma's): Groepeert cijfers maar geeft geen magnitude aan.
  • TST: Combineert het beste van beide werelden: exacte cijfers én expliciete magnitude-informatie.
• Complementariteit: TST kan worden gecombineerd met andere technieken zoals Number Token Loss (NTL), die de loss-functie aanpast voor numerieke nauwkeurigheid.

5. Betekenis en Toekomstperspectief

De betekenis van TST ligt in het potentialle vermogen om de fundamentele zwakte van LLMs in numeriek redeneren aan te pakken door de tokenisatie zelf te optimaliseren.

• Stabiele Convergentie: Door het model een consistent gradiëntsignaal te geven (via expliciete magnitude), zou TST leiden tot snellere en stabielere training.
• Toepassingsgebied: Het is relevant voor elk domein dat nauwkeurige rekenkunde vereist, van financiële analyse tot wetenschappelijke simulaties.
• Praktische Implementatie: Omdat het alleen een tokenizer-aanpassing is, is het eenvoudig te integreren in bestaande pipelines.

Conclusie:
Het paper pleit voor een verschuiving van willekeurige subwoord-tokenisatie naar een gestructureerd, menselijk leesbaar en wiskundig deterministisch schema. Hoewel de empirische validatie nog uitstaat, biedt TST een veelbelovende theoretische oplossing voor de "9.11 > 9.9"-problematiek en andere numerieke fouten in LLMs.