Technische Samenvatting: Waarde-bewuste Numerieke Representaties voor Transformer-taalmodellen

Probleemstelling

Transformer-gebaseerde Large Language Models (LLMs) vertonen vaak sterke prestaties op complexe wiskundige redeneerbenchmarks, maar blijven kwetsbaar bij het verwerken van basisbegrip van getallen en rekenkundige bewerkingen. De geïdentificeerde kernbeperking is dat standaard LLM's getallen verwerken als symbolische tokens (sequenties van karakters of subwoorden) waarvan de embeddings uitsluitend worden geleerd uit statistieken van token-co-occurrence. Bijgevolg missen de modellen een expliciete, continue representatie van numerieke grootte. Dit leidt tot systematische fouten in taken die magnitudevergelijking, ordening en rekenkunde vereisen, vooral naarmate de lengte van de numerieke inputs toeneemt. Het artikel betoogt dat huidige "redeneerintensieve" benaderingen (bijv. Chain-of-Thought) deze fundamentele zwakheden vaak maskeren door lange tussenstappen te genereren, maar dat ze het onderliggende probleem niet oplossen: het feit dat modellen niet intrinsiek "weten" wat een getal vertegenwoordigt.

Methodologie

De auteurs stellen een waarde-bewuste numerieke representatie voor die standaard getokeniseerde inputs aanvult met een speciale prefix-token, aangeduid als <num>, die direct vóór de oppervlaktevorm-getallentokens wordt ingevoegd.

Architectuur en Mechanisme

1. Waarde-geconditioneerde Embedding: In tegenstelling tot standaard tokens is de embedding van de <num> token niet vast. In plaats daarvan wordt de embedding berekend als een functie $f(x)$ van de onderliggende numerieke waarde $x$.

   • Trainingsfase: De ware numerieke waarde $x$ is beschikbaar. Een leerbare embedding-module (ofwel een MLP-gebaseerde fixed-point encoder, ofwel een RNN-gebaseerde recurrente encoder) berekent $f(x)$. Deze embedding wordt samen met de standaard token-embeddings in de inputsequentie van het model geïnjecteerd.
   • Inference-fase: De ware waarde $x$ is niet beschikbaar. Een projectiekop brengt de verborgen toestand (hidden state) $h$ die voorafgaat aan de <num> token in kaart naar een embedding-ruimte, wat de waarde-gebaseerde embedding benadert ($proj(h) \approx f(x)$). Deze geprojecteerde embedding conditioneert de generatie van de daaropvolgende numerieke tokens.

2. Varianten van de Embedding-module:

   • MLP-gebaseerd: Representeert het gehele en het decimale deel als fixed-length decimale vectoren, geconcateneerd met hulpkenmerken (teken, aantal cijfers, decimalen), en geprojecteerd via een feed-forward laag.
   • RNN-gebaseerd: Verwerkt het gehele en het decimale deel onafhankelijk met behulp van Gated Recurrent Units (GRU's), wat variabele lengtes en willekeurige precisie mogelijk maakt, gevolgd door concatenatie met hulpkenmerken en lineaire projectie.

3. Trainingsdoelstelling: Om het train-test mismatch aan te pakken (waarbij het model "spiekt" door tijdens de training de ware waarde te zien, maar deze tijdens de inference moet voorspellen), gebruiken de auteurs een samengestelde verliesfunctie:

   • Standaard Taalmodellering Verlies ($L_{LM}^{emb}$): Traint het model met de ware waarde-gebaseerde embedding $f(x)$.
   • Geprojecteerd Taalmodellering Verlies ($L_{LM}^{proj}$): Traint het model met de geprojecteerde verborgen toestand $proj(h)$ om de condities tijdens de inference te simuleren.
   • Reconstructieverlies ($L_{rec}$): Minimaliseert de cosinusafstand tussen de geprojecteerde verborgen toestand en de ware waarde-gebaseerde embedding om uitlijning af te dwingen.
   • Het totale verlies is een gewogen som: $L = L_{LM}^{emb} + L_{LM}^{proj} + \lambda L_{rec}$.

Belangrijkste Bijdragen

1. Nieuw Coderingmechanisme: Het voorstel van een waarde-bewuste prefix-token waarvan de embedding expliciet geconditioneerd is op de numerieke waarde, waardoor de representatie van magnitude wordt losgekoppeld van de oppervlakte-tokenisatie.
2. Empirische Validatie: Demonstratie dat deze aanpak de prestaties consequent verbetert op een benchmark die specifiek is ontworpen om rekenkundige competentie te isoleren, waarbij het beter presteert dan sterke baselines onder identieke trainings- en inferencecondities.
3. Architecturale Compatibiliteit: De methode vereist minimale aanpassingen en is direct toepasbaar op elke decoder-only Transformer-architectuur zonder bestaande tokenizers of generatiemechanismen te wijzigen.
4. Open Source: De volledige implementatie, inclus_ief architecturale wijzigingen, trainingscode en evaluatiescripts, wordt vrijgegeven om reproduceerbaarheid te ondersteunen.

Experimentele Resultaten

De aanpak werd geëvalueerd op de NUPA benchmark (Yang et al., 2024), die fundamentele numerieke vaardigheden isoleert over gehele getallen, drijvende komma-getallen, breuken en wetenschappelijke notatie.

• Baselines: Vergeleken met een Standaard Transformer (autoregressief, enkel tokens) en Numerologic (Schwartz et al., 2024), een methode die natuurlijke taalbeschrijvingen van magnitude (bijv. aantal cijfers) als hulpinput gebruikt.
• Prestaties:
  • De voorgestelde NumValue-RNN en NumValue-MLP modellen behaalden een Exact Match nauwkeurigheid van respectievelijk 0.724 en 0.720, vergeleken met 0.687 voor de Standaard Transformer en 0.633 voor Numerologic.
  • Verbeteringen werden waargenomen over alle numerieke formaten, taaltypen (rekenkunde, vergelijking, conversie) en operandlengtes (tot 7 cijfers).
  • De RNN-gebaseerde variant vertoonde iets hogere Exact Match scores, toe te schrijven aan de capaciteit om variabel-lengte sequenties te verwerken, terwijl de MLP-variant marginaal betere prestaties liet zien op cijferniveau-uitlijning en lengteschatting.
• Robuustheid: Het prestatieverschil tussen de voorgestelde methode en de baselines bleef consistent of werd groter naarmate het aantal cijfers toenam, wat duidt op verbeterde robuustheid tegen de input-schaal.

Betekenis en Claims

Het artikel claimt dat het expliciet coderen van numerieke waarde een effectieve en efficiënte manier is om de fundamentele numerieke robuustheid in taalmodellen te verbeteren. Door magnitude-informatie direct in de inputruimte te injecteren, pakt de aanpak de kernoorzaak van basis numerieke fouten aan, in plaats van ze te compenseren via uitgebreide redeneerketens.

De auteurs benadrukken dat hun methode een lichtgewicht alternatief biedt voor redeneerintensieve strategieën. Zij argumenteren dat numerieke competentie een onderscheidende capaciteit is die een expliciete representatie vereist, en niet louter een bijproduct is van verbeterd redeneren. De resultaten suggereren dat het behandelen van getallen als continue metingen in plaats van discrete symbolische tokens het vermogen van een model aanzienlijk verbetert om over numerieke hoeveelheden te redeneren.

Door de auteurs genoemde beperkingen:

• De evaluatie wordt uitgevoerd op prototypeniveau met modellen die vanaf nul zijn getraind op een beperkte benchmark; de resultaten weerspiegelen mogelijk niet volledig de prestaties van grote, pre-trained modellen in complexe, instructie-volgende scenario's.
• De methode brengt hogere trainingskosten met zich mee vanwege de vereiste van twee forward passes per voorbeeld (één voor projectie, één voor decodering), hoewel dit de inference latency niet beïnvloedt.
• Er is geen dedicated hyperparameter tuning uitgevoerd, wat de absolute prestatie-indicatoren kan beïnvloeden, maar de relatieve vergelijkingen niet verandert.