The Effect of Scripts and Formats on LLM Numeracy

Technische Samenvatting: Het effect van scripts en formaten op de numerieke bekwaamheid van LLM's

Probleemstelling
Hoewel Large Language Models (LLM's) indrukwekkende bekwaamheid hebben getoond in basisrekenkunde met behulp van standaard Indo-Arabische (HA) cijfers en westerse conventies, blijft hun robuustheid bij het tegenkomen van niet-standaard representaties onderbelicht. Dit werk onderzoekt of de numerieke bekwaamheid van LLM's een werkelijk wiskundig redeneervermogen weerspiegelt, of dat deze sterk geconditioneerd is door de specifieke oppervlaktevormen (scripts en formattering) die prevalent zijn in hun trainingscorpora. De auteurs stellen dat afwijkingen van deze heersende conventies—zoals het gebruik van alternatieve cijferscripts (bijv. Devanagari, Bengaals) of niet-standaard decimaal- en groeperingsscheidingstekens—significante prestatiekloven kunnen introduceren, zelfs wanneer de onderliggende rekenkundige logica identiek blijft. Verder onderzoekt de studie hoe tokenisatiestrategieën, die bepalen hoe getallen worden gesegmenteerd in subwoordeenheden, deze uitkomsten beïnvloeden.

Methodologie
De auteurs introduceren een gecontroleerd evaluatiekader dat is ontworpen om de effecten van numerieke representatie te isoleren van de rekenkundige complexiteit. De kern van hun methodologie bestaat uit een dataset van 336 basisrekenkundige expressies (optellen, aftrekken, vermenigvuldigen, delen) met gehele getallen en decimale operanden van 1 tot 8 cijfers.

1. Multiscript Dataset: Elke basisexpressie wordt vertaald naar 20 verschillende cijferscripts, variërend van bronrijke systemen (bijv. Perzisch-Arabisch, Devanagari) tot extreem bronarme scripts (bijv. Osmanya, Adlam). Dit maakt de evaluatie van drie taken mogelijk:

   • Scriptidentificatie: Het identificeren van het script van een gegeven getal.
   • Numerieke Vertaling: Het converteren van getallen van diverse scripts naar standaard HA-cijfers.
   • Rekenkundige Berekening: Het uitvoeren van berekeningen direct op getallen gepresenteerd in niet-HA scripts.

2. Format-Variatie Dataset: Dezelfde 336 expressies worden behouden in HA-cijfers, maar aangepast met zes verschillende formatteringsconventies. Deze variaties wijzigen decimale markeringen (punt versus komma) en cijfergroeperingsscheiders (komma's, smalle spaties, apostrofen) en patronen (bijv. 3-3-3 versus 3-2-2), wat reflectie biedt op diverse internationale stijlen.

3. Modellen en Evaluatie: De studie evalueert negen LLM's, waaronder vier grote modellen (Claude Sonnet 4.5, GPT-4o, Gemini 2.5 Pro, Llama-3.3 70B) en vijf kleinere open-source modellen. Prestaties worden gemeten via exacte overeenkomst met de grondwaarheid. De auteurs maken ook gebruik van Generalized Linear Mixed-Effects Models (GLMER) om de impact van script, format, tokenisatie en promptingstrategieën statistisch te kwantificeren, waarbij rekening wordt gehouden met herhaalde metingen over dezelfde problemen.

Belangrijkste Resultaten
De studie laat zien dat de prestaties van LLM's zeer gevoelig zijn voor representatieve variaties en vaak aanzienlijke nauwkeurigheidsverliezen lijden, ondanks identieke wiskundige taken.

• Scriptbelasting (Script Tax): De verschuiving van standaard HA-cijfers naar niet-HA scripts resulteert in een gemiddelde prestatiedaling van 66–87% over de geëvalueerde modellen. Hoewel grote modellen over het algemeen goed presteren op scriptidentificatie en vertaling (vaak >90% nauwkeurigheid), verslechteren hun rekenkundige capaciteiten aanzienlijk in niet-HA scripts. Bronarme scripts (bijv. Osmanya, Adlam) vertonen een nauwelijks merkbare nauwkeurigheid voor kleinere modellen en significante dalingen voor grotere modellen.
• Impact van Tokenisatie: Statistische analyse bevestigt dat het aantal tokens per cijfer een significante voorspeller is van de prestaties. Scripts die meer subwoordtokens per cijfer vereisen (gefragmenteerde representaties) correleren sterk met een lagere rekenkundige nauwkeurigheid. Bijvoorbeeld, Gemini 2.5 Pro, die elk cijfer individueel tokeniseert, vertoont consequent lagere prestaties op geformatteerde getallen vergeleken met modellen die cijfers groeperen.
• Gevoeligheid voor Formattering: Zelfs met HA-cijfers verminderen niet-standaard formatteringsconventies (bijv. een punt gebruiken als duizendtal-scheider of smalle spaties voor groepering) de nauwkeurigheid. Formaten die lijken op IP-adressen (bijv. F2) of specifieke regionale conventies (bijv. F3, F5) zijn bijzonder uitdagend en leiden vaak tot fouten in het opvolgen van instructies, waarbij het model niet in staat is de vereiste outputformattering te reproduceren.
• Promptingstrategieën: De studie toont aan dat gerichte prompting de prestatiekloof aanzienlijk kan verkleinen.
  • Expliciete Mapping: Het verstrekken van een expliciete mapping tussen niet-HA cijfers en HA-cijfers (bijv. "0:0, 1:1...") levert de grootste verbetering op bij rekenkundige taken.
  • Few-Shot Learning: Het opnemen van voorbeelden van geformatteerde inputs en outputs verbetert de nauwkeurigheid met 20–60%, wat de "formatteringsstraf" effectief verzacht.
  • Natuurlijke Taal Prompts: Het gebruik van de prompttaal die consistent is met het cijferscript helpt ook bij de prestaties, hoewel minder effectief dan expliciete mapping.
  • Hinting: Het louter benoemen van de scriptnaam of het beschrijven van de regels van de formattering zonder voorbeelden levert een verwaarloosbare verbetering op.

Betekenis en Claims
De auteurs beweren dat hun bevindingen wijzen op een over het hoofd geziene uitdaging in meertalige numerieke redenering: de fragiliteit van de numerieke bekwaamheid van LLM's onder representatieve verschuivingen. Het artikel betoogt dat de geobserveerde rekenkundige competentie in LLM's niet puur algoritmisch is, maar sterk geconditioneerd is door de prevalentie van specifieke scripts en formaten in de pretraining-data.

De betekenis van dit werk ligt in:

1. Identificeren van de "Scriptbelasting": Het vaststellen dat niet-standaard representaties een systematische prestatiepenalty veroorzaken, wat suggereert dat huidige evaluaties de robuustheid van modellen in real-world, diverse linguïstische omgevingen overschatten.
2. Actiegerichte Inzichten: Het demonstreren dat dit verlies aan capaciteit niet onvermijdelijk is. De auteurs tonen aan dat eenvoudige, parameter-vrije interventies—specifiek few-shot prompting en expliciete numerieke mapping—de kloof effectief kunnen overbruggen, waardoor modellen zich kunnen aanpassen aan onbekende scripts en formaten zonder hertraining.
3. Evaluatiepraktijken: Het werk pleit voor evaluatiepraktijken die de diversiteit van numerieke representaties weerspiegelen die in het echte taalgebruik voorkomen, verdergaand dan de standaard westerse-gecentreerde conventies die de huidige benchmarks domineren.

Het artikel sluit bescheiden af door te merken dat hoewel deze promptingstrategieën effectief zijn, ze niet alle mogheden voor verbetering adresseren (zoals chain-of-thought of tool use), en dat de studie zich richt op het isoleren van de effecten van representatie in plaats van exhaustieve optimalisatie.