Technische Samenvatting: De Tokenizer-belasting over 24 Europese Talen

Probleemstelling

Tokenizers leggen een verborgen economische en technische last op niet-Engelse Natural Language Processing (NLP), met name voor morfologisch rijke talen. Deze "tokenizer-belasting" vloeit voort uit vruchtbaarheid—het aantal subwoord-tokens dat per woord wordt gegenereerd. Waar Engelse tekst efficiënt wordt getokeniseerd (ongeveer 1,2 tokens/woord), kunnen talen met complexe morfologie of ondervertegenwoordiging in pre-training data kosten incurred die 2,5 keer zo hoog zijn. Eerdere studies (Petrov et al., 2023; Ahia et al., 2023) documenteerden deze discrepanties, maar maakten gebruik van heterogene tekstbronnen, waardoor het moeilijk was om de bijdrage van de tokenizer te isoleren van variatie in de inhoud. Bovendien bleef de specifieke "Oekraïense straf" ten opzichte van verwante Slavische talen en de cross-linguale consistentie van few-shot learning-effecten ongekwantificeerd in een gecontroleerde setting.

Methodologie

De studie hanteert een gecontroleerd cross-linguaal experimenteel ontwerp om vruchtbaarheid en downstream-effecten te meten over tien foundation-modellen en 25 Europese talen.

• Modellen: Er werden tien modellen geëvalueerd, waaronder zeven die via AWS Bedrock werden geraadpleegd (Llama 4 Maverick, Llama 3.3 70B, Mistral Large 3, Nemotron Super 3, Nova Pro, Qwen3 32B, Qwen3 235B) en drie lokaal gemeten met openbare tokenizers (GPT-4o, Gemma 2 27B, DeepSeek V3).
• Datasets:
  • Vruchtbaarheidsmeting: SIB-200 parallelle tekst (25 EU-talen + Oekraïens) en Oekraïense Wikipedia (encyclopedisch register). Teksten werden samengevoegd tot blokken van ongeveer 6.000 karakters om systeemprompt-overhead te minimaliseren.
  • Classificatie: SIB-200 onderwerpclassificatie (7 klassen) over vier Slavische talen (Oekraïens, Pools, Russisch, Tsjechisch).
  • Linguïstische Competentie: ULP-benchmark (347 meerkeuzevragen over Oekraïense grammatica).
• Experimenteel Ontwerp:
  1. Domein-invariantie: Vruchtbaarheid gemeten over juridische, nieuws- en encyclopedische registers om stabiliteit van de rangschikking te testen.
  2. Cross-linguale Mapping: Gemiddelde vruchtbaarheid berekend voor 25 talen om een hiërarchie vast te stellen.
  3. Subwoord-analyse: Specifieke Oekraïense juridische termen ontleed om de behouding van morfologische grenzen te analyseren.
  4. Few-Shot Evaluatie: Zero-shot versus few-shot nauwkeurigheid op SIB-200 vergeleken om te bepalen of prestatiedelta's taalafhankelijk of model-intrinsiek zijn.
  5. Competentie-correlatie: Vruchtbaarheidssnelheden gecorreleerd met grammaticale nauwkeurigheid op de ULP-benchmark.

Belangrijkste Bijdragen

1. Gecontroleerde Cross-linguale Vruchtbaarheidskaart: De eerste meting van tokenizer-vruchtbaarheid over 25 Europese talen met behulp van parallelle tekst, waarbij tokenizer-gedrag wordt geïsoleerd van inhoudelijke variatie.
2. Validatie van Domein-invariantie: Aantonen dat vruchtbaarheidsrangschikkingen stabiel zijn over juridische, nieuws- en encyclopedische registers ($\rho > 0,97$), wat impliceert dat één meting volstaat voor kostenprognose over domeinen heen.
3. Mechanistische Subwoord-analyse: Identificatie dat hoog-vruchtbare tokenizers morfologische grenzen fragmenteren op willekeurige byte-niveaus in plaats van morfemen te behouden, wat prestatiekloven verklaart.
4. Model-intrinsieke Few-Shot Effecten: Bewijs dat few-shot learning-effecten (verbetering of verslechtering) consistent zijn over verschillende Slavische talen voor een bepaald model, wat aangeeft dat het effect wordt gedreven door modelarchitectuur in plaats van eigenschappen van de invoertaal.
5. Kwantificering van de Oekraïense Straf: Specifieke kwantificering van de 15–18% hogere tokenkosten voor Oekraïens ten opzichte van verwante Slavische talen (Pools, Tsjechisch), toegeschreven aan ondervertegenwoordiging in pre-training data.

Resultaten

1. De Tokenizer-belasting Hiërarchie

Vruchtbaarheid beslaat een 2,5× bereik over Europese talen:

• Meest Efficiënt: Engels (1,23 tokens/woord).
• Romaans: 1,5–1,7.
• Germaans: 1,7–1,9.
• Slavisch: 2,2–2,5.
• Oeraals/Baltisch: 2,7–3,0.
• Duurst: Grieks en Maltees (~3,1).

De Oekraïense Straf: Oekraïens gemiddeld 2,66 tokens/woord, wat 15–18% meer kost dan Pools (2,25) en Tsjechisch (2,28). Deze kloof blijft bestaan ondanks vergelijkbare morfologische complexiteit. Corpusanalyse toont aan dat Oekraïens 2–6× minder pre-training data heeft dan Pools in grote corpora (mC4, OSCAR, CulturaX), wat leidt tot minder geoptimaliseerde subwoord-mergingen.

2. Modelvariatie en Subwoord-fragmentatie

Modelontwerp heeft een aanzienlijke impact op vruchtbaarheid. Bijvoorbeeld, voor Grieks varieert vruchtbaarheid van 2,29 (Llama 4 Maverick) tot 5,73 (Qwen3).

• Efficiënte Tokenizers (bijv. Gemma 2, Llama 3.3): Behouden morfemengrenzen (bijv. вiдповiдальнiсть splitsen in 3–4 tokens).
• Inefficiënte Tokenizers (bijv. Qwen3, DeepSeek): Fragmenteren woorden op byte-grenzen (hetzelfde woord splitsen in 8–9 tokens), ondanks vergelijkbare of grotere vocabulairegroottes.

3. Domein-invariantie

Vruchtbaarheidsrangschikkingen worden perfect behouden ($\rho = 1,0$) over nieuws-, juridische en encyclopedische teksten. Hoewel absolute tokenaantallen licht variëren per domein (encyclopedische tekst is over het algemeen duurder vanwege vocabulairediversiteit), blijft de relatieve kostenordening van modellen constant.

4. Cross-linguale Few-Shot Effecten

De impact van few-shot prompting is model-intrinsiek, niet taalafhankelijk:

• Nemotron Super 3: Verbeterde prestaties op alle vier Slavische talen (gemiddeld +10,5 pp).
• Llama 4 Maverick: Verslechterde prestaties op alle vier Slavische talen (gemiddeld -8,4 pp), met significante klassencollapse naar dominante categorieën (bijv. wetenschap, politiek).
• Deze consistentie over Cyrillisch en Latijns schrift suggereert dat het effect wordt bepaald door hoe het attentiemechanisme van een model demonstratie-inhoud verwerkt, en niet door de morfologie van de invoertaal.

5. Linguïstische Competentie

De correlatie tussen lage vruchtbaarheid en hoge grammaticale nauwkeurigheid (ULP-benchmark) is zwak ($\rho = -0,43$) en niet statistisch significant ($p=0,34$). Waar Llama 4 Maverick (laagste vruchtbaarheid) de hoogste nauwkeurigheid behaalde (57,3%), tonen outliers zoals Nemotron (gemiddelde vruchtbaarheid, laagste nauwkeurigheid) aan dat architectuur en samenstelling van trainingsdata sterkere voorspellers van competentie zijn dan tokenisatie-efficiëntie alleen.

Betekenis en Claims

Het artikel claimt de eerste gecontroleerde, domein-invariante kaart van de "tokenizer-belasting" over Europa te bieden. De primaire betekenis ligt in:

1. Economische Impact: Vaststellen dat het verwerken van Oekraïense inhoud 2,2× meer kost dan Engels puur vanwege tokenizer-ontwerp, een kostenpost die zich vermenigvuldigt over API-aanroepen.
2. Methodologische Verschuiving: Bewijzen dat vruchtbaarheid een stabiele eigenschap is van het tokenizer-vocabulaire, waardoor practitioners kosten één keer kunnen meten en voorspellen over alle toepassingsdomeinen.
3. Data-vertegenwoordiging: Benadrukken dat de "Oekraïense straf" niet uitsluitend een linguïstisch kenmerk is, maar een direct gevolg van ondervertegenwoordiging in pre-training corpora, wat resulteert in suboptimale subwoord-vocabulaires.
4. Praktische Richtlijnen: Aanbevelen dat practitioners prioriteit geven aan zero-shot-benaderingen voor morfologisch rijke talen (aangezien few-shot-effecten onvoorspelbaar en modelspecifiek zijn) en budgetteren voor de specifieke token-belasting van hun doeltaal.

De auteurs geven alle vruchtbaarheidsmetingen en subwoord-decompositiegegevens vrij als een publieke dataset om kostenbewuste modelselectie en routingbeleid mogelijk te maken.