SozKZ: Training Efficient Small Language Models for Kazakh from Scratch

Probleemstelling

Het Kazachs, een Turks taal met ongeveer 22 miljoen sprekers, wordt sterk onderschat door bestaande meertalige grote taalmodellen (LLM's). Er zijn twee hoofdoorzaken voor deze inefficiëntie:

1. Ongeschikte Tokenizers: Algemene multilinguale tokenizers (zoals die van Llama, Gemma of Qwen) zijn getraind op data die gedomineerd wordt door talen zoals Engels. Voor agglutinerende talen zoals het Kazachs, waar woorden uitgebreide suffixen hebben, leiden deze tokenizers tot een slechte "fertility" (het gemiddelde aantal tokens per woord). Dit betekent dat Kazachse tekst onnodig wordt opgesplitst in veel subword-tokens, wat de contextvensters verkleint en de inferentiekosten verhoogt.
2. Verspilde Capaciteit: Grote meertalige modellen alloceren slechts een klein deel van hun parameters aan het Kazachs, terwijl het merendeel van de kennis gericht is op andere talen. Dit resulteert in een slechte verhouding tussen nuttige capaciteit en totale modelgrootte voor Kazachse taken.

De auteurs betogen dat kleine, dedicated (een-talige) modellen, getraind vanaf nul met een taal-specifieke tokenizer, competitieve prestaties kunnen leveren tegen veel grotere meertalige modellen, maar tegen een fractie van de rekenkosten.

Methodologie

1. Data-pipeline

• Corpus: De auteurs hebben een monolinguale Kazachse corpus samengesteld uit 18 bronnen (waaronder Wikipedia, CulturaX, en diverse web-crawls).
• Schoning: Een 9-staps schoningsproces werd toegepast, waaronder Unicode-normalisatie, verwijdering van controletekens, filtering op URL-dichtheid, en taalidentificatie.
• Resultaat: Na filtering bleven 13,7 miljoen documenten over (ongeveer 48% van de ruwe data), wat resulteerde in een corpus van ongeveer 9 miljard tokens.

2. Tokenizer-ontwerp

• Er is een ByteLevel BPE-tokenizer (Byte-Pair Encoding) getraind, exclusief op de Kazachse tekst.
• Vocabulaire: 50.257 tokens.
• Doel: Het maximaliseren van de "fertility" (minder tokens per woord) voor het Kazachs. De auteurs stellen dat dit een 2-3x voordeel biedt ten opzichte van multilinguale tokenizers.

3. Modelarchitectuur

• De SozKZ-familie volgt de Llama-architectuur (causale taalmodellen) en is volledig vanaf nul getraind (geen pre-trained initialisatie).
• Componenten: SwiGLU-activaties, Rotary Position Embeddings (RoPE), RMSNorm, en gekoppelde input-output embeddings.
• Schaal: Vier modelgroottes werden getraind: 50M, 150M, 300M en 600M parameters.
• Context: 2.048 tokens (behalve bij het 150M-model dat 1.024 tokens gebruikt).

4. Training

• Optimizer: AdamW met een cosine learning rate schedule.
• Data-tot-Parameter Ratio: Het 600M-model is getraind op ~9 miljard tokens, wat een ratio van ongeveer 15:1 oplevert. Dit is iets lager dan de Chinchilla-optimum van 20:1, maar noodzakelijk gezien de beperkte beschikbaarheid van hoogwaardige Kazachse data.
• Hardware: Training vond plaats op NVIDIA RTX 4090 (voor kleinere modellen) en H100 GPU's (voor het 600M-model).

Belangrijkste Bijdragen

1. End-to-end pipeline: Een volledig openbaar gemaakte pipeline voor het verzamelen, schonen en trainen van Kazachse taalmodellen op vier schaalniveaus.
2. Dedicated Tokenizer: Een open-source tokenizer met 50k vocabulaire die significant efficiënter is voor Kazachs dan bestaande multilinguale alternatieven.
3. Empirische Schaalvergelijking: Een analyse van hoe prestaties schalen van 50M tot 600M parameters, wat een "sweet spot" aangeeft voor efficiency.
4. Open Source: Alle modellen, de tokenizer en de trainingscode zijn vrijgegeven onder open licenties.

Resultaten

De modellen werden geëvalueerd op drie Kazachse benchmarks in een zero-shot setting:

1. MC QA (Culturele Vragen): Meervoudige keuzevragen over Kazachse cultuur en geschiedenis.
2. Belebele: Leesbegrip.
3. SIB-200: Topic-classificatie (onderwerpclassificatie).

Kernbevindingen:

• Topic Classificatie (SIB-200): SozKZ-modellen presteren hier uitstekend. Het SozKZ-600M model behaalde 25,5%, wat beter is dan alle geëvalueerde meertalige modellen tot 2B parameters (waaronder Gemma-2B en Qwen-1.5B). Zelfs het kleine SozKZ-50M model (25,5%) versloeg modellen die 30x groter waren. Dit bevestigt het voordeel van de dedicated tokenizer voor het herkennen van woordstructuren.
• MC QA: SozKZ-600M behaalde 30,3%, wat dicht in de buurt komt van Llama-3.2-1B (32,0%) en Qwen-0.5B (31,5%), ondanks dat SozKZ-600M 40% minder parameters heeft dan Llama-3.2-1B.
• Belebele: Prestaties lagen hier lager (rond de 27%), wat suggereert dat leesbegrip op deze schaal nog uitdagend is en mogelijk instructie-tuning vereist.
• Schaalwetten: Er was een consistente verbetering van MC QA-accuraatheid van 22,8% (bij 50M) naar 30,3% (bij 600M). Er was geen teken van verzadiging, wat suggereert dat verdere schaling (naar 1-3B) nog winst oplevert.

Betekenis en Conclusie

Het paper demonstreert dat voor laag-resource talen zoals het Kazachs, de aanpak van "kleine, dedicated modellen getraind vanaf nul met een taal-specifieke tokenizer" een haalbaar en efficiënt alternatief is voor het gebruik van enorme multilinguale modellen.

• Efficiency: SozKZ bereikt concurrerende prestaties met een fractie van de rekenkracht en parameters.
• Tokenizer Impact: De resultaten onderstrepen dat de keuze van de tokenizer cruciaal is voor agglutinerende talen; een slechte tokenizer kan de prestaties van zelfs grote modellen drastisch beperken.
• Toekomst: De auteurs suggereren dat het uitbreiden naar grotere schalen (1-3B parameters) en het toepassen van instructie-tuning de prestaties verder kunnen verbeteren, en dat deze methode ook toepasbaar is op andere Turkse talen.

Alle modellen en tools zijn beschikbaar via Hugging Face, wat een belangrijke stap is voor de ontwikkeling van NLP voor het Kazachs.