Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series

Dit paper beschrijft de ontwikkeling van de Bielik v3 7B en 11B modellen, waarbij de prestaties voor de Poolse taal aanzienlijk worden verbeterd door de vervanging van een universele tokenizer door een specifiek geoptimaliseerde Poolse woordenschat, aangevuld met een geavanceerd trainingscurriculum en uitlijningstechnieken.

De kern

🇵🇱 De Bielik-v3 Revolutie: Een Slimme Vertaler voor de Poolse Taal

Stel je voor dat je een gigantische bibliotheek hebt (een kunstmatige intelligentie) die alles over de wereld weet, maar die bibliotheek is opgebouwd met een heel raar systeem. In plaats van woorden te gebruiken, moet de bibliotheek elke zin opbreken in duizenden kleine, onbegrijpelijke stukjes, alsof je een heel boek moet lezen door alleen naar de letters te kijken, één voor één.

Dit is precies het probleem dat de onderzoekers van SpeakLeash hebben opgelost met hun nieuwe Bielik v3 modellen (in de maten 7B en 11B). Ze hebben een manier gevonden om deze bibliotheek veel efficiënter te maken voor de Poolse taal.

Hier is hoe ze dat deden, stap voor stap:

1. Het Probleem: De "Verkeerde" Sleutel

Stel je voor dat je een sleutel hebt die gemaakt is om alle deuren in een heel groot hotel te openen (een universele taalmodel). Deze sleutel werkt wel, maar voor de Poolse deur is hij veel te groot en onhandig. Je moet hem drie keer draaien om de deur open te krijgen, terwijl een Poolse sleutel het in één keer zou doen.

In de wereld van AI noemen ze dit de "fertility ratio".

• De oude manier: Om het Poolse woord "niezawodnie" (betrouwbaar) te schrijven, moest de computer 4 of 5 stukjes (tokens) gebruiken. Dat is zonde van de ruimte en het kost veel tijd.
• De nieuwe Bielik v3: Ze hebben een speciale Poolse sleutel (de APT4 tokenizer) gemaakt. Nu wordt datzelfde woord in slechts 1 of 2 stukjes geschreven.

Het resultaat: De computer kan nu bijna dubbel zoveel Poolse tekst in zijn "geheugen" (contextvenster) houden zonder dat het langzamer wordt. Het is alsof je van een kleine auto naar een vrachtwagen bent gegaan, maar dan zonder dat je meer benzine verbruikt.

2. De Grote Uitdaging: Het "Vergeten" van Alles

Er was een groot risico. Als je de sleutel van een computer vervangt, bestaat de kans dat de computer alles vergeet wat hij eerder heeft geleerd. Dit noemen ze "catastrophic forgetting" (catastrofaal vergeten). Het is alsof je een pianist een nieuwe toetsenbord geeft en hij vergeet plotseling hoe hij "Muziek" moet spelen.

Om dit te voorkomen, gebruikten ze een slimme techniek genaamd FOCUS.

• De Analogie: Stel je voor dat je een nieuwe taal leert, maar je gebruikt de woorden uit je moedertaal als basis. Je zegt niet: "Ik leer dit woord van nul af", maar je zegt: "Dit nieuwe woord lijkt op dat oude woord, dus ik gebruik die kennis."
• De onderzoekers hebben de nieuwe Poolse woorden gekoppeld aan de oude woorden die de computer al kende, zodat de "kennis" behouden bleef terwijl de "woordenlijst" veranderde.

3. De Training: Een Tweestaps-opleiding

Om de computer veilig aan de nieuwe sleutel te wennen, deden ze dit in twee fases:

• Fase 1: De "Oefenperiode" (Bevroren Leren)
  De computer mocht alleen de buitenkant van zijn hersenen aanpassen (de invoer en de laatste lagen), terwijl de "kern" (de diepe redenering) vastgevroren bleef. Het was alsof je een pianist alleen laat oefenen met de toetsen, maar niet laat veranderen hoe hij de muziek voelt. Dit zorgde voor stabiliteit.
• Fase 2: De "Volledige Training"
  Nu de computer veilig was, lieten ze alles los. De hele computer mocht opnieuw leren met de nieuwe Poolse woordenlijst. Ze gaven hem 20 miljard voorbeelden om te oefenen.

4. De Test: Werkt het echt?

De onderzoekers hebben de nieuwe modellen getest op allerlei moeilijke taken, van medische examens tot het begrijpen van humor en gevoelens.

• Poolse Taal: De nieuwe modellen waren beter in het begrijpen van complexe Poolse teksten dan de oude versies. Ze konden nu zelfs beter redeneren over Poolse cultuur en gevoelens.
• Engelse Taal: Het mooie nieuws is dat ze de Poolse vaardigheden niet ten koste hebben laten gaan van hun Engelse kennis. Ze spreken nog steeds vloeiend Engels, net als voorheen.
• Vergelijking: De nieuwe 11B-versie (11 miljard parameters) doet het vaak beter dan modellen die veel groter zijn (soms 70 miljard parameters!), maar dan specifiek voor Poolse taken.

5. Waarom is dit belangrijk?

Vroeger moesten Poolse sprekers zich tevreden stellen met modellen die voor alle talen gemaakt waren, maar die voor hen niet optimaal werkten.

• Efficiëntie: Het kost minder rekenkracht (en dus minder geld en energie) om Poolse tekst te genereren.
• Kwaliteit: De antwoorden zijn nauwkeuriger en begrijpelijker.
• Openheid: De onderzoekers hebben de code en de modellen gratis beschikbaar gesteld (onder de Apache 2.0 licentie). Iedereen mag ze gebruiken, aanpassen en verbeteren.

Samenvatting in één zin

De onderzoekers hebben een "universele" AI omgebouwd tot een Poolse specialist door de interne "woordenlijst" te vervangen, zonder dat de AI zijn intelligentie verloor, waardoor hij nu sneller, slimmer en goedkoper Poolse teksten kan begrijpen en schrijven.

Technische samenvatting

Probleemstelling

Hoewel algemene meertalige Large Language Models (LLMs) indrukwekkende prestaties leveren, lijden ze vaak onder een fundamentele architecturale inefficiëntie bij het verwerken van specifieke talen met een rijke morfologie, zoals het Pools. De standaard "universele" tokenizers (vaak ontworpen voor een breed scala aan talen, zoals die van Mistral) zijn niet geoptimaliseerd voor de Poolse taalstructuur. Dit leidt tot:

• Hoge vruchtbaarheid (fertility ratio): Poolse tekst wordt opgesplitst in een overmatig aantal subword-tokens.
• Verlaagde efficiëntie: Een hogere token-per-woord-ratio vermindert de effectieve contextvenster-grootte en verhoogt de inferentiekosten.
• Onnodige resource-gebruik: Universale tokenizers gebruiken vaak grote vocabulaires (100k+ tokens) waarbij veel embeddings voor een monolinguale toepassing ongebruikt blijven.

De originele Bielik v3-modellen gebruikten een tokenizer met 32.128 tokens, maar deze vereiste nog steeds meerdere tokens voor enkele Poolse woorden, wat de contextbenutting en gegenereerde snelheid beperkte.

Methodologie

De auteurs introduceren de Bielik v3 PL-serie (7B en 11B parameters), waarbij de universele tokenizer is vervangen door een speciaal voor het Pools geoptimaliseerde tokenizer (APT4), zonder de modelarchitectuur zelf te veranderen. De aanpak omvat drie kerncomponenten:

1. Tokenizer-Optimalisatie (APT4):

   • In plaats van de vocabulairegrootte te vergroten, werd de segmentatiestrategie verfijnd.
   • De nieuwe tokenizer (APT4) behoudt een vergelijkbare vocabulairegrootte van ~32.000 tokens, maar is ontworpen om de vruchtbaarheid voor het Pools te minimaliseren.
   • Dit resulteert in een daling van de tokens per woord (TpW) van 3,22 naar 1,62 voor representatieve Poolse teksten (zoals de grondwet), wat de effectieve contextcapaciteit voor het Pools bijna verdubbelt.

2. Vocabulaire-Adaptatie en Catastrophic Forgetting Mitigatie:

   • Het vervangen van de tokenizer in een voorgeprogrammeerd model brengt het risico van "catastrophic forgetting" (het vergeten van eerder geleerde kennis) met zich mee.
   • Om dit te voorkomen, wordt de FOCUS-methode (Fast Overlapping Token Combinations Using Sparsemax) gebruikt. Hierbij wordt elke token in de nieuwe vocabulaire voorgesteld als een schaarse lineaire combinatie van tokens uit de originele vocabulaire, gebaseerd op semantische gelijkenis.
   • Vergelijkingen met andere methoden (zoals Random Initialization, FVT, WECHSEL) tonen aan dat FOCUS de beste empirische prestaties levert.

3. Multi-Stadia Training Pipeline:

   • Fase 1 (Gedeeltelijke Bevriezing): 4 miljard tokens voortgezette pretraining. Alleen de invoer-embeddinglaag, de taakmodelleringskop (lm_head) en vier grenslaag-transformatoren (twee laagste en twee hoogste) worden bijgewerkt. Dit stabiliseert de interactie tussen de nieuwe tokenizer en de bestaande interne representaties.
   • Fase 2 (Volledige Adaptatie): 16 miljard tokens voortgezette pretraining waarbij alle modelparameters worden ontgrendeld om de gewichten globaal aan te passen aan de Poolse taalkenmerken.
   • Post-Training: Dezelfde pijplijn als de originele Bielik v3-modellen: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO-P) en Reinforcement Learning via Group Relative Policy Optimization (GRPO) met verifieerbare beloningen.

Belangrijkste Bijdragen

• Efficiënte Tokenizer: De introductie van de APT4-tokenizer die specifiek is afgestemd op de Poolse morfologie, waardoor de token-efficiëntie aanzienlijk wordt verbeterd zonder de vocabulairegrootte te vergroten.
• Robuste Adaptatiestrategie: Een bewezen methode voor het vervangen van tokenizers in bestaande LLM's met behoud van prestaties, gebruikmakend van FOCUS en een gefaseerde training.
• Open Source Release: De weging van beide modellen (7B en 11B) zijn vrijgegeven onder de Apache 2.0-licentie.
• Comprehensieve Evaluatie: Uitgebreide benchmarks op zowel Poolse als meertalige datasets om te bewijzen dat de optimalisatie de prestaties niet ten koste gaat van andere vaardigheden.

Resultaten

De evaluatie omvatte negen benchmarks, waaronder specifieke Poolse en internationale tests:

• Token-efficiëntie: De vruchtbaarheid voor het Pools daalde van 3,22 naar 1,62 tokens per woord.
• Open PL LLM Leaderboard: De Bielik-PL-11B-v3.0-Instruct scoorde 64,11 (5-shot), wat vergelijkbaar is met de originele Bielik-11B-v3.0-Instruct (65,93) en beter dan veel grotere modellen. De 7B-variant scoorde 61,66.
• Polish EQ-Bench (Emotionele Intelligentie): De PL-varianten behaalden scores van 71,15 (11B) en 66,89 (7B), wat vergelijkbaar is met of beter is dan veel grotere concurrenten.
• CPTUB (Complexe Tekstbegrip): De Bielik-PL-11B-v3.0-Instruct scoorde 3,80 (overall), wat zelfs hoger is dan de originele tokenizer-versie (3,73), wat wijst op een verbetering in het begrijpen van implicaties en complexe taal.
• Medische Leaderboard: De PL-varianten behaalden respectievelijk 48,42% (11B) en 43,35% (7B), wat een sterke prestatie is in een gespecialiseerd domein.
• Meertalige Vaardigheden: Hoewel de focus op het Pools lag, bleven de Engelse en bredere Europese vaardigheden grotendeels behouden. Op de Open LLM Leaderboard (Engels) scoorde de 11B PL-variant 71,49, slechts licht onder de originele versie (72,45).

Betekenis

Dit paper demonstreert dat het optimaliseren van de tokenizer voor een specifieke taal (in dit geval het Pools) een krachtige en kostenefficiënte strategie is om de prestaties van LLM's te verbeteren, zonder de noodzaak om de modelgrootte of het aantal parameters te vergroten.

De succesvolle toepassing van de FOCUS-methode biedt een reproduceerbaar blauwdruk voor het aanpassen van multilinguale modellen aan specifieke talen met complexe morfologie. Dit is van groot belang voor de Europese AI-ecosystemen, waar de behoefte aan hoogwaardige, taal-specifieke modellen groeit, en het bewijst dat kleine, goed geoptimaliseerde modellen (zoals de 11B Bielik) kunnen concurreren met veel grotere modellen (zoals 70B+ varianten) in hun specifieke domein.