Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series

Die Bielik v3 7B- und 11B-Modelle erreichen einen bedeutenden Fortschritt in der polnischen Sprachmodellierung durch den Ersatz universeller Tokenizer durch ein polnisch-optimiertes Vokabular, was zusammen mit einer FOCUS-basierten Initialisierung, einem mehrstufigen Pretraining und fortschrittlichen Post-Training-Ausrichtungsverfahren zu effizienteren und leistungsfähigeren Modellen führt.

Das Wesentliche

🇵🇱 Die Geschichte von Bielik: Der polnische Sprach-Assistent, der endlich "atmen" kann

Stellen Sie sich vor, Sie haben einen sehr klugen Bibliothekar (das KI-Modell), der alle Bücher der Welt kennt. Aber dieser Bibliothekar hat ein Problem: Er liest polnische Texte nicht in ganzen Wörtern, sondern zerschneidet jedes Wort in winzige, unnötige Fetzen.

Das ist das Kernproblem, das dieses Papier löst. Hier ist die Geschichte, wie die Forscher von SpeakLeash Bielik v3 zu einem echten polnischen Profi gemacht haben.

---

1. Das Problem: Der "Universal-Schere" (Der alte Tokenizer)

Bisher nutzten viele KIs einen universellen Wörterbuch-Schneider (einen sogenannten Tokenizer), der für alle Sprachen der Welt gemacht wurde.

• Die Analogie: Stellen Sie sich vor, Sie wollen ein polnisches Wort wie "Dziękuję" (Danke) schreiben. Ein universeller Schneider, der nicht genau weiß, wie Polnisch funktioniert, schneidet das Wort vielleicht in 4 oder 5 kleine Fetzen: "Dzi", "ę", "k", "u", "j", "e".
• Das Ergebnis: Um einen ganzen Satz zu schreiben, muss die KI riesige Mengen an Platz im Gedächtnis verbrauchen, nur um diese vielen kleinen Fetzen zu speichern. Das ist wie ein LKW, der vollgepackt ist mit Luftballons statt mit schweren Steinen – er fährt langsam und kostet viel Treibstoff.

2. Die Lösung: Der "Polnische Maßschneider" (Der neue APT4 Tokenizer)

Die Forscher haben Bielik v3 einen neuen, polnisch-spezialisierten Schneider gegeben.

• Die Analogie: Dieser neue Schneider kennt die polnische Grammatik perfekt. Er nimmt das Wort "Dziękuję" und schneidet es als ein einziges, kompaktes Stück ab.
• Der Gewinn: Die KI braucht jetzt nur noch die Hälfte an "Platz" (Tokens), um denselben Text zu verstehen. Das ist, als würde man den Lacker entladen und stattdessen schwere Steine (ganze Wörter) verladen. Die KI kann jetzt doppelt so viel Text auf einmal lesen und verarbeiten, ohne langsamer zu werden.

3. Die große Herausforderung: Das "Vergessen" (Katastrophales Vergessen)

Hier wird es spannend. Wenn man einem trainierten KI-Modell plötzlich ein neues Wörterbuch gibt, ist es wie ein Schüler, der plötzlich eine neue Sprache lernt, während er noch die alte beherrscht. Oft verliert er dabei das Gelernte – das nennt man katastrophales Vergessen. Die KI würde dann plötzlich nicht mehr wissen, wie man "Hallo" sagt, weil sie verwirrt ist.

Wie haben die Forscher das gelöst?
Sie haben einen cleveren 3-Stufen-Plan angewandt:

1. Der "Brückenbau" (FOCUS-Methode):
   Statt die KI komplett neu zu lehren, haben sie eine Brücke gebaut. Sie haben jedem neuen polnischen Wortstück ein "Geister-Wort" aus dem alten System zugeordnet, das fast die gleiche Bedeutung hat. So weiß die KI: "Aha, dieses neue Wort ist fast dasselbe wie das alte, das ich schon kenne."
2. Das "Sanfte Aufwärmen" (Teilweises Einfrieren):
   Zuerst haben sie nur die oberflächlichen Teile der KI (die Eingabe und die oberste Schicht) trainiert, während das tiefe "Wissen" im Inneren eingefroren war. Das ist wie ein Sportler, der erst nur die Arme aufwärmt, bevor er das ganze Bein trainiert. So bleibt das alte Wissen sicher.
3. Das "Volltraining" (Ganzes Modell):
   Erst als die KI sicher war, haben sie das ganze Modell trainiert, damit es sich perfekt an die neue polnische Art des Denkens anpasst.

4. Der Feinschliff: Vom Roboter zum Gesprächspartner

Nachdem die KI die Sprache verstanden hatte, mussten sie sie noch "höflich" machen.

• SFT (Supervised Fine-Tuning): Wie ein Lehrer, der der KI zeigt: "So antwortet man auf eine Frage, so ist ein Gespräch aufgebaut."
• DPO & GRPO (Präferenz-Optimierung): Wie ein strenger Trainer, der sagt: "Nein, diese Antwort ist zu langweilig oder falsch. Versuche es nochmal und sei klüger!" Besonders bei Mathe und Logik hat die KI jetzt gelernt, Schritt für Schritt zu denken, statt zu raten.

5. Das Ergebnis: Ein polnischer Champion

Die Tests haben gezeigt:

• Polnisch: Die neue KI (Bielik v3 PL) ist extrem effizient. Sie versteht komplexe polnische Texte, medizinische Fachbegriffe und sogar emotionale Nuancen besser als viele andere Modelle. Sie ist fast so gut wie riesige Modelle mit 70 Milliarden Parametern, aber viel schlanker (nur 11 oder 7 Milliarden).
• Englisch & Andere Sprachen: Das Beste ist: Durch den neuen polnischen Schneider hat die KI nicht vergessen, wie man Englisch spricht. Sie ist immer noch ein guter Übersetzer und kann auch andere europäische Sprachen verstehen.

Zusammenfassung in einem Satz

Die Forscher haben der KI Bielik v3 einen maßgeschneiderten polnischen Anzug angezogen, der perfekt passt, damit sie schneller, effizienter und klüger polnisch sprechen kann, ohne dabei ihre anderen Fähigkeiten zu verlieren.

Warum ist das wichtig?
Weil es zeigt, dass man KI nicht nur für "alle Sprachen gleichzeitig" bauen muss, sondern dass es sich lohnt, KIs speziell für einzelne Sprachen zu optimieren. Das spart Rechenleistung, Geld und Zeit – und gibt kleineren Sprachen wie Polnisch eine Stimme, die so laut ist wie die der großen Sprachen.

Technische Zusammenfassung

1. Problemstellung

Das Papier adressiert eine fundamentale Ineffizienz bei der Verwendung von universellen Tokenisatoren (wie denen in Mistral 7B) für morphologisch reiche Sprachen wie Polnisch.

• Hohe Fertilitätsrate: Universelle Tokenizer zerlegen polnische Wörter oft in zu viele Subword-Einheiten. Dies führt zu einer hohen „Fertility Ratio" (durchschnittliche Anzahl von Tokens pro Wort), was den effektiven Kontextfenster verkleinert und die Inferenzkosten erhöht.
• Ineffizienz: Bei monolingualen oder sprachspezifischen Anwendungen bleiben große Teile der Embeddings in sehr großen Vokabularen (150k–250k Tokens) ungenutzt, was Speicher und Rechenleistung verschwendet.
• Risiko des „Catastrophic Forgetting": Der Austausch des Tokenizers eines vortrainierten Modells gegen einen sprachspezifischen birgt das Risiko, dass das Modell zuvor erlerntes semantisches und syntaktisches Wissen verliert, da sich der Embedding-Raum drastisch ändert.

2. Methodik

Die Autoren stellen die Bielik v3 PL-Serie (7B und 11B Parameter) vor, die auf der Mistral-Architektur basiert, aber einen dedizierten, polnisch-optimierten Tokenizer (APT4) verwendet.

A. Architektur und Tokenizer-Design

• Basis: Transformer-Architektur mit Grouped-Query Attention (GQA) und Rotary Positional Embeddings (RoPE) für Kontexte bis zu 32.768 Tokens.
• Tokenizer-Optimierung: Statt eines großen Vokabulars wird ein Vokabular von ca. 32.000 Tokens beibehalten, jedoch speziell für Polnisch optimiert (APT4). Dies reduziert die Fertilitätsrate für Polnisch signifikant, ohne die Abdeckung anderer Sprachen komplett zu opfern.
• Vergleich: Auf einem Testtext (Verfassung Polens) sinkt die Tokens pro Wort (TpW) von 3,22 (Bielik 11B v3 Standard) auf 1,62 (Bielik v3 PL), was die effektive Kontextkapazität für Polnisch fast verdoppelt.

B. Anpassung des Vokabulars (Vocabulary Adaptation)

Um das „Catastrophic Forgetting" zu vermeiden, wird das FOCUS-Verfahren (Fast Overlapping Token Combinations Using Sparsemax) von Dobler und de Melo eingesetzt.

• Prinzip: Jedes Token im neuen Vokabular wird als spärliche lineare Kombination von Tokens des ursprünglichen Vokabulars initialisiert, basierend auf semantischer Ähnlichkeit.
• Vorteil: Dies erhält die während des Pretrainings gelernten Beziehungen und ermöglicht eine stabile Optimierung. FOCUS wurde als überlegen gegenüber anderen Methoden (wie WECHSEL, MATT oder Random Initialization) identifiziert.

C. Trainings-Pipeline

Der Prozess erfolgt in mehreren Stufen:

1. Stufe 1 (Partielles Einfrieren): Auf 4 Milliarden Tokens (Subset des Original-Corpus) wird nur der Eingabe-Embedding-Layer, der Sprachmodell-Head (lm_head) und vier Grenzschichten (zwei unterste, zwei oberste Transformer-Layer) aktualisiert. Dies stabilisiert die Abbildung zwischen neuem Tokenraum und alten Repräsentationen.
2. Stufe 2 (Vollständige Anpassung): Alle Parameter werden entsperrt und das Modell wird auf weiteren 16 Milliarden Tokens weiter vortrainiert, um sich global an die polnischen Sprachmerkmale anzupassen.
3. Post-Training Alignment: Identisch zum Original-Bielik v3:
   • SFT (Supervised Fine-Tuning): Auf hochwertigen Instruktionen (Polnisch/Englisch).
   • DPO-P (Direct Preference Optimization): Positive-only Formulierung zur Reduktion von Halluzinationen.
   • GRPO (Group Relative Policy Optimization): Verstärkungslernen mit verifizierbaren Belohnungen für mathematische und logische Aufgaben.

3. Wichtige Beiträge

• Effiziente Tokenisierung: Einführung des APT4 Tokenizers, der die Token-Effizienz für Polnisch drastisch verbessert, ohne die Modellgröße zu erhöhen.
• Stabile Transfer-Methode: Demonstration, dass FOCUS in Kombination mit einem zweistufigen Pretraining-Curriculum das Risiko des Wissensverlusts bei Tokenizer-Wechsel minimiert.
• Open Source: Veröffentlichung der Gewichte beider Modelle (7B und 11B) unter der Apache 2.0 Lizenz.
• Skalierbarkeit: Die Methode bietet einen reproduzierbaren Blueprint für die Anpassung multilingualer LLMs an spezifische Sprachen.

4. Ergebnisse und Evaluation

Die Modelle wurden auf neun verschiedenen Benchmarks evaluiert, die Polnisch-spezifische und multilinguale Fähigkeiten abdecken.

• Polnische Benchmarks:

  • Open PL LLM Leaderboard: Die PL-Variante (11B) erreicht 64,11 (5-Shot), im Vergleich zu 65,93 beim Original-Tokenizer. Dies ist ein sehr geringer Verlust bei deutlich erhöhter Effizienz.
  • Polish EQ-Bench (Emotionale Intelligenz): Die PL-Variante erreicht 71,15, was fast identisch mit dem Original (71,20) ist und besser als viele größere Modelle abschneidet.
  • CPTUB (Komplexe Textverständlichkeit): Überraschenderweise übertrifft die PL-Variante (11B) mit 3,80 das Original-Modell (3,73) im Gesamtdurchschnitt, insbesondere bei Implikaturen und Phraseologie.
  • Polish Medical Leaderboard: Die PL-Variante erreicht 48,42% (Original: 50,21%), was immer noch eine hohe Kompetenz im medizinischen Fachbereich zeigt.

• Multilinguale / Englische Benchmarks:

  • Open LLM Leaderboard (Englisch): Die PL-Variante (11B) erreicht 71,49 (Original: 72,45). Die englischen Fähigkeiten bleiben weitgehend erhalten.
  • INCLUDE-base-44 & Belebele: Die Modelle zeigen starke Leistungen in europäischen Sprachen, wobei die PL-Optimierung einen leichten Trade-off zugunsten der polnischen Spezifität aufweist, aber immer noch konkurrenzfähig bleibt.
  • FLORES (Übersetzung): Die Übersetzungsqualität (BLEU) für Polnisch bleibt hoch, wobei die bidirektionale Übersetzung gut funktioniert.

5. Bedeutung und Fazit

Das Papier demonstriert, dass die Optimierung des Tokenizers für eine spezifische Sprache (hier Polnisch) eine der effektivsten Methoden ist, um die Leistung von LLMs zu steigern, ohne die Modellgröße zu erhöhen.

• Effizienzgewinn: Durch die Halbierung der Tokens pro Wort wird der effektive Kontext für polnische Texte verdoppelt, was Kosten senkt und die Verarbeitungsgeschwindigkeit erhöht.
• Leistungsbeibehaltung: Die Kombination aus FOCUS-Initialisierung und gestaffeltem Pretraining ermöglicht es, die Leistung des Originalmodells fast vollständig zu erhalten oder in bestimmten Bereichen (wie CPTUB) sogar zu übertreffen.
• Relevanz: Die Arbeit ist ein wichtiger Beitrag zur Entwicklung zugänglicher, hocheffizienter KI-Systeme für unterrepräsentierte Sprachen in Europa und bietet eine bewährte Methodik für zukünftige sprachspezifische Anpassungen.