Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series

Ce rapport présente l'optimisation des modèles Bielik v3 (7B et 11B) pour la langue polonaise en remplaçant le tokenizer universel par un vocabulaire dédié, ce qui permet d'améliorer l'efficacité morphologique et de réduire les coûts d'inférence grâce à une initialisation FOCUS, un curriculum de pré-entraînement multi-étapes et un alignement post-entraînement avancé.

L'essentiel

🇵🇱 Bielik v3 : L'Art de Parler Polonais sans se perdre dans les mots

Imaginez que vous essayez d'enseigner à un robot très intelligent (une intelligence artificielle) à parler polonais. Le problème, c'est que ce robot a été entraîné à l'origine pour parler toutes les langues du monde en même temps. C'est comme si vous lui donniez un dictionnaire géant qui contient 100 000 mots, mais où le mot "maison" en polonais est écrit en 4 petits morceaux différents, alors qu'en anglais, il ne fait qu'un seul mot.

C'est ce qu'on appelle un problème de "fertilisation" (fertility ratio) : le robot a besoin de trop de petits morceaux (des "jetons" ou tokens) pour dire une seule chose. C'est lent, ça coûte cher en énergie, et le robot se fatigue vite car sa "mémoire de travail" (le contexte) se remplit trop vite avec des détails inutiles.

Les chercheurs de l'équipe SpeakLeash ont décidé de réparer ça avec leur nouvelle série de modèles, Bielik v3 (en versions 7 milliards et 11 milliards de paramètres). Voici comment ils ont fait, expliqué avec des métaphores simples.

1. Le Nouveau Dictionnaire : Passer du "Mozart" au "Polonais Pur"

Avant, le robot utilisait un dictionnaire universel (comme le modèle Mistral). Pour écrire une phrase polonaise complexe, il devait casser chaque mot en 3 ou 4 petits morceaux.

• L'analogie : Imaginez que vous devez écrire un livre, mais au lieu d'écrire "Chat", vous devez écrire "C-h-a-t" comme si chaque lettre était un mot séparé. C'est inefficace !

Les chercheurs ont créé un nouveau dictionnaire spécial pour le polonais (appelé APT4).

• Le résultat : Maintenant, le mot "maison" (dom) est un seul bloc. Le mot "chat" (kot) est un seul bloc.
• L'effet magique : La phrase est deux fois plus courte dans la mémoire du robot. Il peut donc lire deux fois plus de texte, comprendre des contextes plus longs et répondre plus vite, tout en utilisant la même puissance de calcul.

2. Le Risque d'Oubli : Comment ne pas perdre la mémoire ?

C'est là que ça devient délicat. Si vous changez le dictionnaire d'un robot qui a déjà tout appris, vous risquez de lui faire oublier tout ce qu'il savait avant. C'est comme si vous changiez l'alphabet d'un enfant qui sait déjà lire : il pourrait paniquer et oublier comment lire ses propres livres. C'est ce qu'on appelle l'oubli catastrophique.

Pour éviter cela, ils ont utilisé une technique intelligente appelée FOCUS.

• L'analogie : Imaginez que vous déménagez dans une nouvelle maison avec un nouveau système de rangement. Au lieu de jeter tous vos meubles et de tout acheter de neuf, vous utilisez un "traducteur de meubles". Vous dites au déménageur : "Ce vieux tiroir correspond à ce nouveau placard, et cette étagère correspond à cette commode."
• Grâce à FOCUS, le robot a pu transférer ses connaissances de l'ancien dictionnaire vers le nouveau sans rien oublier. Il a juste appris à lire les mots différemment.

3. L'Entraînement en Deux Temps : La Pédale de Frein et l'Accélérateur

Pour s'assurer que le robot s'adapte parfaitement sans faire de bêtises, ils ont utilisé une méthode en deux étapes :

• Étape 1 : La phase de "douceur" (Partiellement gelé)
  Imaginez que vous réapprenez à conduire avec un nouveau type de voiture. Au début, vous ne touchez pas au moteur ni aux freins profonds. Vous ne changez que le volant et les pédales de base. Le robot apprend à utiliser son nouveau dictionnaire sans toucher à sa "pensée" profonde. Cela évite qu'il ne devienne fou.
• Étape 2 : La phase de "liberté totale" (Tout dégelé)
  Une fois que le robot est à l'aise, on lui laisse les commandes complètes. Il peut maintenant ajuster tout son cerveau pour devenir un expert du polonais, en apprenant les nuances, l'humour et la grammaire complexe de la langue.

4. Les Résultats : Un Robot qui parle mieux et plus vite

Après tout cet entraînement, les chercheurs ont testé le robot sur de nombreux examens (médecine, logique, compréhension de texte, émotion).

• En polonais : Le nouveau modèle (avec le nouveau dictionnaire) est aussi bon, voire meilleur, que l'ancien. Il comprend mieux les nuances, l'ironie et les textes médicaux complexes.
• En anglais et autres langues : Le robot n'a pas perdu sa capacité à parler anglais ou à faire des maths. Il reste un expert multilingue, mais il est devenu un spécialiste du polonais.

En résumé

Les chercheurs ont pris un robot intelligent mais un peu "généraliste" et lent pour le polonais, et ils lui ont donné :

1. Un dictionnaire sur mesure (plus court et plus efficace).
2. Une méthode douce pour changer de dictionnaire sans oublier ses connaissances.
3. Un entraînement progressif pour devenir un expert.

Le résultat ? Des modèles Bielik v3 qui sont plus rapides, moins coûteux à faire tourner, et qui parlent le polonais avec une fluidité incroyable, tout en restant capables de discuter dans d'autres langues. C'est une victoire pour l'intelligence artificielle en Pologne et pour la diversité linguistique mondiale ! 🇵🇱🤖✨

Résumé technique

Titre du rapport

Avancement de la modélisation de la langue polonaise par l'optimisation du tokenizer dans la série Bielik v3 7B et 11B.

1. Problématique

Le développement de modèles de langage (LLM) multilingues souffre souvent d'une inefficacité architecturale fondamentale : l'utilisation de tokenizers universels conçus pour couvrir un large éventail de langues. Pour des langues morphologiquement riches comme le polonais, ces tokenizers génériques échouent à capturer les nuances spécifiques, entraînant :

• Un ratio de fertilité élevé (nombre de tokens nécessaires pour représenter un mot), ce qui fragmente le texte.
• Une densité d'information réduite dans la fenêtre de contexte.
• Une augmentation des coûts d'inférence et une réduction de la fenêtre de contexte effective.

L'objectif de ce travail est de remplacer le tokenizer universel (basé sur Mistral) des modèles Bielik v3 par un vocabulaire optimisé spécifiquement pour le polonais, tout en évitant le oubli catastrophique (la perte des connaissances acquises lors du pré-entraînement initial).

2. Méthodologie

L'approche proposée combine une adaptation de vocabulaire avancée, un pipeline d'entraînement en plusieurs étapes et des techniques d'alignement post-entraînement.

A. Optimisation du Tokenizer (APT4)

• Vocabulaire : Remplacement du tokenizer original (32 128 tokens) par le tokenizer APT4, dédié au polonais, avec une taille de vocabulaire comparable (~32 000 tokens).
• Objectif : Réduire le ratio de fertilité pour le polonais tout en maintenant une couverture raisonnable de l'anglais et d'autres langues européennes.
• Résultat préliminaire : Sur un texte de référence (préambule de la Constitution polonaise), le nombre de tokens par mot (TpW) passe de 3,22 (tokenizer original) à 1,62 (APT4), doublant presque la capacité de contexte effective pour le polonais.

B. Adaptation du Vocabulaire et Initialisation (FOCUS)

Pour transférer les connaissances du modèle pré-entraîné vers le nouveau vocabulaire sans réapprendre de zéro, les auteurs utilisent le framework FOCUS (Fast Overlapping Token Combinations Using Sparsemax).

• Principe : Chaque token du nouveau vocabulaire est représenté comme une combinaison linéaire parcimonieuse de tokens du vocabulaire original, basée sur la similarité sémantique dans un espace d'embedding auxiliaire.
• Comparaison : Cette méthode a été jugée supérieure à d'autres approches testées (Initialisation aléatoire, transfert basé sur la fréquence, transformations linéaires, WECHSEL, MATT, etc.) en termes de stabilité et de perte d'entraînement.

C. Pipeline d'Entraînement en Deux Étapes

Pour stabiliser l'adaptation, un processus de pré-entraînement continu (Continued Pretraining) est mis en œuvre sur un sous-ensemble de 20 milliards de tokens :

1. Étape 1 : Adaptation des frontières (4B tokens) : La plupart des paramètres du modèle sont figés. Seules les couches d'embedding d'entrée, la tête de langage (lm_head) et quatre couches limites (deux inférieures et deux supérieures) sont mises à jour. Cela permet d'apprendre la correspondance entre le nouvel espace de tokens et les représentations internes fixes.
2. Étape 2 : Adaptation complète (16B tokens) : Tous les paramètres sont dégelés pour permettre un ajustement global des poids, affinant les représentations linguistiques et les statistiques au niveau des tokens pour le polonais.

D. Alignement Post-Entraînement

Les modèles subissent ensuite le même pipeline d'alignement que les modèles Bielik v3 originaux :

1. SFT (Supervised Fine-Tuning) : Affinement sur des paires instruction-réponse de haute qualité (polonais et anglais).
2. DPO-P (Direct Preference Optimization) : Optimisation des préférences (formulation positive uniquement) pour réduire les hallucinations et améliorer l'adhésion à l'intention de l'utilisateur.
3. GRPO (Group Relative Policy Optimization) : Apprentissage par renforcement utilisant des récompenses vérifiables (mathématiques, logique, STEM) pour améliorer le raisonnement.

3. Contributions Clés

• Méthode de remplacement de tokenizer : Proposition d'une méthode robuste utilisant FOCUS pour remplacer le tokenizer d'un LLM pré-entraîné tout en atténuant le risque d'oubli catastrophique.
• Pipeline complet : Description d'un pipeline de pré-entraînement et d'alignement multi-étapes qui préserve les performances du modèle original.
• Modèles ouverts : Publication des poids des modèles Bielik-PL-11B-v3.0-Instruct et Bielik-PL-Minitron-7B-v3.0-Instruct sous licence Apache 2.0.
• Efficacité prouvée : Démonstration qu'une optimisation de tokenizer peut doubler la capacité de contexte effective sans sacrifier la qualité du modèle.

4. Résultats d'Évaluation

Les modèles ont été évalués sur neuf benchmarks couvrant le polonais et le multilingue.

• Efficacité du Tokenizer : Réduction significative du ratio de fertilité (de 3,22 à 1,62 tokens/mot pour le polonais), permettant une meilleure utilisation de la fenêtre de contexte de 32k tokens.
• Performances en Polonais (Open PL LLM Leaderboard) :
  • Le modèle Bielik-11B-v3.0-Instruct (tokenizer original) obtient un score moyen de 65,93.
  • Le modèle Bielik-PL-11B-v3.0-Instruct (tokenizer polonais) obtient 64,11, conservant une performance très proche du modèle original malgré le changement de vocabulaire.
  • Sur le Polish EQ-Bench (intelligence émotionnelle), le modèle PL obtient 71,15, surpassant légèrement le modèle original (71,20 vs 71,15 est très proche, mais le rapport note que le PL surpasse parfois l'original sur des tâches spécifiques comme CPTUB).
  • Sur le CPTUB (compréhension de textes complexes), la variante PL (3,80) surpasse même la variante originale (3,73).
• Performances Multilingues et Anglais :
  • Les capacités en anglais (Open LLM Leaderboard) restent intactes : 71,49 pour le modèle PL-11B contre 72,45 pour l'original.
  • Sur Belebele (compréhension de lecture multilingue), le modèle PL conserve une forte performance (77,41 en moyenne européenne), bien qu'une légère baisse soit observée par rapport au modèle original (82,98), indiquant un compromis acceptable pour l'optimisation polonaise.
  • Sur FLORES (traduction), le modèle PL maintient des scores BLEU compétitifs, bien que légèrement inférieurs à la version originale, confirmant que la spécialisation polonaise n'a pas détruit les capacités de traduction bidirectionnelle.

5. Signification et Conclusion

Ce rapport démontre qu'il est possible d'adapter des grands modèles de langage multilingues à des langues spécifiques (ici le polonais) en optimisant leur tokenizer, sans avoir besoin de réentraîner le modèle à partir de zéro.

• Efficacité : La réduction du ratio de fertilité permet d'augmenter la capacité de traitement effective du modèle pour la langue cible.
• Stabilité : L'utilisation de la méthode FOCUS couplée à un pré-entraînement continu en deux étapes (avec gel partiel puis total) s'avère être une stratégie efficace pour transférer les connaissances et éviter l'oubli catastrophique.
• Impact : Les modèles Bielik v3 PL offrent des performances de pointe pour le polonais, surpassant ou égalant des modèles beaucoup plus grands (comme Llama-3.3-70B ou Qwen-72B) sur des tâches polonaises spécifiques, tout en conservant des capacités multilingues robustes.

Cette méthodologie fournit un modèle reproductible pour l'adaptation de LLM à d'autres langues sous-représentées, favorisant le développement d'une IA plus accessible et linguistiquement diversifiée en Europe.