Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language

Ce rapport présente la création de Bielik-Minitron-7B, un modèle de langue polonaise compressé à 7,35 milliards de paramètres via une méthode de deux étapes combinant élagage structuré et distillation de connaissances, qui permet de récupérer 90 % des performances du modèle original tout en accélérant l'inférence de 50 %.

L'essentiel

🇵🇱 Bielik-Minitron-7B : La recette du "Géant en Miniature"

Imaginez que vous avez un chef cuisinier exceptionnel, Bielik-11B, capable de préparer des plats complexes dans la langue polonaise. Ce chef est un génie, mais il est énorme : il occupe toute la cuisine, a besoin d'un four industriel géant (des cartes graphiques très puissantes) et coûte très cher à faire travailler.

Le problème ? La plupart des gens n'ont pas de cuisine industrielle. Ils ont juste un petit four à gaz (un ordinateur personnel). Comment faire pour que ce chef génial puisse cuisiner dans un petit appartement sans perdre son talent ?

C'est exactement ce que l'équipe de Bielik.AI et NVIDIA a résolu avec Bielik-Minitron-7B. Voici comment ils ont fait, expliqué avec des images simples.

1. Le Grand Opérationnel : La "Chirurgie" du Chef

Au lieu de recruter un nouveau chef plus petit et de le former depuis zéro (ce qui prendrait des années et coûterait une fortune), ils ont décidé de réduire la taille du chef existant.

Ils ont utilisé une technique appelée élagage structuré (ou pruning).

• L'analogie : Imaginez que le chef a 50 assistants dans sa cuisine. En regardant attentivement qui fait quoi, ils se rendent compte que certains assistants ne font que regarder le mur ou répéter des choses inutiles.
• L'action : Ils ont licencié 10 assistants (réduisant le nombre de couches du modèle) et ont demandé aux autres de travailler un peu plus efficacement en réduisant la taille de leurs zones de stockage (réduisant la largeur du modèle).
• Le résultat : Le chef est maintenant plus léger, il tient dans un petit appartement, mais il garde les meilleurs outils et les assistants les plus talentueux.

2. La Pédale de Pédale : L'Enseignement par l'Exemple (Distillation)

En enlevant des assistants, le chef risque de perdre un peu de sa mémoire ou de sa finesse. Pour éviter cela, ils ont utilisé une technique appelée distillation de connaissances.

• L'analogie : C'est comme si le grand chef (le modèle original) prenait le petit chef (le modèle réduit) à côté de lui et lui disait : "Regarde comment je fais ce plat. Ne te contente pas de copier l'assiette finale, comprends pourquoi j'ai mis cette épice ici, et comment je ressens le goût."
• Le secret : Le petit chef n'apprend pas seulement la bonne réponse (le plat fini), mais il apprend à imiter la probabilité et la réflexion du grand chef. Il apprend à "penser" comme le géant, mais avec moins de ressources.

3. L'Entraînement Final : Devenir un Professionnel

Une fois le modèle réduit et enseigné, il n'est pas encore prêt pour le service. Il faut le polir. C'est là qu'intervient l'étape d'alignement (SFT, DPO, GRPO).

• L'analogie : C'est comme un stage de perfectionnement.
  • On lui apprend à bien répondre aux questions (SFT).
  • On lui apprend à être poli et à ne pas dire de bêtises (DPO).
  • On lui apprend à résoudre des problèmes de logique complexes, comme un puzzle (GRPO).
• Le résultat : Le petit chef est maintenant aussi poli, intelligent et précis que le grand, mais il est beaucoup plus rapide.

🏆 Les Résultats : Pourquoi c'est une révolution ?

Le rapport montre que cette opération a été un succès total :

1. Taille réduite, talent conservé : Le nouveau modèle est 33 % plus petit (il passe de 11 milliards de paramètres à 7,35 milliards), mais il conserve 90 % de la performance du modèle original. C'est comme si vous aviez une voiture de course qui consomme moitié moins d'essence mais qui va presque aussi vite.
2. Vitesse éclair : Grâce à sa taille réduite, il est 50 % plus rapide à générer du texte. C'est comme passer d'un camion de livraison à une moto de course dans les embouteillages.
3. Accessible à tous : Le modèle original nécessitait des serveurs de données industriels. Le nouveau modèle tient parfaitement sur une carte graphique grand public (comme une RTX 4090 que vous pouvez acheter pour votre PC).
4. Spécialiste du Polonais : Tout en étant plus petit, il reste un expert de la langue polonaise, capable de comprendre les nuances, l'humour et la grammaire complexe, mieux que beaucoup de modèles internationaux beaucoup plus gros.

En résumé

Bielik-Minitron-7B, c'est l'histoire d'une équipe qui a pris un géant de l'intelligence artificielle, lui a fait une "chirurgie esthétique" intelligente pour le rendre plus petit et plus rapide, puis lui a donné une formation intensive pour qu'il ne perde aucune de ses compétences.

Le résultat ? Un super-cerveau polonais qui tient dans votre poche (ou sur votre bureau), capable de rivaliser avec des géants bien plus lourds, rendant l'intelligence artificielle de pointe accessible à tout le monde, pas seulement aux grandes entreprises. 🚀🇵🇱

Résumé technique

1. Problématique et Contexte

L'essor des modèles de langage (LLM) s'accompagne d'une augmentation massive des besoins en ressources computationnelles, en particulier en mémoire VRAM (mémoire vidéo), ce qui rend leur déploiement coûteux et difficile, surtout pour les marchés européens et les langues moins représentées comme le polonais.

• Défi : Comment réduire la taille et le coût d'inférence d'un modèle performant (Bielik-11B-v3.0, 11,04 milliards de paramètres) sans sacrifier sa capacité de raisonnement ni sa fidélité linguistique spécifique au polonais ?
• Objectif : Créer un modèle compressé (cible ~7 milliards de paramètres) capable de rivaliser avec le modèle original tout en étant exécutable sur du matériel grand public (ex: GPU RTX 4090/5090).

2. Méthodologie

L'équipe a adopté une approche de compression en deux étapes, inspirée de la méthodologie NVIDIA Minitron, combinant l'élagage structuré (structured pruning) et la distillation de connaissances (knowledge distillation), suivie d'une phase d'alignement rigoureuse.

A. Élagage Structuré (Structured Pruning)

Au lieu d'entraîner un petit modèle de zéro, le modèle "enseignant" (11B) a été compressé en supprimant des composants architecturaux entiers basés sur une analyse de sensibilité par activation :

• Approche Hybride : L'élagage a été effectué sur plusieurs axes simultanément (profondeur et largeur) pour trouver un équilibre optimal ("Golden Ratio").
• Métriques d'importance : Utilisation de métriques basées sur les activations (sans calcul de gradient) pour identifier les couches, les têtes d'attention et les dimensions intermédiaires (FFN) les moins critiques.
• Configuration Finale (EXP_010) :
  • Réduction de la profondeur : de 50 à 40 couches Transformer.
  • Réduction de la dimension intermédiaire (FFN) : de 14 336 à 11 264.
  • Conservation de la dimension cachée (4096) et de la topologie d'attention.
  • Résultat : Réduction de 33,4 % des paramètres (de 11,04B à 7,35B).

B. Distillation de Connaissances (Knowledge Distillation)

Pour récupérer les performances perdues lors de l'élagage, un processus de distillation a été mis en place :

• Enseignant/Étudiant : Le modèle Bielik-11B-v3.0 (gelé) sert d'enseignant au modèle Bielik-Minitron-7B (étudiant).
• Objectif d'apprentissage : Minimisation de la divergence KL (Kullback-Leibler) entre les logits de l'enseignant et de l'étudiant (distillation basée sur les logit uniquement, sans étiquettes de vérité terrain).
• Température : Utilisation d'une température élevée pour lisser les distributions de probabilité et transmettre les "connaissances sombres" (nuances et relations entre tokens).
• Efficacité : Ce processus a permis de récupérer la majorité des capacités du modèle original en utilisant moins de 3 % des données de pré-entraînement originales.

C. Pipeline d'Alignement Post-Distillation

Pour transformer le modèle de base en assistant conversationnel robuste, trois étapes d'ajustement ont été appliquées :

1. SFT (Supervised Fine-Tuning) : Entraînement sur 20 millions d'instructions polonaises et anglaises.
2. DPO-P (Direct Preference Optimization) : Optimisation des préférences humaines pour réduire les contenus nocifs et améliorer le suivi des instructions.
3. GRPO (Group Relative Policy Optimization) : Renforcement learning pour améliorer le raisonnement logique et mathématique sans réseau critique séparé.

3. Contributions Clés

• Preuve de concept pour les langues européennes : Démonstration qu'il est possible de compresser un modèle de pointe pour une langue spécifique (polonais) tout en préservant sa complexité morphologique et syntaxique.
• Optimisation de l'infrastructure NVIDIA : Utilisation efficace des GPU H200 (mémoire HBM3e de 141 Go) pour permettre la résidence simultanée des modèles enseignant et étudiant en VRAM, éliminant les goulots d'étranglement de communication.
• Blueprint reproductible : Fourniture d'une méthode reproductible pour créer des modèles efficaces pour des langues sous-représentées sans les coûts prohibitifs d'un entraînement from scratch.

4. Résultats et Évaluation

Le modèle final, Bielik-Minitron-7B, a démontré des performances exceptionnelles :

• Récupération des performances : Le modèle a récupéré environ 90,1 % des performances globales du modèle enseignant (11B) sur l'ensemble des benchmarks.
• Benchmarks Polonais :
  • Open PL LLM Leaderboard : Score de 62,46, surpassant des modèles plus grands comme Qwen3-14B (62,24) et Mistral-7B (47,74).
  • Polish EQ-Bench (Raisonnement émotionnel) : Score de 64,09, surpassant des modèles de 12B+ et conservant 90 % des capacités du modèle 11B.
  • CPTUB (Compréhension de texte complexe) : Performance supérieure aux modèles Qwen2.5-7B et Mistral-7B, avec une excellente récupération des compétences linguistiques "douces" (99,91 % de récupération sur la résumation).
• Performance d'inférence :
  • Débit (Throughput) : Augmentation de 49,6 % (passant de 54,42 à 81,41 tokens/seconde).
  • Latence (TPOT) : Réduction de 32,6 % (de 18,28 ms à 12,32 ms par token).
  • Déploiement : Le modèle tient dans 14 Go de VRAM (en FP16), permettant son exécution sur des cartes grand public (RTX 3090/4090).
• Quantification : Le modèle résiste bien à la quantification (Q4_K_M), ne perdant que 0,91 % de performance par rapport à la version non quantifiée, tout en restant supérieur aux modèles natifs de 7B.

5. Signification et Impact

Ce travail marque une avancée significative pour l'écosystème NLP européen :

1. Accessibilité : Il démocratise l'accès à des capacités de LLM de pointe pour le polonais, rendant possible le déploiement local sur du matériel grand public, réduisant ainsi la dépendance aux infrastructures cloud coûteuses.
2. Efficacité Économique et Environnementale : La méthode de compression permet de réduire l'empreinte carbone et les coûts de développement de plus de 97 % par rapport à un entraînement complet d'un modèle de 7B.
3. Validité de la Méthode Minitron : Confirme que l'approche "élagage + distillation" est supérieure à l'entraînement de modèles plus petits de zéro, particulièrement pour les langues complexes où la qualité des données et la structure du modèle sont critiques.

En résumé, Bielik-Minitron-7B est un modèle de référence qui prouve qu'il est possible de concilier haute performance, faible coût d'inférence et spécificité linguistique grâce à une ingénierie de compression avancée.