Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language

Dit artikel beschrijft de ontwikkeling van Bielik-Minitron-7B, een voor het Pools geoptimaliseerd taalmodel dat door gestructureerde pruning en kennisdistillatie 33,4% minder parameters heeft dan het origineel, terwijl het 90% van de prestaties behoudt en de inferentiesnelheid met 50% verbetert.

De kern

🇳🇱 De Grote Vertaling: Hoe maak je een reus klein zonder zijn brein te verliezen?

Stel je voor dat je een gigantische, superintelligente bibliothecaris hebt (de Bielik-11B). Deze bibliothecaris kent elke taal, elk feit en elk nuance van het Poolse taalgebruik. Hij is echter zo groot dat hij alleen in een enorm, duur magazijn past en je hebt een vrachtwagen vol stroom nodig om hem aan te zetten.

De onderzoekers van Bielik.AI en NVIDIA wilden deze bibliothecaris kleiner maken, zodat hij in een gewone auto past en op een gewone laptop werkt, maar zonder dat hij zijn wijsheid verliest.

Het resultaat heet Bielik-Minitron-7B. Het is een "versneden" versie van de oorspronkelijke bibliothecaris, die ongeveer 33% kleiner is, maar nog steeds 90% net zo slim werkt.

---

🛠️ Hoe hebben ze dit gedaan? (De 3 Stappen)

Ze hebben geen nieuwe bibliothecaris vanaf nul gebouwd (dat zou te duur en te lang duren). In plaats daarvan hebben ze de bestaande reus "chirurgisch" bewerkt.

1. De "Pruning" (Het Knippen)

Stel je voor dat de bibliothecaris een enorme koffer heeft vol met boeken. Veel boeken zijn echter dubbelop, of staan op een plank die niemand ooit gebruikt.

• Wat deden ze? Ze keken precies welke delen van het brein van de AI het minst gebruikt werden (zoals specifieke denkpaden of "neuronen").
• De Analogie: Het is alsof je een boom snoeit. Je verwijdert de dode takken en de bladeren die nooit fruit dragen, zodat de boom minder water en meststof nodig heeft, maar de stam en de belangrijkste takken blijven staan.
• Het resultaat: De AI werd van 11 miljard parameters (de "dubbele" kennis) gereduceerd naar 7,35 miljard. Hij is nu lichter en sneller.

2. De "Distillatie" (Het Overbrengen van Wijsheid)

Als je gewoon takken weghaalt, kan de boom sterven of minder fruit dragen. De AI zou dan "vergeten" hoe hij Poolse zinnen correct moet vormen.

• Wat deden ze? Ze lieten de kleine AI (de leerling) naar de grote AI (de leraar) kijken terwijl deze teksten schreef. De kleine AI leerde niet alleen wat het juiste antwoord was, maar ook hoe de grote AI twijfelde, welke woorden hij koos en hoe hij redeneerde.
• De Analogie: Het is alsof een meesterkok (de grote AI) een leerling (de kleine AI) laat meekijken in de keuken. De leerling proeft niet alleen het eindgerecht, maar leert ook de subtiele handelingen: "Hoeveel peper? Hoeveel geduld? Hoe voel je de textuur?" Zo leert de leerling de "geheime trucs" van de meester, zonder dat hij zelf 20 jaar ervaring nodig heeft.
• Het resultaat: De kleine AI heeft de "donkere kennis" (de subtiele nuances) van de grote AI overgenomen.

3. De "Alignering" (Het Oefenen voor de Praktijk)

Nu de AI kleiner en slim is, moet hij nog leren hoe hij zich gedraagt als een behulpzame assistent.

• Wat deden ze? Ze gaven de AI extra training met menselijke feedback. Ze leerden hem: "Dit antwoord is netjes, dat antwoord is raar," en "Dit is een goede manier om een vraag te beantwoorden."
• De Analogie: Het is als een stage. De nieuwe medewerker (de AI) heeft de kennis, maar moet nu nog leren hoe hij met klanten omgaat, hoe hij beleefd blijft en hoe hij problemen oplost zonder te "hallucineren" (zomaar dingen te verzinnen).

---

🚀 Waarom is dit zo'n groot succes?

1. Snelheid: Omdat de AI kleiner is, werkt hij 50% sneller. Het is alsof je van een zware vrachtwagen overstapt op een sportieve auto: je komt net zo snel op je bestemming, maar verbruikt veel minder brandstof.
2. Toegankelijkheid: De oorspronkelijke AI had dure, industriële computers nodig. De nieuwe Bielik-Minitron-7B past op gewone consumentencomputers (zoals een laptop met een goede videokaart). Dit betekent dat elke Poolse ontwikkelaar of onderzoeker nu toegang heeft tot deze slimme technologie, zonder miljoenen euro's te hoeven uitgeven.
3. Kwaliteit: Ondanks dat hij kleiner is, presteert hij bijna even goed als de grote versie op moeilijke Poolse taken (zoals medische vragen, juridische teksten en emotionele intelligentie). Hij is zelfs slimmer dan veel andere grote AI-modellen van concurrenten.

💡 De Kernboodschap

Dit onderzoek bewijst dat je niet altijd de grootste en duurste AI nodig hebt om goede resultaten te behalen. Door slim te "snoeien" en de wijsheid van een groot model over te dragen naar een kleiner model, kun je efficiëntie en snelheid combineren met hoogstaande intelligentie.

Voor talen zoals het Pools, die vaak minder aandacht krijgen dan het Engels, is dit een game-changer: het maakt geavanceerde technologie betaalbaar en beschikbaar voor iedereen.

Technische samenvatting

Probleemstelling

De groei van Large Language Models (LLMs) heeft geleid tot aanzienlijke verbeteringen in taalverwerking, maar brengt ook hoge kosten met zich mee voor implementatie, vooral wat betreft GPU-VRAM en rekenkracht. Voor minder vertegenwoordigde talen, zoals het Pools, is er een kritieke behoefte aan modellen die een balans vinden tussen hoogwaardig redeneren en efficiënte implementatie. Het trainen van nieuwe modellen van scratch voor deze markten is vaak te duur en ecologisch onduurzaam. Er is dus een noodzaak voor compressietechnieken die de modelgrootte verkleinen zonder de oorspronkelijke kwaliteit en taalnuances te verliezen.

Methodologie

De auteurs hebben een tweestaps compressiemethodologie ontwikkeld, geïnspireerd op de NVIDIA Minitron-benadering, om het vlaggeschipmodel Bielik-11B-v3.0 (11,04 miljard parameters) te comprimeren tot Bielik-Minitron-7B (7,35 miljard parameters).

1. Gestructureerde Pruning (Structural Pruning)
In plaats van ongestructureerde pruning (het verwijderen van individuele gewichten), werd gekozen voor gestructureerde pruning, die hele architecturale componenten verwijdert. Dit garandeert hardware-vriendelijke versnelling.

• Multi-as Pruning: De methode combineert diepte-pruning (verwijderen van transformer-lagen) en breedte-pruning (verkleinen van de FFN-intermediaire dimensie).
• Importantie-schatting: Gebruikmakend van de NVIDIA Model Optimizer, werden activatie-magnitudes op een kalibratie-dataset geanalyseerd om de minst kritieke componenten te identificeren.
• Configuratie: Na een systematische zoektocht naar de "Golden Ratio" (EXP_010) werd de modeldiepte verlaagd van 50 naar 40 lagen en de FFN-intermediaire dimensie van 14.336 naar 11.264. De verborgen dimensie ($d_{model}$) en de attention-heads bleven intact om de architecturale consistentie te behouden.

2. Kennisdistillatie (Knowledge Distillation)
Na de pruning onderging het "student"-model een distillatieproces om de prestaties te herstellen.

• Teacher-Student Setup: Het oorspronkelijke Bielik-11B-v3.0 fungeerde als bevroren leraar.
• Doel: Het minimaliseren van de Kullback-Leibler (KL) divergentie tussen de logit-uitgaven van de leraar en de student.
• Logit-only Loss: In tegenstelling tot standaard training, werd alleen gebruikgemaakt van de waarschijnlijkheidsverdeling van de leraar (zonder ground-truth labels). Dit stelt de student in staat om "donkere kennis" (nuances in waarschijnlijkheid en zelfvertrouwen) over te nemen.
• Temperatuur Scaling: Een temperatuurparameter werd gebruikt om de verdeling te verzachten, waardoor de student fijne taalkundige afhankelijkheden kon leren.

3. Uitlijning en Fine-Tuning
Om het model klaar te maken voor productie, werd een strikt uitlijningsproces toegepast:

• Supervised Fine-Tuning (SFT): Training op 20 miljoen instructie-paren (Pools/Engels) om conversatie-vaardigheden te herstellen.
• Direct Preference Optimization (DPO-P): Training op 114.000 voorkeur-gelabelde samples om de naleving van menselijke voorkeuren te verbeteren en schadelijke content te verminderen.
• Group Relative Policy Optimization (GRPO): Reinforcement Learning op 143.000 taken (STEM, wiskunde, logica) om redeneerredenen te verbeteren zonder een aparte criticus.

Belangrijkste Bijdragen

• Efficiënte Compressie voor Poolse Talen: Het succesvol comprimeren van een 11B-parameter model naar 7,35B (een reductie van 33,4%) met behoud van bijna alle prestaties.
• Validatie van de Minitron-aanpak: Bewijs dat gestructureerde pruning gecombineerd met logit-distillatie superieur is aan het trainen van kleinere modellen van scratch, specifiek voor Europese talen.
• Hardware-toegang: Het creëren van een model dat past op consumentenhardware (bijv. NVIDIA RTX 4090/5090 met 16-24GB VRAM), waardoor geavanceerde Poolse NLP toegankelijk wordt voor een bredere gemeenschap.
• Reproduceerbaar Blauwdruk: Een gedetailleerde roadmap voor het ontwikkelen van efficiënte, lokale taalmodellen met minder dan 3% van de oorspronkelijke voor-trainingsrekenkracht.

Resultaten

De evaluatie toont aan dat Bielik-Minitron-7B uitstekend presteert ten opzichte van de leraar en concurrenten:

• Prestatieherstel: Het model herstelt ongeveer 90,1% van de prestaties van de Bielik-11B-v3.0-basislijn over diverse benchmarks.
• Open PL LLM Leaderboard: Het 7,35B-model scoort 62,46, wat aanzienlijk hoger is dan andere 7B-modellen (zoals Mistral-7B: 47,74) en zelfs beter dan sommige 14B- en 32B-modellen. Het behoudt 94,7% van de prestaties van de oorspronkelijke 11B-versie.
• Specifieke Taken:
  • Emotioneel Redeneren (EQ-Bench): 90% herstel van de redeneerkracht van de leraar.
  • Medische Kennis: Presteert op niveau met oudere 11B-versies en verslaat grotere modellen zoals Mistral-Small (22B).
  • Vertaling (FLORES): Toont sterke vertaalcapaciteiten, met name naar het Pools, en verslaat grotere modellen zoals phi-4 (15B).
  • Function Calling: Bereikt hoge nauwkeurigheid in gestructureerde omgevingen (94,50%), vergelijkbaar met veel grotere modellen.
• Inferentie Snelheid:
  • Doorvoer (Throughput): Een toename van 49,6% (van 54,42 naar 81,41 tokens/sec).
  • Latentie: De tijd per output-token (TPOT) verbeterde met 32,6%.
• Quantisatie: Het model is zeer resistent tegen quantisatie. De 4-bit versie (Q4_K_M) behoudt 99% van de oorspronkelijke kwaliteit, wat het ideaal maakt voor lokale implementatie.

Betekenis

Deze studie demonstreert dat het mogelijk is om state-of-the-art taalmodellen voor minder vertegenwoordigde talen (zoals het Pools) te ontwikkelen zonder de enorme kosten van training van scratch. Door gebruik te maken van geavanceerde compressietechnieken (pruning + distillatie) en samenwerking met NVIDIA, hebben de auteurs een model gecreëerd dat:

1. Kostenefficiënt is (minder VRAM, snellere inferentie).
2. Milieuvriendelijk is (minder CO2-voetafdruk door minder rekenkracht).
3. Toegankelijk is voor lokale ontwikkelaars en onderzoekers die geen enterprise-grade infrastructuur hebben.

Bielik-Minitron-7B fungeert als een bewijs van concept dat een "Golden Ratio" bestaat tussen modelgrootte en prestaties, en biedt een schaalbare blauwdruk voor de toekomst van efficiënte, gelokaliseerde AI.