💬 NLP

Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language

Der Bericht stellt Bielik-Minitron-7B vor, ein für europäische Sprachen optimiertes, um 33,4 % komprimiertes Sprachmodell, das durch strukturiertes Beschneiden und Wissensdistillation bei gleichzeitiger Wiederherstellung von 90 % der Basisleistung und bis zu 50 % schnellerer Inferenz eine effiziente Lösung für weniger repräsentierte Sprachen bietet.

Ursprüngliche Autoren: Remigiusz Kinas, Paweł Kiszczak, Sergio P. Perez, Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej

Veröffentlicht 2026-03-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Remigiusz Kinas, Paweł Kiszczak, Sergio P. Perez, Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🇵🇱 Der große Polnische Riese wird zum flinken Zwerg: Wie man eine KI verkleinert, ohne ihr Gehirn zu entfernen

Stellen Sie sich vor, Sie haben einen riesigen, extrem klugen Bibliothekar namens Bielik-11B. Er kennt die polnische Sprache wie kein anderer, kann komplexe medizinische Diagnosen stellen und Gedichte schreiben. Aber er hat ein großes Problem: Er ist so schwer und braucht so viel Platz (Rechenleistung), dass er nur in einem riesigen, teuren Datacenter mit speziellen Super-Computern wohnen kann. Niemand kann ihn sich zu Hause auf dem Laptop oder dem Gaming-PC leisten.

Die Forscher von Bielik.AI wollten diesen Bibliothekar retten, aber sie wollten ihn nicht einfach wegwerfen. Sie wollten ihn verkleinern, damit er in jeden normalen Computer passt, ohne dabei seine Intelligenz zu verlieren. Das Ergebnis ist Bielik-Minitron-7B.

Wie haben sie das gemacht? Mit einer Art "chirurgischer Operation" in zwei Schritten:

1. Der erste Schnitt: Das "Strukturierte Beschneiden" (Structured Pruning)

Stellen Sie sich den großen Bibliothekar als einen riesigen Baum vor, der viele Äste hat. Nicht jeder Ast ist gleich wichtig. Manche Äste tragen nur trockenes Laub, andere tragen die wertvollen Früchte (das Wissen).

Die Forscher haben einen intelligenten Scanner verwendet, um zu sehen, welche Äste des Baumes kaum benutzt werden.

Was sie getan haben: Sie haben ganze Schichten des Baumes entfernt (wie das Entfernen ganzer Stockwerke in einem Gebäude) und die Dicke der verbleibenden Äste reduziert.
Das Ergebnis: Der Baum ist jetzt viel schlanker und leichter (von 11 Milliarden auf 7,35 Milliarden Parameter), aber er hat immer noch die wichtigsten Äste, die das polnische Sprachverständnis tragen.
Die Metapher: Es ist so, als würde man einen schweren Wintermantel nehmen, die dicken, unnötigen Flicken entfernen und den Stoff straffen, aber den warmen Kragen und die Taschen (die wichtigsten Funktionen) behalten.

2. Der zweite Schritt: Das "Lerngespräch" (Knowledge Distillation)

Nach dem Beschneiden war der kleine Zwerg (das neue Modell) etwas verwirrt. Er hatte zwar die Struktur, aber er hatte den "Geist" des großen Riesen noch nicht ganz verinnerlicht. Er wusste, wo die Informationen waren, aber nicht genau wie der große Riese sie verknüpfte.

Hier kommt das Wissens-Wasser ins Spiel:

Was sie getan haben: Der große Riese (der Lehrer) hat dem kleinen Zwerg (dem Schüler) nicht einfach nur die richtigen Antworten gegeben. Stattdessen hat der Lehrer dem Schüler gezeigt, wie er denkt. Der Lehrer hat gesagt: "Wenn du dieses Wort hörst, denke an diese 10 anderen Wörter, nicht nur an das eine."
Die Metapher: Stellen Sie sich vor, ein Meisterkoch (der große Riese) gibt einem Lehrling (dem kleinen Zwerg) nicht nur ein Rezept, sondern lässt ihn über Jahre hinweg in der Küche stehen und den Geruch, die Temperatur und die Handbewegungen des Meisters spüren. Der Lehrling lernt nicht nur die Zutaten, sondern das Gefühl des Kochens.
Das Ergebnis: Der kleine Zwerg hat 90 % der Intelligenz des Riesen übernommen, obwohl er nur halb so groß ist.

3. Der Feinschliff: Das "Gehorsam-Training"

Damit der Zwerg nicht nur klug ist, sondern auch höflich und nützlich, haben die Forscher ihn noch ein paar Mal trainiert:

Er hat gelernt, Anweisungen genau zu befolgen (SFT).
Er hat gelernt, was Menschen bevorzugen und was nicht (DPO).
Er hat gelernt, bei schwierigen Aufgaben wie Mathe oder Logik selbst nachzudenken und sich zu korrigieren (GRPO).

🚀 Warum ist das ein Durchbruch?

Das alte Problem: Um eine so kluge KI wie Bielik-11B zu nutzen, brauchten Sie teure Server, die so viel Strom verbrauchen wie ein kleines Dorf.

Die neue Lösung:

Größe: Der neue Zwerg ist 33 % kleiner.
Geschwindigkeit: Er ist 50 % schneller. Er kann Texte fast doppelt so schnell produzieren.
Zugänglichkeit: Dank dieser Verkleinerung kann jetzt jeder mit einer normalen Grafikkarte (wie einer RTX 4090, die viele Gamer haben) diese hochintelligente polnische KI zu Hause laufen lassen.

🏆 Das Fazit in einem Satz

Die Forscher haben einen riesigen, teuren Super-Computer in einen flinken, schlanken und ebenso klugen Begleiter verwandelt, der jetzt in die Hosentasche (bzw. auf den Heim-PC) passt, ohne dabei seine Fähigkeit zu verlieren, die polnische Sprache perfekt zu verstehen und zu nutzen.

Es ist wie der Übergang von einem riesigen, schwerfälligen Dampfschiff zu einem schnellen, wendigen Sportboot, das trotzdem die gleiche Strecke schneller und effizienter zurücklegt.

1. Problemstellung

Die zunehmende Größe von Large Language Models (LLMs) führt zu erheblichen Herausforderungen bei der Bereitstellung, insbesondere hinsichtlich des GPU-Speichers (VRAM) und der Rechenkosten. Für weniger verbreitete Sprachen wie Polnisch ist die Notwendigkeit besonders dringend, Modelle zu entwickeln, die eine hohe Leistungsfähigkeit bei gleichzeitig effizientem Ressourceneinsatz bieten. Das Ziel bestand darin, das Flaggschiff-Modell Bielik-11B-v3.0 (11,04 Milliarden Parameter) zu komprimieren, ohne dabei die linguistische Qualität, das logische Schlussfolgern oder die spezifischen morphologischen und syntaktischen Nuancen der polnischen Sprache zu verlieren. Ein rein von Grund auf neu trainiertes kleineres Modell wäre zu rechenintensiv und teuer gewesen.

2. Methodik

Die Autoren verfolgten einen zweistufigen Kompressionsansatz, inspiriert von der NVIDIA Minitron-Methode, gefolgt von einer mehrstufigen Ausrichtungs-Pipeline (Alignment).

A. Strukturiertes Beschneiden (Structured Pruning)

Anstatt unstrukturierte Gewichte zu entfernen, wurde ein hybrides strukturiertes Beschneiden angewendet, das Hardware-freundliche Beschleunigung ermöglicht.

Multi-Axis-Ansatz: Das Modell wurde entlang mehrerer Dimensionen reduziert:
- Tiefe (Depth): Reduktion der Transformer-Schichten von 50 auf 40.
- Breite (Width): Reduktion der intermediären Dimension (FFN) von 14.336 auf 11.264.
- Die eingebettete Dimension ( $d_{model}$ ) und die Attention-Heads blieben unverändert, um die Architektur-Kompatibilität zu wahren.
Wichtigkeitsanalyse: Die Auswahl der zu entfernenden Komponenten basierte auf einer aktivierungsbasierten Sensitivitätsanalyse (ohne Gradientenberechnung). Komponenten mit geringen Aktivierungsmagnituden auf einem Kalibrierungsdatensatz wurden als redundant identifiziert und entfernt.
Ergebnis: Das resultierende „Student"-Modell (Bielik-Minitron-7B) hat 7,35 Milliarden Parameter (eine Reduktion von 33,4 %).

B. Wissensdistillation (Knowledge Distillation)

Um die durch das Beschneiden verursachten Informationsverluste zu kompensieren, wurde eine Logit-basierte Distillation durchgeführt.

Lehrer-Schüler-Setup: Das ursprüngliche Bielik-11B-Modell diente als gefrorener Lehrer.
Verlustfunktion: Es wurde ausschließlich eine Forward-KL-Divergenz zwischen den Logits des Lehrers und des Schülers minimiert (ohne Cross-Entropy gegen Ground-Truth-Labels). Dies ermöglichte dem Schüler, die „dunklen Kenntnisse" (nuancierte Wahrscheinlichkeitsverteilungen) des Lehrers zu lernen.
Temperatur-Skalierung: Eine Temperatur-Scaling-Technik wurde angewendet, um die Verteilung des Lehrers zu glätten und dem Schüler zu helfen, subtile linguistische Abhängigkeiten zu erfassen.

C. Ausrichtungs-Pipeline (Alignment Pipeline)

Nach der Distillation durchlief das Modell eine strenge Feinabstimmung, um die Instruktionsbefolgung und Sicherheit zu gewährleisten:

Supervised Fine-Tuning (SFT): Training auf hochwertigen polnischen und englischen Instruktionsdaten.
Direct Preference Optimization (DPO-P): Optimierung basierend auf menschlichen Präferenzen, um schädliche oder irrelevante Inhalte zu reduzieren.
Group Relative Policy Optimization (GRPO): Verstärkungslernen für mathematische und logische Aufgaben, um die Schlussfolgerungsfähigkeiten zu stärken.

3. Schlüsselergebnisse

Die Evaluation ergab, dass das komprimierte Modell eine außergewöhnliche Leistungserhaltung bietet:

Leistungserholung: Das Bielik-Minitron-7B-Modell erzielte 90,1 % der Gesamtleistung des ursprünglichen 11B-Modells über verschiedene Benchmarks hinweg.
Polnische Sprachbenchmarks:
- Open PL LLM Leaderboard: Das 7,35B-Modell erreichte 62,46 Punkte (vs. 65,93 beim Lehrer) und übertraf deutlich größere Modelle wie Qwen2.5-32B oder Mistral-7B.
- Polish Medical Leaderboard: Es erreichte 44,36 % (vs. 50,21 % beim Lehrer) und übertraf damit Modelle wie Mistral-Small (22B) und Llama-3.1-8B.
- Belebele (Leseverstehen): 78,03 Punkte (vs. 82,98 beim Lehrer), was eine Erholung von über 94 % der Lehrerleistung darstellt.
Effizienzsteigerung:
- Durchsatz: Der Token-Durchsatz erhöhte sich um 49,6 % (von 54,42 auf 81,41 Tok/s).
- Latenz: Die Zeit pro Ausgabetoken (TPOT) verbesserte sich um 32,6 % (von 18,28 ms auf 12,32 ms).
- Hardware-Anforderungen: Das Modell passt mit ca. 14 GB (FP16) in den VRAM von Consumer-GPUs (z. B. RTX 4090), was eine lokale Bereitstellung ohne Enterprise-Hardware ermöglicht.
Quantisierung: Das Modell ist hochgradig robust gegenüber Quantisierung. Selbst in der 4-Bit-Version (Q4_K_M) ging nur 0,91 % der Leistung verloren, was es für Tools wie llama.cpp oder Ollama ideal macht.

4. Wichtige Beiträge

Validierung der Minitron-Methode für polnische Sprachen: Der Nachweis, dass strukturiertes Beschneiden kombiniert mit Logit-Distillation auch für komplexe, morphologisch reiche Sprachen wie Polnisch funktioniert und dabei 90 % der Lehrerleistung bei 33 % weniger Parametern erhält.
Reproduzierbare Blaupause: Die Arbeit bietet einen skalierbaren Leitfaden für die Entwicklung effizienter LLMs für weniger repräsentierte Sprachen, um die Abhängigkeit von teuren, von Grund auf neu trainierten Modellen zu verringern.
Systematische Architektursuche: Die Identifizierung des „Golden Ratio" (EXP_010), bei dem eine Reduktion der Tiefe auf 40 Schichten in Kombination mit einer Verengung der FFN-Dimension die beste Balance zwischen Stabilität und Effizienz bietet.
Infrastrukturelle Erkenntnisse: Die Demonstration, dass die Nutzung von NVIDIA H200 GPUs mit großem HBM3e-Speicher (141 GB) entscheidend ist, um Lehrer- und Schülermodelle gleichzeitig im VRAM zu halten und so die Distillation ohne Offloading-Overhead extrem effizient zu gestalten.

5. Bedeutung

Das Paper zeigt einen effizienten Weg auf, um State-of-the-Art-Sprachmodelle für den polnischen Markt und darüber hinaus zugänglich zu machen. Durch die Reduktion der Rechenkosten und des Speicherbedarfs wird es Entwicklern und Forschern ermöglicht, hochwertige KI-Modelle auf lokaler Hardware (Consumer-GPUs) zu betreiben. Dies demokratisiert den Zugang zu fortschrittlicher NLP für weniger verbreitete Sprachen und senkt gleichzeitig die Umweltauswirkungen (CO2-Fußabdruck) der Modellentwicklung erheblich. Das Bielik-Minitron-7B ist ein Beweis dafür, dass Kompression nicht zwangsläufig zu einem massiven Qualitätsverlust führt, wenn sie durch fortschrittliche Distillation und Ausrichtungstechniken unterstützt wird.