Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language

Il rapporto descrive la creazione di Bielik-Minitron-7B, un modello linguistico compresso di 7,35 miliardi di parametri ottimizzato per le lingue europee, che combina potatura strutturata e distillazione della conoscenza per ridurre i parametri del 33,4% mantenendo il 90% delle prestazioni originali e aumentando la velocità di inferenza fino al 50%.

L'essenziale

🇵🇱 Il Segreto di Bielik-Minitron: Come rendere un gigante piccolo e veloce senza perdere la testa

Immaginate di avere un gigante (il modello originale Bielik-11B) che sa tutto: parla polacco perfettamente, risolve problemi di matematica, scrive poesie e capisce le sfumature culturali. È un genio, ma ha un problema: è enorme. Per farlo funzionare, serve un computer potente quanto un data center, consuma molta energia e parla lentamente perché deve "pensare" a troppi dettagli.

Gli autori di questo documento (un team di Bielik.AI in collaborazione con NVIDIA) hanno chiesto: "Possiamo rendere questo gigante più piccolo, veloce ed economico, mantenendo la sua intelligenza?"

La risposta è Sì, e il risultato si chiama Bielik-Minitron-7B.

Ecco come hanno fatto, spiegato con delle metafore semplici:

1. La Chirurgia di Precisione (Potatura Strutturata) 🪓

Immaginate che il modello originale sia un albero enorme con migliaia di rami. Alcuni rami sono fondamentali per la crescita, altri sono solo foglie secche o rami contorti che non servono a nulla.
Invece di tagliare l'albero a caso (che lo ucciderebbe), hanno usato una tecnica chiamata "Potatura Strutturata".

• Cosa hanno fatto: Hanno analizzato quali "rami" (parti del cervello del computer) venivano usati raramente e quali erano essenziali. Hanno rimosso con cura i rami secchi e accorciato quelli troppo lunghi.
• Il risultato: Hanno tagliato via il 33% del modello (da 11 miliardi di parametri a 7,35 miliardi), rendendolo molto più leggero, ma lasciando intatto il tronco principale e i rami più importanti.

2. Il Maestro e l'Allievo (Distillazione della Conoscenza) 🎓

Tagliare i rami ha reso l'albero più leggero, ma ha anche lasciato delle "ferite" nella sua capacità di pensare. Per guarirlo, hanno usato la Distillazione della Conoscenza.

• La Metafora: Immaginate il modello originale (11B) come un Maestro esperto e il nuovo modello (7B) come un Allievo brillante ma inesperto.
• Il Processo: Invece di far studiare l'allievo con i libri di testo (dati grezzi), il Maestro gli siede accanto e gli dice: "Guarda, quando vedo questa frase, io penso così... e anche così, anche se la risposta corretta è X, c'è una sfumatura Y che è importante".
• L'allievo non impara solo la risposta giusta, ma copia il modo di pensare del Maestro. Questo permette al modello piccolo di recuperare il 90% dell'intelligenza del gigante originale, pur essendo molto più piccolo.

3. L'Allenamento Finale (SFT, DPO e GRPO) 🏋️‍♂️

Dopo la chirurgia e la lezione con il maestro, il modello era pronto, ma un po' "grezzo". Per renderlo un assistente perfetto, hanno fatto tre allenamenti specifici:

1. SFT (Affinamento Supervisionato): Come un corso di conversazione per imparare a parlare in modo naturale e seguire le istruzioni.
2. DPO (Ottimizzazione delle Preferenze): Come un coach che dice: "Questa risposta è gentile e utile, quella invece è scortese. Scegli la prima". Questo insegna al modello a essere sicuro e sicuro di sé.
3. GRPO (Apprendimento per Rinforzo): Come un allenamento di logica e matematica dove il modello deve risolvere problemi da solo e correggere i propri errori.

I Risultati: Un Super-Eroe Tascabile 🚀

Cosa hanno ottenuto alla fine?

• Velocità: Il nuovo modello è fino al 50% più veloce a rispondere. Se il vecchio modello era un camion lento ma carico di merci, il nuovo è una Ferrari sportiva che porta quasi la stessa merce.
• Qualità: Ha mantenuto il 90% delle capacità originali. Parla polacco benissimo, capisce la cultura locale e risolve problemi complessi quasi come il fratello maggiore.
• Accessibilità: Il modello originale richiedeva computer costosissimi da aziende. Il nuovo Bielik-Minitron-7B è così leggero che può girare su schede video per gamer (come le RTX 4090) o su computer portatili potenti.

In sintesi

Hanno preso un genio polacco (Bielik-11B), gli hanno fatto una chirurgia estetica per togliere il peso inutile, gli hanno fatto copiare il pensiero del suo io più grande, e l'hanno allenato per essere un assistente perfetto.

Il risultato? Un modello che costa meno, consuma meno energia, gira su computer normali, ma che parla e pensa quasi esattamente come il gigante da cui è nato. È come avere un'auto da corsa che può guidare chiunque, senza bisogno di un pilota professionista o di un circuito speciale. 🏎️💨

Sommario tecnico

Sintesi Tecnica: Bielik-Minitron-7B

1. Il Problema

Il progresso dei Modelli Linguistici su Grande Scala (LLM) ha portato a modelli sempre più grandi (come il modello Bielik-11B-v3.0), che offrono capacità di ragionamento superiori ma richiedono risorse computazionali e di memoria (VRAM) proibitive per il deployment, specialmente su hardware consumer o in ecosistemi con risorse limitate.
Per le lingue europee meno rappresentate, come il polacco, esiste una necessità critica di bilanciare le alte prestazioni di ragionamento con l'efficienza del deployment. Addestrare modelli più piccoli da zero è costoso e spesso porta a risultati inferiori rispetto ai modelli più grandi. L'obiettivo è quindi comprimere un modello "teacher" di grandi dimensioni in un modello "student" più leggero, mantenendo la maggior parte delle sue capacità linguistiche e di ragionamento, riducendo al contempo i costi di inferenza e l'impronta di carbonio.

2. Metodologia

Il team ha adottato una strategia di compressione in due fasi, ispirata all'approccio NVIDIA Minitron, combinando pruning strutturato ibrido e distillazione della conoscenza.

• Fase I: Pruning Strutturato Ibrido (Sensitivity Analysis)

  • Invece di rimuovere pesi singoli (pruning non strutturato), il team ha rimosso intere componenti architetturali per garantire l'accelerazione hardware.
  • È stato utilizzato un approccio multidimensionale:
    • Depth Pruning: Rimozione di interi blocchi transformer (layer).
    • Width Pruning: Riduzione della dimensione intermedia dei layer Feed-Forward (FFN).
    • Nota: La dimensione nascosta (hidden dimension) e l'architettura degli attention heads sono state mantenute invariate per preservare la struttura originale.
  • Selezione dei Componenti: L'importanza dei componenti è stata valutata utilizzando metriche basate sulle attivazioni (senza bisogno di calcolare gradienti) su un dataset di calibrazione. I neuroni e i layer con le attivazioni più basse sono stati identificati come ridondanti e rimossi.
  • Configurazione Ottimale (EXP_010): Dopo una ricerca sistematica su 10 configurazioni, è stata selezionata l'architettura che riduce i layer da 50 a 40 e la dimensione intermedia FFN da 14.336 a 11.264, portando il modello da 11,04 miliardi a 7,35 miliardi di parametri (riduzione del 33,4%).

• Fase II: Distillazione della Conoscenza (Knowledge Distillation)

  • Per recuperare le prestazioni perse a causa del pruning, il modello student (7.35B) è stato addestrato per imitare il modello teacher (11.04B).
  • Obiettivo di Addestramento: Utilizzo della divergenza KL (Kullback-Leibler) solo sui logit (logit-only distillation), ignorando le etichette ground-truth. Questo permette allo studente di apprendere le distribuzioni di probabilità "scure" (dark knowledge) del teacher, catturando le relazioni tra token e la calibrazione delle confidence.
  • Scaling della Temperatura: È stata applicata una temperatura per ammorbidire le distribuzioni del teacher, aiutando lo studente a imparare i confini decisionali sottili.
  • Pipeline di Allineamento: Dopo la distillazione, il modello ha subito un rigoroso processo di allineamento per diventare un assistente conversazionale:
    1. SFT (Supervised Fine-Tuning): Su 20 milioni di istruzioni in polacco e inglese.
    2. DPO-P (Direct Preference Optimization): Per allineare il modello alle preferenze umane e ridurre contenuti dannosi.
    3. GRPO (Group Relative Policy Optimization): Per migliorare il ragionamento logico e matematico senza una rete critica separata.

3. Contributi Chiave

• Bielik-Minitron-7B: Un modello di 7,35 miliardi di parametri ottimizzato specificamente per la lingua polacca e le lingue europee.
• Efficienza di Risorse: Dimostrazione che è possibile recuperare il 90,1% delle prestazioni del modello teacher originale utilizzando meno del 3% dei dati di pre-addestramento originali e una frazione della potenza di calcolo.
• Blueprint Riproducibile: La creazione di un metodo riproducibile per comprimere modelli LLM per lingue a bassa risorsa, riducendo i costi finanziari e ambientali.
• Hardware Consumer: Il modello finale occupa circa 14 GB in precisione FP16, rendendolo eseguibile su GPU consumer di fascia alta (es. NVIDIA RTX 4090/5090) senza bisogno di infrastrutture enterprise.

4. Risultati

Le valutazioni su vari benchmark hanno mostrato risultati eccezionali:

• Recupero delle Prestazioni: Il modello student ha recuperato il 90,1% delle prestazioni aggregate del modello Bielik-11B-v3.0.
• Benchmark Linguistici (Polacco):
  • Open PL LLM Leaderboard: Punteggio medio del 62,46, superando modelli più grandi come Qwen2.5-7B e Mistral-7B, e avvicinandosi a modelli da 14B (phi-4).
  • Polish EQ-Bench: 64,09 punti, dimostrando una forte capacità di ragionamento emotivo e sociale.
  • CPTUB (Comprensione Testo Complesso): Eccellente recupero nella comprensione linguistica e nell'analisi del sentiment, superando modelli internazionali più grandi.
  • Traduzione (FLORES): Punteggio BLEU medio di 15,53, con una capacità di traduzione verso il polacco superiore a modelli come phi-4 e Mistral-Nemo.
• Prestazioni di Inferenza:
  • Throughput: Aumento del 49,6% nella velocità di generazione dei token (da 54,42 a 81,41 tok/s).
  • Latenza: Riduzione del 32,6% del tempo per token di output (TPOT), da 18,28 ms a 12,32 ms.
• Quantizzazione: Il modello mantiene alte prestazioni anche in quantizzazione a 4-bit (Q4_K_M), perdendo solo lo 0,91% di accuratezza rispetto alla versione non quantizzata, rendendolo ideale per l'esecuzione locale.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale per l'ecosistema NLP europeo e polacco.

• Democratizzazione dell'IA: Rende accessibili capacità di ragionamento di livello avanzato su hardware consumer, eliminando la barriera dell'accesso a cluster di GPU enterprise.
• Sostenibilità: Riduce drasticamente l'impronta di carbonio e i costi energetici associati allo sviluppo e al deployment di LLM per lingue specifiche.
• Validazione dell'Approccio Minitron: Conferma che la combinazione di pruning strutturato ibrido e distillazione basata sui logit è superiore all'addestramento da zero per modelli di dimensioni intermedie, specialmente per lingue con strutture morfologiche complesse come il polacco.
• Scalabilità: Fornisce una roadmap per sviluppare modelli efficienti per altre lingue europee meno rappresentate, senza la necessità di investimenti multimilionari per l'addestramento from scratch.

In conclusione, Bielik-Minitron-7B dimostra che è possibile ottenere un modello "piccolo" ma potente, che non sacrifica la qualità linguistica o il ragionamento, aprendo la strada a un'adozione più diffusa e sostenibile dell'IA generativa in contesti locali.