Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series

Questo documento illustra lo sviluppo della serie Bielik v3 (7B e 11B), che ottimizza la modellazione linguistica polacca sostituendo i tokenizzatori universali con un vocabolario dedicato, migliorando così l'efficienza morfologica e riducendo i costi di inferenza attraverso un curriculum di pre-addestramento e tecniche avanzate di allineamento.

L'essenziale

🇵🇱 Il "Polacco Perfetto": Come la famiglia Bielik ha imparato a parlare la nostra lingua senza perdere il filo

Immagina di avere un genio universale (un modello di intelligenza artificiale) che parla fluentemente 100 lingue diverse. È intelligente, veloce e sa rispondere a tutto. Ma c'è un problema: quando gli chiedi di parlare polacco, questo genio fatica un po'.

Perché? Perché il genio usa un dizionario universale fatto per tutte le lingue. È come se dovessi scrivere una lettera in polacco usando un alfabeto che non conosce bene le nostre lettere speciali (come ą, ę, ś, ć) o le nostre parole lunghe e complesse. Risultato? Per scrivere una singola parola polacca, il genio deve usare tre o quattro pezzettini (token) invece di uno solo. È come se dovessi costruire una casa usando mattoncini LEGO minuscoli invece di grandi blocchi: ci metti più tempo, ti serve più spazio e la casa costa di più da costruire.

Gli autori di questo documento (il team SpeakLeash) hanno deciso di risolvere questo problema creando la nuova serie Bielik v3 PL. Ecco come hanno fatto, passo dopo passo:

1. Il Cambio del Dizionario (Il "Trucco" del Tokenizzatore)

Hanno sostituito il dizionario universale con uno specializzato per il polacco.

• L'analogia: Immagina di passare da un set di LEGO generico a un set specifico per castelli medievali. Ora, per dire "cattedrale", usi un solo pezzo grande invece di 50 pezzettini piccoli.
• Il risultato: Hanno ridotto il numero di "pezzi" necessari per scrivere una parola polacca quasi della metà. Questo significa che il modello può leggere e scrivere molto più velocemente, spendendo meno energia e potendo "ricordare" testi molto più lunghi nella sua memoria.

2. La Paura di Dimenticare Tutto (Il "Catastrofico Dimenticare")

C'era un grosso rischio: se cambi il dizionario a un genio che già sa tutto, potrebbe confondersi e dimenticare tutto quello che sapeva prima (anche l'inglese o la logica). È come se cambiassi le regole del calcio a un giocatore professionista: potrebbe dimenticare come si calcia il rigore!

Per evitare questo, hanno usato una tecnica chiamata FOCUS.

• L'analogia: Invece di buttare via il vecchio dizionario e ricominciare da zero, hanno usato un ponte intelligente. Hanno detto al modello: "Ehi, questa nuova parola polacca suona e significa quasi come quella vecchia combinazione di parole che già conosci. Collegale!". In questo modo, il modello ha imparato il nuovo modo di scrivere senza perdere le vecchie conoscenze.

3. La Scuola di Ripasso (L'Addestramento a Due Fasi)

Non hanno semplicemente cambiato il dizionario e basta. Hanno fatto due fasi di scuola:

• Fase 1 (Riscaldamento): Hanno "congelato" la maggior parte del cervello del modello e hanno fatto esercitare solo le parti che gestivano il nuovo dizionario. Come se un musicista si esercitasse solo sulle dita per un nuovo strumento, senza toccare la teoria musicale.
• Fase 2 (Allenamento Completo): Una volta che le dita si sono abituate, hanno "scongelato" tutto il cervello e hanno fatto ripassare al modello 20 miliardi di parole polacche. Ora il modello è fluido e sicuro.

4. La Prova del Fuoco (I Risultati)

Hanno messo alla prova questi nuovi modelli (uno grande da 11 miliardi di "neuroni" e uno più piccolo da 7) contro i migliori modelli del mondo.

• In Polacco: Sono diventati supereroi. Hanno capito meglio le sfumature emotive, le battute, la logica medica e le domande difficili. Su alcuni test, hanno battuto modelli molto più grandi e costosi.
• In Inglese e altre lingue: Non hanno perso le loro abilità. Continuano a parlare bene inglese e a ragionare bene, proprio come prima.

🏆 In sintesi

Gli autori hanno preso un modello intelligente ma "generico" e gli hanno dato un abito su misura per la lingua polacca.

• Prima: Scrivere in polacco era lento e costoso (come scrivere con un pennino troppo piccolo).
• Ora: Scrivere in polacco è veloce, efficiente e naturale (come usare un pennello perfetto).

Hanno rilasciato questi modelli gratuitamente (con licenza Apache 2.0), permettendo a chiunque di usarli per creare chatbot, assistenti medici o strumenti educativi che parlano il polacco davvero bene, senza perdere la capacità di capire il mondo intero. È un passo gigante per l'intelligenza artificiale in Europa, che dimostra che non serve essere giganti per essere bravi, basta essere fatti su misura per la propria lingua.

Sommario tecnico

Sintesi Tecnica: Ottimizzazione del Tokenizer per i Modelli Bielik v3 PL

1. Il Problema: Inefficienza dei Tokenizer Universali

Il documento affronta un'inefficienza architetturale fondamentale nei modelli linguistici (LLM) generici: l'uso di tokenizer universali progettati per coprire un ampio spettro di lingue. Sebbene questi modelli mostrino capacità multilingue, falliscono spesso nel catturare le sfumature morfologiche di lingue specifiche come il polacco.

• Conseguenze: L'uso di tokenizer non ottimizzati porta a un alto rapporto di fertilità (fertility ratio), ovvero un numero eccessivo di token necessari per rappresentare una singola parola.
• Impatto: Questo si traduce in una minore densità di informazioni nella finestra di contesto, costi di inferenza più elevati e finestre di contesto effettive ridotte, limitando le prestazioni computazionali ed economiche.

2. Metodologia e Approccio Tecnico

Gli autori hanno sviluppato la serie Bielik v3 PL (varianti da 7B e 11B parametri) sostituendo il tokenizer universale basato su Mistral con un tokenizer dedicato ottimizzato per il polacco (APT4), mantenendo una dimensione del vocabolario comparabile (~32.000 token).

Le fasi chiave della metodologia includono:

• Sostituzione del Tokenizer e Inizializzazione FOCUS:
  Sostituire il tokenizer di un modello pre-addestrato comporta il rischio di "dimenticanza catastrofica" (catastrophic forgetting). Per mitigare ciò, è stato adottato il framework FOCUS (Fast Overlapping Token Combinations Using Sparsemax).

  • Questo metodo rappresenta ogni nuovo token come una combinazione lineare sparsa di token del vocabolario originale, selezionati in base alla similarità semantica.
  • Tra diverse strategie testate (inizializzazione casuale, trasferimento basato sulla frequenza, trasformazioni lineari, WECHSEL, MATT), FOCUS ha dimostrato le migliori prestazioni empiriche, garantendo una stabilità ottimizzativa superiore.

• Pipeline di Pre-addestramento Continuo in Due Fasi:
  Per adattare il modello al nuovo tokenizer senza perdere le conoscenze acquisite:

  1. Fase 1 (Adattamento dei Confini): Pre-addestramento su 4 miliardi di token con la maggior parte dei parametri bloccati. Vengono aggiornati solo il layer di embedding di input, il language modeling head (lm_head) e quattro strati di confine (due inferiori e due superiori). Questo stabilizza l'interazione tra il nuovo spazio tokenico e le rappresentazioni interne fisse.
  2. Fase 2 (Adattamento Completo): Sblocco di tutti i parametri e ulteriore pre-addestramento su 16 miliardi di token per affinare le rappresentazioni linguistiche e le statistiche a livello di token specifiche per il polacco.

• Allineamento Post-Addestramento:
  I modelli hanno seguito la stessa pipeline di allineamento dei modelli Bielik v3 originali:

  • SFT (Supervised Fine-Tuning): Su dataset di istruzioni in polacco e inglese.
  • DPO-P (Direct Preference Optimization): Per ridurre le allucinazioni e allinearsi alle intenzioni dell'utente.
  • GRPO (Group Relative Policy Optimization): Per migliorare le capacità di ragionamento (matematica, logica, STEM) tramite ricompense verificabili.

3. Contributi Chiave

• Ottimizzazione del Tokenizer: Introduzione di un tokenizer specifico per il polacco (APT4) che riduce drasticamente il rapporto di fertilità mantenendo un vocabolario contenuto.
• Metodologia di Transfer Learning: Dimostrazione dell'efficacia del framework FOCUS combinato con una strategia di pre-addestramento a stadi (parziale congelamento seguito da adattamento completo) per evitare la dimenticanza catastrofica.
• Rilascio Open Source: Rilascio dei pesi di entrambi i modelli (7B e 11B) sotto licenza Apache 2.0.
• Architettura Efficiente: I modelli mantengono l'architettura Transformer ottimizzata (GQA, RoPE) dei modelli base Mistral, con finestre di contesto native fino a 32.768 token.

4. Risultati Sperimentali

I risultati sono stati valutati su nove benchmark polacchi e multilingue:

• Efficienza del Tokenizer:

  • Il rapporto di fertilità per il testo polacco è sceso da 3,22 (tokenizer originale Bielik v3) a 1,62 (tokenizer APT4), raddoppiando quasi la capacità di contesto effettiva per il polacco.
  • Il nuovo tokenizer (APT4) supera i tokenizer universali (come Mistral, Llama 3.2, Qwen) in termini di caratteri per token (CpT) e token per parola (TpW) per il testo polacco.

• Prestazioni sui Benchmark:

  • Open PL LLM Leaderboard: La variante 11B con tokenizer originale ottiene 65,93; la variante PL (con tokenizer ottimizzato) ottiene 64,11, mantenendo prestazioni molto vicine nonostante il cambio di vocabolario.
  • Polish EQ-Bench (Intelligenza Emotiva): La variante PL 11B ottiene 71,15, superando leggermente la versione originale (71,20 vs 71,15 è quasi pari, ma la versione PL mantiene la competitività).
  • CPTUB (Comprensione del Testo Polacco Complesso): Sorprendentemente, la variante PL 11B ottiene un punteggio medio complessivo di 3,80, superando la versione originale (3,73), indicando un miglioramento nella comprensione delle implicature e del linguaggio figurato.
  • Medical Leaderboard: La versione PL 11B raggiunge il 48,42%, dimostrando solide capacità di ragionamento clinico in polacco.
  • Capacità Inglese e Multilingue: Le capacità in inglese (Open LLM Leaderboard) rimangono intatte (71,49 per la versione PL 11B contro 72,45 della versione originale), confermando che l'ottimizzazione non ha degradato le prestazioni cross-lingua.
  • Belebele e FLORES: Le varianti PL mostrano un leggero compromesso nella media europea rispetto alla versione originale, ma mantengono punteggi molto elevati nelle task specifiche in polacco.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo nell'ottimizzazione dei LLM per lingue specifiche, in particolare per il polacco, una lingua morfologicamente ricca.

• Efficienza: Dimostra che è possibile migliorare drasticamente l'efficienza computazionale (riducendo i token necessari) senza sacrificare le prestazioni generali del modello.
• Riproducibilità: Fornisce un blueprint riproducibile per l'adattamento di modelli multilingue a lingue specifiche utilizzando FOCUS e pipeline di pre-addestramento progressive.
• Accessibilità: Il rilascio open source di modelli ottimizzati e performanti favorisce lo sviluppo di tecnologie linguistiche di alta qualità per le lingue europee meno rappresentate, allineandosi agli sforzi europei per un'IA inclusiva e multilingue.

In conclusione, la serie Bielik v3 PL dimostra che l'ottimizzazione mirata del tokenizer, supportata da strategie di trasferimento delle conoscenze avanzate, è una via efficace per colmare il divario tra modelli generici e modelli linguistici di alta qualità specifici per una lingua.