SozKZ: Training Efficient Small Language Models for Kazakh from Scratch

1. Il Problema

La lingua kazaka, parlata da oltre 22 milioni di persone, è una lingua agglutinante (di tipo turco) con una morfologia ricca, caratterizzata da estese inflessioni e suffissi derivazionali. Nonostante la crescita della ricerca NLP per il kazako, le attuali grandi modelli linguistici multilingue (LLM) come Llama 3, Gemma e Qwen presentano due inefficienze critiche quando applicati a questa lingua:

1. Tokenizzazione inadeguata: I tokenizzatori generici, addestrati su corpora dominati dall'inglese, frammentano eccessivamente il testo kazako in sub-parole (fenomeno misurato dalla fertilità, ovvero il numero medio di token per parola). Questo riduce la finestra contestuale effettiva e aumenta i costi computazionali.
2. Capacità sprecata: I modelli multilingue allocano la maggior parte dei loro parametri per lingue ad alta risorsa, lasciando una frazione minima di capacità per lingue a bassa risorsa come il kazako, risultando in un rapporto sfavorevole tra capacità utile e dimensione totale del modello.

2. Metodologia

Gli autori hanno sviluppato SozKZ, una famiglia di modelli linguistici basati sull'architettura Llama (causal language models) addestrati da zero (from scratch) esclusivamente su testo kazako.

• Dati: È stato creato un corpus monolingue kazako di circa 9 miliardi di token, aggregato da 18 fonti (inclusi Wikipedia, CulturaX, HPLT 2.0, ecc.). Il dataset è stato sottoposto a una rigorosa pipeline di pulizia a 9 stadi (normalizzazione Unicode, rimozione di caratteri di controllo, filtraggio per densità di URL e tag HTML, deduplicazione MD5), risultando in 13,7 milioni di documenti puliti.
• Tokenizzatore: È stato progettato un tokenizzatore ByteLevel BPE dedicato, con un vocabolario di 50.257 token, addestrato esclusivamente sul corpus kazako pulito. Questo approccio mira a ridurre drasticamente la fertilità rispetto ai tokenizzatori multilingue.
• Architettura: Sono stati addestrati quattro modelli di diverse dimensioni parametriche: 50M, 150M, 300M e 600M. Tutti seguono l'architettura Llama con attivazioni SwiGLU, embedding posizionali rotazionali (RoPE), normalizzazione RMSNorm e embedding di input/output accoppiati.
• Addestramento: I modelli sono stati addestrati per un'epoca sul corpus completo. Il rapporto token-parametri per il modello da 600M è di circa 15:1 (leggermente inferiore all'ottimo di Chinchilla di 20:1, ma limitato dalla disponibilità di dati di alta qualità). L'addestramento è stato eseguito su GPU NVIDIA (RTX 4090 e H100) utilizzando precisione mista bfloat16.

3. Contributi Chiave

1. Pipeline End-to-End: Presentazione di una pipeline completa per l'addestramento di modelli linguistici kazaki da zero, inclusa la raccolta, la pulizia e la pre-tokenizzazione dei dati.
2. Tokenizzatore Dedicato: Progettazione di un tokenizzatore BPE specifico che offre un vantaggio di fertilità di 2-3 volte rispetto ai tokenizzatori multilingue su testo kazako.
3. Valutazione Comparativa: Valutazione dei modelli SozKZ contro cinque modelli multilingue di base (Qwen, Llama 3, Gemma) con dimensioni comprese tra 0,5B e 3B parametri su tre benchmark specifici per il kazako.
4. Analisi di Scaling: Report delle curve di scaling empiriche per il modellamento linguistico kazako, identificando il punto di equilibrio (sweet spot) tra efficienza e prestazioni.
5. Open Source: Rilascio di tutti i modelli, del tokenizzatore e della pipeline di addestramento sotto licenze aperte.

4. Risultati

I modelli sono stati valutati su tre benchmark in modalità zero-shot:

• MC QA (Domande a scelta multipla culturali): Il modello SozKZ-600M ha raggiunto il 30,3% di accuratezza, avvicinandosi al modello Llama-3.2-1B (32,0%) e superando Qwen-0.5B (31,5%), pur avendo un numero di parametri inferiore o comparabile.
• Belebele (Comprensione della lettura): I risultati sono stati più uniformi (27-32%), indicando che la comprensione della lettura rimane una sfida per i modelli di base di queste dimensioni, indipendentemente dall'architettura.
• SIB-200 (Classificazione di argomenti): Qui SozKZ ha mostrato il vantaggio più netto. Il modello SozKZ-600M ha ottenuto il 25,5%, superando tutti i modelli multilingue valutati fino a 2B parametri (inclusi Gemma-2B e Qwen-1.5B). Sorprendentemente, anche il modello SozKZ-50M (25,5%) ha superato modelli multilingue molto più grandi (es. Qwen-1.5B al 11,8%).

Analisi di Scaling:
Si è osservata una scalabilità coerente: l'accuratezza MC QA è passata dal 22,8% (50M) al 30,3% (600M), suggerendo che non c'è ancora saturazione e che un ulteriore scaling porterebbe a guadagni. La stabilità delle prestazioni su SIB-200 anche per il modello da 50M conferma l'efficacia del tokenizzatore dedicato.

5. Significato e Conclusioni

Il paper dimostra che modelli piccoli e dedicati, addestrati da zero con un tokenizzatore linguistico-appropriato, possono raggiungere prestazioni competitive con modelli multilingue molto più grandi (2-5 volte le dimensioni) per compiti specifici in lingue a bassa risorsa.

• Efficienza: L'approccio offre un percorso sostenibile per la tecnologia linguistica delle lingue a bassa risorsa, ottenendo prestazioni elevate a una frazione del costo computazionale.
• Importanza del Tokenizzatore: I risultati confermano che per le lingue agglutinanti, la scelta del tokenizzatore è critica; un tokenizzatore dedicato preserva i confini delle parole e la struttura dei suffissi, fornendo segnali lessicali diretti che i tokenizzatori multilingue frammentano.
• Futuro: Gli autori suggeriscono che estendere la scala oltre i 600M (fino a 1-3B) e l'addestramento per istruzioni (instruction tuning) potrebbero ulteriormente colmare il divario con i modelli multilingue più grandi, specialmente per compiti che richiedono conoscenza fattuale.

In sintesi, SozKZ valida l'ipotesi che la specializzazione (modello monolingue + tokenizzatore dedicato) possa compensare la mancanza di parametri massicci, offrendo una soluzione pratica ed economica per l'elaborazione del linguaggio kazaco.