Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian

Sintesi Tecnica: Vikhr – Una famiglia di LLM open-source ottimizzati per istruzioni in lingua russa

Problematica
Sebbene i Large Language Models (LLM) abbiano registrato un'impennata nello sviluppo, la generazione di testo per le lingue non inglesi, specificamente il russo, affronta ostacoli significativi. I modelli orientati all'inglese spesso mostrano una scarsa qualità di generazione e una ridotta efficienza computazionale quando elaborano altre lingue. Questa inefficienza deriva dagli algoritmi di tokenizzazione byte-pair che frammentano in modo sproporzionato le parole non inglesi meno frequenti in più token. Questa frammentazione aumenta i passaggi di elaborazione, riduce la finestra di contesto effettiva e degrada le prestazioni complessive. Inoltre, gli esistenti modelli open-source russi si affidano spesso ad adattatori Low-Rank Adaptation (LoRA) applicati a modelli base inglesi. Sebbene questo approccio sia conveniente, non affronta l'inefficienza sottostante della tokenizzazione e non adatta completamente il vocabolario o i pesi del modello, portando a un utilizzo subottimale del contesto e alla qualità della generazione. Al contrario, i modelli pienamente multilingue spesso faticano a performare bene in una singola lingua a causa del vocabolario condiviso e dei vincoli dei parametri, particolarmente in dimensioni di modello ridotte (es. 7B, 13B).

Metodologia: La Pipeline Vikhr
Gli autori propongono una pipeline completa per adattare modelli pre-addestrati orientati all'inglese (specificamente Mistral 7B) in LLM bilingui (russo-inglese) efficienti e capaci di seguire istruzioni. Il processo consiste in tre fasi primarie:

1. Adattamento del Vocabolario:
   Per risolvere l'inefficienza della tokenizzazione, gli autori ricostruiscono il tokenizer utilizzando un corpus specifico per la lingua (dataset RuLM). Hanno addestrato un tokenizer SentencePiece con un vocabolario di 40k. I nuovi token sono inizializzati mediando gli embedding delle loro parti costituenti dalla matrice di embedding originale, mentre i token esistenti mantengono i loro embedding originali. Ciò produce un tokenizer significativamente più efficiente per il russo rispetto all'originale controparte orientata all'inglese.

2. Pre-addestramento Continuato:
   Il modello è sottoposto a un pre-addestramento continuato su un corpus russo di alta qualità e de-duplicato, composto da articoli scientifici, notizie, Wikipedia e post tecnici di blog (Habr), per un totale di 11 miliardi di token dopo la filtrazione.

• Mitigazione dell'Oblio Catastrofico: Per evitare la perdita delle capacità di ragionamento del modello base (osservata in esperimenti preliminari), gli autori implementano una strategia di regolarizzazione della perdita tramite una penalità KL tra la distribuzione di probabilità del modello adattato e il modello di riferimento orientato all'inglese ($L_{Vikhr} = L_{CE} + KL(P_{Vikhr} || P_{Ref})$).
• Aggiornamento Completo dei Pesi: Diversamente dagli approcci LoRA, questa fase comporta l'aggiornamento di tutti i pesi del modello, richiedendo risorse computazionali sostanziali (8x GPU NVIDIA A100).

3. Instruction Tuning:
   Il modello viene sottoposto a fine-tuning su un set espanso di coppie istruzione-output in russo. Il dataset include:

• Traduzioni dei set di istruzioni FLAN e OpenHermes (Veles).
• Il dataset Nectar (mantenuto in inglese per preservare la capacità bilingue).
• L'esistente dataset Saiga.
• Controllo della Qualità: Gli output generati meccanicamente di bassa qualità sono stati filtrati utilizzando un modello di ricompensa (multilingual-e5-large) addestrato su dati di preferenza umana.
• Aggiornamento Completo dei Parametri: Similmente al pre-addestramento, l'instruction tuning aggiorna tutti i parametri del modello anziché utilizzare degli adattatori.

Contributi Chiave

• Pipeline di Adattamento: Una nuova pipeline per adattare LLM inglesi ad altre lingue che coinvolge la ricostruzione del vocabolario, il pre-addestramento continuato regolarizzato di tutti i pesi e l'instruction tuning.
• Modelli Vikhr: La costruzione di Vikhr, una serie di LLM bilingui open-source per il seguire delle istruzioni, ottimizzati specificamente per il russo. Questi modelli presentano un tokenizer adattato per una generazione di testo rapida e un migliore utilizzo del contesto.
• Espansione dei Dati: Significativa espansione dei dataset russi disponibili sia per il pre-addestramento continuato che per l'instruction tuning, inclusa la creazione di nuovi set di istruzioni (Veles) e la filtrazione di quelli esistenti.
• Benchmark di Valutazione: La creazione di versioni russe dei benchmark MMLU e MMLU-pro (Ru-MMLU e Ru-MMLU-pro) tramite traduzione automatica per valutare i LLM russi.
• Studi di Ablazione: Validazione empirica dei componenti della pipeline, dimostrando la necessità dell'adattamento del vocabolario, della filtrazione dei dati e della regolarizzazione della perdita.

Risultati e Risultanze delle Ablazioni

• Efficienza della Tokenizzazione: Il tokenizer di Vikhr riduce il conteggio dei token per le frasi russe di circa la metà rispetto all'originale tokenizer di Mistral (es. 7 token vs 13 token per una frase campione), migliorando significativamente l'efficienza del contesto.
• Qualità della Generazione: L'analisi qualitativa mostra che, mentre il modello base Mistral spesso inserisce parole inglesi, soffre di incoerenza grammaticale e malintende la semantica russa, Vikhr produce testi russi grammaticalmente corretti e semanticamente coerenti.
• Dimensione del Vocabolario: Gli esperimenti hanno indicato che un vocabolario di 40k offriva il miglior equilibrio, fornendo il picco di performance sul task ruXNLI con solo un lieve aumento della perplessità rispetto a vocabolari più piccoli.
• Filtrazione dei Dati: La filtrazione del corpus di pre-addestramento (riducendolo da 17B a 11B di token) ha portato a una perplessità inferiore e a punteggi sostanzialmente più alti su Ru-MMLU-pro e ruXNLI, evidenziando l'importanza della qualità dei dati rispetto alla quantità.
• Regolarizzazione: L'applicazione della regolarizzazione della perdita KL durante il pre-addestramento continuato ha migliorato sostanzialmente le prestazioni sul task ruXNLI (0.45 vs 0.34 senza regolarizzazione) e ha leggermente ridotto la perplessità, confermando il suo ruolo nel prevenire l'oblio catastrofico delle capacità di ragionamento.
• Instruction Tuning: Il fine-tuning sull'espanso set di istruzioni degli autori ha prodotto un incremento significativo delle prestazioni nei task di NLU rispetto ai modelli sottoposti a fine-tuning sul dataset Saiga o sulla sola traduzione di Nectar.

Significatività
Il paper posiziona Vikhr come una soluzione alla mancanza di LLM bilingui, efficienti, di alta qualità e ottimizzati per istruzioni open-source per il russo. Andando oltre i limiti degli adattatori LoRA e affrontando le inefficienze di tokenizzazione attraverso l'adattamento completo del modello, Vikhr raggiunge un'alta qualità di generazione mantenendo l'efficienza computazionale. Gli autori sostengono che questo approccio permette ai LLM bilingui di rimanere piccoli ed efficienti pur catturando in modo esaustivo le sfumature linguistiche e i contesti culturali della lingua regionale. Il rilascio dei pesi del modello, dei set di istruzioni, del codice e dei benchmark di valutazione mira a promuovere ulteriore ricerca nell'adattamento cross-lingua e a potenziare la diversità delle lingue negli agende di ricerca dei LLM. Gli autori notano che il lavoro futuro include il rilascio di versioni migliorate (es. basate su Mistral NeMo) e l'estensione della pipeline a lingue a basse risorse come il bielorusso, il serbo e il kazako.