Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian

Technische Samenvatting: Vikhr – Een familie van Open-Source Instruction-Tuned LLM's voor het Russisch

Probleemstelling
Hoewel Large Language Models (LLM's) een enorme groei hebben doorgemaakt, staat de tekstgeneratie voor niet-Engelse talen, specifiek het Russisch, voor aanzienlijke hindernissen. Engels georiënteerde modellen vertonen vaak een matige generatiekwaliteit en een verminderde computationele prestatie bij het verwerken van andere talen. Deze inefficiëntie komt voort uit byte-pair tokenisatie-algoritmen die minder frequente niet-Engelse woorden disproportioneel opdelen in meerdere tokens. Deze fragmentatie verhoogt het aantal verwerkingsstappen, vermindert het effectieve contextvenster en verslechtert de algehele prestaties. Bovendien vertrouwen bestaande open-source Russische modellen vaak op Low-Rank Adaptation (LoRA) adapters toegepast op Engelse basismodellen. Hoewel dit kosteneffectief is, lost deze aanpak de onderliggende inefficiëntie van de tokenisatie niet op en past het de vocabulaire of gewichten van het model niet volledig aan, wat leidt tot suboptimale contextbenutting en generatiekwaliteit. Omgekeerd worstelen volledig meertalige modellen vaak met het presteren in één specifieke taal vanwege gedeelde vocabulaire en parameterbeperkingen, met name in kleinere modelgroottes (bijv. 7B, 13B).

Methodologie: De Vikhr-pipeline
De auteurs stellen een uitgebreide pipeline voor om Engels georiënteerde pre-trained modellen (specifiek Mistral 7B) om te vormen tot efficiënte, tweetalige (Russisch-Engelse) instruction-following LLM's. Het proces bestaat uit drie primaire fasen:

1. Vocabulaire Aanpassing:
   Om de inefficiëntie van de tokenisatie op te lossen, herbouwen de auteurs de tokenizer met behulp van een taalspecifieke corpus (RuLM-dataset). Ze trainden een SentencePiece-tokenizer met een vocabulaire van 40k. Nieuwe tokens worden geïnitialiseerd door het gemiddelde te nemen van de embeddings van hun constituerende stukjes uit de originele embedding-matrix, terwijl bestaande tokens hun originele embeddings behouden. Dit resulteert in een tokenizer die aanzienlijk efficiënter is voor het Russisch dan de originele Engels georiënteerde tegenhanger.

2. Voortgezette Pre-training:
   Het model ondergaat voortgezette pre-training op een hoogwaardige, gededupliceerdeerde Russische corpus bestaande uit wetenschappelijke artikelen, nieuws, Wikipedia en technische blogs (Habr), wat na filtratie in totaal 11 miljard tokens beslaat.

• Mitigatie van Catastrofaal Vergeten: Om het verlies van de redeneercapaciteiten van het basismodel te voorkomen (geobserveerd in voorlopige experimenten), implementeren de auteurs een loss-regularisatiestrategie met een KL-penalty tussen de waarschijnlijkheidsverdeling van het aangepaste model en het referentie Engels georiënteerde LLM ($L_{Vikhr} = L_{CE} + KL(P_{Vikhr} || P_{Ref})$).
• Volledige Gewichtsaanpassing: In tegenstelling tot LoRA-benaderingen, omvat deze fase het updaten van alle modelgewichten, wat aanzienlijke computationele middelen vereist (8x NVIDIA A100 GPU's).

3. Instruction Tuning:
   Het model wordt gefinetuned op een uitgebreide set van Russische instructie-output paren. De dataset bevat:

• Vertalingen van de FLAN en OpenHermes (Veles) instructiesets.
• De Nectar-dataset (gehouden in het Engels om de tweetalige capaciteit te behouden).
• De bestaande Saiga-dataset.
• Kwaliteitscontrole: Outputs van lage kwaliteit die door machines zijn gegenereerd, werden gefilterd met behulp van een reward model (multilingual-e5-large) dat getraind is op menselijke voorkeursdata.
• Volledige Parameter-update: Net als bij de pre-training, werkt de instruction tuning alle modelparameters bij in plaats van adapters te gebruiken.

Belangrijkste Bijdragen

• Adaptatie-pipeline: Een nieuwe pipeline voor het aanpassen van Engelse LL's aan andere talen, bestaande uit vocabulaire-reconstructie, geregulariseerde voortgezette pre-training van alle gewichten, en instruction tuning.
• Vikhr Modellen: De constructie van Vikhr, een serie open-source, tweetalige instruction-following LL's die specifiek zijn geoptimaliseerd voor het Russisch. Deze modellen beschikken over een aangepaste tokenizer voor snelle tekstgeneratie en verbeterde contextbenutting.
• Data-expansie: Significante uitbreiding van de beschikbare Russische datasets voor zowel voortgezette pre-training als instruction tuning, inclusief de creatie van nieuwe instructiesets (Veles) en de filtratie van bestaande sets.
• Evaluatie Benchmarks: De creatie van Russische versies van de MMLU en MMLU-pro benchmarks (Ru-MMLU en Ru-MMLU-pro) via automatische vertaling om Russische LL's te evalueren.
• Ablatie-studies: Empirische validatie van de componenten van de pipeline, waarbij de noodzaak van vocabulaire-aanpassing, datafiltratie en loss-regularisatie wordt aangetoond.

Resultaten en Bevindingen van Ablatie-studies

• Tokenisatie-efficiëntie: De Vikhr-tokenizer vermindert het aantal tokens voor Russische zinnen met ongeveer de helft vergeleken met de originele Mistral-tokenizer (bijv. 7 tokens vs. 13 tokens voor een voorbeeldzin), wat de context-efficiëntie aanzienlijk verbetert.
• Generatiekwaliteit: Kwalitatieve analyse laat zien dat hoewel het basis Mistral-model vaak Engelse woorden injecteert, lijdt onder grammaticale incoherentie en de Russische semantiek verkeerd begrijpt, produceert Vikhr grammaticaal correcte en semantisch coherente Russische tekst.
• Vocabulaire Grootte: Experimenten gaven aan dat een vocabulaire van 40k de beste balans bood, waarbij piekprestaties op de ruXNLI-taak werden bereikt met slechts een lichte toename in perplexiteit vergeleken met kleinere vocabularia.
• Data-filtratie: Het filteren van de pre-training corpus (het reduceren van 17B naar 11B tokens) resulteerde in een lagere perplexiteit en aanzienlijk hogere scores op Ru-MMLU-pro en ruXNLI, wat het belang van datakwaliteit boven kwantiteit benadrukt.
• Regularisatie: Het toepassen van KL-loss regularisatie tijdens de voortgezette pre-training verbeterde de prestaties op de ruXNLI-taak aanzienlijk (0.45 vs. 0.34 zonder regularisatie) en verminderde de perplexiteit licht, wat de rol ervan bevestigt bij het voorkomen van het catastrofale vergeten van redeneervaardigheden.
• Instruction Tuning: Het finetunen op de uitgebreide instructieset van de auteurs leverde een significante prestatieverbetering op voor NLU-taken vergeleken met modellen die gefinetuned zijn op de Saiga-dataset of alleen vertaalde Nectar.

Betekenis
Het artikel positioneert Vikhr als een oplossing voor het gebrek aan efficiënte, hoogwaardige, open-source instruction-tuned LL's voor het Russisch. Door voorbij de beperkingen van LoRA-adapters te gaan en de inefficiëntie van tokenisatie aan te pakken via volledige modeladaptatie, bereikt Vikhr een hoge generatiekwaliteit terwijl de computationele efficiëntie behouden blijft. De auteurs stellen dat deze aanpak tweetalige LL's klein en efficiënt kan houden terwijl ze de linguïstische nuances en culturele contexten van de regionale taal uitgebreid kunnen vatten. De release van de modelgewichten, instructiesets, code en evaluatiebenchmarks heeft als doel verdere research in cross-linguale adaptatie te stimuleren en de diversiteit van talen in de LLM-onderzoeksagenda te vergroten. De auteurs merken op dat toekomstig werk onder meer de release van verbeterde versies (bijv. gebaseerd op Mistral NeMo) en het uitbreiden van de pipeline naar talen met lage bronnen zoals Wit-Russisch, Servisch en Kazachs omvat.