Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian

Résumé Technique : Vikhr – Une famille de LLM à instruction-tuning open-source pour le russe

Énoncé du Problème
Bien que les modèles de langage de grande taille (LLM) aient connu un essor fulgurant, la génération de texte pour les langues non anglaises, spécifiquement le russe, fait face à des obstacles importants. Les modèles orientés vers l'anglais présentent souvent une faible qualité de génération et une performance computationnelle réduite lors du traitement d'autres langues. Cette inefficacité provient des algorithmes de tokenisation par paires de caractères (byte-pair encoding) qui fragmentent de manière disproportionnée les mots non anglais peu fréquents en plusieurs tokens. Cette fragmentation augmente les étapes de traitement, réduit la fenêtre de contexte effective et dégrade la performance globale. De plus, les modèles russes open-source existants reposent souvent sur des adaptateurs LoRA (Low-Rank Adaptation) appliqués à des modèles de base anglais. Bien qu'économique, cette approche ne résout pas l'inefficacité sous-jacente de la tokenisation et n'adapte pas pleinement le vocabulaire ou les poids du modèle, ce qui conduit à une utilisation sous-optimale du contexte et de la qualité de génération. À l'inverse, les modèles pleinement multilingues peinent souvent à performer de manière optimale dans une seule langue en raison du partage du vocabulaire et des contraintes de paramètres, particulièrement dans les tailles de modèles plus réduites (ex: 7B, 13B).

Méthodologie : Le Pipeline Vikhr
Les auteurs proposent un pipeline complet pour adapter des modèles pré-entraînés orientés vers l'anglais (spécifiquement Mistral 7B) en LLM bilingues (russe-anglais) efficaces et capables de suivre des instructions. Le processus se compose de trois étapes principales :

1. Adaptation du Vocabulaire :
   Pour résoudre l'inefficacité de la tokenisation, les auteurs reconstruisent le tokenizer en utilisant un corpus spécifique à la langue (jeu de données RuLM). Ils ont entraîné un tokenizer SentencePiece avec un vocabulaire de 40k. Les nouveaux tokens sont initialisés en faisant la moyenne des embeddings de leurs composants issus de la matrice d'embedding originale, tandis que les tokens existants conservent leurs embeddings originaux. Cela produit un tokenizer nettement plus efficace pour le russe que l'original orienté vers l'anglais.

2. Pré-entraînement Continu :
   Le modèle subit un pré-entraînement continu sur un corpus russe de haute qualité et dédupliqué comprenant des articles scientifiques, des actualités, Wikipédia et des blogs techniques (Habr), totalisant 11 milliards de tokens après filtrage.

• Atténuation de l'Oubli Catastrophique : Pour éviter la perte des capacités de raisonnement du modèle de base (observée lors d'expériences préliminaires), les auteurs implémentent une stratégie de régularisation de la perte utilisant une pénalité KL entre la distribution de probabilité du modèle adapté et le LLM de référence orienté vers l'anglais ($L_{Vikhr} = L_{CE} + KL(P_{Vikhr} || P_{Ref})$).
• Mise à jour Complète des Poids : Contrairement aux approches LoRA, cette étape implique la mise à jour de tous les poids du modèle, nécessitant des ressources de calcul substantielles (8x NVIDIA A100 GPUs).

3. Instruction Tuning (Ajustement par Instructions) :
   Le modèle est affiné sur un ensemble élargi de paires instruction-sortie en russe. Le jeu de données comprend :

• Des traductions des ensembles d'instructions FLAN et OpenHermes (Veles).
• Le jeu de données Nectar (conservé en anglais pour maintenir la capacité bilingue).
• Le jeu de données Saiga existant.
• Contrôle Qualité : Les sorties de faible qualité générées par machine ont été filtrées à l'aide d'un modèle de récompense (multilingual-e5-large) entraîné sur des données de préférence humaine.
• Mise à jour Complète des Paramètres : Similairement au pré-entraînement, l'instruction tuning met à jour tous les paramètres du modèle plutôt que d'utiliser des adaptateurs.

Contributions Clés

• Pipeline d'Adaptation : Un nouveau pipeline pour adapter les LLM anglais à d'autres langues impliquant la reconstruction du vocabulaire, le pré-entraînement continu régularisé de tous les poids, et l'instruction tuning.
• Modèles Vikhr : La construction de Vikhr, une série de LLM bilingues open-source suivant des instructions, spécifiquement optimisés pour le russe. Ces modèles disposent d'un tokenizer adapté pour une génération de texte rapide et une meilleure utilisation du contexte.
• Expansion des Données : Expansion significative des jeux de données russes disponibles pour le pré-entraînement continu et l'instruction tuning, incluant la création de nouveaux ensembles d'instructions (Veles) et le filtrage des existants.
• Benchmarks d'Évaluation : Création de versions russes des benchmarks MMLU et MMLU-pro (Ru-MMLU et Ru-MMLU-pro) via traduction automatique pour évaluer les LLM russes.
• Études d'Ablation : Validation empirique des composants du pipeline, démontrant la nécessité de l'adaptation du vocabulaire, du filtrage des données et de la régularisation de la perte.

Résultats et Conclusions d'Ablation

• Efficacité de la Tokenisation : Le tokenizer Vikhr réduit le nombre de tokens pour les phrases russes d'environ la moitié par rapport au tokenizer Mistral original (ex: 7 tokens contre 13 tokens pour une phrase échantillon), améliorant considérablement l'efficacité du contexte.
• Qualité de Génération : L'analyse qualitative montre que si le modèle de base Mistral injecte souvent des mots anglais, souffre d'incohérence grammaticale et mécomprend la sémantique russe, Vikhr produit un texte russe grammaticalement correct et sémantiquement cohérent.
• Taille du Vocabulaire : Les expériences ont indiqué qu'un vocabulaire de 40k offrait le meilleur équilibre, fournissant une performance de pointe sur la tâche ruXNLI avec seulement une légère augmentation de la perplexité par rapport aux vocabulaires plus petits.
• Filtrage des Données : Le filtrage du corpus de pré-entraînement (réduisant de 17B à 11B de tokens) a entraîné une perplexité plus faible et des scores substantiellement plus élevés sur Ru-MMLU-pro et ruXNLI, soulignant l'importance de la qualité des données sur la quantité.
• Régularisation : L'application de la régularisation de la perte KL pendant le pré-entraînement continu a considérablement amélioré les performances sur la tâche ruXNLI (0,45 contre 0,34 sans régularisation) et a légèrement réduit la perplexité, confirmant son rôle dans la prévention de l'oubli catastrophique des capacités de raisonnement.
• Instruction Tuning : L'ajustement sur l'ensemble d'instructions élargi des auteurs a produit un gain de performance significatif sur les tâches de NLU par rapport aux modèles affinés sur le jeu de données Saiga ou sur la traduction de Nectar seul.

Signification
L'article positionne Vikhr comme une solution au manque de LLM bilingues, efficaces et de haute qualité, avec instruction-tuning open-source pour le russe. En allant au-delà des limitations des adaptateurs LoRA et en traitant les inefficacités de tokenisation par une adaptation complète du modèle, Vikhr atteint une haute qualité de génération tout en maintenant une efficacité computationnelle. Les auteurs soutiennent que cette approche permet aux LLM bilingues de rester petits et efficaces tout en capturant de manière exhaustive les nuances linguistiques et les contextes culturels de la langue régionale. La publication des poids des modèles, des ensembles d'instructions, du code et des benchmarks d'évaluation vise à favoriser davantage la recherche en adaptation translingue et à renforcer la diversité des langues dans les programmes de recherche sur les LLM. Les auteurs notent que les travaux futurs incluent la sortie de versions améliorées (ex: basées sur Mistral NeMo) et l'extension du pipeline aux langues à faibles ressources comme le biélorusse, le serbe et le kazakh.