Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights

1. Problématique et Contexte

Les Grands Modèles de Langage (LLM) actuels sont fortement centrés sur l'anglais et les langues à ressources abondantes (comme le chinois ou l'espagnol). Pour les langues à ressources limitées (telles que le basque, le galicien ou le catalan), les performances des LLMs sont souvent médiocres en raison de la pénurie de données d'entraînement et de l'absence de données d'instructions de haute qualité.

Les approches d'adaptation traditionnelles, telles que le pré-entraînement continu (continual pre-training) couplé au fine-tuning sur instructions, présentent deux obstacles majeurs pour les communautés de langues minoritaires :

1. Coût computationnel élevé : Le réentraînement ou le fine-tuning de modèles de grande taille nécessite des ressources matérielles considérables.
2. Disponibilité des données : La création de jeux de données d'instructions de haute qualité dans des langues à ressources limitées est difficile, voire impossible.

De plus, chaque fois qu'une nouvelle version plus performante d'un modèle instructif est publiée, les communautés doivent répéter tout le processus d'adaptation, ce qui est inefficace.

2. Méthodologie

L'article propose une alternative légère et efficace : le fusionnement de modèles (model merging). L'objectif est de transférer les compétences linguistiques d'un modèle de base spécialisé dans une langue cible vers un modèle instructif généraliste, sans nécessiter de nouvelles données d'instructions ni de réentraînement.

La méthodologie se déroule en deux étapes principales :

A. Création de Modèles de Base Adaptés

Les auteurs ont d'abord entraîné des modèles de base adaptés à quatre langues ibériques (Basque, Galicien, Catalan, Espagnol) par pré-entraînement continu.

• Données : Utilisation de corpus spécifiques (Latxa pour le basque, CorpusNÓS pour le galicien, CulturaX pour l'espagnol et le catalan).
• Contrainte : Pour assurer une comparaison équitable, la taille des corpus a été normalisée en nombre de tokens (environ 3,5 à 3,8 milliards de tokens par langue).
• Architecture : Les modèles sont basés sur les familles Llama 3.1 (8B) et Qwen 3 (8B et 14B).

B. Fusionnement (Merging)

Une fois les modèles de base linguistiquement compétents, ils sont fusionnés avec un modèle instructif généraliste (non adapté à la langue cible) pour créer un modèle final capable de suivre des instructions dans la langue cible.
Les auteurs ont évalué plusieurs techniques de fusionnement :

1. Linear Merging (Moyenne pondérée) : Interpolation linéaire simple des poids ($\theta_{merge} = w_{base}\theta_{base} + w_{instruct}\theta_{instruct}$).
2. Task Arithmetic : Utilisation de vecteurs de tâche (différence entre le modèle spécialisé et le modèle de base) ajoutés au modèle de base.
3. DARE (Drop And REscale) : Élagage aléatoire des paramètres du vecteur de tâche et rééchelonnement pour réduire les interférences.
4. Breadcrumbs : Filtrage déterministe des mises à jour de paramètres (élimination des valeurs trop faibles ou trop extrêmes).

L'étude explore également deux scénarios :

• Fusion Monolingue : Adaptation d'un modèle à une seule langue spécifique.
• Fusion Multilingue : Combinaison de plusieurs modèles experts (un par langue) pour créer un seul modèle multilingue.

3. Contributions Clés

1. Preuve de concept : Démonstration qu'il est possible de créer des LLMs instructifs spécifiques à une langue en fusionnant un modèle de base linguistique avec un modèle instructif général, éliminant ainsi le besoin de données d'instructions spécifiques à la langue.
2. Analyse comparative : Une évaluation approfondie de différentes stratégies de fusionnement (Linear, Task Arithmetic, DARE, Breadcrumbs) et de leurs hyperparamètres (proportions de fusion).
3. Extension de benchmarks : Création et publication de versions en basque et galicien du benchmark IFEval (Instruction Following Evaluation), permettant d'évaluer la capacité des modèles à suivre des instructions formelles dans ces langues.
4. Ressources ouvertes : Publication des modèles de base pré-entraînés, des modèles instructifs fusionnés, et des datasets IFEval pour les langues ibériques.

4. Résultats Expérimentaux

Les expériences ont été menées sur les quatre langues cibles avec les modèles Llama 3.1 et Qwen 3.

• Performance Linguistique (Benchmark et Traduction) :

  • Les modèles fusionnés (merge-*) surpassent systématiquement les modèles instructifs de base non adaptés dans leurs langues cibles.
  • Pour les langues à très faibles ressources (Basque, Galicien), les gains sont significatifs, rattrapant voire dépassant les performances des modèles spécialisés de l'état de l'art (comme Salamandra ou ALIA) sur certains benchmarks, tout en conservant une meilleure stabilité dans les autres langues.
  • La méthode Linear et Task Arithmetic se sont révélées les plus performantes globalement.

• Suivi des Instructions (Instruction Following) :

  • Les résultats sont mitigés. Si les modèles fusionnés conservent une capacité de suivi d'instructions, ils ne dépassent généralement pas le modèle instructif de base original.
  • Il existe un compromis (trade-off) : augmenter la proportion du modèle de base linguistique améliore la compétence linguistique mais peut dégrader la capacité à suivre des instructions complexes.
  • La méthode Task Arithmetic a montré de meilleurs résultats pour le suivi d'instructions dans certaines configurations (notamment avec Qwen 3), tandis que Linear a été plus robuste pour la traduction.

• Fusion Multilingue :

  • Il est possible de fusionner plusieurs experts linguistiques pour obtenir un modèle multilingue unique. Bien que les performances par langue soient légèrement inférieures à celles des modèles monolingues fusionnés, le modèle unique offre une capacité multilingue cohérente sans coût de réentraînement.

• Efficacité :

  • L'approche de fusionnement est extrêmement efficace en termes de calcul. Elle évite le coût prohibitif du fine-tuning continu, rendant l'adaptation des LLMs accessible à des groupes de recherche plus petits.

5. Signification et Conclusion

Cet article démontre que le fusionnement de modèles est une alternative viable et efficace aux méthodes traditionnelles d'adaptation pour les langues à ressources limitées.

• Impact : Cette méthode permet de "transférer" rapidement les capacités d'instruction d'un modèle de pointe vers une nouvelle langue, en ne nécessitant qu'un seul cycle de pré-entraînement continu pour le modèle de base.
• Avantage stratégique : Elle réduit considérablement la barrière à l'entrée pour les communautés linguistiques minoritaires, leur permettant de bénéficier des avancées rapides des LLMs sans avoir à investir dans des infrastructures de calcul massives.
• Limites et Perspectives : Bien que prometteuse, la méthode montre encore une sensibilité dans la préservation de l'alignement (instruction following) lors du transfert de langue. Les travaux futurs devront se concentrer sur l'amélioration de l'alignement lors de la fusion et l'extension de ces techniques à des modèles plus grands et à d'autres familles de langues.

En résumé, "Merge and Conquer" propose une voie pragmatique pour démocratiser l'accès aux LLMs instructifs de haute qualité pour les langues ibériques et, par extension, pour les langues à ressources limitées du monde entier.