Résumé Technique : Luth – Spécialisation française efficace pour les petits modèles de langage

Problématique

Le paysage actuel des grands modèles de langage (LLM) reste prédominamment centré sur l'anglais, créant un écart de performance significatif pour les autres langues majeures, particulièrement le français. Bien que des modèles multilingues existent, ils sont souvent moins performants en français qu'en anglais en raison des déséquilibres de données. De plus, la recherche sur les méthodes d'adaptation efficaces pour le français, spécifiquement dans le domaine des petits modèles de langage (SLM), est limitée. Les efforts actuels spécifiques au français reposent souvent sur un entraînement à grande échelle gourmand en ressources ou ne parviennent pas à égaler les performances des bases multilingues comparables, laissant apparaître un besoin pour des modèles compacts, spécialisés en français, pouvant être adaptés efficacement sans sacrifier les capacités multilingues.

Méthodologie

Les auteurs proposent Luth, une famille de SLM spécialisés en français (allant de 350M à 1,7 milliard de paramètres) développés via un pipeline ciblé de post-entraînement et de fusion de modèles. La méthodologie se compose de trois étapes principales :

1. Construction du jeu de données (Luth-SFT)

Pour remédier à la rareté des données de post-entraînement de haute qualité en français en open-source, les auteurs ont construit le jeu de données Luth-SFT, comprenant 570 000 échantillons (338 millions de tokens) de paires instruction-réponse en français. La construction des données a impliqué :

• Collecte : Filtrage d'échantillons français à partir de jeux de données multilingues existants (AYA, Smoltalk2, CroissantLLM).
• Traduction et Génération : Sélection de jeux de données d'instructions en anglais de haute qualité (Tülu 3, OpenHermes). Les prompts anglais ont été traduits en français à l'aide de modèles multilingues puissants (GPT-4o, Qwen3 32B). Crucialement, de nouvelles réponses en français ont été générées de zéro à partir de ces prompts traduits plutôt que de traduire les réponses anglaques originales, garantissant ainsi une qualité linguistique native.
• Filtrage : Un pipeline en deux étapes a imposé une validation linguistique (grammaire, cohérence, absence de code-switching) et un filtrage de contenu (suppression du code, de l'appel d'outils et des erreurs factuelles).
• Sous-ensemble Académique : Un sous-ensemble spécialisé de 30 300 échantillons a été créé à partir de matériels d'examen du Baccalauréat et des Classes Préparatoires (CPGE) françaises (1980–2025). Ces données non synthétiques, couvrant des sujets tels que les Mathématiques (67,23 %), la Physique-Chimie et l'Informatique, ont été traitées via un parsing assisté par LLM pour extraire les questions et les solutions détaillées, validées par des experts.

2. Entraînement du modèle

Les auteurs ont évalué plusieurs modèles multilingues de base dans la plage de moins de 2 milliards de paramètres, sélectionnant Qwen3 (0,6B, 1,7B) et LFM2 (350M, 700M, 1,2B) en raison de leurs fortes performances initiales en français et en anglais.

• Fine-Tuning Complet : Au lieu de méthodes d'adaptation efficace des paramètres comme LoRA, les modèles sélectionnés ont subi un fine-tuning complet sur le jeu de données Luth-SFT en utilisant le framework Axolotl.
• Configuration : L'entraînement a utilisé un seul GPU NVIDIA H100 avec FlashAttention et le packing de séquences (longueur max 16 384). Les hyperparamètres comprenaient un taux d'apprentissage de $2 \times 10^{-5}$ et un scheduler cosinus avec une phase de warm-up de 10 %.

3. Fusion de modèles (Model Merging)

Pour atténuer l'« oubli catastrophique » des capacités en anglais souvent observé lors d'un fine-tuning exclusivement sur des données françaises, les auteurs ont employé la fusion de modèles.

• Processus : Les modèles fine-tunés en français ont été fusionnés avec leurs modèles de base originaux en utilisant MergeKit.
• Techniques : Les auteurs ont expérimenté l'interpolation linéaire (LERP) et l'interpolation linéaire sphérique (SLERP).
• Résultat : De manière surprenante, les méthodes d'interpolation simples ont produit les résultats les plus stables. Les coefficients de fusion (allant de 0,3 à 0,7) ont été sélectionnés empiriquement pour équilibrer la spécialisation française et la rétention de l'anglais, résultant souvent en des gains de performance dans les deux langues.

Contributions Clés

1. Jeu de données Luth-SFT : Un jeu de données d'instruction-réponse en français curaté et de haute qualité (570k échantillons) spécifiquement conçu pour améliorer les connaissances générales, le suivi d'instructions et le raisonnement mathématique.
2. Famille de modèles Luth : Cinq SLM (de 350M à 1,7 milliard de paramètres) qui atteignent des performances de pointe (SOTA) sur les benchmarks français dans leurs catégories de taille respectives.
3. Méthodologie d'adaptation efficace : Un pipeline reproductible démontrant qu'un post-entraînement ciblé combiné à une fusion de modèles stratégique peut considérablement améliorer les capacités linguistiques spécifiques tout en préservant ou en améliorant même les performances translingues.

Résultats

Les modèles Luth ont été évalués sur six benchmarks (IFEval, GPQA-Diamond, MMLU, Math500, Arc-Challenge, HellaSwag) tant en français qu'en anglais.

• Performance en Français : Les modèles Luth surpassent substantiellement tous les homologues open-source de taille comparable. Ils ont obtenu une amélioration moyenne absolue allant jusqu'à +11,26 % sur six benchmarks français par rapport à leurs modèles de base. Par exemple, Luth-1.7B-Instruct a obtenu un score de 58,53 sur IFEval (français) et 62,60 sur Math500 (français), surpassant de manière significative le modèle de base Qwen3-1.7B.
• Performance en Anglais : Contrairement à la dégradation typique observée lors d'un fine-tuning spécifique à une langue, les modèles Luth ont maintenu une performance stable ou améliorée en anglais. Les auteurs attribuent cela au transfert translingual, où l'amélioration du raisonnement et du suivi d'instructions en français a positivement impacté les capacités en anglais. Les améliorations en anglais ont varié de +0,76 % à +3,20 % sur les benchmarks sélectionnés.
• Efficacité de la Fusion : Les expériences ont confirmé que la fusion du modèle fine-tuné avec le modèle de base a non seulement récupéré la performance perdue en anglais, mais a souvent amélioré les résultats globaux dans les deux langues par rapport au modèle fine-tuné seul.

Signification et Revendications

Le papier positionne Luth comme un nouveau standard (baseline) SOTA pour les petits modèles de langage français. Les auteurs affirment que leur travail démontre :

• Efficacité : Des capacités françaises de haute qualité peuvent être obtenues grâce à un post-entraînement soigné sur des données curatées et une fusion de modèles, évitant ainsi le besoin de pré-entraînement continu coûteux ou de ressources à très grande échelle.
• Robustesse : La spécialisation dans une langue n'entraîne pas nécessairement le sacrifice des autres ; en fait, une fusion stratégique peut mener à des améliorations mutuelles entre les langues.
• Extensibilité : La méthodologie est présentée comme une recette pratique et reproductible, extensible à d'autres langues et domaines.

Les auteurs reconnaissent des limites, notant que leur évaluation est restreinte à un ensemble spécifique de benchmarks, ne couvre pas l'utilisation d'outils ou la génération de code, et est actuellement limitée aux modèles de moins de 2 milliards de paramètres. Ils suggèrent que la vérification de la scalabilité de ces gains vers des architectures plus larges reste une direction pour les travaux futurs.