COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling

1. Problématique : Le Dilemme du Multilinguisme et l'Interférence Négative

Les grands modèles de langage (LLM) souffrent souvent de disparités de performance significatives entre les langues, en particulier pour les langues à ressources limitées (LRL). Bien que le fine-tuning multilingue soit une approche courante, une inclusion naïve de données provenant de multiples langues entraîne fréquemment une interférence négative.

• Cause racine : Le problème fondamental identifié n'est pas seulement la différence linguistique (syntaxe, vocabulaire), mais un décalage distributionnel. Les données d'entraînement multilingues disponibles ne reflètent pas toujours les motifs d'utilisation réels (en production) d'une langue cible spécifique.
• Conséquence : Lorsque le modèle est exposé à des motifs non pertinents ou sous-exposé aux motifs cruciaux pour la langue cible, il apprend des représentations sous-optimales. Les modèles monolingues surpassent souvent les modèles massivement multilingues sur des tâches spécifiques à une langue.
• Limites des approches existantes :
  • Le fine-tuning monolingue pur évite l'interférence mais sacrifie le transfert positif inter-langues et est coûteux en mémoire (un modèle par langue).
  • Le fine-tuning multilingue naïf (toutes les langues mélangées) dégrade les performances.
  • Les méthodes basées sur la similarité linguistique (famille de langues) sont insuffisantes car elles ne tiennent pas compte des besoins sémantiques spécifiques de la distribution d'usage cible.

2. Méthodologie : COMPASS et COMPASS-ECDA

COMPASS est un cadre centré sur les données conçu pour adapter les LLM pré-entraînés à des langues cibles spécifiques en utilisant un échantillonnage adaptatif sémantique et un apprentissage continu.

A. Adaptation Initiale (Phase de Fine-Tuning)

L'objectif est de sélectionner un sous-ensemble judicieux de données auxiliaires multilingues pour compléter les données de la langue cible, en minimisant le bruit et en maximisant le transfert positif.

1. Représentation et Clustering :
   • Toutes les données (cible, auxiliaire, et un ensemble de validation servant de proxy pour l'usage réel) sont encodées via un modèle d'embedding multilingue (ex: Jina-Embeddings-v3).
   • Un algorithme de clustering (HDBScan, K-means, etc.) regroupe ces données en clusters sémantiques, indépendamment de la langue.
2. Détection des Décalages Distributionnels :
   • Le système compare la densité des données d'entraînement ($P_{train}$) par rapport à la distribution d'évaluation/usage ($P_{eval}$) pour chaque cluster.
   • Un ratio de décalage $\rho_k$ est calculé. Si $\rho_k > 1$, le cluster est sous-représenté dans l'entraînement par rapport à l'usage réel.
3. Stratégie d'Échantillonnage Adaptatif :
   • Pondération des clusters : Les clusters sous-représentés ($\rho_k > 1$) reçoivent un poids plus élevé pour l'échantillonnage de données auxiliaires.
   • Pondération des instances (au sein du cluster) :
     • En cas de forte pénurie de données, le système privilégie les exemples prototypiques (proches du centre du cluster) pour assurer une couverture sémantique de base.
     • À mesure que la couverture s'améliore, il intègre progressivement des exemples ambigus (proches des frontières de décision) pour renforcer la robustesse, tout en pénalisant les exemples trop similaires pour garantir la diversité.
4. Fine-Tuning Efficace (PEFT) :
   • Le modèle de base reste figé. Seuls des adapters légers spécifiques à la langue sont entraînés en utilisant la méthode DoRA (Weight-Decomposed Low-Rank Adaptation), qui décompose les mises à jour de poids en magnitude et direction pour une stabilité accrue.

B. Phase d'Adaptation Continue (COMPASS-ECDA)

Pour gérer l'évolution des distributions de données en production (nouveaux sujets, changements de préférences utilisateurs), COMPASS est étendu en COMPASS-ECDA (Elastic Consolidation and Distributional Anchoring).

• Détection de dérive : La divergence Jensen-Shannon entre la distribution de référence (dernier cycle d'entraînement) et la distribution des données entrantes récentes déclenche une mise à jour.
• Mise à jour hybride :
  • Rejeu Ciblé (Distributional Anchors) : Au lieu d'un rejeu aléatoire, le système utilise des "ancres" (exemples prototypiques des clusters stables précédents) pour stabiliser l'apprentissage.
  • Consolidation Élastique (EWC) : Une régularisation pénalise les changements de paramètres importants pour les tâches précédentes.
  • Sélection de nouvelles données : Les nouvelles données sont sélectionnées via la stratégie COMPASS pour combler les nouveaux écarts distributionnels.

3. Contributions Clés

1. Stratégie d'échantillonnage consciente de la distribution : Une méthode novatrice utilisant le clustering et la comparaison d'embeddings pour identifier et combler les lacunes sémantiques entre les données d'entraînement et l'usage réel, plutôt que de se fier à la similarité linguistique.
2. Performance empirique supérieure : Démonstration que cette approche surpasse les méthodes basées sur la similarité linguistique (LangRank, LangSim) et le fine-tuning multilingue naïf, avec des gains significatifs sur des benchmarks multilingues.
3. Cadre d'apprentissage continu : Extension du modèle pour s'adapter dynamiquement aux changements de distribution en production sans oublier les connaissances acquises (catastrophic forgetting).
4. Efficacité et Évolutivité : Utilisation d'adapters légers (DoRA) permettant le déploiement de multiples langues sur un seul modèle de base, réduisant considérablement les coûts de stockage et de calcul par rapport au fine-tuning complet.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois architectures de modèles (Phi-4-Mini, Llama-3.1-8B, Qwen2.5-7B) et plusieurs benchmarks (Global-MMLU, MMLU-ProX, OneRuler).

• Performance Globale : COMPASS surpasse systématiquement les baselines (y compris le fine-tuning monolingue, le fine-tuning complet, et l'échantillonnage aléatoire).
  • Sur Global-MMLU, COMPASS améliore les scores de manière significative par rapport au fine-tuning monolingue (Target), en particulier pour les langues à ressources limitées.
  • Il évite la dégradation observée avec le fine-tuning "All-data" (toutes les langues mélangées).
• Impact des Langages Isolés : Les gains sont particulièrement marqués pour les langues sans famille linguistique proche dans les données auxiliaires, grâce à la sélection sémantique précise.
• Long Contexte (OneRuler) : Bien que les données d'entraînement soient courtes, l'amélioration de l'alignement sémantique multilingue permet de transférer les capacités de long contexte du modèle de base vers les langues à ressources limitées, avec des améliorations notables jusqu'à 32K tokens.
• Apprentissage Continu (ECDA) : Dans des scénarios de dérive de distribution, COMPASS-ECDA atteint un compromis optimal (Pareto) entre l'adaptation aux nouvelles tâches et la rétention des connaissances anciennes, surpassant EWC, le rejeu aléatoire et le fine-tuning naïf.
• Ablations :
  • La qualité des embeddings est critique : des modèles d'embedding de moindre qualité dégradent les performances.
  • La pondération au niveau des clusters est plus critique que celle au niveau des instances.
  • DoRA offre une meilleure robustesse aux hyperparamètres que LoRA.

5. Signification et Impact

Ce travail propose une solution centrée sur les données pour résoudre le problème de l'interférence négative dans le multilinguisme.

• Changement de paradigme : Il déplace l'accent de la sélection basée sur la proximité linguistique (famille de langues) vers une sélection basée sur la pertinence sémantique par rapport à l'usage réel.
• Durabilité : En intégrant un mécanisme d'apprentissage continu, COMPASS offre une solution viable pour le maintien à long terme des modèles multilingues dans des environnements dynamiques, évitant l'obsolescence des modèles.
• Équité : En améliorant les performances des langues à ressources limitées de manière efficace en termes de paramètres, le cadre contribue à réduire les inégalités linguistiques dans le déploiement de l'IA.
• Limites : La méthode reste contrainte par la qualité du tokenizer du modèle de base et la disponibilité de données d'évaluation de haute qualité. Elle dépend également fortement de la qualité des modèles d'embedding multilingues, qui peuvent introduire des biais ou des erreurs de sélection pour certaines langues sous-entraînées.

En résumé, COMPASS démontre qu'une sélection de données intelligente et adaptative, couplée à des techniques de fine-tuning efficaces, permet de construire des modèles multilingues performants, robustes et évolutifs, même dans des environnements de production dynamiques.