Résumé technique : Adaptation monolingue modulaire à l'aide de modèles de langage préentraînés

Énoncé du problème

L'adaptation des modèles de langage multilingues préentraînés (PMLM) aux langues à faibles ressources implique généralement un ajustement fin (finetuning) complet du modèle sur la langue cible. Cependant, cette approche présente des défis importants dans les contextes de faibles ressources :

1. Surapprentissage (Overfitting) : Entraîner l'intégralité de l'espace des paramètres, en particulier les grandes matrices de plongement (embeddings) qui constituent environ 25 % des paramètres, sur des données limitées conduit souvent au surapprentissage.
2. Malédiction de la multilinguicité : Dans les modèles multilingues à capacité fixe, les langues à hautes ressources dominent l'espace des paramètres, ce qui peut limiter les performances pour les langues sous-représentées.
3. Inefficacité : L'ajustement fin complet est coûteux en termes de calcul et nécessite une quantité substantielle de VRAM et de temps d'entraînement.
4. Inadéquation du vocabulaire : Réutiliser un tokenizer multilingue pour une langue non vue peut entraîner une fertilité de jeton (token fertility) élevée (décomposition des mots en de nombreux sous-jetons), augmentant ainsi les coûts computationnels et réduant l'efficacité.

Bien que des techniques telles que l'ajustement fin adaptatif à la langue (LAFT) et l'extension de vocabulaire existent, les auteurs émettent l'hypothèse que l'ajustement fin complet du modèle est souvent inutile et qu'une approche plus modulaire pourrait donner de meilleurs résultats avec moins de ressources.

Méthodologie

Les auteurs proposent un cadre d'Adaptation Monolingue Modulaire qui découple le tokenizer et les plongements (embeddings) des couches de transformeur. Les composants clés sont :

1. Tokenisation personnalisée : Un nouveau tokenizer est entraîné spécifiquement sur le corpus de la langue cible en utilisant l'algorithme WordPiece, maintenant une taille de vocabulaire de 30k. Cela remplace l'original tokenizer multilingue.
2. Remplacement et gel des plongements (Embedding Replacement and Freezing) :
   • Les plongements d'entrée et de sortie du PMLM sont remplacés par une nouvelle matrice correspondant au vocabulaire personnalisé.
   • Gel (Freezing) : Ces nouvelles couches de plongement sont gelées pendant l'entraînement.
   • Stratégies d'initialisation : Les auteurs expérimentent trois méthodes pour initialiser ces nouveaux plongements :
     • Basée sur le modèle (Model-based) : Retokenisation du vocabulaire original et moyenne des poids des jetons originaux qui composent les nouveaux jetons.
     • FastText : Entraînement de plongements statiques sur le corpus cible en utilisant FastText.
     • Aléatoire (Random) : Initialisation aléatoire.
3. Entraînement sélectif des paramètres : Seuls les paramètres non liés aux plongements (les couches Transformer et la tête LM) sont mis à jour en utilisant l'objectif standard de modélisation de langue masquée (MLM).
4. Configuration expérimentale :
   • Langues : Gaélique écossais (gd), Irlandais (ga) et Quechua (qu). Le Quechua est noté comme une langue à très faibles ressources avec seulement environ 8,5k instances d'entraînement.
   • Modèles : BERT, Multilingual BERT (mBERT) et Multilingual ModernBERT (mmBERT).
   • Tâches : Remplissage de masque (MLM), Reconnaissance d'Entités Nommées (NER) et Étiquetage morphosyntaxique (POS).
   • Lignes de base (Baselines) : Comparaison avec l'ajustement fin complet, l'entraînement des seuls plongements et l'adaptation de bas rang (LoRA).

Contributions clés

• Cadre modulaire : Une stratégie d'adaptation novatrice qui remplace le tokenizer, gèle les plongements et ajuste uniquement les paramètres restants.
• Analyse exhaustive : Une évaluation systématique de l'impact des tokenizers, des stratégies d'initialisation des plongements et des architectures de modèles (BERT vs mBERT vs mmBERT) sur l'adaptation monolingue.
• Gains d'efficacité : Démonstration que cette approche réduit considérablement le nombre de paramètres entraînables (par exemple, une réduction d'environ 50 % pour mBERT) et le temps d'entraînement tout en maintenant ou en améliorant les performances.

Résultats

Les expériences ont produit les conclusions suivantes :

1. Entraînement sans plongement vs Ajustement fin complet :

   • Sur la tâche MLM (remplissage de masque), la stratégie d'entraînement proposée sans plongement a systématiquement surpassé l'ajustement fin complet pour toutes les langues et tous les modèles. Les auteurs attribuent cela à l'effet de régularisation du gel des plongements, qui empêche le modèle de surapprendre sur le petit ensemble d'entraînement.
   • Sur les tâches en aval (NER et POS), l'entraînement sans plongement a obtenu des performances comparables à l'ajustement fin complet et nettement supérieures à l'entraînement des seuls plongements. Cela suggère que bien que les plongements soient importants, les couches Transformer sont suffisantes pour apprendre des représentations contextuelles spécifiques à la tâche lorsque l'espace de plongement est fixe.

2. Impact des Tokenizers :

   • L'utilisation d'un tokenizer personnalisé a systématiquement surpassé la réutilisation du tokenizer multilingue. Cette amélioration est attribuée à une réduction de la fertilité des jetons et à une meilleure segmentation des sous-mots pour la langue cible.
   • Le vocabulaire personnalisé a également réduit la taille totale du modèle et les besoins en mémoire d'entraînement.

3. Initialisation des plongements :

   • Dans le cadre de l'entraînement sans plongement, le choix de l'initialisation des plongements (Model-based, FastText ou Random) a eu un impact mineur sur les performances. Les plongements initialisés aléatoirement ont performé presque aussi bien que les plongements préentraînés, suggérant que les couches Transformer peuvent efficacement se réaligner sur le nouvel espace lexical.
   • Inversement, sous l'ajustement fin complet, les plongements par défaut ont parfois entravé les performances, probablement parce que le modèle devait "désapprendre" les représentations non pertinentes issues des données de préentraînement.

4. Architecture de modèle :

   • Les modèles multilingues (mBERT, mmBERT) ont généralement surpassé le BERT monolingue et les transformeurs initialisés aléatoirement, démontant un transfert de connaissances translinguistiques efficace même lorsque la langue cible était faiblement représentée dans les données de préentraînement.
   • mmBERT a montré des performances MLM supérieures grâce à sa plus grande capacité, mais a occasionnellement sous-performé sur les tâches en aval par rapport à mBERT, potentiellement en raison d'un "surapprentissage catastrophique".

5. Performance en faibles ressources :

   • Pour le Quechua (qu), la stratégie sans plongement avec un tokenizer personnalisé a nettement surpassé l'ajustement fin complet, validant l'approche pour les scénarios de ressources extrêmement faibles.

6. Comparaison avec LoRA :

   • La méthode proposée a systématiquement surpassé LoRA (Low-Rank Adaptation) sur toutes les tâches, suggant que la contrainte de bas rang peut limiter la capacité du modèle à apprendre des tâches complexes dans ces contextes spécifiques.

Signification et affirmations

L'article affirme que l'ajustement fin complet du modèle n'est pas toujours la stratégie optimale pour adapter les PMLM aux langues à faibles ressources. Au lieu de cela, une approche modulaire combinant une tokenisation personnalisée et un entraînement sélectif des paramètres (gel des plongements) offre une alternative simple, efficace en termes de paramètres et performante.

Les points clés soulignés par les auteurs incluent :

• Régularisation : Le gel des plongements agit comme un puissant régularisateur, atténuant le surapprentissage dans les environaux de données rares.
• La Tokenisation est critique : Le choix d'un tokenizer personnalisé apporte un gain de performance plus significatif que la méthode spécifique utilisée pour initialiser les plongements.
• Efficacité : L'approche réduit les paramètres entraînables d'environ la moitié, menant à une convergence plus rapide, une utilisation moindre de la VRAM et une réduction de la latence d'inférence sans sacrifier les performances des tâches en aval.
• Transférabilité : Les modèles préentraînés multilingues restent précieux même pour les langues peu représentées dans leurs données de préentraînement, à condition d'utiliser une stratégie d'adaptation appropriée.

Les auteurs concluent que cette méthode fournit une base robuste pour la modélisation des langues à faibles ressources, évitant les coûts de calcul et les risques de surapprentissage associés à l'ajustement fin complet du modèle.