GottBERT: a pure German Language Model

Résumé technique : GottBERT : un modèle de langue purement allemand

Énoncé du problème
Bien que les modèles de langue (LM) pré-entraînés comme BERT et RoBERTa aient révolutionné le traitement du langage naturel (NLP), la recherche initiale s'est principalement concentrée sur l'anglais. Bien que des modèles multilingues existent, les modèles monolingues offrent souvent des avantages en termes d'efficacité de pré-entraînement, d'utilisation des ressources et de performance sur les tâches en aval. Malgré l'essor des grands modèles de langage (LLM) basés sur le prompting, les modèles plus petits de type BERT, économes en calcul, restent essentiels pour un déploiement pratique. Au moment de ce travail, il manquait un modèle RoBERTa dédié à la langue allemande, entraîné exclusivement sur un corpus allemand massif et de haute qualité. Les modèles allemands existants (par exemple, GermanBERT, dbmdz BERT) étaient principalement basés sur l'architecture BERT originale ou utilisaient des sources de données mixtes, et aucun n'avait exploité toute l'échelle du corpus OSCAR avec les optimisations architecturales spécifiques de RoBERTa.

Méthodologie
Les auteurs ont développé GottBERT, le premier modèle RoBERTa monolingue allemand, utilisant la partie allemande du corpus OSCAR (Open Super-large Crawled ALMAnaCH coRpus). La méthodologie comprenait plusieurs étapes clés :

1. Curation et filtrage des données :

   • Source : Le modèle a été entraîné sur la première version publiée et dédoublonnée du corpus OSCAR allemand (145 Go, environ 21,5 milliards de mots).
   • Stratégie de filtrage : Inspirés par FlauBERT, les auteurs ont mis en œuvre un pipeline de filtrage pour créer une version « propre » (121 Go, environ 18,1 milliards de mots). Ce processus traitait :
     • Erreurs d'encodage : Correction des trémas erronés causés par des problèmes de décodage UTF-8 et suppression des lignes contenant des caractères non reproductibles.
     • Qualité du contenu : Suppression du spam, des listes de mots et des documents non allemands.
     • Heuristiques syntaxiques : Utilisation d'un algorithme de détection de langue (basé sur les n-grammes) pour filtrer l'art ASCII et d'un SVM à classe unique entraîné sur 12k documents pour identifier le contenu « sale ». Le SVM exploitait des caractéristiques linguistiques spécifiques à l'allemand, telles que la capitalisation des noms et les ratios de mots de liaison (stopwords), de ponctuation, de mots uniques et de jetons en majuscules.
   • Vocabulaire : Un nouveau vocabulaire de 52k sous-unités (subword tokens) a été calculé via le codage de paires de字节 (Byte Pair Encoding - BPE) sur 40 Go de texte allemand échantillonné de manière aléatoire, entraînant une réduction de 40 % de la taille des données binaires par rapport au tokenizer de GPT-2 entraîné sur l'anglais.

2. Infrastructure de pré-entraînement :

   • Matériel : GottBERT est le premier modèle RoBERTa publié ayant été pré-entraîné sur des TPU (Tensor Processing Units). Le modèle de base a été entraîné sur un pod de 256 cœurs TPUv3, tandis que les modèles larges ont utilisé un pod de 128 cœurs TPUv4.
   • Architecture : Les modèles suivaient l'architecture standard de RoBERTa (suppression des embeddings de segment et de la prédiction de la phrase suivante, utilisation du masquage dynamique).
   • Hyperparamètres : L'entraînement a utilisé le framework fairseq. Les modèles de base ont été entraînés pendant 100k étapes avec une taille de lot (batch size) de 8k et un taux d'apprentissage maximal de 0,0004. Les modèles larges utilisaient un taux d'apprentissage maximal de 0,00015.
   • Modèles générés : Quatre modèles ont été produits : GottBERTbase et GottBERTlarge (données non filtrées), ainsi que fGottBERTbase et fGottBERTlarge (données filtrées).

3. Évaluation :

   • Les modèles ont été affinés (fine-tuned) et évalués sur cinq tâches en aval :
     • Inférence de langue naturelle (NLI) : XNLI (partie allemande).
     • Reconnaissance d'entités nommées (NER) : CoNLL 2003 (allemand) et GermEval 2014.
     • Classification de texte : GermEval 2018 (grossière et fine) et 10kGNAD (classification de sujets d'actualité).
   • La performance a été mesurée à l'aide des scores F1 et de la précision, les résultats étant moyennés sur 24 exécutions avec des hyperparamètres variables pour garantir la robustesse.

Principales contributions

• Premier RoBERTa allemand : L'introduction du premier modèle RoBERta monolingue allemand, entraîné exclusivement sur le corpus OSCAR allemand.
• Méthodologie de filtrage : Le développement et l'application d'une méthode de filtrage spécifique pour les textes allemands, utilisant des caractéristiques syntaxiques (comme la capitalisation des noms) et l'apprentissage automatique (SVM) pour supprimer les données de faible qualité.
• Publication ouverte : La publication de toutes les variantes de modèles (base et large, filtrées et non filtrées) sous licence MIT pour soutenir la communauté de recherche en NLP allemand.
• Analyse empirique : Une évaluation complète comparant ces nouveaux modèles aux modèles BERT allemands existants (GermanBERT, dbmdz BERT, GBERT, GELECTRA) et aux modèles multilingues (mBERT, XLM-RoBERTa).

Résultats

• Modèles de base : GottBERT a démontré une performance compétitive, menant parmi les modèles de base dans 4 des 6 tâches. Plus précisément, GottBERTbase et fGottBERTbase ont obtenu des scores de haut niveau ou proches du sommet dans les tâches de NER et de classification de texte.
• Modèles larges : Les modèles larges ont montré une performance robuste mais ont été généralement surpassés par GELECTRAlarge et GBERTlarge dans plusieurs tâches. XLM-Rlarge a obtenu le score F1 le plus élevé sur la tâche NER de GermEval 2014.
• Impact du filtrage : Contrairement aux attentes des auteurs, le filtrage du corpus OSCAR n'a pas amélioré de manière significative les résultats. Dans certains cas, les modèles non filtrés ont obtenu des résultats légèrement supérieurs ou comparables à ceux des modèles filtrés. Les auteurs suggèrent que le processus de nettoyage a pu éliminer par inadvertance une variance textuelle précieuse, laquelle est connue pour bénéficier à la performance des modèles.
• Comparaison : Bien que les modèles GELECTRA aient généralement obtenu les précisions les plus élevées (prob-ablement en raison de l'architecture ELECTRA et potentiellement de données d'entraînement plus vastes et variées incluant OPUS et OpenLegalData), GottBERT s'est imposé comme une base solide, particulièrement dans la catégorie de l'architecture de base.

Signification et affirmations
L'article affirme que GottBERT sert de ressource efficace et précieuse pour la communauté du NLP allemand, offrant un état de l'art monolingue qui rivalise avec les modèles multilingues sur des tâches spécifiques. Les auteurs soulignent que, bien que la stratégie spécifique de nettoyage des données n'ait pas produit le gain de performance escompté, le succès du pré-entraînement d'un modèle RoBERTa sur des TPU et la publication de ces modèles fournissent une infrastructure critique pour les recherches futures.

Les auteurs notent avec modestie que leurs résultats sont spécifiques à la première version du corpus OSCAR et que leurs modèles pourraient éprouver des difficultés avec les nuances culturelles ou les dialectes peu représentés dans les données d'entraînement. Ils reconnaissent que l'approche de filtrage était un compromis entre coût computationnel et qualité des données, et suggèrent que les travaux futurs devraient explorer l'augmentation de la variance du corpus (par exemple, en incorporant Wikipédia ou des données juridiques) et l'utilisation du masquage de mots entiers (Whole Word Masking - WWM) pour améliorer davantage les performances. Le travail souligne la pertinence continue des modèles monolingues efficaces malgré la tendance vers les LLM massifs.