Enhancing Multilingual LLM Pretraining with Model-Based Data Selection

1. Problématique

Bien que la curation de données soit devenue un pilier essentiel pour la performance des grands modèles de langage (LLM), les techniques de filtrage basées sur des modèles (model-based filtering) se sont principalement concentrées sur la langue anglaise. Les approches multilingues actuelles reposent souvent sur des heuristiques simples (longueur, ponctuation) ou sur la perplexité, ce qui crée un déséquilibre dans la qualité des données disponibles pour les langues non anglaises.

L'objectif de cet article est de combler ce fossé en développant un cadre de filtrage basé sur des modèles spécifiquement conçu pour les ensembles de données multilingues. L'approche vise à identifier et à sélectionner des échantillons structurés et riches en connaissances, tout en garantissant la transparence, la simplicité et l'efficacité computationnelle.

2. Méthodologie

Les auteurs proposent un cadre unifié pour la sélection de données à l'échelle du web, structuré en deux composantes principales :

A. Sélection des Données d'Entraînement pour le Classifieur (MKC)

Pour entraîner les classificateurs de qualité, les auteurs ont créé des ensembles de données représentatifs appelés Multilingual Knowledge Collection (MKC). Ces ensembles visent à capturer la diversité des structures et des connaissances. Deux configurations sont définies :

• MKC : Combine des ensembles de haute qualité et structurés : Include-Base-44 (questions d'examens), OpenAssistant-2 (conversations), MMLU (questions de connaissances) et Aya Dataset (instructions humaines).
• MKC+ : Ajoute à la configuration précédente la Aya Collection, un ensemble plus vaste mais généré par IA (moins garanti en qualité), pour augmenter l'échelle.

Des échantillons positifs (provenant de ces sources) sont mélangés avec des échantillons négatifs (sous-échantillonnés aléatoirement dans FineWeb-2) pour former un problème de classification binaire.

B. Approches de Filtrage

Deux méthodes basées sur des embeddings sont évaluées pour classer les documents du corpus pré-entraînement :

1. Filtrage FastText (FT) : Une approche légère et efficace sur CPU, utilisant des caractéristiques de n-grammes (2-grammes, 4-grammes pour le chinois). Elle s'inspire de l'approche DataComp-LM (DCLM).
2. Filtrage par Embeddings Transformer (MLP & CS) :
   • Utilisation du modèle pré-entraîné XLM-RoBERTa (supportant 100 langues) pour générer des embeddings sémantiques riches.
   • Deux stratégies de scoring :
     • MLP (Multi-Layer Perceptron) : Un classifieur neurale entraîné sur les embeddings pour prédire la probabilité qu'un document soit de haute qualité.
     • CS (Cosine Similarity) : Calcul de la similarité cosinus entre l'embedding d'un document et un ensemble d'échantillons positifs de référence.

3. Contributions Clés

• Cadre Unifié Multilingue : Développement d'un système de filtrage transparent et simple applicable à 20 langues couvrant diverses familles linguistiques, scripts et niveaux de ressources (du chinois et allemand à l'arabe et danois).
• Efficacité des Données : Démonstration qu'il est possible d'atteindre des performances équivalentes à la baseline (FineWeb-2) en utilisant seulement 15 % des tokens d'entraînement, tout en obtenant de meilleurs résultats sur d'autres benchmarks.
• Atténuation de la "Malédiction du Multilinguisme" : Preuve empirique que l'utilisation de données filtrées de haute qualité permet aux modèles multilingues de surpasser leurs homologues monolingues (sur un nombre de tokens équivalent par langue), inversant ainsi l'effet négatif habituel de l'apprentissage multilingue.
• Ressources Ouvertes : Publication du jeu de données raffiné FineWeb2-HQ (20 langues), du code source et des embeddings pré-calculés pour faciliter la recherche future.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles Llama de 1 milliard de paramètres, entraînés sur 70B et 119B de tokens.

• Performance Globale : L'approche MLP MKC+ (utilisant le classifieur MLP entraîné sur l'ensemble MKC+) s'est révélée supérieure à toutes les autres méthodes, y compris la baseline FineWeb-2 et les approches concurrentes (DCLM, FineWeb-Edu).
• Gain de Tokens : Pour les langues à ressources élevées (Chinois, Allemand, Français), le modèle atteint les performances de la baseline avec seulement 10 % des documents (environ 20B de tokens), soit une réduction massive du coût de calcul.
• Comparaison des Méthodes :
  • Le filtrage MLP surpasse systématiquement le filtrage FastText et la similarité cosinus (CS).
  • Cependant, FastText reste une alternative compétitive et beaucoup moins coûteuse en ressources, idéale pour les environnements contraints.
• Robustesse : Les résultats restent supérieurs même après un processus de décontamination (suppression des n-grammes chevauchant les benchmarks d'évaluation), prouvant que la performance ne provient pas d'une fuite de données.
• Analyse de la Diversité : L'ablation montre que la combinaison de plusieurs sources d'entraînement (MKC+) est cruciale pour la performance, surpassant l'utilisation d'une seule source (comme MMLU ou Aya seul).

5. Signification et Impact

Cet article apporte une preuve forte de la généralisabilité des techniques de filtrage basées sur des modèles au-delà de l'anglais. En démontrant que la qualité des données (structurée et riche en connaissances) est un levier plus puissant que la simple quantité, les auteurs offrent une voie pour réduire les coûts de pré-entraînement des LLM tout en améliorant leurs capacités multilingues.

La découverte que le filtrage de qualité peut transformer la "malédiction du multilinguisme" en un avantage est particulièrement significative pour le développement de modèles équitables et performants pour les langues à faibles ressources. La mise à disposition publique des données FineWeb2-HQ pour 20 langues constitue une contribution majeure à l'écosystème du NLP multilingue open-source.