Repetition over Diversity: High-Signal Data Filtering for Sample-Efficient German Language Modeling

1. Énoncé du problème

Le papier aborde un dilemme stratégique dans l'entraînement des grands modèles de langage (LLM) pour les langues non anglaises à ressources abondantes (spécifiquement l'allemand). Alors que les LLM anglais bénéficient de corpus web massifs et diversifiés où « plus de données » est généralement meilleur, les langues non anglaises disposent de pools de tokens nettement plus petits (des centaines de milliards contre des billions).

• Le dilemme : Les praticiens doivent choisir entre :
  1. Diversité : S'entraîner sur un grand ensemble de données faiblement filtré en un seul passage (maximisant la couverture unique de tokens).
  2. Qualité/Répétition : Filtrer strictement pour un petit ensemble de données de haute qualité et s'entraîner dessus sur plusieurs époques (maximisant la densité sémantique).
• Le vide : La littérature existante suggère que l'exposition répétée aux données entraîne des rendements décroissants après environ 4 époques. Cependant, il n'est pas clair si cela reste vrai lorsque l'alternative est un ensemble de données massif et bruyant où le rapport signal/bruit est faible. Les auteurs examinent si « la répétition plutôt que la diversité » est la stratégie optimale pour l'allemand.

2. Méthodologie

Les auteurs ont construit un pipeline de filtrage hiérarchique des données appliqué à 500 millions de documents web allemands issus de l'ensemble de données FineWeb-2 (FW2-DE).

A. Filtres de qualité hiérarchiques

Ils ont mis en œuvre trois niveaux de classificateurs pour noter les documents, créant des sous-ensembles de plus en plus stricts :

1. Cohérence : Élimine le bruit structurel (par exemple, « salade de mots », HTML tronqué, fragments) pour assurer un flux syntaxique.
2. Valeur informationnelle : Sélectionne la « densité de signal », conservant les documents porteurs de faits et riches en contenu (par exemple, actualités, rapports techniques) tout en supprimant le spam SEO et les éléments génériques.
3. Qualité éducative : Le niveau le plus restrictif, privilégiant la clarté de type manuel, la profondeur pédagogique et les connaissances structurées.
4. Cœur dense : L'intersection des trois filtres, représentant le sous-ensemble de plus haute densité sémantique (environ 28 milliards de tokens).

B. Nettoyage des références

Reconnaissant que les références allemandes existantes souffrent souvent d'une mauvaise traduction automatique (spécifiquement des problèmes d'ordre des mots dans les structures verbales finales de l'allemand affectant les tâches de complétion comme LAMBADA et HellaSwag), les auteurs ont :

• Re-traduit les principales références (ARC, HellaSwag, LAMBADA, OpenBookQA, Global MMLU) en utilisant un modèle de traduction de pointe (Tower+ 72B).
• Corrigé manuellement les artefacts structurels pour garantir l'intégrité des tâches.

C. Conception expérimentale

• Modèles : Entraînement de transformateurs décodeur uniquement à partir de zéro aux échelles de 350M et 1B paramètres.
• Budgets : Comparaison des stratégies sous des budgets de tokens fixes (100B et 200B tokens).
• Stratégies testées :
  • Référence : Entraînement en un seul passage sur des données diversifiées (Aléatoire/Cohérence).
  • Répétition : Entraînement multi-époques sur des sous-ensembles filtrés (Cœur dense, Valeur informationnelle, etc.).
  • Curricula : Approches hybrides (par exemple, entraînement « par phases » commençant par des données diversifiées puis passant à des données de haute qualité).
• Évaluation : Performance en zéro-shot sur les références nettoyées et capacités d'ajustement aux instructions (en utilisant un protocole LLM-comme-juge).

3. Contributions clés

1. Validation empirique de la répétition : Démonstration que pour l'allemand, l'entraînement sur un petit sous-ensemble de haute qualité sur plusieurs époques surpasse nettement l'entraînement sur un ensemble de données plus vaste et diversifié en un seul passage, même lorsque le budget total de tokens est identique.
2. Analyse du plafond de répétition : Démonstration que les gains de performance issus de la répétition de données de haute qualité persistent bien au-delà du seuil de 4 époques précédemment suggéré pour les modèles anglais, s'étendant jusqu'à 7+ époques sans saturation.
3. Modernisation des références : Publication d'une suite nettoyée et modernisée de références d'évaluation allemandes, corrigeant des erreurs de traduction critiques qui compromettaient auparavant la fiabilité de l'évaluation.
4. Publication open source : Publication de la série BOLDT de petits modèles de langage (SLM) allemands et des ensembles de données nettoyés.

4. Résultats clés

• Gains de performance :
  • Le modèle 350M Dense Core (entraîné sur 28B de tokens répétés ~3,6x) a surpassé la référence 350M Random (entraînée sur 100B de tokens uniques) de 4,89 points en moyenne sur les références.
  • Le modèle 1B Dense Core a obtenu un avantage de 5,14 points par rapport à sa référence 1B Random.
• Efficacité : Les modèles BOLDT ont atteint des résultats de pointe pour leur taille tout en étant entraînés sur 10 à 360 fois moins de tokens que des modèles multilingues comparables (par exemple, Gemma-3, Llama-3, Qwen).
• Ajustement aux instructions : L'avantage de la « densité » s'est traduit par l'ajustement aux instructions. Les modèles pré-entraînés sur des cœurs de haute qualité ont montré une plus grande exactitude et utilité dans les tâches d'assistant par rapport à ceux pré-entraînés sur des données diversifiées et bruyantes.
• Mise à l'échelle : À mesure que la taille du modèle augmentait (350M $\to$ 1B), l'écart de performance entre la répétition de haute qualité et l'entraînement diversifié en un seul passage s'est élargi, suggérant que les modèles plus grands sont mieux à même d'exploiter des informations concentrées.
• Échec des curricula : Les curricula hybrides « par phases » (diversifié $\to$ dense) ont sous-performé par rapport à l'entraînement pur sur un cœur dense, suggérant qu'une phase de « préchauffage » avec des données à faible signal dilue la trajectoire d'apprentissage.

5. Signification et implications

• Changement de paradigme pour les LLM non anglais : Le papier remet en question le paradigme de « maximisation du volume de tokens uniques » pour les langues non anglaises. Il soutient que pour les langues disposant de pools de données limités, la concentration sémantique via un filtrage agressif est une voie plus viable vers l'efficacité que la maximisation de la diversité.
• Efficacité des ressources : Il fournit un modèle pour développer des SLM haute performance dans des contextes contraints en ressources, prouvant que la sélection de données de haute qualité peut compenser un manque de puissance de calcul et de volume de données.
• La répétition n'est pas nuisible : Contrairement aux craintes de surapprentissage ou de rendements décroissants, l'étude montre que pour les données à fort signal, l'exposition répétée est bénéfique et nécessaire pour extraire la valeur maximale de corpus limités.
• Impact communautaire : En publiant les modèles BOLDT et les références corrigées, les auteurs fournissent à la communauté du TALN allemand des outils fiables pour l'évaluation et des modèles de base de haute qualité, comblant une lacune critique dans l'infrastructure des LLM non anglais.

En conclusion, le papier établit que pour les langues non anglaises à ressources abondantes, le filtrage de qualité et l'entraînement multi-époques sont des stratégies supérieures à l'entraînement large en un seul passage, permettant la création de modèles linguistiques compétitifs avec des besoins en données considérablement réduits.