Aleph-Alpha-GermanWeb: Improving German-language LLM pre-training with model-based data curation and synthetic data generation

Ce papier présente Aleph-Alpha-GermanWeb, un ensemble de données pré-entraînement de 628 milliards de mots en allemand enrichi par des techniques de filtrage basées sur des modèles et de génération de données synthétiques, qui démontre des performances supérieures aux jeux de données organiques seuls lors de l'entraînement de modèles de langage de 1 à 8 milliards de paramètres.

L'essentiel

🇩🇪 L'histoire : Comment nourrir un cerveau artificiel en allemand

Imaginez que vous voulez entraîner un génie artificiel (un grand modèle de langage) pour qu'il parle couramment allemand. Jusqu'à présent, la méthode standard était de lui donner à manger des montagnes de livres, d'articles et de sites web, en espérant qu'il apprenne en avalant le plus possible. C'est un peu comme essayer d'apprendre une langue en lisant tous les journaux du monde, y compris les publicités illisibles et les fausses informations.

Les chercheurs d'Aleph-Alpha se sont dit : « Attendez, ce n'est pas la quantité qui compte le plus, c'est la qualité de ce qu'on mange. »

Ils ont créé une nouvelle recette, appelée Aleph-Alpha-GermanWeb, pour préparer le meilleur repas possible pour leur intelligence artificielle.

---

🍽️ La recette en trois ingrédients

Au lieu de simplement jeter tout le contenu d'Internet dans la casserole, ils ont utilisé un processus de cuisine très précis, divisé en trois étapes (ou trois ingrédients) :

1. Le "Filtre à Café" (Données brutes nettoyées)

Imaginez que vous avez un seau d'eau de pluie (les données brutes d'Internet). Elle contient des feuilles, des insectes et de la poussière.

• Ce qu'ils ont fait : Ils ont passé cette eau à travers un filtre ultra-perfectionné. Ils ont retiré les sites pour adultes, les pages vides, les textes qui se répètent à l'infini (comme un disque rayé) et les pages qui ne sont pas vraiment en allemand.
• Le résultat : Une eau claire et pure, prête à être utilisée. C'est leur première partie de données (78 milliards de mots).

2. Le "Chef d'Or" (Données existantes triées)

Ils ont aussi pris un stock de données déjà très populaire (appelé FineWeb2), mais ils ne l'ont pas utilisé tel quel.

• Ce qu'ils ont fait : Ils ont fait appel à un "chef" (un autre modèle d'IA) pour goûter chaque plat. Le chef a dit : "Celui-ci est excellent, celui-ci est moyen, et celui-ci est immangeable". Ils n'ont gardé que les meilleurs plats.
• Le résultat : Une sélection de 235 milliards de mots de très haute qualité.

3. Le "Cuisinier Magique" (Données synthétiques)

C'est ici que ça devient vraiment créatif. Imaginez que vous avez un livre d'histoire très intéressant, mais un peu long et ennuyeux.

• Ce qu'ils ont fait : Ils ont pris ces textes bruts et ont demandé à un "Cuisinier Magique" (un modèle d'IA très intelligent) de les transformer.
  • Il a réécrit les textes comme s'ils étaient dans un manuel scolaire.
  • Il a créé des résumés clairs.
  • Il a inventé des questions et des réponses basées sur le texte.
  • Il a transformé des listes de faits en listes faciles à apprendre.
• Le résultat : Ils ont créé 329 milliards de mots de "nourriture synthétique". Ce n'est pas du "faux", c'est du "retravaillé" pour être plus facile à digérer et plus instructif pour l'IA.

---

🧪 Le Grand Test : Qui mange le mieux ?

Pour voir si leur nouvelle recette fonctionnait, ils ont fait un test de goût (un examen) avec deux modèles d'IA :

1. Un modèle moyen (1 milliard de paramètres).
2. Un modèle plus gros et plus intelligent (8 milliards de paramètres).

Ils ont nourri ces modèles avec leur nouvelle recette (GermanWeb) et les ont comparés à des modèles nourris uniquement avec la recette standard (FineWeb2).

Le verdict ? 🏆
Les modèles nourris avec la recette d'Aleph-Alpha ont gagné haut la main !

• Même quand on ajoutait des données de haute qualité (comme Wikipédia) à la recette standard, la recette d'Aleph-Alpha restait meilleure.
• C'est comme si un élève qui a étudié avec des manuels scolaires bien rédigés et des exercices ciblés (la recette d'Aleph-Alpha) avait de meilleures notes qu'un élève qui a lu n'importe quel livre au hasard, même si ce livre est "sérieux".

---

💡 Pourquoi est-ce important ? (La morale de l'histoire)

Ce papier nous apprend trois choses essentielles, expliquées simplement :

1. La qualité bat la quantité : Il ne sert à rien d'avoir un océan de données si la moitié est de la boue. Un petit verre d'eau pure vaut mieux qu'un seau d'eau sale.
2. On peut "recycler" l'intelligence : Utiliser l'IA pour créer de nouvelles données d'entraînement (synthétiques) à partir de données existantes fonctionne très bien. C'est comme si un professeur expliquait une leçon à un élève, et que l'élève écrivait ensuite un résumé parfait pour un autre élève.
3. L'avenir de l'allemand : Grâce à cette méthode, les modèles d'IA qui parlent allemand vont devenir beaucoup plus intelligents, plus rapides et moins chers à entraîner, sans avoir besoin de chercher des milliards de nouveaux documents sur Internet.

En résumé : Les chercheurs ont arrêté de chercher plus de données et ont commencé à chercher mieux de données, en utilisant des filtres intelligents et un peu de magie artificielle pour créer le meilleur aliment possible pour les cerveaux numériques.

Résumé technique

1. Problématique et Contexte

L'augmentation de la taille des données d'entraînement est traditionnellement considérée comme le moteur principal de la performance des grands modèles de langage (LLM). Cependant, les recherches récentes suggèrent que la qualité des données est un levier tout aussi, voire plus, critique que la quantité pure.

Pour la langue allemande, plusieurs défis persistent :

• Rareté des données : Les ensembles de données non anglais (comme FineWeb2) contiennent une proportion très faible de données allemandes (<1,4 %).
• Limites des méthodes heuristiques : Les filtres basés sur des règles simples (heuristiques) réduisent encore davantage le volume de données disponibles pour les langues non anglaises.
• Biais des approches existantes : Les méthodes de génération de données synthétiques pour les langues non anglaises se concentrent souvent sur la traduction automatique, ce qui introduit des problèmes socio-techniques et manque des avantages syntaxiques ou sémantiques spécifiques aux approches de pré-entraînement par LLM.

L'objectif de cet article est de combler ces lacunes en créant un pipeline de curation de données spécifiquement conçu pour le pré-entraînement de LLMs en allemand, combinant filtrage avancé et génération de données synthétiques.

2. Méthodologie

Les auteurs ont développé un pipeline de curation de données aboutissant à la création de Aleph-Alpha-GermanWeb, un corpus de 628 milliards de mots (selon le résumé) ou 642 milliards (selon la section Contributions), composé de trois sous-ensembles complémentaires :

A. Filtrage des données Common Crawl (Données organiques)

Pour les données brutes non incluses dans FineWeb2, les auteurs ont adapté le pipeline RefinedWeb avec des ajustements spécifiques :

• Extraction de texte : Utilisation de l'outil RESILIPARSE (plus performant que TRAFILATURA pour les tâches LLM en aval).
• Filtrage linguistique : Élimination des documents dont le score de langue principal n'est pas l'allemand.
• Suppression des répétitions : Application de seuils stricts pour les lignes, paragraphes et n-grammes dupliqués (basés sur les travaux de Rae et al.).
• Filtrage heuristique au niveau du document : Critères sur la longueur, le ratio symboles/mots, la présence de listes à puces, et la présence de mots-clés allemands courants.
• Déduplication :
  • Exacte : Suppression des doublons parfaits. Contrairement à FineWeb2 qui conserve certains doublons ("rehydration"), les auteurs les suppriment tous.
  • Floue (Fuzzy) : Utilisation de MinHash et de Locality Sensitive Hashing (LSH) pour identifier et supprimer les quasi-doublons.

B. Génération de données synthétiques

Cette étape vise à augmenter le volume et la diversité des données tout en maintenant une haute qualité.

• Conditionnement : Les données sont générées à partir de documents organiques réels extraits de FineWeb2.
• Modèle générateur : Utilisation du modèle Mistral-Nemo-Instruct-2407 (12B paramètres).
• Prompts : Cinq modèles de prompts sont utilisés pour générer :
  1. Des reformulations (style Wikipédia).
  2. Des résumés précis.
  3. De nouveaux textes éducatifs basés sur les faits.
  4. Des paires Question-Réponse.
  5. Des listes d'informations factuelles.
• Prétraitement : Segmentation des documents longs pour éviter de saturer le contexte du LLM et nettoyage post-génération (suppression des artefacts comme "Voici la reformulation").

C. Classification de la qualité (Quality Bucketing)

Pour trier les données de FineWeb2, les auteurs ont mis en place un système d'ensemble (ensemble learning) combinant plusieurs classificateurs :

• Classificateurs Grammaire : Entraînés sur des données annotées par LanguageTool (fastText et BERT).
• Classificateurs Qualité Éducative : Entraînés sur des scores attribués par un LLM (LLM-as-a-judge) évaluant la cohérence, la qualité linguistique et l'orthographe.
• Classificateurs Instructions : Distinction entre données de type "chat/instruction" (haute qualité) et autres documents.
• Système de points : Chaque document reçoit un score global basé sur la combinaison des prédictions de ces modèles, permettant de classer les données en 5 niveaux de qualité (de "Low" à "High").

3. Contributions Clés

1. Pipeline de curation sur mesure : Un pipeline complet pour l'allemand qui surpasse les méthodes heuristiques standard (comme celles de FineWeb2) et intègre la génération synthétique.
2. Création d'Aleph-Alpha-GermanWeb : Un dataset public de 642B de mots, structuré en trois sous-ensembles :
   • Données Common Crawl filtrées (78B mots).
   • Données FineWeb2 filtrées (235B mots).
   • Données synthétiques conditionnées (329B mots).
3. Évaluation rigoureuse : Entraînement de deux architectures distinctes (un modèle Llama-style de 1B et un modèle HAT de 8B sans tokeniseur) sur chaque sous-ensemble isolément, puis comparaison avec FineWeb2.
4. Publicité des données : Mise à disposition du dataset GermanWeb pour la communauté de recherche.

4. Résultats Expérimentaux

Les modèles ont été évalués sur plusieurs benchmarks allemands : MMMLU (compréhension multilingue), ARC-Easy (raisonnement scientifique), HellaSwag (raisonnement de bon sens) et TruthfulQA.

• Performance Globale : Tous les sous-ensembles de GermanWeb (filtrés et synthétiques) surpassent systématiquement FineWeb2 brut, même lorsque FineWeb2 est enrichi par des données humaines de haute qualité (Wikipédia, etc.).
• Modèle 1B (Llama-style) :
  • Les données synthétiques montrent une performance exceptionnelle sur MMMLU.
  • Les données organiques filtrées (Common Crawl et FineWeb2 High) excellent sur HellaSwag et ARC.
  • Cela suggère que le mélange de sources (organique + synthétique) est optimal pour équilibrer les forces et faiblesses.
• Modèle 8B (HAT - Hierarchical Autoregressive Transformer) :
  • L'utilisation d'une architecture sans tokeniseur (HAT) élimine les biais liés à la distribution d'entraînement des tokeniseurs, offrant une comparaison plus juste des datasets.
  • Les données synthétiques surpassent un mélange de 50% FineWeb2 + 50% de données curées de haute qualité sur tous les benchmarks testés.
  • Les données filtrées de Common Crawl surpassent également FineWeb2 à cette échelle.

5. Signification et Conclusion

Ce travail démontre que la curation de données basée sur des modèles (model-based) et la génération de données synthétiques peuvent transformer les ensembles de données de pré-entraînement pour les langues non anglaises.

• Efficacité : Il est possible d'obtenir des performances supérieures avec des données de meilleure qualité plutôt qu'en augmentant simplement la quantité de données brutes.
• Futur de l'allemand LLM : La méthode proposée offre une voie viable pour surmonter la pénurie de données de haute qualité en allemand, permettant de former des modèles plus performants et plus efficaces.
• Limites et Perspectives : Les auteurs soulignent la nécessité d'éviter le "collapse de modèle" (détérioration des performances lors d'entraînements récursifs sur des données purement synthétiques) en maintenant un mélange avec des données organiques. Ils recommandent également de se méfier de la traduction automatique brute sans validation rigoureuse.

En résumé, Aleph-Alpha-GermanWeb établit un nouvel état de l'art pour le pré-entraînement de LLMs en allemand, prouvant que l'ingénierie des données est aussi cruciale que l'ingénierie des modèles.