KletterMix: Climbing Toward High-Quality German Pretraining Data

Résumé Technique : KletterMix : Grimper vers des données de pré-entraînement allemandes de haute qualité

Énoncé du Problème

Des données de pré-entraînement de haute qualité sont un déterminant majeur de la performance des modèles de langage. Alors que l'anglais a bénéficié de corpus de pré-entraînement vastes, diversifiés et bien documentés (ex. : ClimbMix, Dolma), les ressources en langue allemande restent comparativement sous-développées. Les jeux de données allemands existants sont souvent dérivés de crawls web bruités, intégrés comme sous-ensembles de corpus multilingues, ou publiés avec une documentation et une validation limitées via des expériences d'entraînement contrôlées. Le crawling web natif en allemand peine à reproduire seul la diversité des sources, la conception des mélanges et les normes de documentation des jeux de données anglais de premier rang sans un filtrage agressif qui pourrait supprimer du contenu utile de la longue traîne. De plus, un comportement robuste du modèle en allemand ne peut être supposé émerger uniquement de données centrées sur l'anglais en raison de caractéristiques linguistiques spécifiques telles que la morphologie, la composition de mots, la capitalisation et les variations régionales.

Méthodologie

Les auteurs introduisent KletterMix, un corpus de pré-entraînement et d'émoussage (annealing) allemand de 725 milliards de tokens construit en traduisant ClimbMix, un mélange de pré-entraînement anglais de pointe, en allemand. La construction suit un pipeline en cinq étapes conçu pour préserver les limites de documents, les métadonnées, la structure source et la diversité thématique :

1. Normalisation des enregistrements sources : La source anglaise est stockée sous forme de fichiers JSONL fragmentés contenant des identifiants de documents, du texte et des métadonnées (cluster de source, emplacement, longueur approximative). Cette structure est préservée tout au long du pipeline.
2. Routage sensible à la longueur : Pour gérer efficacement les longueurs de documents variables, les documents sont acheminés dans des compartiments de contexte (court, moyen, long, débordement) basés sur leur longueur source. Cela permet des budgets source et cible spécifiques par compartiment, réduisant ainsi le padding et les inefficacités de planification.
3. Traduction préservant les documents :
   • Les documents courts sont traduits en un seul passage.
   • Les documents longs sont segmentés en phrases et regroupés de manière gourmande dans des blocs (chunks). Si une phrase dépasse le budget du bloc, elle est découpée au niveau du token.
   • Pour les documents segmentés, la traduction du bloc $t-1$ est incluse comme une fenêtre de contexte tronquée pour le bloc $t$ afin de maintenir la continuité du discours et la cohérence de la terminologie.
   • Un budget dynamique côté cible est utilisé, où la longueur maximale de génération est dérivée de la longueur du bloc source ($\ell_{max}^{tgt} = \min(L_{max}, \lceil \alpha\ell_{src} + \beta\rceil)$) pour accommoder la tendance de l'allemand à l'expansion de la longueur de surface.
4. Exécution scalable par fragments (shard-wise) : La traduction est effectuée par des travailleurs parallèles sur des sous-ensembles disjoints du corpus. Les travailleurs préservent les identifiants originaux pour la traçabilité et implémentent des capacités de reprise pour les exécutions interrompues.
5. Estimation de la qualité et filtrage :
   • Sous-ensemble pilote : Un échantillon stratifié du corpus est scoré à l'aide de COMETKiwi, un modèle d'estimation de qualité sans référence, pour générer des labels de haute qualité.
   • Entraînement proxy : Un modèle de régression boosté par gradient est entraîné sur les données pilotes pour prédire les scores COMETKiwi en utilisant uniquement des caractéristiques côté cible (texte allemand) et des métadonnées peu coûteuses (ex. : identification de la langue par GlotLID, forme du texte, ratios de répétition).
   • Filtrage : Le modèle proxy score l'ensemble du corpus. Trois séparations d'entraînement filtrées de 12 milliards de tokens sont créées en conservant les documents avec des scores proxy $\ge 0,50$, $\ge 0,55$ et $\ge 0,60$.

Contributions Clés

• Jeu de données KletterMix : Un corpus allemand de 725 milliards de tokens construit à partir d'une source anglaise de haute qualité tout en préservant la structure documentaire, les métadonnées et la conception du mélange.
• Pipeline de traduction scalable : Une méthodologie pour traduire des données de pré-entraînement incluant un routage sensible à la longueur, un découpage préservant les documents, un budget dynamique et une exécution par fragments.
• Diagnostics de qualité : Une documentation complète du corpus utilisant l'estimation de qualité basée sur COMETKiwi et sur des modèles proxy, ainsi que des analyses de distributions de longueur, de couverture thématique et de préservation des métadonnées.
• Validation empirique : Ablations de pré-entraînement et d'émoussage contrôlées comparant KletterMix à des corpus allemands établis (FineWeb2-DE et GermanWeb).

Résultats

Les auteurs ont évalué KletterMix en utilisant un modèle Qwen3-0.6B sous des budgets d'entraînement de 12 milliards de tokens identiques.

• Dynamique d'entraînement : Les modèles entraînés sur KletterMix ont atteint une perte (loss) d'entraînement et de validation plus faible par rapport aux modèles entraînés sur FineWeb2-DE et GermanWeb, suggérant une meilleure efficacité d'échantillonnage.
• Benchmarks en aval : Sur une suite de benchmarks en langue allemande (MMLU, PIQA, HellaSwag, ARC-Challenge), les variantes de KletterMix ont généralement surpassé les bases de référence en agrégat (Core Avg).
  • Le KletterMix filtré (score $\ge 0,60$) a obtenu le Core Avg le plus élevé (40,2), surpassant FineWeb2-DE (38,3) et GermanWeb (36,8).
  • KletterMix a montré une force particulière dans HellaSwag (inférence de bon sens ancré) et ARC-Challenge (raisonnement de type scientifique), suggérant que le corpus transfère efficacement des structures explicatives cohérentes.
  • Expériences d'émoussage (Annealing) : Lors de l'émoussage d'un modèle pré-entraîné sur FineWeb2-DE, passer à KletterMix a produit un Core Avg (39,4) supérieur à celui obtenu en passant à GermanWeb (37,6), avec des gains concentrés dans HellaSwag et ARC-C.
• Analyse de qualité : Les diagnostics du corpus ont révélé une distribution de longueur à queue lourde cohérente avec la source. Cependant, des "queues basses" dans les compartiments de long contexte (où de longs documents anglais ont résulté en des traductions allemandes inhabituellement courtes) ont été identifiées comme des modes de défaillance potentiels nécessitant un audit.

Signification et Revendications

L'article soutient que des données traduites et soigneusement sélectionnées peuvent considérablement renforcer l'écosystème des données de pré-entraînement allemandes. La signification de KletterMix ne réside pas dans le remplacement des données natives allemandes, mais dans la démonstration que les décisions de curation, la diversité des sources et la structure du mélange d'un corpus anglais robuste peuvent être transférées à l'allemand via une traduction de haute qualité et une validation rigoureuse.

Les auteurs affirment que cette approche transfère plus que la simple forme de surface ; elle transfère une structure de mélange utile. Les résultats suggèrent que les données traduites peuvent améliorer les capacités des modèles dans des domaines nécessitant un contexte structuré, tels que la plausibilité au niveau des événements et le raisonnement compositionnel. Cependant, l'article maintient une position modeste, reconnaissant que :

• Les données traduites peuvent hériter des biais culturels, géographiques et de licence de la source anglaise.
• La traduction automatique peut introduire des artefacts (traduction de surface/translationese, dérive sémantique) et échouer sur des documents spécialisés.
• Le filtrage basé sur des proxies est un signal de classement pratique pour un entraînement à budget fixe, mais n'est pas une loi de qualité universelle (car la performance MMLU n'est pas améliorée de manière monotone avec un filtrage plus strict).
• Les résultats actuels sont limités à une taille de modèle spécifique (0.6B) et un budget de tokens, nécessitant des travaux futurs sur des modèles plus grands et des benchmarks plus larges.

En fin de compte, KletterMix présente une voie pratique pour le pré-entraînement non-anglais qui privilégie la documentation, la validation empirique et la préservation de la structure des jeux de données plutôt que la simple échelle ou le crawling natif seul.