Résumé Technique : MultiSynt/MT

Problématique

Les corpus de pré-entraînement à l'échelle du web restent massivement concentrés sur l'anglais, ce qui crée un goulot d'étranglement significatif pour le développement de modèles de langage (LLM) multilingues. Si des données natives de haute qualité existent pour l'anglais, la plupart des autres langues souffrent d'un manque de volume ou de qualité dans les ressources disponibles librement. Bien que la traduction automatique (MT) ait été proposée comme une solution évolutive pour générer des données de pré-entraînement multilingues, elle soulève des préoccupations légitimes concernant le « translationese » (artefacts stylistiques), l'héritage du cadre de référence culturel de la langue source (par exemple, des noms, des lieux et des idiomes ancrés dans l'anglais), et le risque que le texte traduit soit moins performant que les données natives sur des tâches culturellement nuancées.

Méthodologie

Les auteurs présentent MultiSynt/MT, un corpus parallèle synthétique ouvert conçu pour remédier à la rareté des données de pré-entraînement de haute qualité pour 36 langues, avec un accent sur les langues européennes à ressources moyennes et faibles.

Construction des données

• Données sources : Le corpus est dérivé d'un échantillonnage aléatoire uniforme d'environ 155 millions de documents (soit environ 100 milliards de tokens) provenant de Nemotron-CC, un segment de Common Crawl de haute qualité et non synthétique, filtré par un ensemble de classificateurs de qualité. Cette source a été choisie car les références récentes indiquent qu'elle produit des performances en aval supérieures aux corpus anglais établis comme C4 ou The Pile.
• Systèmes de traduction : Pour assurer la couverture de 36 langues, les auteurs ont employé un pool hybride de systèmes de traduction ouverts :
  • Modèles TOWER+ : Une famille de LLM spécialisés dans la traduction (9B et 72B paramètres) utilisée pour 16 et 5 langues respectivement.
  • OPUS-MT / HPLT-MT : Systèmes classiques de traduction automatique neuronale (NMT) utilisés pour 31 langues, y compris celles pour lesquelles la traduction par LLM est moins réalisable ou disponible.
• Pipeline : Deux pipelines parallèles ont été exécutés sur les mêmes documents sources afin de préserver le parallélisme aligné par ligne. Le pipeline LLM a utilisé vLLM sur des GPU NVIDIA A100 (Leonardo HPC), tandis que le pipeline NMT a utilisé Marian-NMT sur des GPU AMD MI250x (LUMI HPC). Le corpus résultant contient environ 4,8 billions de tokens dans la langue cible (ou environ 7,1 billions de tokens si l'on compte séparément la sortie de chaque système).
• Licence : Le corpus est publié sous une licence Creative Commons Zero (CC0), avec des traductions alignées par ligne provenant de plusieurs systèmes pour permettre une recherche contrôlée.

Cadre d'évaluation

Les auteurs ont entraîné des LLM de référence (1,7 milliard de paramètres, architecture de type Llama) sur des variantes de MultiSynt/MT et les ont comparés à HPLT 2.0, une base de référence multilingue native robuste.

• Benchmarks standards : Une large suite de benchmarks multilingues (ex. Belebele, MMLU, XNLI, Hellaswag) a été utilisée pour mesurer la performance générale.
• Évaluation sensible à la fluidité : Pour détecter les nuances ignorées par la notation à choix multiples, les auteurs ont employé un protocole « LLM-as-a-judge » (le LLM comme juge) pour évaluer la fluidité des générations en texte libre.
• Tâches d'auteurs natifs : Une étude de cas sur des tâches norvégiennes (NorIdiom et NorCommonsenseQA) issues de NorEval a été menée pour évaluer la performance sur les connaissances idiomatiques et culturellement ancrées.
• Analyse d'embeddings : Les auteurs ont analysé les voisinages d'embeddings des éléments de benchmark pour déterminer l'alignement avec les corpus d'entraînement.

Résultats Clés

1. Efficacité et performance sur les benchmarks standards

• Efficacité des tokens : Les LLM de référence entraînés sur MultiSynt/MT ont atteint les scores finaux des benchmarks de la base de référence native (HPLT 2.0) en utilisant environ 72 % de tokens de pré-entraînement en moins.
• Performance à budget égal : À un budget d'entraînement égal de 100 milliards de tokens, les modèles MultiSynt/MT ont surpassé la base de référence native d'environ 15 % en relatif.
• Indépendance du système : Le gain de performance sur les données natives était largement indépendant du système de traduction spécifique utilisé (TOWER+ 9B, TOWER+ 72B ou OPUS-MT), car les courbes de ces variantes se regroupaient étroitement sur les benchmarks standards.

2. Angles morts de l'évaluation

• Sensibilité à la fluidité : Alors que les benchmarks standards à choix multiples ne pouvaient pas distinguer les différents systèmes de traduction, l'évaluation par LLM-as-a-judge a réussi à récupérer le classement de qualité établi par les évaluateurs humains (TOWER+ 72B $\ge$ TOWER+ 9B > OPUS-MT). Cela suggère que les benchmarks standards sont aveugles aux différences de fluidité que les modèles entraînés héritent.
• Alignement des benchmarks : Un diagnostic par l'espace d'embeddings a révélé que les éléments de benchmark standards ont tendance à avoir plus de documents MultiSynt/MT parmi leurs plus proches voisins que les documents HPLT 2.0. Cela suggère que les données traduites offrent une forte couverture des régions adjacentes aux benchmarks, gonflant potentiellement les scores sur les benchmarks dérivés de la traduction.

3. Limitations sur les tâches culturelles et idiomatiques

• Étude de cas sur le norvégien : Sur des tâches nécessitant des connaissances idiomatiques (NorIdiom), les modèles entraînés sur des données natives ont systématiquement surpassé ceux entraînés sur des données traduites tout au long du processus d'entraînement.
• Raisonnement vs Culture : Sur NorCommonsenseQA (raisonnement de bon sens), les données traduites ont fini par combler l'écart et égaler ou dépasser les données natives, suggérant que bien que le texte traduit manque d'ancrage culturel local, il préserve les structures de raisonnement provenant de la source anglaise de haute qualité.

Signification et Revendications

L'article positionne MultiSynt/MT comme le plus grand corpus de pré-entraînement ouvert à ce jour pour de nombreuses langues européennes à ressources faibles et moyennes, dépassant d'un ordre de grandeur la plus grande ressource native comparable (HPLT 3.0) dans les cas de ressources les plus faibles.

Les auteurs revendiquent la signification suivante :

1. Complémentarité, non remplacement : Les données traduites doivent être traitées comme un complément aux données natives, et non comme un remplacement. Elles sont très efficaces pour combler l'écart d'échelle de données pour les langues à ressources moyennes et faibles, mais s'avèrent insuffisantes pour les tâches exigeant un ancrage culturel ou idiomatique profond.
2. Qualité de la source vs Traduction : Les gains de performance observés pourraient être principalement tirés par la haute qualité de la source Nemotron-CC plutôt que par l'opération de traduction elle-même. L'article note que la comparaison fait varier à la fois le corpus source et l'étape de traduction, ce qui rend difficile l'isolement de la contribution spécifique de la traduction.
3. Réforme de l'évaluation : L'étude met en lumière un angle mort critique dans l'évaluation multilingue standard. Les benchmarks à choix multiples ne parviennent pas à détecter les déficits de fluidité et les désalignements culturels qui sont récupérables via des benchmarks conçus par des natifs et des protocoles de type LLM-as-a-judge sensibles à la fluidité.
4. Disponibilité des ressources : En publiant des traductions alignées par ligne provenant de plusieurs systèmes, le corpus permet une recherche contrôlée sur le choix du système de traduction, le passage à l'échelle et l'attribution des gains de performance à la qualité de la source par rapport aux artefacts de traduction.

Les auteurs concluent que bien que MultiSynt/MT offre un outil puissant pour le passage à l'échelle des LLM multilingues, les chercheurs doivent rester prudents quant aux biais « anglocentrés » hérités de la source et aux limites des données traduites pour capturer la nuance culturelle native.