💬 NLP

Mix, MinHash, and Match: Cross-Source Agreement for Multilingual Pretraining Datasets

Cet article présente MixMinMatch, une méthode rentable qui exploite la redondance entre les sources comme un filtre de qualité gratuit pour générer des ensembles de données de pré-entraînement multilingues de haute qualité, atteignant une diversité de tokens et des améliorations de performance significatives par rapport aux bases de référence à source unique pour l'arabe, le turc et l'hindi.

Auteurs originaux : Sultan Alrashed, Francesco Orabona

Publié 2026-01-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sultan Alrashed, Francesco Orabona

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Tout le monde achète les mêmes courses

Imaginez que vous essayiez d'apprendre à un robot à parler différentes langues (comme l'arabe, le turc et le hindi). Pour ce faire, vous devez le nourrir avec une bibliothèque massive de textes provenant d'Internet.

Le problème est que différentes équipes de recherche à travers le monde vont toutes au même « supermarché d'Internet » pour acheter ces livres. Elles achètent toutes les mêmes romans populaires, les mêmes articles de presse et les mêmes recettes.

Le gaspillage : Il s'avère que plus de 40 % du texte dans ces différentes bibliothèques n'est que du doublon. C'est comme si cinq personnes différentes achetaient les cinq mêmes boîtes de conserve parce qu'elles ont toutes vu la même publicité.
L'ancienne méthode : Habituellement, lorsque les chercheurs voient cette duplication, ils jettent simplement les exemplaires supplémentaires pour gagner de l'espace. Ils se disent : « Oh, c'est juste un effort inutile. »

La nouvelle idée : La duplication est un « gage de qualité »

Les auteurs de ce papier ont une autre façon de penser. Ils se demandent : « Et si le fait que cinq personnes différentes aient acheté la même boîte de conserve signifiait que c'est en fait une très bonne boîte de conserve ? »

Leur théorie repose sur une logique simple :

Si une personne achète un livre bizarre ou de type spam, cela peut être une erreur.
Mais si cinq équipes différentes, utilisant cinq méthodes différentes pour trouver des livres, décident toutes de garder le même document spécifique, alors ce document est probablement de haute qualité.
C'est comme un avis de produit : si une seule personne dit qu'un téléphone est génial, elle est peut-être biaisée. Mais si cinq critiques indépendants disent tous qu'il est génial, vous pouvez lui faire confiance.

La solution : « Mix, MinHash, and Match »

Les auteurs ont créé une recette en trois étapes pour transformer ce « gaspillage » en un ensemble de données de super qualité. Ils appellent cela MixMinMatch.

1. Mix (Le grand chaudron)

D'abord, ils prennent toutes les différentes bibliothèques (provenant d'équipes comme C4, CulturaX, FineWeb, etc.) et les versent toutes dans un seul et même grand chaudron.

Analogie : Imaginez cinq familles différentes apportant leurs restes de plats préparés à un repas partagé. Vous avez maintenant un énorme tas de nourriture désordonné.

2. MinHash (Le détecteur de doublons)

Ensuite, ils utilisent un outil spécial appelé MinHash. Cet outil est comme un scanner ultra-rapide qui regarde la nourriture et dit : « Hé, ce plat de la Famille A est identique à 90 % à celui de la Famille B. »

Normalement, quand on trouve des doublons, on les jette simplement pour gagner de l'espace.
Le détournement du papier : Au lieu de simplement les jeter, ils les regroupent (clustering). Ils créent un « cluster » de documents identiques.

3. Match (Le système de vote)

C'est l'étape magique. Ils regardent ces clusters et se demandent : « Combien de familles différentes ont contribué à ce plat spécifique ? »

Si un plat ne provient que de la Famille A, ils le mettent dans la pile « peut-être ».
Si un plat provient de la Famille A, de la Famille B et de la Famille C, ils le mettent dans la pile « Premium ».
Ils appellent cela l'« Accord entre sources » (Cross-Source Agreement). C'est un contrôle de qualité gratuit. Ils n'ont pas besoin de lire le texte ou de lancer des programmes informatiques coûteux pour juger ; le fait que plusieurs équipes l'aient conservé est la preuve de sa qualité.

Pourquoi est-ce génial ?

C'est Gratuit : Habituellement, pour trouver du texte de haute qualité, il faut faire tourner des modèles d'IA coûteux pour noter chaque phrase. Cette méthode obtient le même résultat gratuitement car le « classement » (la déduplication) était déjà fait par l'ordinateur pour économiser de l'espace.
Ça fonctionne : Ils ont testé cela sur l'arabe, le turc et le hindi.
- Pour l'arabe, leur pile « Premium » (le texte correspondant) a rendu l'IA 4,5 % plus intelligente que la meilleure bibliothèque individuelle qu'ils possédaient.
- Pour le turc, cela l'a rendue 5,5 % plus intelligente.
- Pour le hindi, cela l'a rendue 11,6 % plus intelligente.
Ce n'est pas juste le biais d'une seule équipe : Ils ont prouvé que même si vous retirez la « meilleure » bibliothèque du mélange, les bibliothèques restantes sont toujours d'accord sur ce qui est bon. Cela signifie que la qualité provient de l'accord entre les groupes, et non pas seulement du fait qu'un groupe ait raison.

L'essentiel à retenir

Le papier soutient que nous ne devrions pas voir les données dupliquées uniquement comme un gaspillage. Nous devrions les voir comme un signal. Quand des équipes indépendantes sont accidentellement d'accord sur la qualité d'un texte, ce texte est probablement le meilleur contenu disponible sur Internet. En utilisant un simple système de « vote » basé sur l'origine des données, nous pouvons construire de meilleurs cerveaux d'IA sans dépenser plus d'argent ou de temps.

Résumé technique : MixMinMatch – Accord inter-sources pour les corpus de préentraînement multilingues

Problématique

La construction de corpus de préentraînement de haute qualité pour les modèles de langage de grande taille (LLM) via le web scraping est coûteuse en ressources et en calcul. Pour les langues autres que l'anglais, de nombreux groupes de recherche effectuent souvent indépendamment des collectes (crawls) et des filtrages du web, ce qui entraîne une redondance significative. Bien que cette redondance soit traditionnellement perçue comme une inefficacité — un gaspillage de ressources sur du contenu dupliqué — les auteurs soutiennent qu'elle représente un signal de qualité inexploité.

Le problème central abordé est l'absence d'une méthode de filtrage de texte de faible qualité, efficace en termes de calcul et sans modèle, pour les jeux de données multilingues. Les approches existantes reposent souvent sur des classificateurs de qualité basés sur des modèles coûteux (nécessitant des passes d'inférence pour chaque document) ou sur des heuristiques spécifiques à la langue qui ne parviennent pas à se généraliser à travers divers scripts et morphologies. De plus, la déduplication standard élimine les quasi-doublons pour économie de calcul, mais rejette les métadonnées précieuses concernant quels sources ont conservé un contenu spécifique.

Méthodologie : MixMinMatch

Les auteurs proposent MixMinMatch, un pipeline en trois étapes qui exploite la redondance des corpus web existants comme filtre de qualité. La méthode traite les décisions de filtrage indépendantes de différents groupes de recherche comme un ensemble de « votants » sur la qualité du contenu.

1. Mix (Mélange)

Le pipeline agrège plusieurs corpus de préentraînement publics existants pour une langue cible (ex. : arabe, turc, hindi) tout en préservant la provenance de chaque document. Chaque document est stocké sous la forme d'un tuple $(x, s)$ , où $x$ est le texte et $s$ désigne le jeu de données d'origine. Avant l'agrégation, des filtres de qualité spécifiques à la langue (ex. : contraintes de longueur, cohérence du script, vérifications de répétition de n-grammes) sont appliqués indépendamment à chaque source pour supprimer le contenu de faible qualité évident.

2. MinHash

Le corpus agrégé subit une détection standard de quasi-doublons utilisant MinHash et le hachage sensible à la localité (LSH).

Processus : Les documents sont convertis en ensembles de n-grammes de caractères (shingles, $n=5$ ). Des signatures MinHash sont calculées, et les documents entrant en collision dans au moins une bande LSH sont traités comme des paires candidates.
Clustering : Les paires ayant une similitude de Jaccard estimée $\geq 0,8$ sont regroupées via Union-Find.
Déduplication : Un document représentatif est conservé par cluster.
Insight clé : Cette étape est une pratique standard dans le préentraînement des LLM pour éviter l'entraînement sur des doublons. MixMinMatch utilise les clusters produits par cette étape, et non seulement le résultat dédupliqué.

3. Match (Correspondance)

Cette étape extrait le signal de qualité du processus de déduplication.

Accord inter-sources : Pour chaque cluster de quasi-doublons, l'algorithme compte le nombre de jeux de données sources uniques ( $s$ ) ayant contribué par un document à ce cluster.
Filtrage : Le sous-ensemble « Matched » ne conserve que les représentants des clusters où $|S(C_i)| \geq 2$ . En d'autres termes, un document n'est conservé que s'il a été récupéré indépendamment par au moins deux pipelines de sources différents.
Efficacité : Cette opération est informatiquement gratuite par rapport à l'étape de déduplication. Elle consiste uniquement à compter les étiquettes de source au sein des structures Union-Find existantes, ne nécessant aucune passe d'inférence supplémentaire ou entraînement de modèle.

Principales contributions

Analyse systématique de la redondance : Les auteurs quantifient le chevauchement inter-sources à travers les principaux corpus multilingues (C4, CulturaX, HPLT 2.0, FineWeb-2, etc.), démontant que des dizaines de milliards de tokens sont partagés entre des pipelines indépendants. Par exemple, C4 et CulturaX partagent plus de 9 milliards de tokens de contenu quasi-dupliqué en arabe.
Algorithme MixMinMatch : Une méthode novatrice qui reformule l'accord inter-sources comme un filtre d'ensemble. Elle extrait un signal de qualité « gratuitement » à partir de l'infrastructure de déduplication MinHash déjà utilisée pour le préentraînement.
Nouveaux corpus : La publication de trois nouveaux jeux de données de préentraînement multilingues (AraMix, TurMix, HinMix) pour l'arabe, le turc et le hindi. Ceux-ci incluent à la fois des versions complètes dédupliquées par MinHash et des sous-ensembles « Matched » plus petits et de haute qualité avec des comptes de sources par document.
Validation empirique : Preuves expérimentales montrant que le couplage de sources (matching) identifie un contenu de haute qualité qui surpasse les bases de référence à source unique.

Résultats

Les auteurs ont évalué les jeux de données générés en préentraînant des modèles de type Llama de 1,46 milliard de paramètres sur un budget de tokens fixe (29,36 milliards de tokens) et en mesurant la performance sur des suites de benchmarks spécifiques à la langue (FineTasks).

Arabe : Le sous-ensemble AraMix-Matched a obtenu un score agrégé de 0,161, soit une amélioration relative de 4,5 % par rapport à la meilleure base de référence à source unique (ArabicWeb24, 0,154). Le mélange complet AraMix-MinHash (178 milliards de tokens) a égalé la performance de la base de référence (0,153) tout en fournissant 4,3× plus de tokens uniques.
Turc : TurMix-Matched a obtenu un score de 0,204, soit une amélioration relative de 5,5 % par rapport à la base de référence turque de FineWeb-2 (0,194).
Hindi : HinMix-MinHash a montré le gain le plus important, dépassant la base de référence CulturaX-Hindi de 11,6 % (0,089 contre 0,080). Le sous-ensemble « Matched » a également surpassé la base de référence de 8,1 %.
Études d'ablation : Le retrait de la « meilleure » base de référence à source unique du mélange n'a pas annulé les gains. Par exemple, TurMix-Matched sans FineWeb-2 reste supérieur à la base de référence FineWeb-2, confirmant que le signal de qualité provient de l'accord entre les sources restantes, et non simplement de l'héritage de la qualité d'un seul jeu de données supérieur.
Comparaison au filtrage basé sur les modèles : Le sous-ensemble « Matched » a surpassé FineWeb2-HQ, un corpus filtré à l'aide de scores de qualité par modèles coûteux, bien que MixMinMatch soit sans modèle.

Signification et affirmations

L'article pose que la redondance dans les corpus web existants est une ressource, et non un simple gaspillage. Les auteurs affirment que le contenu conservé indépendamment par plusieurs pipelines de filtrage est un indicateur fort de qualité, analogue à l'accord entre annotateurs dans le crowdsourcing ou aux méthodes d'ensemble en apprentissage automatique.

La principale portée de ce travail est la démonstration que l'accord inter-sources fonctionne comme un filtre de qualité gratuit et sans modèle. En traitant l'étape de déduplication standard (MinHash) comme un mécanisme d'identification du consensus, les praticiens peuvent construire des jeux de données de préentraînement de haute qualité sans la surcharge de calcul liée à l'exécution de classificateurs de qualité sur chaque document. Les auteurs concluent que la communauté de la recherche peut extraire une valeur supplémentaire des jeux de données existants en les combinant systématiquement, plutôt que de traiter chaque nouveau projet comme une collecte partant de zéro.

L'article reste modeste quant à l'échelle, notant que les expériences ont été menées sur des modèles de 1,46 milliard de paramètres pour assurer une comparabilité directe avec le protocole FineWeb-2, bien qu'ils suggèrent que les effets de la qualité des données persistent ou s'amplifient généralement à des échelles plus grandes. Ils reconnaissent également que le couplage inter-sources est complémentaire, et non un remplacement, d'autres méthodes de sélection de données.