💬 NLP

SEDD: Scalable and Efficient Dataset Deduplication with GPUs

SEDD est un cadre de haute performance et accéléré par GPU pour la déduplication de jeux de données à grande échelle qui surpasse nettement les outils CPU et GPU existants en remplaçant le brassage des données par une approche de streaming et en optimisant les fonctions de hachage, permettant d'atteindre une accélération allant jusqu'à 375 $\times$ tout en maintenant une haute fidélité.

Auteurs originaux : Youngjun Son, Chaewon Kim, Jaejin Lee

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Youngjun Son, Chaewon Kim, Jaejin Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant brillant (une Intelligence Artificielle) en lui donnant une bibliothèque massive de livres à lire. Cependant, cette bibliothèque a un problème : elle est remplie de milliers de copies du même récit, juste avec des polices légèrement différentes ou quelques mots modifiés. Si l'étudiant lit le même récit 1 000 fois, il perd du temps à le mémoriser encore et encore au lieu d'apprendre de nouvelles choses. Il pourrait même commencer à penser que ce récit est la seule chose qui compte.

Pour résoudre ce problème, vous avez besoin d'un bibliothécaire qui parcourt la bibliothèque, trouve tous les livres en double et jette les extras. Ce processus s'appelle la déduplication de jeu de données.

L'article que vous avez fourni présente un nouveau bibliothécaire ultra-rapide nommé SEDD. Voici comment il fonctionne, expliqué simplement :

L'Ancienne Méthode : Le Bibliothécaire Lent et Fatigué

Avant SEDD, il existait deux façons principales d'effectuer ce travail :

La Méthode CPU (Le Bibliothécaire Humain) : C'était comme un humain très prudent parcourant la bibliothèque, lisant chaque livre et les comparant un par un. C'était précis mais incroyablement lent. Si vous aviez une bibliothèque de la taille d'Internet (des billions de mots), cet humain prendrait des années pour finir.
La Méthode GPU (Le Robot Rapide avec un Mauvais Plan) : NVIDIA a créé un robot (appelé NeMo Curator) capable de lire beaucoup plus vite qu'un humain. Cependant, ce robot avait un défaut : chaque fois qu'il devait comparer deux livres, il devait physiquement courir d'une pièce à l'autre pour les récupérer, écrire des notes sur le sol et mélanger des piles de papiers. Ce « va-et-vient » (appelé brassage de données) gaspillait tellement de temps que la super-vitesse du robot était souvent perdue à attendre dans la file.

La Nouvelle Méthode : SEDD (Le Bibliothécaire Super-Efficace)

Les auteurs de cet article ont construit SEDD, un nouveau système conçu spécifiquement pour fonctionner sur des puces informatiques puissantes appelées GPU (les mêmes puces utilisées pour les jeux vidéo haut de gamme). Ils ont résolu les problèmes du robot avec trois astuces ingénieuses :

1. Le Tampon « Roulant » (Hachage Plus Intelligent)

Pour trouver les doublons, le système doit transformer chaque livre en une « empreinte digitale » unique (un code).

L'Ancienne Méthode : Imaginez tamponner chaque page d'un livre avec un tampon à encre lourd et lent.
La Méthode SEDD : SEDD utilise un « tampon roulant ». Si vous avez une phrase comme « Le chat s'est assis », et que vous passez à la phrase suivante « Le chat s'est assis sur le tapis », SEDD ne re-tamponne pas tout. Il efface simplement « Le » et tamponne la partie « sur le tapis ». Il réutilise le travail qu'il vient de faire. Cela rend la création d'empreintes digitales 375 fois plus rapide que les anciennes méthodes informatiques.

2. Le Pipeline « Sans Brassage » (Flux Continu)

C'est la plus grande innovation de SEDD.

L'Ancienne Méthode : Le robot rassemblait tous les livres, les triait en piles sur le sol, s'éloignait, revenait, les triait à nouveau, et notait les résultats. C'était un cycle constant de déplacement de lourdes boîtes.
La Méthode SEDD : SEDD utilise une approche de flux continu. Imaginez un tapis roulant. Alors que les livres avancent sur le tapis, le robot les attrape, les vérifie et jette immédiatement les doublons dans une poubelle. Il ne s'arrête jamais pour trier toute la pile d'abord. Il fait également deux choses à la fois : pendant qu'il vérifie un livre, il tire déjà le livre suivant sur le tapis. Cela élimine le « va-et-vient » qui ralentissait le robot précédent.

3. Les Bacs « Parfaitement Calibrés » (Seaux Intelligents)

Lors du tri des livres, vous avez besoin de bacs. Si vous avez trop de bacs, vous passez toute la journée à marcher entre eux. Si vous en avez trop peu, les bacs débordent et deviennent désordonnés.

SEDD utilise une astuce mathématique spéciale pour déterminer automatiquement le nombre parfait de bacs pour la taille spécifique de la bibliothèque sur laquelle il travaille. Cela garantit que le robot est toujours occupé et n'attend jamais qu'un bac se libère.

Les Résultats : À quelle vitesse est-il ?

L'article a testé SEDD sur des bibliothèques massives (jeux de données) contenant des millions de documents et des billions de mots.

Vs. L'Humain (CPU) : SEDD était 158 fois plus rapide.
Vs. Le Robot Précédent (GPU) : SEDD était 7,8 fois plus rapide.
La Grande Victoire : SEDD a réussi à nettoyer une bibliothèque de 1,2 billion de mots (une quantité massive de données utilisée pour l'entraînement de l'IA) en seulement 3 heures en utilisant un cluster de 32 cartes graphiques puissantes.

A-t-il manqué des doublons ?

La vitesse est excellente, mais la précision compte. Si le bibliothécaire jette par erreur un livre unique, l'étudiant perd des connaissances.

L'article montre que SEDD est extrêmement précis. Il a trouvé les mêmes doublons que la méthode humaine lente et prudente 95 % du temps ou plus.
Lorsqu'ils ont testé l'étudiant en IA en utilisant les livres nettoyés par SEDD, l'étudiant a performé aussi bien (ou mieux) que celui formé sur des livres nettoyés par les méthodes plus lentes et anciennes.

Résumé

SEDD est comme la mise à niveau d'une équipe de nettoyage de bibliothèque d'un humain lent avec un presse-papiers à un robot de chaîne de montage haute vitesse qui ne cesse jamais de bouger, réutilise ses propres outils et sait exactement comment organiser les étagères sans jamais se fatiguer. Cela rend la préparation des données pour les géants modèles d'IA rapide, peu coûteuse et efficace.

Résumé technique : SEDD – Déduplication de jeux de données évolutive et efficace avec les GPU

1. Énoncé du problème

La déduplication de jeux de données à grande échelle est une étape de prétraitement critique pour l'entraînement des grands modèles de langage (LLM), afin d'assurer la qualité des données, de réduire le gaspillage computationnel et de prévenir le surapprentissage. L'approche standard pour détecter les quasi-dupliqués dans des corpus à l'échelle du web est le hachage sensible à la localité (LSH) MinHash. Cependant, les implémentations existantes rencontrent des goulots d'étranglement significatifs lors de la mise à l'échelle vers des jeux de données de plusieurs billions de jetons :

Limitations des CPU : Les implémentations traditionnelles basées sur les CPU (par exemple, utilisant la bibliothèque datasketch) souffrent d'une mauvaise parallélisation et de coûts computationnels élevés, ce qui les rend prohibitivement lentes pour les jeux de données massifs.
Limitations des GPU : Bien que des frameworks accélérés par les GPU comme NVIDIA NeMo Curator offrent des améliorations, ils restent sous-optimaux en raison d'inefficacités architecturales. Plus précisément, ils reposent sur un mélange physique des données (repartitionnement des données vers le disque basé sur les identifiants de bac), ce qui engendre une latence I/O élevée et des frais de communication supplémentaires. De plus, leurs stratégies de partitionnement en bacs clairsemés et leurs modèles d'exécution séquentielle échouent souvent à saturer les ressources GPU, entraînant une sous-utilisation du parallélisme matériel.

2. Méthodologie

Les auteurs proposent SEDD, un framework de déduplication accéléré par les GPU, haute performance et de bout en bout, optimisé pour les environnements de clusters distribués. SEDD répond aux goulots d'étranglement identifiés grâce à trois innovations techniques principales :

A. Hachage computationnellement efficace

SEDD remplace les fonctions de hachage cryptographiques ou non cryptographiques standard par un hachage glissant Rabin-Karp pour la génération de signatures MinHash.

Mécanisme : Contrairement à la référence CPU (SHA-1) ou à la référence GPU (MurmurHash3), qui recomputent les hachages pour chaque fragment (shingle), le hachage glissant permet de dériver la valeur de hachage d'un fragment à partir du fragment précédent en utilisant quelques opérations arithmétiques (multiplication, addition, division).
Avantage : Cela permet une réutilisation partielle des valeurs de hachage entre les fragments adjacents, réduisant considérablement le coût computationnel de la génération des signatures MinHash.

B. Pipeline de données basé sur le flux

SEDD élimine le besoin de mélange physique des données (écriture des résultats intermédiaires sur le disque et repartitionnement) en adoptant une stratégie d'extraction basée sur le flux.

Mécanisme : Au lieu de déplacer physiquement les données pour les réorganiser par identifiant de bac, SEDD traite les fichiers de hachage intermédiaires à la volée. Chaque processus GPU se voit attribuer un sous-ensemble de bandes et scanne le stockage pour extraire les signatures pour des bacs spécifiques.
Double tamponnage : Le système utilise un double tamponnage pour chevaucher la communication (transfert de données entre le CPU et le GPU) et le calcul (exécution du noyau GPU), masquant ainsi efficacement la latence I/O.
Stratégie de comparaison : Contrairement aux références qui utilisent des heuristiques basées sur des ancres de complexité $O(D)$ (comparant uniquement un document ancre contre les autres dans un bac), SEDD effectue des comparaisons exhaustives $O(D^2)$ toutes paires au sein de chaque bac. Cela est rendu possible par des noyaux CUDA personnalisés hautement optimisés.

C. Optimisation adaptée au matériel

Conception des noyaux : SEDD implémente des noyaux CUDA personnalisés pour l'opération « count-match » (comparaison des vecteurs de signatures) en utilisant une conception en tuiles inspirée de GEMM pour améliorer la localité des données et l'utilisation de la mémoire partagée.
Sélection des paramètres : Le framework inclut un mécanisme de sélection automatique des paramètres qui détermine le nombre optimal de bacs ( $K$ ) et les lots de traitement concurrents en fonction de la mémoire CPU/GPU disponible et de la taille du jeu de données. Le nombre optimal de bacs est modélisé comme $K \propto \sqrt{N}$ pour équilibrer la probabilité de collision contre les frais de gestion des tampons.

3. Contributions clés

Framework GPU de bout en bout : SEDD est présenté comme un framework complet qui atteint une accélération allant jusqu'à 7,8× par rapport à la référence GPU de l'état de l'art (NVIDIA NeMo Curator) et 158× par rapport aux références CPU sur un nœud unique avec quatre GPU.
LSH MinHash optimisé : L'introduction de fonctions de hachage glissant réutilisables et de noyaux GPU personnalisés accélère la phase de génération de signatures jusqu'à 375× par rapport aux références CPU.
Pipeline efficace en communication : En remplaçant le mélange physique par une extraction en flux et un double tamponnage, SEDD réduit la surcharge totale de communication à environ 20 % de celle observée dans les frameworks existants.
Évolutivité : Le framework traite avec succès 1,2 billion de jetons en seulement 3 heures sur un cluster V100 de 32 GPU répartis sur 8 nœuds.

4. Résultats expérimentaux

Les auteurs ont évalué SEDD par rapport aux références CPU (SlimPajama) et GPU (NeMo Curator) en utilisant les jeux de données RealNews et C4.

Performance :
- Sur un jeu de données RealNews de 100 Go (30 millions de documents), SEDD a terminé la déduplication en 135,2 secondes, contre 21 361,4 secondes pour la référence CPU et 1 048,8 secondes pour la référence GPU.
- La phase de génération MinHash seule a enregistré une accélération de 375× par rapport à la référence CPU.
- Les expériences de mise à l'échelle ont montré que SEDD maintient une accélération d'au moins 7× par rapport à la référence GPU, même lorsque le nombre de GPU augmente jusqu'à 32.
Précision :
- Malgré les optimisations, SEDD maintient une haute fidélité. Comparé à un oracle « MinHash exact » sur des jeux de données plus petits, SEDD a atteint une similarité de Jaccard de 0,956 (pour 0,1 million de documents) et 0,966 (pour 1 million de documents).
- Comparé à NeMo Curator sur de grands jeux de données, SEDD a identifié plus de 97 % des quasi-dupliqués trouvés par NeMo tout en découvrant des instances supplémentaires.
- L'entraînement LLM en aval (LLaMA 3.2-1B) sur des données dédupliquées par SEDD a produit des performances comparables à celles des données dédupliquées par NeMo sur plusieurs benchmarks (HellaSwag, MMLU, ARC-Easy, WinoGrande), malgré l'utilisation de 10 % de jetons en moins.
Efficacité de communication :
- Dans un environnement à 4 GPU, SEDD a réduit la latence de communication de 187,7 s (référence GPU) à 35,7 s et le volume de communication de 3,45 To à 398,9 Go.

5. Importance

L'article soutient que SEDD fournit une solution pratique et évolutive pour les demandes croissantes des pipelines de données LLM modernes. En s'attaquant aux inefficacités architecturales spécifiques des frameworks GPU existants, à savoir le mélange excessif des données et la mauvaise utilisation des ressources, SEDD permet le traitement efficace de corpus de plusieurs billions de jetons en quelques heures plutôt qu'en quelques jours. Les auteurs soulignent que cette efficacité est obtenue sans compromettre la précision de la détection des doublons, garantissant que les jeux de données résultants restent de haute qualité pour l'entraînement des modèles de langage de pointe. Ce travail met en évidence que les optimisations système adaptées au matériel, telles que les hachages glissants et les pipelines en flux, sont essentielles pour débloquer le plein potentiel des clusters GPU dans les tâches de prétraitement des données.