💬 NLP

SEDD: Scalable and Efficient Dataset Deduplication with GPUs

SEDD is een hoogpresterend, GPU-versneld framework voor het ontdubbelen van datasets op grote schaal dat aanzienlijk beter presteert dan bestaande CPU- en GPU-tools door data-shuffling te vervangen door een streaming-aanpak en hash-functies te optimaliseren, waardoor een snelheidswinst van tot 375 $\times$ wordt bereikt bij behoud van hoge nauwkeurigheid.

Oorspronkelijke auteurs: Youngjun Son, Chaewon Kim, Jaejin Lee

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Youngjun Son, Chaewon Kim, Jaejin Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante student (een Kunstmatige Intelligentie) probeert te onderwijzen door hen een enorme bibliotheek met boeken te geven om te lezen. Deze bibliotheek heeft echter een probleem: hij zit vol met duizenden kopieën van hetzelfde verhaal, alleen met iets andere lettertypes of een paar gewijzigde woorden. Als de student hetzelfde verhaal 1.000 keer leest, verspillen ze tijd door het steeds opnieuw uit het hoofd te leren in plaats van nieuwe dingen te leren. Ze kunnen zelfs gaan denken dat dit verhaal het enige is dat telt.

Om dit op te lossen, heb je een bibliothecaris nodig die door de bibliotheek loopt, alle dubbele boeken vindt en de extra's weggooit. Dit proces heet dataset-deduplicatie.

Het paper dat je hebt aangeleverd introduceert een nieuwe, supersnelle bibliothecaris genaamd SEDD. Hier is hoe het werkt, simpel uitgelegd:

De Oude Manier: De Langzame, Vermoeide Bibliothecaris

Voordat SEDD bestond, waren er twee hoofdmanieren om deze taak uit te voeren:

De CPU-methode (De Menselijke Bibliothecaris): Dit was als een zeer zorgvuldige mens die door de bibliotheek loopt, elk boek leest en ze één voor één vergelijkt. Het was nauwkeurig maar ongelooflijk traag. Als je een bibliotheek had ter grootte van het internet (biljoenen woorden), zou deze mens jaren nodig hebben om klaar te zijn.
De GPU-methode (De Snelle Robot met een Slecht Plan): NVIDIA creëerde een robot (genaamd NeMo Curator) die veel sneller kon lezen dan een mens. Deze robot had echter een gebrek: elke keer als hij twee boeken moest vergelijken, moest hij fysiek heen en weer rennen tussen verschillende kamers om ze te pakken, notities op de vloer schrijven en stapels papier door elkaar te schudden. Dit "heen en weer rennen" (data shuffling genoemd) kostte zoveel tijd dat de supersnelheid van de robot vaak werd verspild aan wachten in de rij.

De Nieuwe Manier: SEDD (De Super-efficiënte Bibliothecaris)

De auteurs van dit paper bouwden SEDD, een nieuw systeem dat specifiek is ontworpen om te draaien op krachtige computerchips genaamd GPU's (dezelfde chips die worden gebruikt voor high-end videospellen). Ze losten de problemen van de robot op met drie slimme trucs:

1. De "Rollende" Stempel (Slimmere Hashing)

Om duplicaten te vinden, moet het systeem elk boek omzetten in een unieke "vingerafdruk" (een code).

De Oude Manier: Stel je voor dat je elke enkele pagina van een boek stempelt met een zware, trage inktstempel.
De Manier van SEDD: SEDD gebruikt een "rollende stempel". Als je een zin hebt als "De kat zat", en je gaat naar de volgende zin "De kat zat op de mat", dan stempelt SEDD niet het hele ding opnieuw. Het wist alleen het "De" en stempelt het "op de mat"-gedeelte. Het hergebruikt het werk dat het net heeft gedaan. Dit maakt het maken van vingerafdrukken 375 keer sneller dan de oude computermethoden.

2. De "Geen-Shuffle"-Pijpleiding (Streaming)

Dit is de grootste innovatie van SEDD.

De Oude Manier: De robot zou alle boeken verzamelen, sorteren in stapels op de vloer, weglopen, terugkomen, ze opnieuw sorteren en de resultaten opschrijven. Het was een constante cyclus van zware dozen verplaatsen.
De Manier van SEDD: SEDD gebruikt een streaming-aanpak. Stel je een transportband voor. Terwijl de boeken de band af bewegen, pakt de robot ze, controleert ze en gooit de duplicaten direct in een vuilnisbak. Het stopt nooit om eerst de hele stapel te sorteren. Het doet ook twee dingen tegelijk: terwijl het één boek controleert, trekt het al het volgende boek op de band. Dit elimineert het "heen en weer rennen" dat de vorige robot vertraagde.

3. De "Perfect Grootte" Bakken (Slimme Emmers)

Wanneer je boeken sorteert, heb je bakken nodig. Als je te veel bakken hebt, loop je de hele dag tussen hen heen. Als je te weinig hebt, raken de bakken overvol en rommelig.

SEDD gebruikt een speciale wiskundige truc om automatisch het perfecte aantal bakken te berekenen voor de specifieke grootte van de bibliotheek waar het aan werkt. Dit zorgt ervoor dat de robot altijd bezig is en nooit hoeft te wachten tot een bak leeg is.

De Resultaten: Hoe snel is het?

Het paper testte SEDD op enorme bibliotheken (datasets) met miljoenen documenten en biljoenen woorden.

T.o.v. de Mens (CPU): SEDD was 158 keer sneller.
T.o.v. de Vorige Robot (GPU): SEDD was 7,8 keer sneller.
De Grote Overwinning: SEDD slaagde erin een bibliotheek van 1,2 biljoen woorden (een enorm hoeveelheid data die wordt gebruikt voor het trainen van AI) te reinigen in slechts 3 uur met behulp van een cluster van 32 krachtige grafische kaarten.

Miste het duplicaten?

Snelheid is geweldig, maar nauwkeurigheid is belangrijk. Als de bibliothecaris per ongeluk een uniek boek weggooit, verliest de student kennis.

Het paper toont aan dat SEDD extreem nauwkeurig is. Het vond dezelfde duplicaten als de trage, zorgvuldige menselijke methode 95% van de tijd of meer.
Toen ze de AI-student testten met de boeken die door SEDD waren gereinigd, presteerde de student net zo goed (of beter) dan een student die was getraind op boeken die door de langzamere, oudere methoden waren gereinigd.

Samenvatting

SEDD is als het upgraden van een bibliotheek schoonmaakteam van een trage mens met een klembord naar een supersnel assemblagelijn-robot die nooit stopt met bewegen, zijn eigen gereedschap hergebruikt en precies weet hoe hij de planken moet ordenen zonder ooit moe te worden. Het maakt het voorbereiden van data voor gigantische AI-modellen snel, goedkoop en efficiënt.

Technische Samenvatting: SEDD – Schaalbare en Efficiënte Dataset-Deduplicatie met GPU's

1. Probleemstelling

Schaalbare dataset-deduplicatie is een kritieke voorverwerkingsstap voor het trainen van Large Language Models (LLM's) om datakwaliteit te waarborgen, computerefficiëntie te verhogen en overfitting te voorkomen. De standaardbenadering voor het detecteren van near-duplicates in web-schaal corpora is MinHash Locality-Sensitive Hashing (LSH). Echter, bestaande implementaties ondervinden aanzienlijke knelpunten bij het schalen naar datasets met biljoenen tokens:

CPU-beperkingen: Traditionele CPU-gebaseerde implementaties (bijvoorbeeld met de datasketch-bibliotheek) kampen met slechte parallelisatie en hoge rekenkosten, waardoor ze onaanvaardbaar traag zijn voor enorme datasets.
GPU-beperkingen: Hoewel GPU-versnelde frameworks zoals NVIDIA NeMo Curator verbeteringen bieden, blijven ze suboptimaal door architecturale inefficiënties. Specifiek vertrouwen ze op fysieke data-shuffling (herindelen van data naar schijf op basis van bucket-ID's), wat hoge I/O-latentie en communicatie-overhead met zich meebrengt. Bovendien falen hun strategieën voor sparse bucketing en sequentiële uitvoeringsmodellen vaak om GPU-resources te verzadigen, wat leidt tot onderbenutting van hardware-parallelisme.

2. Methodologie

De auteurs stellen SEDD voor, een hoogpresterend, end-to-end GPU-versnelde deduplicatieframework dat is geoptimaliseerd voor gedistribueerde clusteromgevingen. SEDD adresseert de geïdentificeerde knelpunten via drie primaire technische innovaties:

A. Rekenkundig Efficiënt Hashen

SEDD vervangt standaard cryptografische of niet-cryptografische hashfuncties door een Rabin-Karp rolling hash voor de generatie van MinHash-handtekeningen.

Mechanisme: In tegenstelling tot de CPU-baseline (SHA-1) of GPU-baseline (MurmurHash3), die hashes opnieuw berekenen voor elke shingle, maakt de rolling hash het mogelijk de hash-waarde van een shingle af te leiden van de vorige shingle met enkele rekenkundige bewerkingen (vermenigvuldiging, optelling, deling).
Voordeel: Dit maakt gedeeltelijke hergebruik van hash-waarden mogelijk over aangrenzende shingles, wat de rekenkosten voor het genereren van MinHash-handtekeningen aanzienlijk verlaagt.

B. Streaming-gebaseerde Data-pijplijn

SEDD elimineert de noodzaak voor fysieke data-shuffling (het schrijven van tussentijdse resultaten naar schijf en herindelen) door een streaming-gebaseerde extractiestrategie toe te passen.

Mechanisme: In plaats van data fysiek te verplaatsen om deze te herorganiseren op bucket-ID, verwerkt SEDD tussentijdse hash-bestanden on-the-fly. Elke GPU-proces krijgt een subset van bands toegewezen en scant de opslag om handtekeningen voor specifieke buckets te extraheren.
Double Buffering: Het systeem maakt gebruik van double buffering om communicatie (datatransfer tussen CPU en GPU) te overlappen met berekening (GPU-kernuitvoering), waardoor I/O-latentie effectief wordt verborgen.
Vergelijkingsstrategie: In tegenstelling tot baselines die $O(D)$ anker-gebaseerde heuristieken gebruiken (slechts één ankerdocument vergelijken met anderen in een bucket), voert SEDD exhaustieve $O(D^2)$ all-pairs-vergelijkingen uit binnen elke bucket. Dit wordt haalbaar gemaakt door sterk geoptimaliseerde aangepaste CUDA-kernen.

C. Hardware-bewuste Optimalisatie

Kernontwerp: SEDD implementeert aangepaste CUDA-kernen voor de "count-match"-operatie (het vergelijken van handtekeningvectoren) met een GEMM-geïnspireerd getegeld ontwerp om data-localiteit en gebruik van gedeeld geheugen te verbeteren.
Parameterselectie: Het framework bevat een automatisch mechanisme voor parameterselectie dat het optimale aantal buckets ( $K$ ) en gelijktijdige verwerkingsbatches bepaalt op basis van beschikbare CPU/GPU-geheugen en datasetgrootte. Het optimale aantal buckets wordt gemodelleerd als $K \propto \sqrt{N}$ om botsingskans in evenwicht te brengen met overhead voor bufferbeheer.

3. Belangrijkste Bijdragen

End-to-End GPU-framework: SEDD wordt gepresenteerd als een compleet framework dat tot 7,8× snelheidswinst behaalt ten opzichte van de state-of-the-art GPU-baseline (NVIDIA NeMo Curator) en 158× ten opzichte van CPU-baselines op een enkele node met vier GPU's.
Geoptimaliseerde MinHash LSH: De introductie van herbruikbare rolling hash-functies en aangepaste GPU-kernen versnelt de fase van handtekeninggeneratie met tot 375× ten opzichte van CPU-baselines.
Communicatie-efficiënte pijplijn: Door fysieke shuffling te vervangen door streaming-extractie en double buffering, reduceert SEDD de totale communicatie-overhead tot ongeveer 20% van die in bestaande frameworks.
Schaalbaarheid: Het framework verwerkt succesvol 1,2 biljoen tokens in slechts 3 uur op een 8-node, 32-GPU V100-cluster.

4. Experimentele Resultaten

De auteurs evalueerden SEDD tegen CPU (SlimPajama) en GPU (NeMo Curator) baselines met behulp van de RealNews- en C4-datasets.

Prestaties:
- Op een RealNews-dataset van 100 GB (30 miljoen documenten) voltooide SEDD de deduplicatie in 135,2 seconden, vergeleken met 21.361,4 seconden voor de CPU-baseline en 1.048,8 seconden voor de GPU-baseline.
- De MinHash-generatiefase alleen zag een 375× snelheidswinst ten opzichte van de CPU-baseline.
- Schaalbaarheidsexperimenten toonden aan dat SEDD ten minste een 7× snelheidswinst behoudt ten opzichte van de GPU-baseline, zelfs naarmate het aantal GPU's toeneemt tot 32.
Nauwkeurigheid:
- Ondanks de optimalisaties behoudt SEDD hoge fideliteit. Bij vergelijking met een "Exact MinHash"-orakel op kleinere datasets behaalde SEDD een Jaccard-similariteit van 0,956 (voor 0,1 miljoen docs) en 0,966 (voor 1 miljoen docs).
- In vergelijking met NeMo Curator op grote datasets identificeerde SEDD meer dan 97% van de near-duplicates die door NeMo werden gevonden, terwijl het bovendien extra instanties blootlegde.
- Downstream LLM-training (LLaMA 3.2-1B) op SEDG-gedupliceerde data leverde prestaties op die vergelijkbaar waren met NeMo-gedupliceerde data over meerdere benchmarks (HellaSwag, MMLU, ARC-Easy, WinoGrande), ondanks het gebruik van 10% minder tokens.
Communicatie-efficiëntie:
- In een 4-GPU-omgeving reduceerde SEDD de communicatielatentie van 187,7s (GPU-baseline) naar 35,7s en het communicatievolume van 3,45 TB naar 398,9 GB.

5. Betekenis

Het artikel betoogt dat SEDD een praktische en schaalbare oplossing biedt voor de groeiende eisen van moderne LLM-datapijplijnen. Door de specifieke architecturale inefficiënties van bestaande GPU-frameworks aan te pakken – namelijk excessieve data-shuffling en slechte resourcebenutting – maakt SEDD efficiënte verwerking van corpora met biljoenen tokens mogelijk binnen uren in plaats van dagen. De auteurs benadrukken dat deze efficiëntie wordt bereikt zonder afbreuk te doen aan de nauwkeurigheid van duplicaatzoekopdrachten, waardoor de resulterende datasets van hoge kwaliteit blijven voor het trainen van state-of-the-art taalmodellen. Het werk onderstreept dat hardware-bewuste systeemoptimalisaties, zoals rolling hashes en streaming-pijplijnen, essentieel zijn om het volledige potentieel van GPU-clusters in voorverwerkingstaken te ontsluiten.