Data Darwinism Part II: DataEvolve -- AI can Autonomously Evolve Pretraining Data Curation

Dit paper introduceert DataEvolve, een raamwerk dat pretrainingsdata-curatie automatiseert door strategieën via een evolutionaire cyclus te laten evolueren, wat resulteert in het superieure Darwin-CC-dataset dat handmatig ontworpen methoden overtreft.

De kern

Stel je voor dat je een enorme bibliotheek wilt bouwen om een superintelligente robot (een AI) te leren denken. Je hebt duizenden tonnen boeken, kranten en internetpagina's nodig. Maar hier is het probleem: de meeste van deze bronnen zijn een puinhoop. Ze zitten vol met reclames, kapotte links, dubbele zinnen, en onzin.

In het verleden hebben mensen geprobeerd deze "vuile" data schoon te maken door zelf regels te schrijven: "Haal alle reclame weg," of "Verwijder alle HTML-tags." Maar dat is als proberen een hele stad schoon te maken met één bezem. Het is te veel werk, en je mist vaak de specifieke problemen van bepaalde wijken (zoals medische teksten versus wiskundige formules).

Dit paper introduceert DataEvolve, een slimme manier om die schoonmaakregels niet door mensen te laten bedenken, maar door de computer zelf te laten evolueren, net zoals dieren in de natuur zich aanpassen om te overleven.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Vuilnisbak" van de Wereld

De auteurs zeggen: "We hebben zoveel data, maar het is te rommelig." Als je een AI traint op deze rommel, wordt de AI ook een beetje rommelig.

• De oude manier: Mensen kijken naar de data en zeggen: "Oh, dit is wiskunde, we moeten de formules beschermen." En dan: "Oh, dit is medisch, we moeten de ziektenamen niet veranderen." Dit kost jaren aan werk.
• De nieuwe vraag: Kan de computer zelf leren hoe hij moet schoonmaken?

2. De Oplossing: De "Schoonmaak-Overlevingswedstrijd"

DataEvolve werkt als een soort evolutie-simulatie voor schoonmaakregels. Het is alsof je een wedstrijd organiseert tussen honderden verschillende "schoonmaakrobots".

Het proces ziet er zo uit:

1. De Observator (De Schouderklop): De computer kijkt naar een kleine steekproef van de rommelige data. Hij zegt: "Hey, hier zit een vreemde code, hier staat een advertentie, en hier is een zin half afgebroken."
2. De Ontwerper (De Architect): Op basis van die observaties bedenkt de computer een nieuwe "schoonmaakregelset" (een prompt).
3. De Schoonmaker (De Uitvoerder): Deze regels worden toegepast op een stukje data.
4. De Jury (De Keurmeester): Een andere AI kijkt naar het resultaat en zegt: "Goed gedaan, je hebt de reclame weggehaald, maar je hebt per ongeluk een belangrijke medische term verwijderd. Score: 6/10."

3. De Evolutie: "Overleven van de Fittest"

Dit is het slimme deel. De computer doet dit niet één keer, maar 30 keer achter elkaar voor elk onderwerp (zoals wiskunde, geneeskunde, etc.).

• De regels die het beste scoren, worden "ouders".
• De regels die slecht scoren, worden "weggegooid".
• De volgende generatie regels krijgt de feedback van de vorige generatie: "Vergeet niet om die medische termen te beschermen!"
• Na 30 rondes hebben ze een perfecte, op maat gemaakte schoonmaakstrategie gevonden die niemand van tevoren had bedacht.

4. Het Resultaat: Darwin-CC

Het resultaat van dit experiment is een nieuwe dataset genaamd Darwin-CC.

• Ze hebben 672 miljard woorden (tokens) van internetdata genomen.
• Na het "evolutie-proces" bleven er 504 miljard woorden over.
• Het geheim: Ze hebben niet zomaar tekst herschreven (zoals "maak dit meer als een schoolboek"). Ze hebben zich gefocust op schoonmaken: verwijder de rommel, maar laat de originele inhoud intact.

5. Waarom is dit geweldig?

Toen ze een AI trainden met deze nieuwe, "geëvolueerde" data, gebeurde er iets magisch:

• De AI werd veel slimmer in feiten leren (zoals medische kennis of wiskunde).
• Het presteerde beter dan AI's die waren getraind op andere beroemde, "schoongemaakte" datasets.
• De les: Het is niet nodig om de tekst volledig te herschrijven. Als je de "vuilnis" er gewoon netjes uit haalt en de "juweeltjes" (de feiten) intact laat, wordt de AI al veel beter.

De Grootte Analogie: De Tuin

Stel je voor dat je een tuin hebt die overwoekerd is door onkruid, maar er staan ook prachtige zeldzame bloemen tussen.

• De oude manier: Je loopt rond met een grote hark en harkt alles plat, in de hoop dat de bloemen overleven. Veel bloemen gaan dood.
• De DataEvolve manier: Je laat een team van tuinders (de AI's) een wedstrijd doen. Eerst harken ze een klein stukje. De jury zegt: "Jij hebt de roos beschadigd, jij hebt het onkruid gemist." De volgende ronde passen ze hun techniek aan. Na 30 rondes hebben ze een perfecte techniek ontwikkeld om alleen het onkruid te verwijderen, terwijl elke bloem perfect bewaard blijft.

Kortom: Dit paper toont aan dat we niet hoeven te wachten op slimme mensen om regels te schrijven. We kunnen AI's zelf laten leren hoe ze data het beste kunnen schoonmaken, wat leidt tot sterkere en slimmere AI's in de toekomst.

Technische samenvatting

Titel: Data Darwinism – Part II: DataEvolve: AI kan autonoom pretraining-gegevenscuratie evolueren

1. Probleemstelling

De prestaties van Large Language Models (LLM's) worden fundamenteel bepaald door de kwaliteit van hun pretraining-gegevens. Hoewel eerdere werken (zoals Data Darwinism Part I) een hiërarchie van 10 niveaus voor gegevensverwerking hebben vastgesteld, bleef de strategie voor het selecteren en verbeteren van deze gegevens handmatig ontworpen.

De huidige uitdagingen zijn:

• Schalingsprobleem: Moderne pretraining-corpora bestaan uit honderden heterogene categorieën (verschillende domeinen, inhoudstypes en kwaliteitsniveaus). Het handmatig ontwerpen van specifieke curatiestrategieën voor elke categorie is onhaalbaar en vereist enorme expertise.
• Kostenefficiëntie: Het evalueren van een curatiestrategie vereist traditioneel het schoonmaken van de volledige dataset en het trainen van een model tot convergentie. Dit is computationeel onbetaalbaar (duizenden GPU-uren per strategie).
• Filtering vs. Verrijking: Bestaande methoden (zoals FineWeb-Edu of DCLM) vertrouwen vaak op agressieve filtering (L0-L3), wat waardevolle inhoud kan verwijderen die slechts door oppervlakkige ruis wordt bedekt. Hogere niveaus van verwerking (L4-L5) vereisen vaak complexe herschrijvingen die moeilijk te schalen zijn.

De centrale vraag is: Kunnen curatiestrategieën op een geautomatiseerde, evolutionaire manier evolueren in plaats van handmatig te worden ontworpen?

2. Methodologie: Het DataEvolve Framework

De auteurs introduceren DataEvolve, een raamwerk dat curatiestrategieën laat evolueren via een gesloten evolutionaire lus, zonder volledige modeltraining bij elke iteratie. Het systeem werkt per categorie en bestaat uit vier kerncomponenten:

1. Data Observer: Analyseert steekproeven van ruwe data om kwaliteitsproblemen te identificeren (bijv. HTML-tags, dubbele zinnen, onduidelijke terminologie).
2. Strategy Designer: Genereert en verfijnt prompts voor het schoonmaken van data. Deze maakt gebruik van een "Experience Pool" (geschiedenis van geïdentificeerde problemen) en feedback van eerdere rondes.
3. Data Cleaner: Voert de gegenereerde strategie uit op een steekproef van documenten (gebruikmakend van een LLM als executor).
4. Quality Judge: Evalueert de resultaten op een schaal van 1-10, analyseert de dekking van de strategie en geeft diagnostische feedback.

Evolutionaire Mechanismen:

• Experience Pool: Accumuleert alle geïdentificeerde kwaliteitsproblemen over generaties heen, zodat nieuwe strategieën niet bij nul beginnen.
• Strategy Pool: Houdt bij welke strategieën het beste presteren. De beste strategie fungeert als "ouder" voor de volgende generatie, terwijl minder effectieve strategieën worden "gepruned".
• Fitness Benadering: In plaats van volledige modeltraining, wordt de fitness van een strategie geschat op basis van kwaliteitsbeoordeling van een steekproef. Dit maakt snelle iteratie mogelijk.

Het proces wordt 30 generaties lang uitgevoerd per categorie om de optimale strategie te vinden.

3. Experimenten en Dataset Constructie

• Bron: De dataset is afgeleid van Nemotron-CC (672 miljard tokens).
• Categorieën: Er zijn 8 specifieke categorieën geselecteerd, gebaseerd op domein (Wiskunde, Informatica, Geneeskunde, Overige STEM) en kwaliteit (Hoog, Niet-Hoog).
• Resultaat: Na 30 iteraties per categorie is Darwin-CC gegenereerd: een gezuiverde dataset van 504 miljard tokens.
• Training: Er zijn 3B-parameter modellen (Qwen2.5-architectuur) getraind op 500 miljard tokens met identieke configuraties om verschillende datasets te vergelijken.

4. Belangrijkste Resultaten

De resultaten tonen aan dat DataEvolve aanzienlijke prestatieverbeteringen levert:

• Prestatieverbetering: Modellen getraind op Darwin-CC behalen een gemiddelde score van 44,13 op 18 benchmarks. Dit is een stijging van +3,96 punten ten opzichte van ruwe data en 2,93 punten beter dan een suboptimale (niet-geëvolueerde) strategie.
• Vergelijking met Bestaande Corpora: Darwin-CC presteert beter dan gevestigde datasets zoals:
  • DCLM: 42,42 vs. 44,13
  • Ultra-FineWeb: 36,29 vs. 44,13
  • FineWeb-Edu: 36,52 vs. 44,13
• Kennis-intensieve Taken: De verbeteringen zijn het grootst op kennisgerichte taken:
  • MMLU: +18,64 punten (van 27,49 naar 46,13).
  • MedQA: +13,48 punten.
  • CSQA: +18,80 punten.
• Ablatie-studies: Bewijzen dat de evolutie zelf cruciaal is. Simpelweg data schoonmaken met een willekeurige LLM-prompt is niet voldoende; de iteratieve optimalisatie is wat de waarde ontsluit.

5. Analyse en Inzichten

• Convergentie naar Schoonmaken: De geëvolueerde strategieën convergeren allemaal naar een schoonmaakgerichte aanpak (L4 principes) in plaats van herschrijving. Ze focussen op het verwijderen van ruis (HTML, advertenties, PII) en het normaliseren van opmaak, terwijl de originele inhoud en domeinspecifieke kennis (zoals formules in wiskunde of klinische eenheden in geneeskunde) behouden blijven.
• Semantische Behoud: In tegenstelling tot methoden die tekst herschrijven naar een uniform formaat (zoals Wikipedia-stijl), behoudt DataEvolve de semantische betekenis van de originele documenten (gemiddelde semantische gelijkenis van 0,958).
• Task-Specifieke Effecten:
  • Grote winst: Kennisopslag en feitelijke recall (MMLU, MedQA).
  • Verlies: Informele taalbegrip (HellaSwag, SIQA), waarschijnlijk omdat de "ruis" die colloquiale taal bevat, ook is verwijderd.
  • Geen verandering: Logisch redeneren en leesbegrip (BBH, RACE).

6. Bijdragen en Betekenis

De paper levert drie belangrijke bijdragen:

1. Demonstratie van Strategie-Evolutie: Het bewijst dat curatiestrategieën autonoom kunnen evolueren via een feedbacklus, wat de afhankelijkheid van handmatige expertise doorbreekt.
2. DataEvolve Framework & Darwin-CC: Het openbaar maken van een end-to-end framework en een hoogwaardige dataset (504B tokens) die state-of-the-art resultaten behaalt.
3. Paradigmaverschuiving: Het toont aan dat systematische, domeinbewuste schoonmaak (in plaats van complexe transformatie) voldoende is om de latent waarde van data te maximaliseren. Dit biedt een schaalbaarder en goedkoper pad voor de curatie van pretraining-data dan bestaande methoden.

Conclusie:
DataEvolve verschuift het paradigma van handmatige data-engineering naar automatische evolutionaire optimalisatie. Het bewijst dat door strategieën iteratief te laten evolueren op basis van diagnostische feedback, men datasets kan creëren die niet alleen schaalbaar zijn, maar ook aanzienlijk superieure prestaties leveren, vooral op complexe, kennis-intensieve taken.