Data Darwinism Part II: DataEvolve -- AI can Autonomously Evolve Pretraining Data Curation

Das Paper stellt DataEvolve vor, ein Framework, das durch einen automatisierten evolutionären Prozess Strategien zur Datenkuratierung für heterogene Pretraining-Korpora entwickelt und damit mit dem daraus resultierenden Darwin-CC-Datensatz signifikant bessere Modellleistungen erzielt als manuell kuratierte oder rohe Daten.

Das Wesentliche

🧬 Die Evolution der Daten: Wie KI ihre eigene Nahrung selbst kocht

Stell dir vor, du möchtest einen genialen Koch (eine Künstliche Intelligenz) ausbilden. Damit er Meisterwerke kocht, brauchst du die besten Zutaten. Aber woher kommen diese Zutaten? Aus dem Internet. Das Internet ist riesig, aber es ist auch ein riesiger, chaotischer Supermarkt.

Das Problem:
Wenn du einfach alles aus dem Supermarkt nimmst (die „rohen Daten"), bekommst du eine Mischung aus frischem Gemüse, alten Dosen, Dreck, Werbung und kaputten Etiketten. Wenn du dem Koch diese Mischung gibst, wird er verwirrt und lernt nicht so gut.

Bisher haben Menschen versucht, diesen Supermarkt zu säubern. Sie haben sich hingesetzt und gesagt: „Okay, bei Mathe-Daten entfernen wir Werbung, bei Medizin-Daten löschen wir falsche Dosierungen." Das ist wie ein Koch, der jeden einzelnen Apfel von Hand schält. Das funktioniert gut für ein paar Äpfel, aber wenn du 672 Milliarden Äpfel hast (das ist die Größe der Daten), wird es unmöglich. Niemand hat die Zeit, für jede einzelne Kategorie (Mathe, Medizin, Code, Geschichte) einen eigenen, perfekten Reinigungsplan zu schreiben.

Die Lösung: DataEvolve (Der evolutionäre Koch)
Die Forscher aus diesem Papier haben eine geniale Idee: Warum soll der Koch nicht lernen, wie man die Zutaten selbst aussortiert? Sie haben ein System namens DataEvolve entwickelt.

Stell dir DataEvolve wie einen evolutionären Garten vor:

1. Der Beobachter (Der Gärtner):
   Der Computer schaut sich eine kleine Probe der Daten an (z. B. ein paar Mathe-Artikel). Er sagt: „Autsch! Hier ist viel Müll, hier sind die Formeln kaputt, und hier steht Werbung für Zahnpasta mitten in einer Gleichung." Er schreibt diese Fehler in ein Fehler-Logbuch.

2. Der Designer (Der Erfinder):
   Basierend auf dem Logbuch erfindet der Computer einen neuen „Reinigungsplan" (eine Strategie). Er sagt: „Okay, beim nächsten Mal löschen wir alle Zahnpasta-Werbung und reparieren die Formeln."

3. Der Tester (Der Probierstube):
   Der Computer wendet diesen Plan auf eine neue kleine Probe an. Dann prüft ein Richter (ein anderer KI-Modell), ob das Ergebnis besser ist.

   • War es erfolgreich? Super! Der Plan wird gespeichert und verbessert.
   • War es schlecht? Weg damit! Der Plan wird verworfen.

4. Die Evolution (Das Überleben des Besten):
   Dieser Prozess läuft 30 Mal hintereinander für jede Datenkategorie. Wie in der Natur: Die besten Reinigungspläne überleben, die schlechten sterben aus. Mit jeder Runde werden die Pläne schlauer und passgenauer. Am Ende hat das System für Mathe einen anderen Plan entwickelt als für Medizin, weil es selbst gelernt hat, was dort funktioniert.

Das Ergebnis: Darwin-CC
Am Ende des Prozesses haben die Forscher ein riesiges Dataset namens Darwin-CC erstellt. Es ist wie ein riesiger, perfekt sortierter Vorratsraum, der aus den ursprünglichen 672 Milliarden Datenstücken auf 504 Milliarden „geputzte" Stücke reduziert wurde.

Was passiert, wenn man damit trainiert?
Die Forscher haben einen kleinen KI-Koch (ein 3-Milliarden-Parameter-Modell) mit diesen Daten gefüttert. Das Ergebnis war verblüffend:

• Die KI war deutlich schlauer als solche, die mit rohen Daten trainiert wurden.
• Besonders in Wissensfragen (wie Medizin oder Mathe) war sie ein Genie. Sie konnte Fakten viel besser behalten, weil der „Müll" entfernt war, der sie abgelenkt hätte.
• Sie war sogar besser als andere berühmte Datensätze, die von Menschen handgefertigt wurden.

Die große Erkenntnis: Sauberkeit statt Umbau
Das Überraschendste an der Studie ist, was die KI gelernt hat, um die Daten zu verbessern.
Früher dachten viele: „Wir müssen die Texte umschreiben, damit sie wie ein Schulbuch klingen."
Aber DataEvolve hat gelernt: Nein, wir müssen sie nur putzen.
Die KI hat entdeckt, dass man die Texte nicht umschreiben muss. Man muss nur den Dreck entfernen (Werbung, HTML-Tags, doppelte Sätze) und sicherstellen, dass die wichtigen Teile (wie medizinische Einheiten oder mathematische Beweise) intakt bleiben.

Zusammenfassung in einem Satz:
Statt dass Menschen mühsam versuchen, für jede Datenart einen Reinigungsplan zu erfinden, haben die Forscher eine KI entwickelt, die sich selbstständig die besten Reinigungspläne „heranwachsen" lässt – ähnlich wie die Natur durch Evolution die besten Überlebensstrategien findet. Das Ergebnis ist eine KI, die mit weniger, aber saubereren Daten viel schlauer wird.

Technische Zusammenfassung

Titel: Data Darwinism – Part II: DataEvolve: KI kann die Kuratierung von Pretraining-Daten autonom weiterentwickeln

1. Problemstellung

Die Leistungsfähigkeit von Large Language Models (LLMs) hängt fundamental von der Qualität ihrer Pretraining-Daten ab. Während der erste Teil der „Data Darwinism"-Serie (Part I) eine zehnstufige Hierarchie der Datenverarbeitung etablierte und zeigte, dass manuell entworfene Strategien die Datenqualität signifikant steigern können, stößt dieser Ansatz bei modernen Pretraining-Korpora an seine Grenzen:

• Skalierbarkeit: Moderne Korpora umfassen Billionen von Tokens und bestehen aus hunderten heterogener Kategorien (unterschiedliche Domänen, Inhaltsarten, Qualitätsniveaus).
• Manueller Aufwand: Die manuelle Analyse jeder Kategorie, die Identifizierung spezifischer Qualitätsprobleme und das iterative Verfeinern von Strategien für jede einzelne Kategorie ist für Experten prohibitiv aufwendig und zeitaufwendig.
• Kosten der Evaluierung: Das Testen einer neuen Kuratierungsstrategie erfordert normalerweise das Reinigen großer Datenmengen und das Training eines Modells, was tausende GPU-Stunden pro Kandidatenstrategie kostet (siehe Abbildung 2 im Paper).

Die zentrale Frage lautet daher: Können Kuratierungsstrategien selbst auf automatisierte, evolutionäre Weise weiterentwickelt werden, anstatt manuell entworfen zu werden?

2. Methodik: Das DataEvolve-Framework

Das Paper stellt DataEvolve vor, ein Framework, das den Entwurf von Datenkuratierungsstrategien als evolutionären Optimierungsprozess modelliert. Anstatt manuelle Regeln zu schreiben, durchläuft das System einen geschlossenen evolutionären Loop für jede Datenkategorie.

Kernkomponenten des evolutionären Loops:

1. Data Observer (Datenbeobachter): Analysiert Stichproben der Rohdaten einer spezifischen Kategorie, um Qualitätsprobleme (z. B. HTML-Fehler, doppelte Inhalte, inkonsistente Formatierung) zu identifizieren.
2. Strategy Designer (Strategie-Designer): Generiert und verfeinert Reinigungsprompts (Strategien) basierend auf den Beobachtungen und dem Feedback der vorherigen Generation.
3. Data Cleaner (Datenreiniger): Wendet die generierte Strategie auf eine Stichprobe von Dokumenten an.
4. Quality Judge (Qualitätsbewerter): Bewertet die gereinigten Datenpaare (Original vs. Bereinigt) auf einer Skala von 1–10 und liefert diagnostisches Feedback (Warum wurde etwas entfernt? Was wurde übersehen?).

Wissensakkumulation (Gedächtnis):
Das System nutzt zwei Pools, um Wissen über Generationen hinweg zu speichern und zu übertragen:

• Experience Pool: Sammelt alle identifizierten Qualitätsprobleme, damit zukünftige Generationen nicht bei Null anfangen müssen.
• Strategy Pool: Speichert die erfolgreichsten Strategien, ihre Leistungsbewertungen und die dazugehörigen Analysen. Erfolgreiche Strategien dienen als „Eltern" für die nächste Generation, während ineffektive verworfen werden (natürliche Selektion).

Prozessablauf:
Für jede der 8 ausgewählten Kategorien (aus dem Nemotron-CC-Korpus) durchläuft das System 30 Iterationen. Dabei wird die „Fitness" einer Strategie nicht durch vollständiges Modell-Training bestimmt (zu teuer), sondern durch eine schnelle, stichprobenbasierte Qualitätsbewertung approximiert. Die beste Strategie jeder Kategorie wird dann auf den gesamten Datensatz angewendet.

3. Schlüsselergebnisse und Experimente

Das Framework wurde auf 8 Kategorien angewendet, die insgesamt 672 Milliarden Tokens umfassen. Das Ergebnis ist Darwin-CC, ein bereinigter Datensatz von 504 Milliarden Tokens.

• Leistungssteigerung: Ein 3-Milliarden-Parameter-Modell (Qwen2.5-Architektur), das auf 500 Milliarden Tokens von Darwin-CC trainiert wurde, erzielte im Durchschnitt 44,13 Punkte auf 18 Benchmarks.
  • Dies ist eine Steigerung von +3,96 Punkten gegenüber dem rohen, unbearbeiteten Daten.
  • Der Datensatz übertrifft etablierte Korpora wie DCLM (42,42), Ultra-FineWeb (36,29) und FineWeb-Edu (36,52).
• Spezifische Verbesserungen: Die größten Gewinne wurden bei wissensintensiven Aufgaben erzielt:
  • MMLU: +18,64 Punkte.
  • MedQA: +13,48 Punkte.
  • CSQA: +18,80 Punkte.
• Ablationsstudie: Der Vergleich zeigte, dass nicht jede automatisierte Reinigung gleich effektiv ist. Eine suboptimale, nicht-evolvierte Strategie erzielte nur 41,20 Punkte. Der Unterschied von 2,93 Punkten zwischen der suboptimalen und der evolvierten Strategie beweist, dass der iterative Evolutionsprozess entscheidend ist, um das volle Potenzial der Daten zu erschließen.
• Lernkurven: Modelle, die auf Darwin-CC trainiert wurden, zeigten steilere Lernkurven in den frühen Trainingsphasen, was auf eine höhere Datenqualität und Effizienz hindeutet.

4. Analyse der evolvierten Strategien

Die Analyse der über 30 Generationen hinweg entwickelten Strategien ergab ein überraschend konsistentes Muster:

• Fokus auf Reinigung, nicht Transformation: Im Gegensatz zu früheren Ansätzen, die Text in einheitliche Formate (wie Lehrbuch-Stil oder Q&A-Paare) umschreiben, konvergierten die evolvierten Strategien auf zielgerichtete Reinigung.
• Strategische Prinzipien:
  1. Entfernung von Rauschen: Entfernen von HTML-Tags, Werbung, Duplikaten und UI-Elementen.
  2. Formatnormalisierung: Bereinigung von Leerzeichen, Zeichensetzung und mathematischen Ausdrücken (z. B. Umwandlung in LaTeX).
  3. Domänenspezifische Erhaltung: Kritische Inhalte werden explizit geschützt (z. B. mathematische Theoreme, medizinische Einheiten, Code-Blöcke), während unnötiger Ballast entfernt wird.
• Semantische Erhaltung: Die Analyse zeigte, dass die semantische Ähnlichkeit zwischen Original und bereinigtem Text sehr hoch bleibt (durchschnittlich 0,958), während transformationsbasierte Methoden (wie Q&A-Generierung) die Semantik stärker verändern. Die Vielfalt des Korpus (Diversity) bleibt dabei erhalten.

5. Bedeutung und Beitrag

• Paradigmenwechsel: Das Paper verschiebt das Paradigma der Datenkuratierung von manueller Expertise hin zu automatisierter evolutionärer Optimierung. Es zeigt, dass Strategien selbst „evolvieren" können, um sich an die spezifischen Eigenschaften verschiedener Datenkategorien anzupassen.
• Skalierbarkeit: Der Ansatz löst das Skalierbarkeitsproblem bei der Verarbeitung heterogener Pretraining-Korpora, da er keine manuelle Intervention pro Kategorie erfordert.
• Effizienz: Durch die Approximation der Fitness über Stichproben statt durch vollständiges Training wird die Suche nach optimalen Strategien um Größenordnungen kostengünstiger.
• Open Source: Die Autoren stellen das DataEvolve-Framework sowie den Darwin-CC-Datensatz (504B Tokens) als Open-Source-Ressource zur Verfügung.

Fazit: DataEvolve demonstriert, dass systematische, evolutionär optimierte Reinigung (L4-Prinzipien aus Teil I) ausreicht, um erhebliche Qualitätsverbesserungen zu erzielen, ohne teure und semantisch riskante Inhaltsüberarbeitungen vornehmen zu müssen. Dies ebnet den Weg für effizientere und qualitativ hochwertigere Pretraining-Datensätze in der Zukunft.