Aleph-Alpha-GermanWeb: Improving German-language LLM pre-training with model-based data curation and synthetic data generation

Die Arbeit stellt Aleph-Alpha-GermanWeb vor, ein 628-Milliarden-Wörter umfassendes deutsches Vortrainingsdatenset, das durch eine Kombination aus heuristischer und modellbasierter Filterung sowie synthetischer Datengenerierung erstellt wurde und bei Vortrainings von Sprachmodellen signifikante Leistungssteigerungen im Vergleich zu rein organischen Datensätzen wie FineWeb2 erzielt.

Das Wesentliche

Stell dir vor, du möchtest einen sehr klugen, deutschen Assistenten (eine Künstliche Intelligenz) erziehen. Bisher dachte man, das Geheimnis für einen klugen Assistenten sei einfach: Je mehr Bücher und Zeitungen du ihm gibst, desto besser wird er.

Aber die Forscher von Aleph Alpha haben eine wichtige Erkenntnis gewonnen: Nicht die Menge ist das Wichtigste, sondern die Qualität.

Gibst du einem Schüler 10.000 Seiten mit Kauderwelsch, Scherzartikeln und Tippfehlern, lernt er wenig. Gibst du ihm 1.000 Seiten mit klaren, gut geschriebenen Erklärungen, lernt er viel schneller und besser.

Hier ist die Geschichte ihrer neuen Methode, einfach erklärt:

1. Das Problem: Der "Internet-Schrott"

Das Internet ist riesig, aber es ist auch voller Müll. Wenn man einfach alles vom Internet (Common Crawl) nimmt, landet man mit viel Unsinn, Werbung, doppelten Texten und schlechtem Deutsch.

• Die Analogie: Stell dir vor, du willst einen perfekten Salat machen. Wenn du einfach den ganzen Inhalt eines Supermarkts in eine Schüssel wirfst, hast du nicht nur Salat, sondern auch Schmutz, leere Verpackungen und alte Bananen. Das schmeckt nicht gut.

2. Die Lösung: Ein dreistufiger Filter und ein "Koch-Team"

Die Forscher haben einen neuen "Rezeptplan" (eine Pipeline) entwickelt, um den besten deutschen Datensatz zu kreieren, den sie Aleph-Alpha-GermanWeb nennen. Sie haben ihn aus drei Zutaten zusammengestellt:

• Zutat A: Der gereinigte Markt (Common Crawl)
  Sie haben das Rohmaterial vom Internet genommen und es durch einen strengen Sieb geschüttelt.

  • Wie ein Sieb: Sie haben alles entfernt, was zu kurz ist, zu viele Zahlen enthält, nur aus Wiederholungen besteht oder keine echten deutschen Wörter hat. Was übrig bleibt, ist der "frische Salat" aus dem Internet.

• Zutat B: Der Premium-Laden (FineWeb2)
  Sie haben auch einen bereits gut sortierten Datensatz genommen (FineWeb2), der aber für Deutsch noch nicht perfekt war. Auch hier haben sie nochmal nachgebessert.

• Zutat C: Der kreative Koch (Synthetische Daten)
  Das ist der spannendste Teil! Sie haben einen sehr starken KI-Assistenten (einen "Koch") gebeten, basierend auf den guten Texten aus A und B, neue Texte zu erfinden.

  • Die Analogie: Stell dir vor, du hast ein gutes Kochbuch (die organischen Daten). Du fragst den Koch: "Kannst du mir bitte eine Zusammenfassung dieses Rezepts schreiben?" oder "Kannst du mir 5 Fragen zu diesem Rezept stellen?" oder "Kannst du es in einem anderen Stil erklären?".
  • Der Koch schreibt diese neuen Texte. Das ist wie synthetisches Essen: Es wurde nicht direkt auf dem Feld gepflückt, sondern in einer sauberen Küche aus den besten Zutaten neu kreiert. Das Ergebnis sind 329 Milliarden Wörter an neuem, hochwertigem Material.

3. Der Test: Der große Kochwettbewerb

Um zu beweisen, dass ihre Methode funktioniert, haben sie zwei verschiedene "Schüler" (KI-Modelle) mit ihren neuen Daten trainiert:

1. Einen kleinen Schüler (1 Milliarde Parameter).
2. Einen großen Schüler (8 Milliarden Parameter).

Sie haben diese Schüler mit einem anderen Training verglichen, das nur den "normalen" Internet-Datensatz (FineWeb2) benutzt hat – sogar mit zusätzlichen hochwertigen Quellen wie Wikipedia.

Das Ergebnis?
Die Schüler, die mit dem neuen Aleph-Alpha-GermanWeb (den drei Zutaten) gelernt hatten, waren deutlich schlauer!

• Sie verstanden die deutsche Sprache besser.
• Sie konnten Fragen zu schwierigen Themen (wie Recht, Physik oder Geschichte) besser beantworten.
• Selbst der große Schüler, der nur mit dem "normalen" Datensatz trainiert wurde, konnte nicht mithalten.

Warum ist das wichtig?

Früher dachte man: "Wir brauchen mehr Daten, also müssen wir das Internet durchwühlen."
Jetzt wissen wir: "Wir brauchen bessere Daten."

Durch das Filtern des Mülls und das "Kochen" neuer, hochwertiger Texte aus den besten Quellen, können wir kleinere und günstigere KI-Modelle bauen, die trotzdem extrem schlau sind. Das spart Energie, Geld und Zeit.

Zusammenfassend:
Die Forscher haben gezeigt, dass man für einen klugen deutschen KI-Assistenten nicht einfach den ganzen Internet-Müll braucht. Man braucht einen guten Filter, um den Schmutz zu entfernen, und einen kreativen Koch, um aus den besten Zutaten neue, perfekte Texte zu zaubern. Das Ergebnis ist ein Datensatz, der das Training von KI-Modellen revolutioniert.

Technische Zusammenfassung

1. Problemstellung

Die Skalierung von Datenmengen ist zwar essenziell für Large Language Models (LLMs), doch neuere Erkenntnisse zeigen, dass die Datenqualität einen signifikanten Einfluss auf Leistung und Trainingseffizienz hat. Für nicht-englische Sprachen, insbesondere Deutsch, bestehen folgende Herausforderungen:

• Datenknappheit: Hochwertige, organische Webdaten für Deutsch sind im Vergleich zum Englischen stark unterrepräsentiert (z. B. macht Deutsch weniger als 1,4 % des FineWeb2-Datensatzes aus).
• Limitationen bestehender Ansätze: Herkömmliche heuristische Filtermethoden (wie bei FineWeb2) reduzieren die Datenmenge oft drastisch, ohne die Qualität ausreichend zu steigern.
• Mängel bei synthetischen Daten: Bisherige Ansätze zur Verbesserung nicht-englischer Daten basierten oft auf maschineller Übersetzung, was sozio-technische Probleme und Qualitätsverluste mit sich bringt. Es fehlte an einer Pipeline, die synthetische Daten direkt auf Basis hochwertiger organischer Webdaten generiert, um die Vielfalt und Menge zu erhöhen, ohne die syntaktischen und semantischen Vorteile echter Webtexte zu verlieren.

2. Methodik

Die Autoren stellen eine umfassende Datenkuratierungs-Pipeline vor, die drei Hauptansätze kombiniert, um den Datensatz Aleph-Alpha-GermanWeb (628 Mrd. Wörter) zu erstellen. Der Datensatz besteht aus drei disjunkten Teilmengen:

A. Kuratierung von Common Crawl (Organische Submenge)

Die Autoren adaptierten die RefinedWeb-Pipeline für Deutsch unter Verwendung von NeMo Curator.

• Filterung: Umfassende Bereinigung durch URL-Filterung (Betrug/Adult Content), Textextraktion (mittels RESILIPARSE statt TRAFILATURA), Spracherkennung (nur Deutsch) und Entfernung von Wiederholungen.
• Deduplizierung: Es wurde eine strikte exakte Deduplizierung durchgeführt (im Gegensatz zu FineWeb2, das eine „Rehydration" von Duplikaten zulässt). Zudem wurde eine fuzzy deduplication mittels MinHash und Locality Sensitive Hashing (LSH) angewendet, um fast identische Dokumente zu entfernen.
• Ergebnis: Ein gefilterter Common-Crawl-Subset mit 78 Mrd. Wörtern.

B. Synthetische Datengenerierung

Basierend auf organischen Daten aus FineWeb2 wurde synthetische Daten generiert, um Menge und Qualität zu steigern.

• Modell: Ein 12-Milliarden-Parameter-LLM (Mistral-Nemo-Instruct-2407) wurde als Generator verwendet.
• Prompts: Fünf verschiedene Prompt-Templates wurden genutzt, um Bildungsinhalte, Umformulierungen (im Wikipedia-Stil), Zusammenfassungen, Frage-Antwort-Paare und Faktenlisten zu erzeugen.
• Verarbeitung: Lange Dokumente wurden mittels TEXT-SPLITTER in sinnvolle Chunks zerlegt, um den Kontext des LLMs nicht zu überlasten. Post-Processing entfernte „LLM-Artefakte" (z. B. Präfixe wie „Hier ist die Umformulierung").
• Strategie: Um „Model Collapse" zu vermeiden, wurde die Generierung auf maximal fünf Variationen pro organischem Dokument begrenzt.
• Ergebnis: Ein synthetischer Subset mit 329 Mrd. Wörtern.

C. Qualitätsklassifizierung (Quality Bucketing)

Für den FineWeb2-Subset (235 Mrd. Wörter) wurde ein mehrstufiges Klassifizierungssystem entwickelt, um Dokumente in fünf Qualitätsstufen (High bis Low) zu unterteilen.

• Ensemble-Methodik: Es wurden mehrere Klassifikatoren trainiert:
  1. Grammatik: fastText und BERT-Modelle, trainiert auf Daten annotiert mit LanguageTool.
  2. Bildungsqualität: Ein LLM-as-a-Judge (Mistral-Nemo) bewertete Dokumente nach Inhalt, Sprache und Orthographie. Diese Scores dienten als Ground Truth für effizientere fastText und BERT-Klassifikatoren.
  3. Instruktionsqualität: Unterscheidung zwischen Chat/Instruktions-Daten und normalem Webtext.
• Scoring: Dokumente erhielten basierend auf den Vorhersagen der Modelle Punkte (siehe Tabelle 3 im Paper). Nur Dokumente mit hoher Punktzahl (High/Medium-High) wurden für das Training ausgewählt.

3. Experimente und Evaluation

Die Qualität der Datensätze wurde durch das Training von zwei unterschiedlichen Modellarchitekturen von Grund auf (from scratch) evaluiert:

1. 1B Llama-Style Transformer: 1 Milliarde Parameter.
2. 8B HAT (Hierarchical Autoregressive Transformer): 8 Milliarden Parameter, tokeniser-frei (byte-level processing), um Verzerrungen durch Tokenizer-Training zu vermeiden.

Benchmarks:

• MMMLU: Multilinguale Massive Multitask Language Understanding (Deutsch).
• ARC-Easy: Wissenschaftliche Schlussfolgerung.
• HellaSwag: Common-Sense-Reasoning.
• TruthfulQA: Wahrhaftigkeit bei Antworten.

4. Wichtige Ergebnisse

• Überlegenheit von GermanWeb: Alle drei Teilmengen von Aleph-Alpha-GermanWeb (Synthetisch, Gefilterter Common Crawl, Gefilterter FineWeb2) übertrafen das Baseline-FineWeb2-Dataset in allen Benchmarks.
• Robustheit bei 8B-Skala: Selbst wenn FineWeb2 mit hochwertigen, menschlich kuratierten Daten (z. B. Wikipedia, Gesetze, Bücher) angereichert wurde, schnitt der reine synthetische Subset von GermanWeb besser ab.
• Spezifische Stärken:
  • Der synthetische Subset zeigte die größten Verbesserungen bei MMMLU (Wissensabfrage).
  • Der gefilterte Common Crawl und die hochwertigen organischen Daten performten besonders gut bei HellaSwag und ARC (Reasoning).
• Effizienz: Die Ergebnisse belegen, dass durch model-basierte Kuratierung und synthetische Generierung weniger Daten benötigt werden, um eine höhere Leistung zu erzielen, als es bei rein heuristischen Ansätzen der Fall wäre.

5. Bedeutung und Beiträge

• Open Source: Der gesamte Datensatz Aleph-Alpha-GermanWeb wurde der Forschungscommunity zur Verfügung gestellt, um die Entwicklung deutscher LLMs zu fördern.
• Paradigmenwechsel: Das Paper liefert starke Belege dafür, dass die Kombination aus modellbasierter Datenkuratierung und kontextabhängiger synthetischer Datengenerierung ein effektiver Weg ist, um die Datenknappheit für nicht-englische Sprachen zu überwinden.
• Architektur-Neutralität: Die Ergebnisse halten auch für tokeniser-freie Architekturen (HAT) stand, was die Validität der Datenqualität unabhängig von spezifischen Tokenizer-Bias bestätigt.
• Zukunftsperspektive: Die Arbeit legt nahe, dass das Mischen von organischen und synthetischen Daten der Schlüssel für effizientes und kostengünstiges Pre-Training von LLMs ist, insbesondere für Sprachen mit geringeren Ressourcen.

Zusammenfassend demonstriert das Paper, dass qualitative Datenkuratierung und intelligente Datengenerierung die traditionellen Skalierungsgesetze (mehr Daten = bessere Leistung) effizienter machen können, indem sie die Datenqualität vor der Quantität priorisieren.