Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

Die Studie stellt zwei neuartige, offen lizenzierte Datensätze namens SwallowCode und SwallowMath vor, die durch ein systematisches „Transform-and-Retain"-Verfahren öffentlich zugängliche Daten umschreiben und nachweislich die Leistung von LLMs in den Bereichen Code-Generierung und mathematisches Denken signifikant steigern.

Das Wesentliche

Stell dir vor, du möchtest einen jungen, sehr intelligenten Schüler (den KI-Modell) darauf vorbereiten, die schwierigsten Mathe-Aufgaben zu lösen oder perfekten Programmcode zu schreiben. Das Problem ist: Die Bücher, die ihm bisher zur Verfügung standen, waren oft voller Fehler, unleserlicher Handschrift oder enthielten nur halbe Sätze.

Diese Forscher aus Japan haben nun zwei neue, riesige Bibliotheken erstellt, die sie SwallowCode (für Programmieren) und SwallowMath (für Mathematik) nennen. Aber sie haben nicht einfach nur neue Bücher gekauft. Sie haben eine revolutionäre Methode angewandt, die man sich wie einen hochmodernen Lektor und Coach vorstellen kann.

Hier ist die einfache Erklärung, wie das funktioniert:

1. Das Problem: Der "Schrott"-Haufen

Bisher wurden KI-Modelle mit Daten aus dem gesamten Internet trainiert. Das ist wie ein Schüler, der aus einer Müllhalde lernt. Dort gibt es zwar wertvolle Informationen, aber sie sind vermischt mit:

• Code, der gar nicht läuft (wie ein Auto ohne Motor).
• Matheaufgaben, bei denen die Lösung fehlt oder der Kontext unklar ist.
• Schlecht formatierten Texten, die schwer zu lesen sind.

Früher haben Forscher versucht, den Müll einfach wegzuwerfen (Filtern). Das Problem dabei: Man wirft oft auch gute Teile weg, nur weil sie etwas "schmutzig" aussahen.

2. Die Lösung: Der "Transform-and-Retain"-Ansatz (Umwandeln und Behalten)

Statt den Müll wegzuwerfen, haben die Forscher einen KI-Chef-Lektor (ein sehr starkes KI-Modell) eingesetzt, der den Schrott repariert.

Stell dir das wie eine Werkstatt vor:

• Schritt 1: Die Inspektion (Filtern). Zuerst wird geprüft: "Ist das Auto überhaupt fähig zu fahren?" (Syntax-Check). Wenn nicht, wird es aussortiert.
• Schritt 2: Die Generalüberholung (Linter). Jetzt wird geprüft: "Ist die Lackierung gleichmäßig? Sind die Schrauben richtig festgezogen?" (Stil-Check).代码, die zu viele Warnungen geben, werden aussortiert.
• Schritt 3: Der große Umbau (Rewriting). Das ist der magische Teil. Der KI-Lektor nimmt die verbleibenden, etwas kaputten oder unordentlichen Beispiele und schreibt sie um.
  • Beispiel Code: Ein verwirrtes Skript wird in eine klare, gut kommentierte, effiziente Anleitung umgewandelt. Es wird so geschrieben, als würde ein erfahrener Mentor einem Anfänger etwas beibringen.
  • Beispiel Mathe: Eine unklare Matheaufgabe aus dem Internet wird so umformuliert, dass der Lösungsweg Schritt für Schritt logisch und verständlich ist.

Die Analogie:
Stell dir vor, du hast einen Haufen roher Zutaten (die alten Daten).

• Alte Methode: Du wirfst alle Zutaten weg, die nicht perfekt aussehen, und kaufst nur noch teure, fertige Gerichte (synthetische Daten). Das ist teuer und die Vielfalt fehlt.
• Neue Methode (Swallow): Du nimmst die rohen Zutaten, schneidest das Verfaulte weg, würzt sie perfekt, kochst sie neu und servierst ein Gourmet-Gericht. Du hast die gleichen Zutaten, aber das Ergebnis ist viel besser.

3. Die Ergebnisse: Der Schüler wird zum Genie

Die Forscher haben getestet, was passiert, wenn sie ihre KI mit diesen "reparierten" Büchern trainieren, im Vergleich zu den alten, ungefilterten Büchern.

• Im Programmieren: Die KI wurde deutlich besser darin, Code zu schreiben, der funktioniert. Sie schaffte fast 17 % mehr Aufgaben richtig als vorher.
• In der Mathematik: Die KI löste Mathe-Rätsel viel schneller und genauer. Die Trefferquote stieg um über 12 %.

Das Besondere: Sie haben das nicht mit einem "Super-Modell" gemacht, das sowieso alles kann. Sie haben ein durchschnittliches Modell genommen und ihm einfach besseres Essen gegeben. Das Ergebnis: Es wurde viel stärker.

4. Warum ist das wichtig?

Früher mussten Firmen riesige Geheimnisse bewahren, um ihre besten Trainingsdaten zu schützen. Diese Forscher sagen: "Nein, wir machen die Küche offen."
Sie haben den gesamten Prozess, die Werkzeuge und die fertigen "reparierten" Daten kostenlos veröffentlicht. Jeder kann jetzt diese "reparierten" Bücher nutzen, um seine eigene KI zu verbessern, ohne selbst eine ganze Fabrik bauen zu müssen.

Zusammenfassend:
Die Forscher haben entdeckt, dass die Qualität des Trainingsmaterials wichtiger ist als die reine Menge. Anstatt mehr Müll zu fressen, hat ihre KI gelernt, aus dem vorhandenen Müll Gold zu machen, indem sie den Inhalt umschreibt, glättet und perfektioniert. Das ist ein Gewinn für die ganze Welt der KI-Forschung.

Technische Zusammenfassung

1. Problemstellung

Die Leistung von Large Language Models (LLMs) in den Bereichen Programmiersynthese und mathematisches Schlussfolgern wird fundamental durch die Qualität ihrer Vor-Trainings-Korpora begrenzt.

• Qualitätsmängel existierender Datensätze: Öffentliche Datensätze wie The-Stack-v2 (Code) oder Finemath-4+ (Mathematik) basieren oft auf regelbasiertem Crawling und Filtern. Dies führt dazu, dass verrauschte, redundante oder stilistisch inkonsistente Daten erhalten bleiben.
• Limitationen des reinen Filterns: Bestehende Ansätze (z. B. Stack-Edu) verlassen sich primär auf exklusive Filterung (Ausschluss schlechter Daten). Dies wirft jedoch Probleme auf:
  • Geringwertige Daten werden verworfen, anstatt verbessert, was die Datennutzungseffizienz senkt.
  • Verbleibende Daten enthalten oft noch Mängel wie fehlenden Kontext, inkonsistente Benennungskonventionen oder ineffiziente Algorithmen.
• Datenqualitätslücke: Da führende proprietäre Modelle (z. B. von NVIDIA oder DeepSeek) ihre Trainingsdaten nicht veröffentlichen, fehlt der Open-Source-Community Zugang zu hochwertigen Korpora, die mit dem State-of-the-Art mithalten können.

2. Methodik: Der „Transform-and-Retain"-Ansatz

Die Autoren stellen zwei offen lizenzierte Datensätze vor: SwallowCode und SwallowMath. Der Kern ihrer Methode ist nicht das bloße Filtern, sondern das systematische Umschreiben (Rewriting) von Daten, um deren Qualität zu steigern, während die Vielfalt erhalten bleibt.

A. SwallowCode (Code-Datensatz)

Basierend auf The-Stack-v2 (Python-Teilmengen) wurde eine vierstufige Pipeline entwickelt:

1. Syntax-Validierung: Entfernung von Code-Snippets, die nicht kompiliert werden können (Python 3.10).
2. Linting-basiertes Filtern: Einsatz von Pylint zur Durchsetzung von Coding-Standards (Schwellenwert: 7,0/10). Zusätzlich wird eine Heuristik angewendet, um übermäßig kommentierten, nicht-funktionalen Code zu bestrafen.
3. Style-Guided Code Rewriting (SGCR): Ein LLM (Llama-3.3-70B-Instruct) schreibt den Code um, um den Google Python Style Guide einzuhalten. Dies umfasst:
   • Deskriptive Variablennamen und Konsistenz.
   • Effektive Typ-Annotationen und Docstrings.
   • Modularisierung und klare Trennung von Zuständigkeiten.
   • Fehlerbehandlung.
4. Self-Contained Optimization Rewriting (SCOR): Diese Stufe geht über den Stil hinaus und optimiert die Semantik:
   • Selbstständigkeit: Sicherstellen, dass Snippets keine externen Abhängigkeiten haben (Inline-Importe, Definitionen).
   • Optimierung: Ersetzen ineffizienter Algorithmen (z. B. naive Rekursion) durch effiziente Alternativen (z. B. dynamische Programmierung).
   • Bildungswert: Umwandlung trivialer Snippets in lehrreiche Beispiele.

B. SwallowMath (Mathematik-Datensatz)

Basierend auf Finemath-4+ wird ein ähnlicher LLM-gesteuerter Rewriting-Prozess angewendet:

• Bereinigung: Entfernung von Web-Headern, Fußzeilen, Datenschutzhinweisen und irrelevanten Metadaten (Zeitstempel).
• Kontext-Wiederherstellung: Ergänzung fehlender Informationen in unvollständigen Fragen oder Antworten.
• Strukturierung: Umformulierung von Lösungen in präzise, schrittweise Erklärungen, die logisch nachvollziehbar sind.

Experimentelles Setup

• Basis-Modell: Llama-3.1-8B (gewählt, da es stark genug für einen realistischen Benchmark ist, aber noch nicht gesättigt).
• Training: Kontinuierliches Pre-Training (Continual Pre-Training) mit einem festen Budget von 50 Milliarden Tokens.
• Vergleich: Gegenüberstellung mit Stack-Edu und anderen öffentlichen Korpora unter identischen Bedingungen (gleiche Architektur, Token-Budget, Hyperparameter).
• Saubere Daten: Strenge De-Kontaminationsprüfungen gegen die Testsets (HumanEval, GSM8K, MATH) wurden durchgeführt, um Datenlecks auszuschließen.

3. Wichtige Beiträge

1. Open-Source-Datensätze: Veröffentlichung von SwallowCode (≈16,1 Mrd. Tokens) und SwallowMath (≈2,3 Mrd. Tokens) unter der Llama-3.3 Community License.
2. Transform-and-Retain-Paradigma: Demonstration, dass das Umschreiben von Daten effektiver ist als das reine Verwerfen. Dies maximiert den Nutzen vorhandener Daten und verbessert die Qualität signifikant.
3. Reproduzierbarkeit: Vollständige Offenlegung der Pipelines, Prompts, Checkpoints und Zwischenergebnisse, um die Reproduzierbarkeit und Anpassbarkeit an andere Modelle zu gewährleisten.
4. Ablationsstudien: Detaillierte Analyse zeigt, dass jede Stufe der Pipeline (Filterung, SGCR, SCOR) einen messbaren, kumulativen Beitrag zur Leistungssteigerung leistet.

4. Ergebnisse

Die Ergebnisse wurden im Rahmen eines 50-Billion-Token-Budgets erzielt und zeigen deutliche Verbesserungen gegenüber Baselines wie Stack-Edu:

• Code-Generierung (SwallowCode):

  • +17,0 Punkte auf HumanEval (pass@1).
  • +16,1 Punkte auf HumanEval+ (pass@1).
  • Die Leistung übertrifft alle verglichenen öffentlichen Code-Datensätze (inkl. The-Stack-v1/v2, CodeParrot-Clean).
  • Die Verbesserungen wurden auch auf Qwen2-7B validiert (+10,3 Punkte auf HumanEval), was die Generalisierbarkeit der Methode belegt.

• Mathematisches Schlussfolgern (SwallowMath):

  • +12,4 Punkte Genauigkeit auf GSM8K.
  • +7,6 Punkte Genauigkeit auf MATH.

• Effizienz: Das Umschreiben erhöht zwar die Vorverarbeitungskosten (GPU-Stunden), führt aber zu einer höheren Dateneffizienz. Modelle, die auf den umgeschriebenen Daten trainiert wurden, erreichen mit weniger oder gleichen Tokens deutlich bessere Ergebnisse als Modelle, die auf rohen oder nur gefilterten Daten trainiert wurden.

5. Bedeutung und Fazit

Das Paper unterstreicht, dass die Qualität der Trainingsdaten ein kritischer Engpass für die Weiterentwicklung von LLMs ist.

• Shift von Filtern zu Rewriting: Die Arbeit beweist, dass das aktive Verbessern von Daten (Rewriting) eine überlegene Strategie ist, um die Grenzen von Open-Source-Modellen in spezialisierten Domänen wie Code und Mathematik zu verschieben.
• Community-Asset: Durch die Veröffentlichung der Daten und Werkzeuge wird eine nachhaltige Ressource für die Open-Source-Community geschaffen, die es ermöglicht, hochwertige Modelle ohne den Zugang zu proprietären Daten zu entwickeln.
• Skalierbarkeit: Die Pipeline ist modular und kann auf andere Programmiersprachen oder Domänen übertragen werden, sobald die entsprechenden Linting-Tools und Rewriting-Strategien angepasst sind.

Zusammenfassend demonstriert das Paper, dass systematische Datenaufbereitung durch LLMs die Leistung von Basis-Modellen signifikant steigern kann und einen neuen Standard für die Erstellung hochwertiger Open-Source-Vor-Trainings-Korpora setzt.