Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

Deze paper introduceert de open source datasets SwallowCode en SwallowMath, die door systematisch herschrijven van bestaande code en wiskundige problemen de prestaties van grote taalmodellen op code- en rekenopgaven aanzienlijk verbeteren binnen een vast trainingsbudget.

De kern

🍳 Van Rundergehakt naar Sterke Stoofschotel: Hoe SwallowCode en SwallowMath LLM's verbeteren

Stel je voor dat een Grote Taalmodel (LLM) een jonge kok is die wil leren koken. Om goed te worden, moet deze kok een enorme hoeveelheid recepten (data) lezen en oefenen.

In het verleden kregen deze koks vaak een grote zak met rundergehakt (publieke internetdata). Het probleem? Dat gehakt zat vol met:

• Verrotte stukken vlees (foutieve code).
• Onnodig veel vet en botten (onnodige tekst en opmaak).
• Recepten die half af waren of onleesbaar waren (slechte wiskundige oplossingen).

Als je een kok alleen dat slechte gehakt geeft, wordt hij nooit een sterrenchef. Hij leert slechte gewoontes aan.

De auteurs van dit paper hebben een nieuwe aanpak bedacht: SwallowCode en SwallowMath. In plaats van alleen het slechte vlees weg te gooien (wat veel data kost), hebben ze een super-chef (een slimme AI) ingezet om het gehakt te herwerken. Ze hebben het vlees schoongemaakt, de botten verwijderd, het op smaak gebracht en er een perfecte stoofschotel van gemaakt.

---

1. Het Probleem: De "Data-Kwaliteitskloof" 🕳️

De beste AI-modellen ter wereld (zoals die van grote bedrijven) gebruiken geheime, super-hoge kwaliteit data. De open-source wereld (waar iedereen vrij kan meedoen) heeft vaak alleen toegang tot "ruwe" data uit het internet. Dat is als proberen een Michelin-sterrenchef te worden met alleen maar restjes uit de vuilnisbak.

De auteurs wilden die kloof dichten. Ze zeiden: "Laten we niet wachten tot we betere data vinden. Laten we de data die we hebben, gewoon verbeteren."

2. De Oplossing: De "Transform-and-Retain" Methode 🔄

In plaats van te zeggen: "Dit stukje code is slecht, gooi het weg!" (wat ze "filteren" noemen), zeggen ze: "Dit stukje code is raar, maar laten we het herstellen."

Ze noemen dit de Transform-and-Retain methode (Verander-en-Behoud).

• Voorbeeld Code (SwallowCode):
  Stel, je hebt een Python-code snippet die werkt, maar de variabelen heten x, y en z, en er ontbreekt een puntkomma.

  • Oude methode: Weg ermee.
  • Nieuwe methode: De AI leest het, denkt: "Ah, dit is een som, maar de naamgeving is slecht." De AI herschrijft het naar duidelijke namen, voegt uitleg toe en zorgt dat de code zelfstandig werkt. Het resultaat is een leerzaam voorbeeld in plaats van een fout.

• Voorbeeld Wiskunde (SwallowMath):
  Stel, je hebt een wiskundevraag op een website, maar er staat ook een cookie-bericht, een datum en een reclamebanner omheen. De oplossing is ook vaag.

  • Oude methode: De tekst is rommelig, wees voorzichtig.
  • Nieuwe methode: De AI snijdt de reclame weg, vult ontbrekende stappen in de oplossing aan en maakt het een stap-voor-stap uitleg die een kind kan begrijpen.

3. De Processtappen: De Keuken van Swallow 🍳

Voor de code (SwallowCode) hebben ze een vier-staps proces bedacht, alsof ze een keuken hebben met vier stations:

1. De Keurmeester (Syntaxis): "Is dit überhaupt eetbaar?" Als de code niet eens compileert (niet werkt), wordt het weggegooid.
2. De Keukenschoonmaker (Pylint): "Is het netjes?" Ze gebruiken een tool die kijkt of de code voldoet aan de regels (zoals netjes opmaken). Als het te rommelig is, wordt het opgepoetst of weggegooid.
3. De Stijl-chef (SGCR): "Lijkt dit op een professioneel recept?" Een AI herschrijft de code zodat variabelen duidelijke namen hebben en de structuur logisch is.
4. De Chef-kok (SCOR): "Is dit een complete maaltijd?" De AI zorgt dat de code niet afhankelijk is van externe dingen die niet bestaan, en maakt de oplossing efficiënter.

Het resultaat: Een dataset van 16,1 miljard "woorden" (tokens) die veel zuiverder en leerzamer is dan wat ze ervoor hadden.

Voor wiskunde (SwallowMath) deden ze iets vergelijkbaars: ze verwijderden "web-rommel", vulden ontbrekende context aan en maakten de oplossingen helder.

4. De Resultaten: Van Amateur naar Pro 🏆

Ze hebben getest of dit werkte. Ze namen een standaard AI-model (Llama-3.1-8B) en gaven het 50 miljard tokens aan data om te leren.

• Code: Toen ze het model trainden met hun "herwerkte" data (SwallowCode), werd het 17% beter in het oplossen van programmeeropgaven dan wanneer ze de oude, ruwe data gebruikten.
• Wiskunde: Met SwallowMath werd het model 12% beter in het oplossen van wiskundige problemen.

De vergelijking:
Het is alsof je een student laat studeren met een oude, onleesbare samenvatting (oude data) versus een nieuwe, perfect gestructureerde samenvatting (Swallow-data). De student met de nieuwe samenvatting haalt veel hogere cijfers, zelfs als hij even lang studeert.

5. Waarom is dit belangrijk? 🌍

• Geen verspilling: Ze gooien minder data weg. Ze maken het beste van wat er is.
• Open voor iedereen: Ze hebben hun data, hun code en hun methoden gratis openbaar gemaakt. Iedereen kan nu deze "super-chef" methode gebruiken om hun eigen AI's te verbeteren.
• Betrouwbare resultaten: Ze hebben gecontroleerd of de AI niet gewoon de antwoorden uit de testvragen had geleerd (contaminatie). Nee, de verbetering komt echt door de betere kwaliteit van de data.

Conclusie

Dit paper laat zien dat je niet per se een grotere computer of een geheim recept nodig hebt om een betere AI te maken. Soms is het simpelweg een kwestie van de data beter voorbereiden.

Door de "ruwe data" te herschrijven in duidelijke, foutloze en leerzame voorbeelden, kunnen open-source AI-modellen concurreer met de duurste modellen ter wereld. Het is de kunst van het opkuisen en verbeteren in plaats van het weggooien.

Technische samenvatting

Probleemstelling

De prestaties van Large Language Models (LLMs) in programmeersynthese en wiskundig redeneren worden fundamenteel beperkt door de kwaliteit van hun voor-trainingscorpora. Bestaande openbare datasets (zoals The-Stack-v2 voor code en Finemath-4+ voor wiskunde) zijn voornamelijk gebaseerd op webcrawls en gebruiken vaak alleen regelgebaseerde filtering of uitsluiting van lage-kwaliteit samples. Dit resulteert in datasets die ruis, redundantie en inconsistente stijlen bevatten. Bovendien maken toonaangevende gesloten modellen (zoals Qwen3 en DeepSeek-V3) hun trainingsdata niet openbaar, wat leidt tot een "kwaliteitskloof" in de open-source gemeenschap. Bestaande methoden zoals Stack-Edu filteren lage scores weg, maar verbeteren de onderliggende data niet, waardoor defecten zoals ontbrekende context of slechte variabelenamen blijven bestaan.

Methodologie: De "Transform-and-Retain" Aanpak

De auteurs introduceren een nieuwe filosofie: in plaats van lage-kwaliteit data te verwijderen, wordt deze hergeschreven (rewritten) om de kwaliteit te verhogen. Ze presenteren twee open datasets, SwallowCode en SwallowMath, die zijn opgebouwd via een gestructureerd, vierstaps proces.

1. SwallowCode (Code)

Deze dataset (≈16,1 miljard tokens) is afgeleid van The-Stack-v2 (Python) en doorloopt een vierstaps pijplijn:

• Fase 1: Syntactische Validatie: Alle code wordt gecompileerd met Python 3.10. Samples die niet compileren, worden verwijderd.
• Fase 2: Linter-filtering (Pylint): Code wordt geanalyseerd met Pylint. Samples met een score onder de 7,0 (op een schaal van 0-10) worden verwijderd. Ook wordt een heuristische straf toegepast op code met te veel commentaar ten opzichte van functionaliteit.
• Fase 3: Style-Guided Code Rewriting (SGCR): Een LLM (Llama-3.3-70B-Instruct) herschrijft de code om te voldoen aan de Google Python Style Guide. Dit omvat het standaardiseren van variabele- en functienamen, het toevoegen van type hints, docstrings en het verbeteren van modulaire structuur.
• Fase 4: Self-Contained Optimization Rewriting (SCOR): De code wordt semantisch geoptimaliseerd. Dit omvat het oplossen van ontbrekende afhankelijkheden (zodat de code zelfstandig draait), het vervangen van inefficiënte algoritmen door geoptimaliseerde versies, en het transformeren van triviale snippets naar instructieve voorbeelden.

2. SwallowMath (Wiskunde)

Deze dataset (≈2,3 miljard tokens) is gebaseerd op Finemath-4+. De herschrijvingspijplijn verwijdert web-ruis (headers, footers, privacyverklaringen), herstelt ontbrekende context in vragen/antwoorden en herschrijft oplossingen tot beknopte, stap-voor-stap uitleggen.

Experimenteel Ontwerp:
De auteurs trainden voortdurend (continual pre-training) een Llama-3.1-8B model met een vast budget van 50 miljard tokens. Ze vergeleken hun datasets met baselines zoals Stack-Edu en The-Stack-v2. De evaluatie vond plaats op benchmarks zoals HumanEval, HumanEval+, GSM8K en MATH.

Belangrijkste Bijdragen

1. Open Datasets: Publicatie van SwallowCode en SwallowMath, volledig gelicentieerd onder de Llama 3.3 Community License.
2. Transform-and-Retain Methode: Een bewezen methode die lage-kwaliteit data transformeert in hoogwaardige, zelfstandige voorbeelden, in plaats van data te verwerpen.
3. Reproduceerbaarheid: Alle datasets, prompts, checkpoints en pijplijn-code zijn openbaar gemaakt.
4. Ablatie Studies: Gedetailleerde analyse die aantoont dat elke fase van de pijplijn (filtering, SGCR, SCOR) bijdraagt aan de prestaties, waarbij het herschrijven de grootste winst oplevert.

Resultaten

Binnen een vast trainingsbudget van 50 miljard tokens toonden de resultaten aanzienlijke verbeteringen ten opzichte van de baselines:

• Code (SwallowCode vs. Stack-Edu):
  • +17,0 punten op HumanEval (pass@1).
  • +16,1 punten op HumanEval+ (pass@1).
  • Dit overtreft de prestaties van het basismodel en andere open code-datasets aanzienlijk.
• Wiskunde (SwallowMath vs. Finemath-4+):
  • +12,4 punten op GSM8K.
  • +7,6 punten op MATH.
• Generaliseerbaarheid: De voordelen werden ook bevestigd bij een model gebaseerd op Qwen2-7B, wat aantoont dat de methode niet specifiek is voor de Llama-3-architectuur.

De auteurs merkten op dat het gebruik van MBPP als benchmark problematisch bleek voor hun gestyleerde data, omdat de automatische naamgeving (snake_case) conflicteerde met de niet-standaard namen in MBPP, wat leidde tot een onderwaardering van de daadwerkelijke code-generatiecapaciteit.

Betekenis en Impact

Dit paper is significant omdat het aantoont dat datakwaliteit een kritieke factor is die vaak belangrijker is dan alleen het vergroten van de modelgrootte of het trainingsbudget.

• Efficiëntie: Het herschrijven van data leidt tot snellere en effectievere leergangen. Hoewel het herschrijven zelf rekenkracht kost, compenseert de hogere data-efficiëntie dit tijdens het trainen.
• Open Science: Het dichten van de "kwaliteitskloof" tussen gesloten en open modellen door hoogwaardige, open trainingsdata beschikbaar te stellen.
• Toekomstige Richting: De "transform-and-retain" methode biedt een schaalbare blauwdruk voor onderzoekers om bestaande datasets te verbeteren voor andere domeinen, zonder afhankelijk te zijn van synthetische data die vaak minder diversiteit heeft.

Kortom, het paper bewijst dat systematisch herschrijven van bestaande open data een krachtige strategie is om de grenzen van open-source LLM's in complexe domeinen zoals code en wiskunde te verleggen.