Aleph-Alpha-GermanWeb: Improving German-language LLM pre-training with model-based data curation and synthetic data generation

Dit paper introduceert Aleph-Alpha-GermanWeb, een 628 miljard woorden tellend Duits pre-training dataset dat door middel van modelgebaseerde curatie en synthetische data generatie aanzienlijk betere prestaties bereikt dan bestaande datasets zoals FineWeb2.

De kern

Stel je voor dat je een zeer intelligente Duitse chatbot wilt bouwen. Om dit te doen, moet je de computer "voeden" met enorme hoeveelheden tekst, net zoals een kind moet leren door boeken te lezen, gesprekken te horen en de wereld te ontdekken.

Dit artikel van Aleph Alpha Research gaat over hoe ze een super-voedingsplan hebben gemaakt voor een Duitse kunstmatige intelligentie (AI), genaamd Aleph-Alpha-GermanWeb.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het probleem: Kwaliteit is belangrijker dan kwantiteit

Vroeger dachten onderzoekers: "Hoe meer tekst, hoe beter." Maar dat werkt niet altijd. Als je een kind laat lezen uit een stapel rommelige krantenknipsels, reclamefolders en onzinberichten, leert het niet zo snel als wanneer je het goede boeken geeft.

De auteurs zeggen: "Kwaliteit wint van kwantiteit." Ze wilden bewijzen dat je met minder, maar beter geselecteerde Duitse tekst, een slimmer model kunt krijgen dan met een enorme, rommelige hoop data.

2. De oplossing: Een drie-gangenmenu

In plaats van één grote, saaie hoop data te gebruiken, hebben ze een speciaal "menu" samengesteld voor hun AI. Dit menu bestaat uit drie delen:

• De "Organische" Basis (Het vers geplukte fruit):
  Ze hebben een hoop tekst van het internet gehaald (zoals Common Crawl en FineWeb2). Maar ze hebben deze niet zomaar gebruikt. Ze hebben een digitale filter gebruikt om het "rotte fruit" weg te halen.

  • Vergelijking: Stel je voor dat je een grote emmer met zeezand en schelpen hebt. In plaats van alles te eten, gebruiken ze een fijne zeef om alleen de mooiste, schoonste schelpen (de goede teksten) over te houden en het zand (reclame, spam, fouten) weg te gooien.

• De "Synthetische" Versterking (De keuken van de meester-chef):
  Dit is het meest innovatieve deel. Ze hebben een slimme AI (een "meester-chef") gevraagd om op basis van de goede teksten nieuwe teksten te schrijven.

  • Hoe werkt het? De chef neemt een goed artikel over geschiedenis en zegt: "Schrijf dit als een Wikipedia-artikel," of "Maak hier een quiz van," of "Vat dit samen."
  • Vergelijking: Het is alsof je een meesterkok hebt die een recept leest en vervolgens tien nieuwe, perfecte varianten van dat gerecht bedenkt. Hierdoor krijgen ze veel meer "lekker" eten voor de AI, zonder dat ze nieuwe mensen hoeven te vragen om te schrijven.

• De "Kwaliteitscontrole" (De keurmeesters):
  Ze hebben niet alleen gefilterd, maar ook elke tekst een cijfer gegeven (van 1 tot 5) door middel van slimme software. Ze hebben gekeken: Is de grammatica goed? Is het inhoudelijk waardevol? Is het een chatbericht of een serieus artikel? Alleen de beste stukken kwamen in de eindmix.

3. De proef: De "smaktest"

Om te zien of dit menu werkte, hebben ze twee verschillende soorten "proevers" (AI-modellen) getraind:

1. Een klein model (1 miljard "hersencellen").
2. Een groter model (8 miljard "hersencellen").

Ze hebben deze modellen getraind met hun nieuwe Aleph-Alpha-GermanWeb dataset en vergeleken met de standaard dataset (FineWeb2) die iedereen gebruikt.

Het resultaat?
De modellen die met hun nieuwe, zorgvuldig geselecteerde en "verrijkte" dataset waren getraind, waren duidelijk slimmer.

• Ze beantwoordden vragen over geschiedenis, wetenschap en logica beter.
• Dit geldt zelfs voor het grotere model, en zelfs als de standaard dataset werd aangevuld met bekende bronnen zoals Wikipedia.

4. Waarom is dit belangrijk?

Stel je voor dat je een auto wilt bouwen.

• De oude manier: Neem een berg schroot, gooi er een motor in en hopen dat het rijdt.
• De nieuwe manier (van dit papier): Neem alleen de beste onderdelen, polijst ze, en bouw er een racewagen van.

De auteurs tonen aan dat je niet per se de grootste berg data nodig hebt om een slimme Duitse AI te maken. Als je slimme filters gebruikt en AI helpt om nieuwe, goede tekst te genereren, kun je met minder moeite een veel slimmere machine bouwen.

Kort samengevat:
Ze hebben een recept bedacht om Duitse internetteksten te "zuiveren" en te "vermenigvuldigen" met behulp van slimme AI. Het resultaat is een dataset die als een vitamine-rijk dieet werkt voor een computer, waardoor deze veel sneller en beter leert dan wanneer hij zich zou voeden met "junk food" van het internet. En het beste nieuws? Ze maken deze dataset gratis beschikbaar voor iedereen.

Technische samenvatting

Probleemstelling

Hoewel het schalen van de hoeveelheid data essentieel is voor Large Language Models (LLMs), tonen recente bevindingen aan dat datakwaliteit een nog grotere impact heeft op prestaties en trainingsefficiëntie dan louter kwantiteit. Voor talen zoals het Duits bestaat er een tekort aan hoogwaardige, schaalbare pre-training datasets.

• Bestaande datasets zoals FineWeb2 zijn grotendeels gebaseerd op heuristische filtering (regels) en bevatten voor het Duits slechts een klein percentage (<1,4%) van de totale dataset.
• Bestaande methoden voor het verbeteren van niet-Engelse data (zoals machine vertaling) brengen sociaal-technische problemen met zich mee en missen vaak de unieke syntactische voordelen van synthetische data.
• Er is behoefte aan een pipeline die specifiek is ontworpen voor het Duits, die gebruikmaakt van model-gebaseerde curatie en synthetische data-generatie om de beperkingen van puur organische webdata te overwinnen.

Methodologie

De auteurs introduceren Aleph-Alpha-GermanWeb, een dataset van 628 miljard woorden (in de abstract) tot 642 miljard woorden (in de bijdragen), samengesteld uit drie complementaire subsets. De curatie-pipeline omvat drie hoofdbestanden:

1. Curatie van Common Crawl (Organische Subset)

De auteurs volgen een aangepaste versie van de RefinedWeb-pipeline (zoals gebruikt in FineWeb2), maar met specifieke verbeteringen voor het Duits:

• Filtering: Toepassing van URL-filtering (fraude, volwassen inhoud), tekstextractie met RESILIPARSE (in plaats van TRAFILATURA voor betere downstream prestaties), en taalidentificatie.
• Repetitie- en Deduplicatie: Strikte verwijdering van repetitieve zinnen en zware deduplicatie (exact en "fuzzy" via MinHash en LSH). In tegenstelling tot FineWeb2, dat duplicaten soms behoudt ("rehydration"), verwijdert deze pipeline ze volledig.
• Document-filtering: Toepassing van heuristieken voor documentlengte, woordlengte, symbolen-ratio en aanwezigheid van veelvoorkomende Duitse woorden.

2. Synthetische Data Generatie

Dit is een kerncomponent van de dataset (329 miljard woorden).

• Conditie: Synthetische data wordt gegenereerd op basis van "organische" webdata uit FineWeb2.
• Model: Gebruik van de 12B-parameter Mistral-Nemo-Instruct-2407 LLM.
• Prompts: Vijf specifieke prompt-sjablonen werden gebruikt om educatieve content, samenvattingen, herformuleringen (in Wikipedia-stijl), vraag-antwoordparen en lijsten met feitelijke informatie te genereren.
• Beperking: Om "model collapse" te voorkomen en overfitting te minimaliseren, is het aantal prompts beperkt tot vijf per bron-document, wat resulteert in maximaal vijf synthetische outputs per organische input.

3. Model-gebaseerde Kwaliteitsclassificatie

In plaats van alleen heuristieken, gebruiken de auteurs een ensemble van modellen om documenten in vijf kwaliteitsbuckets in te delen (Hoog tot Laag):

• Grammatica-classificatie: FastText en BERT-modellen getraind op data gelabeld door LanguageTool.
• Educatieve Kwaliteit: Modellen getraind op scores gegeven door een "LLM-as-a-judge" (Mistral-Nemo) die content beoordeelt op coherentie, taalgebruik en orthografie.
• Instructie-stijl: Modellen die chat/instructie-achtige data onderscheiden van andere tekst.
• Ensembling: Documenten krijgen punten op basis van de voorspellingen van deze modellen en worden vervolgens ingedeeld in de vijf buckets.

Belangrijkste Bijdragen

1. Aleph-Alpha-GermanWeb Dataset: Een openbare dataset van 642 miljard woorden, bestaande uit gefilterde Common Crawl data, FineWeb2 data, en synthetisch gegenereerde data.
2. Validatie van Synthetische Data: Het paper demonstreert dat synthetische data, geconditioneerd op organische data, de prestaties van LLMs significant kan verbeteren, zelfs in vergelijking met puur organische, hoogwaardige datasets.
3. Uitgebreide Evaluatie: Training en evaluatie van twee verschillende architecturen (een 1B Llama-stijl model en een 8B tokeniser-vrije HAT-model) op alle subsets, zonder data-mixing, om de kwaliteit van elke subset isolatie te testen.
4. Open Access: De dataset is publiek beschikbaar gesteld aan de onderzoeksgemeenschap.

Resultaten

De datasets werden getraind en geëvalueerd op diverse Duitse benchmarks, waaronder MMMLU, ARC-Easy, HellaSwag en TruthfulQA.

• 1B Llama-stijl Model: Alle drie de subsets van GermanWeb (Synthetisch, Gefilterde Common Crawl, en de "High" bucket van FineWeb2) presteerden beter dan het basis-FineWeb2. De synthetische data toonde vooral sterke prestaties op de MMMLU-benchmark.
• 8B HAT (Hierarchical Autoregressive Transformer) Model:
  • Dit model is tokeniser-vrij (werkt op byte-niveau), wat bias door tokenizers elimineert en een eerlijke vergelijking mogelijk maakt.
  • De synthetische subset van GermanWeb presteerde over het algemeen beter dan willekeurig geselecteerde FineWeb2 data.
  • Cruciaal: Zelfs wanneer FineWeb2 werd verrijkt met door mensen gecureerde hoogwaardige bronnen (zoals Wikipedia, juridische documenten, boeken), bleef de synthetische subset van GermanWeb beter presteren op de geteste benchmarks.
  • De gefilterde Common Crawl subset presteerde ook beter dan FineWeb2, zelfs op schaal van 8B parameters.

Betekenis en Conclusie

Het paper levert sterk bewijs dat model-gebaseerde data-curatie en synthetische data-generatie essentieel zijn voor het verbeteren van pre-training datasets voor talen waar data schaars is.

• Het weerlegt de aanname dat alleen "echte" organische data van hoge kwaliteit nodig is; goed gegenereerde synthetische data kan de kwaliteit en diversiteit van een dataset aanzienlijk verhogen.
• Het biedt een blauwdruk voor het creëren van hoogwaardige datasets voor andere talen die niet over de schaal van Engels beschikken.
• De resultaten suggereren dat de toekomst van LLM-pre-training ligt in een slimme mix van georganiseerde organische data en synthetisch gegenereerde data, in plaats van louter het vergroten van de datasetgrootte met ruwe webdata.

De auteurs waarschuwen wel voor de risico's van "model collapse" bij uitsluitend synthetische training en benadrukken dat synthetische data het beste werkt als een aanvulling op organische data, of in combinatie met strikte kwaliteitscontroles.