💬 NLP

KletterMix: Climbing Toward High-Quality German Pretraining Data

Het artikel introduceert KletterMix, een hoogwaardige Duitse pretraining-corpus die is gecreëerd door een state-of-the-art Engelse dataset te vertalen met behoud van de structuur en diversiteit, en demonstreert door middel van gecontroleerde experimenten dat modellen die getraind zijn op deze gecureerde data meetbare verbeteringen bereiken in downstream Duitse taken vergeleken met bestaande bronnen.

Oorspronkelijke auteurs: Maurice Kraus, Ruben Härle, Sebastian Sztwiertnia, Abbas Goher Khan, Mehdi Ali, Michael Fromm, Kristian Kersting

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maurice Kraus, Ruben Härle, Sebastian Sztwiertnia, Abbas Goher Khan, Mehdi Ali, Michael Fromm, Kristian Kersting

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Duitse Taal Kloof"

Stel je voor dat je een robot probeert te leren hoe hij moet spreken en denken. Om dit te doen, moet je hem een enorme bibliotheek aan boeken, artikelen en websites voeren (dit wordt pretraining data genoemd).

Lange tijd had het Engels de beste bibliotheek ter wereld: enorm, divers en zorgvuldig georganiseerd. Maar de Duitse bibliotheek was veel kleiner, rommeliger en minder georganiseerd. Het is alsof je een wolkenkrabber probeert te bouwen in het Engels met een volledige gereedschapskist, maar probeert een wolkenkrabber in het Duits te bouwen met slechts een paar verspreide hamers en wat roestige spijkers.

De auteurs van dit paper vroegen zich af: Kunnen we de Duitse bibliotheek repareren door de beste Engelse bibliotheek te vertalen?

De Oplossing: KletterMix (De "Climbing Mix")

Het team creëerde KletterMix (Duits voor "Climbing Mix"). Zie dit als het nemen van het meest zorgvuldig samengestelde, hoogwaardige Engelse "recept" voor het trainen van AI en het vertalen daarvan naar het Duits.

Maar ze gebruikten niet zomaar een simpele "kopiëren en plakken" vertaler. Ze bouwden een geavanceerde pijplijn om ervoor te zorgen dat de Duitse versie dezelfde structuur en kwaliteit behield als het Engelse origineel.

De Analogie: Het Architecturale Blauwdruk
Stel je voor dat de Engelse data een reeks blauwdrukken is voor een complexe, prachtige stad.

Oude Methode: Alleen de woorden op de blauwdrukken vertalen. Je eindigt misschien met een stad waar de wegen niet aansluiten of de gebouwen de verkeerde afmetingen hebben.
KletterMix Methode: Ze vertaalden de blauwdrukken, maar behielden de exacte lay-out, de straatnamen, de bestemmingsplannen en de metadata. Ze zorgden ervoor dat als een gebouw in de Engelse blauwdruk een "bibliotheek" was, de Duitse versie ook een "bibliotheek" was, en geen willekeurig huis. Ze behielden de "ziel" van de oorspronkelijke data.

Hoe ze het bouwden (De Pijplijn)

Het bouwen hiervan was niet eenvoudig. Ze moesten drie puzzels oplossen:

Het "Grootte" Probleem: Sommige Engelse documenten zijn minuscule tweets; andere zijn enorme technische handleidingen. Een vertaler die werkt voor een tweet, kan vastlopen op een handleiding.
- De Oplossing: Ze sorteerden documenten in "bakken" op basis van grootte. Korte docs kregen één vertaalinstelling; lange docs kregen een speciale instelling die meer tekst kon verwerken zonder vast te lopen.
Het "Context" Probleem: Als je een lang boek pagina voor pagina vertaalt zonder naar de vorige pagina te kijken, kan het verhaal vreemd worden.
- De Oplossing: Ze gebruikten een "context window". Wanneer ze pagina 2 vertaalden, mocht het systeem even spieken naar de Duitse vertaling van pagina 1 om de toon en stijl consistent te houden.
Het "Kwaliteitscontrole" Probleem: Hoe weet je of de vertaling goed is zonder elk woord te lezen?
- De Oplossing: Ze gebruikten een "slim filter". Eerst gebruikten ze een hoogtechnologische AI (COMETKiwi) om een steekproef van de vertalingen te beoordelen. Daarna trainden ze een goedkopere, snellere AI (een "proxy") om naar de Duitse tekst te kijken en de kwaliteitsscore te raden op basis van patronen (zoals zinslengte, vreemde tekens of herhaling). Dit stelde hen in staat om de slechte vertalingen eruit te filteren zonder de originele Engelse tekst opnieuw te hoeven lezen.

Werkte het? (De Resultaten)

Het team testte deze nieuwe Duitse data door een klein AI-model (0,6 miljard parameters) erop te trainen. Ze vergeleken dit met andere bestaande Duitse datasets.

De Analogie: De Trainingskamp
Stel je drie hardlopers voor die trainen voor een race:

Loper A (GermanWeb): Getraind op een mix van willekeurige Duitse websites.
Loper B (FineWeb2-DE): Getraind op een gefilterde Duitse web crawl.
Loper C (KletterMix): Getraind op de vertaalde, hoogwaardige Engelse mix.

De Race-resultaten:

Loper C (KletterMix) rende niet alleen sneller; hij rende ook slimmer.
Bij algemene kennis (MMLU) en fysiek gezond verstand (PIQA) was Loper C competitief met de beste.
De Echte Overwinning: Loper C verpletterde de tests die redeneren en verhalen vertellen vereisten (HellaSwag en ARC-Challenge).
- Waarom? Omdat de oorspronkelijke Engelse data vol zat met coherente verhalen, logische verklaringen en gestructureerde argumenten. Door die structuur naar het Duits te vertalen, leerde de AI om logisch na te denken in het Duits, en niet alleen om het in het Duits te spreken.

Ze testten ook "Annealing" (een techniek waarbij je een model traint op één dataset en het vervolgens finetunet op een andere). Wanneer ze een model dat getraind was op standaard Duitse data een "extra dosis" KletterMix gaven, sprongen de redeneervaardigheden van het model aanzienlijk omhoog.

De Addertjes onder het Gras (Beperkingen)

De auteurs zijn eerlijk over de gebreken:

Culturele Bias: Omdat de bron Engels is, kan de Duitse data nog steeds een Amerikaanse of Britse culturele bias bevatten, zelfs na vertaling.
"Translationese": Soms kan het Duits wat stijf of onnatuurlijk klinken, alsof een zin door een robot is vertaald in plaats van door een inheemse dichter geschreven.
Geen Vervanging: Dit is geen tovermiddel dat de noodzaak voor inheemse Duitse data vervangt. Het is een krachtige aanvulling die de gaten opvult.

De Kern van het Verhaal

KletterMix bewijst dat je niet altijd vanaf nul hoeft te beginnen om een geweldige dataset voor een niet-Engelse taal te bouwen. Als je een hoogwaardige, goed georganiseerde Engelse dataset neemt en deze zorgvuldig vertaalt — waarbij je de structuur behoudt en de slechte delen eruit filtert — kun je een Duitse dataset creëren die AI-modellen helpt om veel beter te denken en te redeneren dan ze met standaard Duitse webdata alleen zouden kunnen.

Het is alsoك realiseren dat je om een betere Duitse bibliotheek te bouwen, niet alleen meer Duitse boeken nodig hebt; je moet de beste Engelse boeken importeren, ze perfect vertalen en ze in de juiste volgorde in de schappen zetten.

Technische Samenvatting: KletterMix: Klimmen naar hoogwaardige Duitse pretraining-data

Probleemstelling

Hoogwaardige pretraining-data is een primaire determinant voor de prestaties van taalmodellen. Terwijl het Engels heeft geprofiteerd van grote, diverse en goed gedocumenteerde pretraining-corpora (bijv. ClimbMix, Dolma), blijven de Duitse bronnen relatief onderontwikkeld. Bestaande Duitse datasets zijn vaak afgeleid van ruisende webcrawls, ingebed als subsets van meertalige corpora, of uitgebracht met beperkte documentatie en validatie via gecontroleerde trainingsexperimenten. Natuurlijk Duits web crawlen alleen is onvoldoende om de brondiversiteit, mengmix-ontwerp en documentatiestandaarden van top-tier Engelse datasets te repliceren zonder agressieve filtering die nuttige long-tail content kan verwijderen. Bovendien kan sterk Duits modelgedrag niet louter worden verondersteld op basis van Engelstalige data vanwege specifieke linguïstische kenmerken zoals morfologie, samenstellingen, hoofdlettergebruik en regionale variatie.

Methodologie

De auteurs introduceren KletterMix, een 725B-token Duitse pretraining- en annealing-corpus, geconstrueerd door ClimbMix, een state-of-the-art Engelse pretraining-mix, naar het Duits te vertalen. De constructie volgt een vijffasen-pipeline ontworpen om documentgrenzen, metadata, bronstructuur en topische diversiteit te behouden:

Bron-record Normalisatie: De Engelse bron wordt opgeslagen als gescheiden JSONL-bestanden die document-identifiers, tekst en metadata (broncluster, locatie, geschatte lengte) bevatten. Deze structuur wordt gedurende de gehele pipeline behouden.
Lengte-bewuste Routing: Om variabele documentlengtes efficiënt af te handelen, worden documenten gerouteerd naar context-buckets (kort, medium, lang, overflow) op basis van hun bronlengte. Dit maakt bucket-specifieke bron- en doelbudgetten mogelijk, wat padding en scheduling-inefficiënties vermindert.
Document-behoudende Vertaling:
- Korte documenten worden in één passage vertaald.
- Lange documenten worden gesegmenteerd in zinnen en hebzuchtig (greedily) in chunks gepakt. Als een zin het chunk-budget overschrijdt, wordt deze op token-niveau gesplitst.
- Voor ge-chunkte documenten wordt de vertaling van chunk $t-1$ opgenomen als een afgekapte context-window voor chunk $t$ om de discursieve continuïteit en terminologische consistentie te waarborgen.
- Dynamische doelzijde-budgettering wordt gebruikt, waarbij de maximale generatie-lengte wordt afgeleid van de bron-chunk lengte ( $\ell_{max}^{tgt} = \min(L_{max}, \lceil \alpha\ell_{src} + \beta\rceil)$ ) om de natuurlijke neiging tot oppervlakte-lengte-expansie in het Duits op te vangen.
Schaalbare Shard-wijze Executie: Vertaling wordt uitgevoerd door parallelle workers op disjuncte subsets van het corpus. Workers behouden de originele identifiers voor traceerbaarheid en implementeren resume-mogelijkheden voor onderbroken runs.
Kwaliteitsschatting en Filtering:
- Pilot Subset: Een gestratificeerde steekproef van het corpus wordt gescoord met COMETKiwi, een referentievrije kwaliteitsschatting, om hoogwaardige labels te genereren.
- Proxy Training: Een gradient-boosted regressiemodel wordt getraind op de pilot-data om COMETKiwi-scores te voorspellen met enkel doelzijde-kenmerken (Duitse tekst) en goedkope metadata (bijv. GlotLID taalidentificatie, tekstvorm, herhalingsratio's).
- Filtering: Het proxy-model scoort het volledige corpus. Drie gefilterde 12B-token trainingssplits worden gecreëerd door documenten te behouden met proxy-scores $\ge 0.50$ , $\ge 0.55$ , en $\ge 0.60$ .

Belangrijkste Bijdragen

KletterMix Dataset: Een 725B-token Duits corpus geconstrueerd vanuit een hoogwaardige Engelse bron, waarbij document-niveau structuur, metadata en de mix-ontwerp behouden zijn gebleven.
Schaalbare Vertaal-pipeline: Een methodologie voor het vertalen van pretraining-data die length-aware routing, document-behoudende chunking, dynamische budgettering en shard-wijze executie omvat.
Kwaliteitsdiagnostiek: Een uitgebreide documentatie van het corpus met behulp van COMETKiwi- en proxy-gebaseerde kwaliteitsschatting, naast analyses van lengteverdelingen, topic coverage en metadata-behoud.
Empirische Validatie: Gecontroleerde pretraining en annealing ablaties die KletterMix vergelijken met gevestigde Duitse corpora (FineWeb2-DE en GermanWeb).

Resultaten

De auteurs evalueerden KletterMix met een Qwen3-0.6B model onder gelijke 12B-token trainingsbudgetten.

Trainingsdynamiek: Modellen getraind op KletterMix bereikten een lagere training- en validatieverlies vergeleken met modellen getraind op FineWeb2-DE en GermanWeb, wat wijst op verbeterde sample-efficiëntie.
Downstream Benchmarks: Op een suite van Duitse benchmarks (MMLU, PIQA, HellaSwag, ARC-Challenge) presteerden KletterMix-varianten over het algemeen beter dan de baselines in aggregatie (Core Avg).
- De gefilterde KletterMix (score $\ge 0.60$ ) behaalde de hoogste Core Avg (40.2), waarmee FineWeb2-DE (38.3) en GermanWeb (36.8) werd overtroffen.
- KletterMix toonde bijzondere kracht in HellaSwag (gegronde commonsense inferentie) en ARC-Challenge (wetenschappelijke redenering), wat suggereert dat het corpus effectief coherente verklarende structuren overdraagt.
- Annealing Experimenten: Bij het annealen van een model dat vooraf is getraind op FineWeb2-DE, leverde de overstap naar KletterMix een hogere Core Avg op (39.4) dan de overstap naar GermanWeb (37.6), waarbij de winsten geconcentreerd waren in HellaSwag en ARC-C.
Kwaliteitsanalyse: Corpus-diagnostiek onthulde een heavy-tailed lengteverdeling die consistent is met de bron. Echter, "lagere staarten" in long-context buckets (waar lange Engelse documenten resulteerden in ongewoon korte Duitse vertalingen) werden geïdentificeerd als potentiële foutmodi die een audit vereisen.

Betekenis en Claims

Het artikel betoogt dat zorgvuldig gecureerde vertaalde data de Duitse pretraining-data-ecosysteem substantieel kan versterken. De betekenis van KletterMix ligt niet in het vervangen van native Duitse data, maar in het demonstreren dat de curatiebeslissingen, brondiversiteit en de mix-structuur van een sterke Engelse corpus kunnen worden overgedragen naar het Duits via hoogwaardige vertaling en rigoureuze validatie.

De auteurs claimen dat deze aanpak meer overdraagt dan enkel de oppervlakkige vorm; het draagt de nuttige mix-structuur over. De resultaten suggereren dat vertaalde data de capaciteiten van modellen kan verbeteren in gebieden die gestructureerde context vereisen, zoals event-level plausibiliteit en compositionele redenering. De paper houdt echter een bescheiden standpunt en erkent dat:

Vertaalde data culturele, geografische en licentie-biases van de Engelse bron kan erven.
Machinevertaling artefacten kan introduceren (translationese, semantische drift) en kan falen bij gespecialiseerde documenten.
Proxy-gebaseerde filtering een praktisch ranking-signaal is voor training met een vast budget, maar geen universele kwaliteitswet (aangezien MMLU-prestaties niet monotoon verbeterden met strengere filtering).
De huidige resultaten beperkt zijn tot een specifieke modelgrootte (0.6B) en token-budget, wat toekomstig werk op grotere modellen en bredere benchmarks noodzakelijk maakt.

Uiteindelijk presenteert KletterMix een praktische route voor niet-Engelse pretraining die prioriteit geeft aan documentatie, empirische validatie en het behoud van dataset-structuur boven eenvoudige schaal of louter native crawling.