💬 NLP

Enhancing Multilingual LLM Pretraining with Model-Based Data Selection

Deze paper introduceert een transparant en efficiënt modelgebaseerd framework voor het selecteren van diverse, kennisrijke data uit meertalige datasets, wat leidt tot aanzienlijke prestatieverbeteringen bij meertalige taalmodellen met slechts een fractie van de trainingstokens.

Oorspronkelijke auteurs: Bettina Messmer, Vinko Sabolčec, Martin Jaggi

Gepubliceerd 2026-02-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bettina Messmer, Vinko Sabolčec, Martin Jaggi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm groot bibliotheek wilt bouwen voor een super-intelligente robot (een "Large Language Model" of LLM). Deze robot moet alles kunnen: van het schrijven van gedichten tot het oplossen van wiskundeproblemen, en dat niet alleen in het Engels, maar in tientallen talen.

Het probleem is: het internet is een enorme, rommelige berg met informatie. Er zit veel goud tussen (leuke verhalen, feiten, instructies), maar ook heel veel rotzooi (spam, dubbele teksten, onzin, en advertenties). Als je je robot laat leren van die hele rommelige berg, wordt hij niet slim, maar juist verward en traag.

De uitdaging: De "Multilinguale vloek"
Tot nu toe hebben onderzoekers vooral goed gekeken naar het Engels. Ze hebben slimme filters bedacht om alleen de beste Engelse teksten te selecteren. Maar voor andere talen (zoals Nederlands, Arabisch of Chinees) was er minder onderzoek. Hierdoor zijn robots die in het Engels praten vaak veel slimmer dan robots die in andere talen praten. Dit noemen de auteurs de "vloek van meertaligheid": hoe meer talen je probeert te leren, hoe slechter je het doet in elke individuele taal, tenzij je heel slim selecteert.

De oplossing: Een slimme "Boekkeurmeester"
De auteurs van dit paper hebben een nieuwe methode bedacht om die rommelige internet-berg te sorteren. In plaats van te kijken naar simpele regels (zoals "teksten met te weinig leestekens zijn slecht"), hebben ze een slimme robot-assistent (een model) getraind om te bepalen wat een "goede" tekst is.

Hier is hoe het werkt, in begrijpelijke termen:

1. Het recept voor de "Goede Tekst"

De onderzoekers wilden weten: wat maakt een tekst goed voor een robot om van te leren? Ze hebben twee belangrijke eisen gesteld:

Gestructureerd: De tekst moet logisch opgebouwd zijn (zoals een goed geschreven artikel of een duidelijke uitleg), niet zomaar een wirwar van woorden.
Vol met kennis: De tekst moet feiten of waardevolle informatie bevatten, niet alleen maar "hallo" en "tot ziens".

Om dit te leren, hebben ze een "proefleesgroep" samengesteld. Dit zijn bestaande, hoogwaardige datasets (zoals examenvragen, instructies voor robots, en kennisvragen) in verschillende talen. Dit is hun referentiekader.

2. De twee methoden: De Snelle Scan vs. De Diepe Analyse

Ze hebben twee manieren gebruikt om de internet-berg te filteren:

De Snelle Scan (FastText): Dit is als een snelle scanner die op de oppervlakte kijkt. Hij is heel snel en goedkoop, maar kijkt vooral naar woordkeuze en zinsbouw. Dit is goed als je weinig rekenkracht hebt.
De Diepe Analyse (Transformer/MLP): Dit is als een ervaren boekrecensent die echt in de tekst duikt. Deze robot begrijpt de betekenis en de context. Hij kan zien of een tekst echt waardevolle kennis bevat, zelfs als de woorden anders zijn dan in de proefleesgroep. Dit is de krachtigste methode.

3. Het resultaat: Minder is Meer

Het meest verrassende resultaat is dit: Je hoeft niet de hele berg te lezen.

De onderzoekers hebben getoond dat je met hun nieuwe filter slechts 15% van de oorspronkelijke hoeveelheid tekst hoeft te gebruiken om een robot te trainen die net zo goed (of zelfs beter) presteert als een robot die op de hele, ongesorteerde berg is getraind.

Voorbeeld: Stel je voor dat je normaal 1000 boeken moet lezen om slim te worden. Met hun filter hoef je maar 150 boeken te lezen, maar wel de allerbeste 150. Je bent dan sneller klaar en je wordt slimmer.

4. Waarom is dit belangrijk?

Gelijkheid: Nu kunnen robots in talen als Chinees, Duits, Frans, Arabisch en Deens (en 15 andere talen) veel beter presteren. De kloof tussen Engels en andere talen wordt kleiner.
Efficiëntie: Het kost minder tijd en minder energie (elektriciteit) om slimme robots te maken, omdat je minder data hoeft te verwerken.
Openheid: De auteurs hebben de "gesorteerde bibliotheken" (de datasets) en de "keurmeesters" (de code) gratis beschikbaar gesteld voor iedereen.

Samenvattend in één zin:
Deze paper laat zien dat je met een slimme, automatische "boekenkeurmeester" de beste teksten uit het internet kunt vissen voor 20 verschillende talen, waardoor je met veel minder data een veel slimmere en eerlijkere AI kunt bouwen.

Probleemstelling

Hoewel datasetcuratie een fundamentele basis vormt voor de prestaties van Large Language Models (LLM's), is er een aanzienlijke dispariteit in de kwaliteit van filters tussen het Engels en andere talen. Bestaande modelgebaseerde filtertechnieken (zoals die in FineWeb-Edu en DCLM) zijn voornamelijk gericht op Engelse data. Voor meertalige datasets wordt vaak nog steeds vertrouwd op heuristische filters (bijv. op basis van woordlengte of leestekens) of perplexiteit, wat minder effectief is in het identificeren van gestructureerde en kennisrijke content. Dit gebrek aan geavanceerde filtering voor niet-Engelse talen dreigt de prestatieverschillen tussen talen verder te vergroten, vooral gezien dat minder dan de helft van de internetinhoud in het Engels is geschreven.

Methodologie

De auteurs ontwikkelen een transparant, eenvoudig en efficiënt framework voor modelgebaseerde filtering van web-schaal meertalige pretraining-datasets. Het doel is om een diverse set van gestructureerde en kennisrijke steekproeven te identificeren.

1. Selectie van Representatieve Steekproeven (Training Data):
Om de kwaliteit van pretraining-data te beoordelen, trainen ze proxy-modellen op een "Multilingual Knowledge Collection" (MKC). Deze collectie bestaat uit een combinatie van hoogwaardige, gestructureerde datasets in meerdere talen:

Aya Collection & Dataset: Instructie-gebaseerde datasets.
MMLU: Meervoudige keuzevragen over kennis (vertaald naar 14 talen).
OpenAssistant-2: Conversatie-data.
Include-Base-44: Examenvragen over regionale kennis in 44 talen.
Er worden twee configuraties gebruikt: MKC (kwaliteitgericht) en MKC+ (schaalgericht, inclusief de grotere Aya Collection).

2. Filteringsbenaderingen:
De auteurs vergelijken drie methoden om documenten te scoren op basis van hun gelijkenis met de positieve steekproeven:

FastText (FT): Een snelle, CPU-gebaseerde classifier (2-gram/4-gram features) die is getraind op de MKC-datasets. Dit is vergelijkbaar met de aanpak van DCLM.
Transformer Embeddings + MLP: Gebruik van de XLM-RoBERTa base model (279M parameters) om embeddings te genereren voor documenten (gepoolde output van de eerste 512 tokens). Een eenvoudige Multi-Layer Perceptron (MLP) wordt getraind om deze embeddings te classificeren als "hoogwaardig" of "laagwaardig".
Cosine Similarity (CS): Berekening van de maximale cosine-afstand tussen een documentembedding en een set van $K$ willekeurig geselecteerde positieve steekproeven.

3. Experimenteel Opzet:

Basisdataset: FineWeb-2 (een state-of-the-art meertalige web-crawl dataset).
Modellen: Training van 1B-parameter Llama-modellen op 70B en 119B tokens.
Talen: Focus op 20 talen, met diepgaande analyse van Chinees, Duits, Frans, Arabisch en Deens.
Validatie: Gebruik van diverse benchmarks (FineTasks, MMLU, ARC, etc.) om leesvaardigheid, redenering en kennis te testen. Er wordt ook een "decontaminatie"-procedure toegepast (verwijdering van 13-gram overlappingen met benchmarks) om te garanderen dat resultaten niet door data-lekkage worden veroorzaakt.

Belangrijkste Bijdragen

Unificatie Framework: Een transparant en schaalbaar framework voor modelgebaseerde filtering dat werkt over diverse taalfamilies, scripts en resourceniveaus.
Efficiëntie en Prestatie: Het aantonen dat modelgebaseerde filtering (vooral met MLP) prestaties kan behalen die vergelijkbaar zijn met de baseline, maar dan met slechts 15% van de trainings-tokens.
Mitigatie van de "Curse of Multilinguality": Het bewijs dat kwaliteitsgefilterde datasets het "meertaligheidsprobleem" (waarbij prestaties dalen bij meer talen in één model) kunnen omkeren. Een meertalig model getraind op gefilterde data presteert beter dan een monolinguale tegenhanger, zelfs bij gelijke token-aantallen per taal.
Open Source: Publicatie van de verfijnde pretraining-datasets voor 20 talen (genaamd FineWeb2-HQ) en de bijbehorende codebase.

Resultaten

Beste Methode: De MLP MKC+ aanpak (Transformer embeddings getraind op de uitgebreide dataset) presteerde consistent het beste over alle talen en benchmarks.
Token-efficiëntie: Modellen getraind op slechts 10-15% van de tokens (geselecteerd via MLP MKC+) behaalden vergelijkbare of betere resultaten op benchmarks (zoals MMLU en CMMLU) dan modellen getraind op de volledige, ongefilterde FineWeb-2 dataset.
Vergelijking met Baselines: De methode overtrof de state-of-the-art baselines (FineWeb-2, DCLM, FineWeb-Edu) in zowel Engelstalige als meertalige setting.
Decontaminatie: De resultaten bleven robuust na het verwijderen van potentiële data-lekkage (decontaminatie), wat aantoont dat de prestatieverbetering echt komt door de hogere kwaliteit van de data en niet door het "leren" van de antwoorden.
FastText als Alternatief: Hoewel MLP het beste presteerde, bleek FastText een zeer competitief, computerefficiënt alternatief, vooral voor scenario's met beperkte resources.

Betekenis en Impact

Dit werk is significant omdat het de kloof in LLM-prestaties tussen het Engels en andere talen helpt dichten door geavanceerde, modelgebaseerde filtering toegankelijk te maken voor een breed scala aan talen. Het bewijst dat kwaliteit boven kwantiteit gaat: door slimme data-selectie kunnen modellen efficiënter worden getraind met minder tokens, wat kosten verlaagt en de toegankelijkheid van hoogwaardige meertalige AI vergroot. De release van de datasets (FineWeb2-HQ) en de code biedt de gemeenschap een direct bruikbaar hulpmiddel voor het trainen van toekomstige meertalige LLM's.