💻 computer science

The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool

Door middel van empirische experimenten op een vaste pool van 24 miljoen tokens toont dit artikel aan dat agressieve kwaliteitsfiltering onder een vastgesteld rekenbudget vaak de modelprestaties schaadt door excessieve datarepetitie af te dwingen, terwijl het behouden van kwalitatief minderwaardige data en het oversamplen van hoogwaardige subsets superieure of gelijkwaardige resultaten oplevert voor diverse doelstellingen.

Oorspronkelijke auteurs: Alexander Memming

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Memming

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren menselijke taal te spreken. Om dit te doen, moet je het de robot voeren met een enorme bibliotheek aan tekst—boeken, websites, artikelen en meer. Een lange tijd dachten wetenschappers dat het enige dat ertoe deed hoe veel tekst je de robot kon voeren. Hoe groter de bibliotheek, hoe slimmer de robot zou worden. Dit idee wordt "scaling" genoemd, en dit is de reden waarom onze AI-assistenten vandaag de dag zo goed zijn.

Maar er is een addertje onder het gras. Niet alle tekst is gelijkwaardig. Sommige pagina's staan vol met onzin, spam of wartaal, terwijl andere geschreven zijn door experts en vol zitten met nuttige informatie. Dus begonnen onderzoekers zich af te vragen: "Moeten we de slechte spullen weggooien en alleen de beste boeken aan de robot voeren?" Dit wordt "quality filtering" genoemd. Echter, er is een tweede regel in het spel: de robot leert het best wanneer hij verse informatie ziet. Als je hem dezelfde paar pagina's keer op keer laat lezen, stopt hij met leren en begint hij alleen maar te memoriseren. Dit artikel onderzoekt een lastige balans: als je de slechte tekst weggooit, heb je minder pagina's om te lezen, wat betekent dat de robot de goede pagina's vaker moet lezen. Helpt het om minder, betere pagina's te hebben, of raakt de robot verveeld en in de war door te vaak hetzelfde te lezen?

Het Grote Bibliotheek Experiment

In deze studie zette een onderzoeker genaamd Alexander Memming een slim experiment op om dit puzzelstukje op te lossen. Hij gebruikte niet het hele internet (dat is te groot om gemakkelijk te testen). In plaats daarvan bouwde hij een "vaste pool" van ongeveer 24 miljoen woorden—een kleine, beheersbare hap uit het web. Vervolgens gaf hij deze zelfde pool van woorden aan verschillende kleine AI-modellen, maar hij veranderde de regels voor elk van hen.

Voor sommige modellen hield hij alle woorden. Voor anderen gedroeg hij zich als een strenge bibliothecaris en gooide hij de onderste helft, het kwart, de achtste of zelfs slechts de bovenste zestiende van de woorden weg, waarbij hij alleen de woorden hield die de computer als "hoge kwaliteit" beschouwde. Hij probeerde ook een derde aanpak: in plaats van iets weg te gooien, hield hij de hele bibliotheek, maar vertelde hij de robot om de "beste" pagina's veel vaker te lezen dan de "gemiddelde" pagina's.

Hij testte deze robots vervolgens op drie verschillende dingen:

Het Ruwe Web: Een mix van alles, net als de bibliotheek waarop ze getraind zijn.
De "Edu" Tekst: Teksten van hoge kwaliteit, educatieve pagina's (het soort waar de robot van houdt).
WikiText: Een compleet andere set encyclopedische artikelen die de robot nog nooit eerder had gezien.

De Verrassende Bevindingen

De resultaten waren een beetje als een achtbaan, en ze veranderden de regels van het spel op drie grote manieren.

1. Het hangt ervan af met wie je praat
De grootste verrassing was dat "quality filtering" de robot niet altijd slimmer maakt. Het hangt er volledig van af wat je van de robot wilt dat hij doet.

Als je wilt dat de robot het rommelige, echte internet begrijpt: Het weggooien van de "slechte" tekst hielp de robot juist een handje uit de handen. Hoe strenger de onderzoeker filterde, hoe slechter de robot presteerde. Het is alsof je probeert te leren autorijden in een stad door alleen te oefenen op een perfect, leeg racecircuit. Wanneer je eindelijk de echte straten met kuilen en verkeer tegenkomt, crasht je. De robot die getraind is op gefilterde data, kon de rommelige realiteit van het web niet aan.
Als je wilt dat de robot een expert is op hoogwaardige onderwerpen: Filtering hielp een beetje. Als het doel was om te klinken als een geleerde of een encyclopedie, maakte het behouden van alleen de beste pagina's de robot iets beter.

2. Hoe meer je traint, hoe minder je moet filteren
Dit is de belangrijkste les: De grootte van je budget verandert de beste strategie.
Stel je voor dat je een klein zakgeld hebt (een klein trainingsbudget). Je zou geneigd kunnen zijn om alleen de duurste, hoogwaardige speeltjes te kopen. Maar als je een enorm zakgeld hebt (een enorm budget), betekent het kopen van alleen de dure speeltjes dat je heel snel door je nieuwe speeltjes heen bent. Je eindigt met het spelen met hetzelfde dure speeltje keer op keer totdat je je verveelt.
De studie vond dat naarmate het trainingsbudget groeide, de "beste" strategie veranderde. In het begin leek het houden van alleen de bovenste 1/16e deel van de data oké. Maar naarmate de robot langer werd getraind (hij las de data 8,2 keer in plaats van 4,1 keer), werd die kleine, gefilterde bibliotheek een ramp. De robot werd verveeld en begon fouten te maken. De beste strategie voor een groot budget bleek het zijn om meer van de data te houden, zelfs de rommelige delen, zodat de robot steeds weer nieuwe dingen kon zien.

3. Gooi het niet weg, laat het gewoon vaker lezen
De onderzoeker vergeleken ook "het weggooien" van de slechte tekst versus "het vaker lezen van de goede tekst."

De "Weggooi"-methode: Je verwijdert de kwalitatief minder goede pagina's.
De "Lees Meer"-methode: Je houdt alle pagina's, maar je zegt tegen de robot: "Hé, lees deze top-pagina's 16 keer, maar lees de onderste pagina's slechts één keer."

Toen de onderzoeker heel agressief probeerde te zijn (door alleen de bovenste 1/16e te houden), won de "Lees Meer"-methode met een enorme marge. Het was tot wel 0,39 nats (een eenheid van meting voor hoe goed de robot het volgende woord voorspelt) beter dan de "Weggooi"-methode.
Denk er zo over na: Als je een lievelingsnummer hebt, kun je ofwel alle andere nummers uit je afspeellijst verwijderen en dat ene nummer 16 keer beluisteren (Weggooi), of je kunt je hele afspeellijst behouden maar ervoor zorgen dat dat favoriete nummer 16 keer vaker wordt afgespeeld dan de rest (Lees Meer). De tweede manier is beter omdat je de andere nummers nog steeds op de achtergrond hebt om het interessant te houden, en je de unieke variëteit van de volledige bibliotheek niet verliest.

De Kern van het Verhaal

Dit artikel zegt niet dat we moeten stoppen met proberen AI slimmer te maken. In plaats daarvan waarschuwt het ons dat we niet blindelings "slechte" data kunnen weggooien.

Filter niet als je de echte wereld wilt begrijpen: Als je een AI wilt die het rommelige internet begrijpt, houd dan de rommelige data aan.
Filter niet te veel als je een groot budget hebt: Als je veel rekenkracht hebt, heb je een enorme variëteit aan data nodig. Als je te strikt filtert, dwing je de AI om zichzelf te herhalen, en dat stopt het leren.
Repetitie is beter dan deletie: Als je echt wilt focussen op de beste data, gooi de rest dan niet weg. Zorg er alleen voor dat de AI de goede dingen vaker ziet dan de slechte dingen.

De studie werd uitgevoerd op kleine modellen en een klein deel van de data, dus we kunnen niet met zekerheid zeggen wat er precies zal gebeuren met de gigantische AI-modellen van de toekomst. Maar de les is duidelijk: de data van kwaliteit en de data van kwantiteit als aparte zaken behandelen is een fout. Ze zijn aan elkaar gelinkt, en de beste manier om een AI te trainen verandert afhankelijk van hoeveel tijd en geld je hebt om uit te geven.

Technische Samenvatting: De Limieten van de Omvang van Trainingsdata voor Foundation Modellen

Probleemstelling
Het artikel behandelt een fundamentele spanning in de schaling van foundation modellen: de afruil tussen datakwaliteit en datakwantiteit onder een vast trainingsbudget. Huidige schattingen van de "data wall" (het punt waarop menselijke tekst uitgeput is) vertrouwen op twee onafhankelijke multiplicatoren: het deel van de ruwe tekst dat de kwaliteitsfiltering overleeft, en het aantal keren dat de overlevende tokens nuttig herhaald kunnen worden. De auteurs stellen dat deze factoren niet onafhankelijk zijn. Bij een vaste pool van unieke tokens ( $U$ ) dwingt filtering met een retentiegraad $f$ het model om de data $1/f$ keer te doorlopen, wat de gemiddelde kwaliteit verbetert maar de hoeveelheid vermindert. Omdat herhaalde tokens een afnemend rendement vertonen (exponentiële afname in waarde), zet agressieve filtering unieke tokens om in herhaalde tokens, wat potentieel een kostenpost met zich meebrengt die groeit met het trainingsbudget ( $D$ ). De centrale empirische vraag is: gegeven een vaste pool $U$ en een budget $D$ , welke retentiefractie $f$ minimaliseert de helden-loss (held-out loss), en hoe verschuift dit optimum naarmate de ratio $D/U$ toeneemt?

Methodologie
De studie maakt gebruik van een gecontroleerd experimenteel ontwerp om de effecten van filtering, schaarste en herhaling te isoleren.

Datapool: Een vaste pool van 24,0 miljoen tokens afgeleid van de eerste shard van de FineWeb-dataset.
Kwaliteitsfilter: Documenten worden gescoord met behulp van de vrijgegeven FineWeb-Edu classifier (een lineaire regressie-kop op een embedding model getraind op "educatieve waarde").
Corpusconstructie: Drie families van corpora werden gebouwd vanuit de vaste pool:
1. Kwaliteitsgefilterd ( $f$ ): De top $f$ -fractie van tokens op basis van de classifier-score.
2. Willekeurige subsets ( $f$ ): Willekeurig geselecteerde tokens die overeenkomen met de grootte van de kwaliteitsgefilterde sets (als controle voor schaarste).
3. Up-weighted mengsels: De volledige pool wordt behouden, maar de top $f$ -slice wordt $k=1/f$ keer overgesampled (als een "zacht" alternatief voor harde filtering).
Trainingsopstelling: Kleine decoder-only transformers (variërend van 1,3M tot 16,9M parameters) werden getraind op deze corpora. Het hoofdgrid gebruikte een model met 7,34M parameters.
Budgets: Trainingsbudgetten van 6,1M, 12,3M en 24,6M tokens werden gebruikt, wat resulteerde in herhalingsaantallen variërend van 0,26 tot 16,4 passes over de unieke tokens, afhankelijk van de corpusgrootte.
Evaluatie: Modellen werden geëvalueerd op drie helden-sets:
1. Web: Ruwe webtekst (de distributie waaruit de pool is afgeleid).
2. Edu: Hoogwaardige webtekst (overlappend met het doel van de filter).
3. WikiText-103: Onafhankelijke, gecureerde encyclopedische tekst.
Robuustheid: De studie bevat gematchte controles, meerdere modelgroottes en hyperparameter-sweeps (learning rate en weight decay) om te waarborgen dat de resultaten geen artefacten zijn van specifieke recepten.

Belangrijkste Resultaten
De experimenten leveren drie primaire bevindingen op, die alle boven de gemeten run-to-run ruisband van ~0,055 nats per token liggen:

Doelafhankelijkheid: Het teken van het filtereffect hangt volledig af van de evaluatietarget.
- Op de ruwe web-target helpt filtering nooit; de loss neemt monotoon toe naarmate de retentiegraad $f$ afneemt. Agressieve filtering (het behouden van de top 1/16) kost tot 0,44 nats per token vergeleken met het behouden van alle data.
- Op hoogwaardige targets (Edu en WikiText-103) kan filtering onschadelijk of licht gunstig zijn bij lage budgetten, maar het voordeel is klein en ligt vaak aan de rand van de ruisband.
Budgetafhankelijkheid: De optimale retentiegraad versoepelt naarmate het budget groeit.
- Naarmate het budget toeneemt, weegt de kost van herhaling zwaarder dan het voordeel van kwaliteit. Bijvoorbeeld, op WikiText-103 was de top-1/16 corpus marginaal beter dan de ongefilterde pool bij een budget van 6,1M tokens (4,1 passes), maar werd significant slechter bij een budget van 12,3M tokens (8,2 passes). De loss-minimaliserende fractie verschuift naar het behouden van meer data naarmate $D/U$ toeneemt.
Harde Filtering versus Up-weighting: De methode waarop op kwaliteitsscores wordt geacteerd, doet er toe.
- Bij agressieve retentiegraad (bijv. top 1/16), presteert up-weighting (alle data behouden en de hoogwaardige slice oversamplen) strikt beter dan harde filtering (de laagwaardige slice verwijderen) over alle targets en budgetten. Het voordeel van up-weighting bereikt tot 0,39 nats.
- Bij milde retentiegraad (bijv. top 1/4), zijn harde filtering en up-weighting statistisch ononderscheidbaar.
- Willekeurig versus Selectie: Op hoogwaardige targets presteert score-gebaseerde selectie significant beter dan willekeurige subsets van dezelfde grootte, wat aangeeft dat de classifier een echt distributioneel signaal vangt. Echter, op de ruwe web-target presteren willekeurige subsets bijna even goed als de volledige pool, wat suggereert dat de schade van filtering primair wordt veroorzaakt door distributieverschuiving in plaats van schaarste.

Betekenis en Claims
Het artikel beweert niet de optimale filteringstrategie te hebben bepaald voor frontier-schaal modellen (die ordes van grootte groter zijn). In plaats daarvan stelt het een mechanisme en een wisselkoers vast binnen een specifieke regime.

Interdependentie van Multiplicatoren: De studie toont aan dat de "kwaliteitsmultiplier" (fractie die filtering overleeft) en de "herhalingsmultiplier" (epochs) niet onafhankelijk zijn. Filtering vermindert het aantal unieke tokens, waardoor het aantal herhalingen toeneemt voor een vast budget. Het behandelen van deze als onafhankelijke variabelen overschat systematisch de waarde van een gefilterd corpus.
Praktische Richtlijnen: De auteurs suggereren dat drempelwaarden die zijn afgestemd op data-rijke regimes (single-epoch ablaties) waarschijnlijk suboptimaal zijn wanneer de pool een beperkende factor wordt. Ze bevelen aan:
- Retentiegraad af te stemmen op het specifieke budget, niet op de corpusgrootte.
- Up-weighting te gebruiken in plaats van verwijdering voor agressieve concentratie op hoogwaardige data.
- Te verifiëren of filterresultaten standhouden over verschillende target-distributies, aangezien een filter die is afgestemd op één distributie schadelijk kan zijn voor een andere.
Negatief Resultaat: De auteurs rapporteren dat een ontwerp met slechts twee budgetpunten per corpus onvoldoende is om de herhalings-decay constante ( $R^*_D$ ) apart van gefilterde en willekeurige data te identificeren, en waarschuwen tegen dergelijke dunne grid-studies in de literatuur.

Concluderend betogen de auteurs dat, op een vaste pool, agressieve filtering een "verlieslatende" manier is om op kwaliteitsscores te acteren vergeleken met up-weighting, en dat de optimale strategie verschuift naar het behouden van meer data naarmate het trainingsbudget toeneemt.

Het Grote Bibliotheek Experiment

De Verrassende Bevindingen

De Kern van het Verhaal

Technische Samenvatting: De Limieten van de Omvang van Trainingsdata voor Foundation Modellen

Meer zoals dit