💬 NLP

Is More Data Worth the Cost? Dataset Scaling Laws in a Tiny Attention-Only Decoder

Dit onderzoek toont aan dat in een gecontroleerde, kleine decoder-architectuur reeds met ongeveer 30% van de trainingsdata 90% van de volledige prestaties kan worden bereikt, wat praktische richtlijnen biedt voor het afwegen van datasetgrootte tegen rekentkosten.

Oorspronkelijke auteurs: Götz-Henrik Wiegand, Lorena Raichle, Rico Städeli, Tomas Hrycej, Bernhard Bermeitinger, Siegfried Handschuh

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Götz-Henrik Wiegand, Lorena Raichle, Rico Städeli, Tomas Hrycej, Bernhard Bermeitinger, Siegfried Handschuh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Is meer data echt de moeite waard? Een simpele uitleg van het onderzoek

Stel je voor dat je een jonge, slimme student wilt opleiden tot een expert in het begrijpen van nieuwsartikelen. Je hebt twee opties:

Optie A: Je geeft hem een enorme bibliotheek met miljoenen boeken, maar hij heeft maar een klein brein en kan maar een paar uur per dag studeren.
Optie B: Je geeft hem een selectie van de beste, meest interessante boeken uit die bibliotheek, zodat hij zijn tijd optimaal kan benutten.

Dit onderzoek, gepresenteerd op een conferentie in Brazilië, gaat precies over deze keuze. De onderzoekers wilden weten: Is het echt nodig om alles te lezen om slim te worden, of volstaat een slimme selectie?

Hier is de uitleg in alledaags taal, met een paar creatieve vergelijkingen.

1. Het Experiment: Een "Mini-Brein" zonder afleiding

Om dit te testen, bouwden de onderzoekers een heel klein, speciaal computermodel. Ze noemen het een "attention-only decoder".

De vergelijking: Stel je een student voor die alleen maar kan luisteren en associëren (de "attention"), maar die geen eigen notitieblok heeft om dingen zelf te herschrijven (geen "MLP" lagen).
Het doel: Ze vriezen de basiswoorden in het hoofd van de student (de embeddings) in. Dat betekent dat de student niet opnieuw hoeft te leren wat "hond" of "auto" betekent. Hij moet zich puur focussen op het leren van de relaties tussen woorden. Zo weten ze zeker dat elke verbetering komt door het meer lezen van de tekst, en niet omdat hij nieuwe woorden heeft geleerd.

2. De Vraag: Hoeveel data heb je echt nodig?

In de wereld van AI wordt vaak gezegd: "Hoe meer data, hoe beter." Maar dat is duur en kost veel tijd (en energie).
De onderzoekers gaven hun mini-model verschillende hoeveelheden nieuwsartikelen:

Een heel klein beetje (zoals een krantje van gisteren).
Een beetje meer (een weekkrant).
Een hele stapel (een jaar aan kranten).
En uiteindelijk de hele bibliotheek (alle 2,7 miljoen artikelen).

3. Het Verbazingwekkende Resultaat: De "80/20-regel"

Het resultaat was verrassend simpel, maar heel belangrijk:

De eerste schok: Als je het model een klein beetje data geeft, wordt het al snel heel goed.
Het verzadigingspunt: Zodra je ongeveer 30% van de totale data hebt gebruikt, heeft het model al 90% van de prestaties bereikt die het zou halen met alle data.
De afname van rendement: Als je daarna doorgaat met het toevoegen van de resterende 70% van de data, wordt het model maar heel weinig slimmer, terwijl je wel 70% meer tijd en geld moet uitgeven.

De metafoor:
Het is alsof je een bakje ijs maakt. De eerste kopje melk en suiker maakt het ijs lekker. De tweede kopje maakt het nog iets lekkerder. Maar als je de hele melkbus toevoegt, smaakt het ijs niet 100 keer zo lekker, maar is het misschien net iets zoeter, terwijl je wel een hele melkbus hebt verspild.

4. Waarom is dit belangrijk?

Vroeger dachten veel mensen dat je voor een goed model alles moest eten. Dit onderzoek zegt: "Nee, niet nodig."

Voor kleine labs: Als je een klein onderzoeksteam bent zonder miljoenen dollars aan computerkracht, hoef je niet de hele internetgeschiedenis te downloaden. Je kunt met een slimme, kleine selectie al bijna net zo goed presteren.
Kostenbesparing: Je kunt 70% van je tijd en geld besparen en toch 90% van het resultaat behalen. Dat is als het kopen van een dure auto, maar je rijdt er maar 30% van de weg mee. Waarom zou je dan de rest van de weg niet overslaan?

5. Conclusie: Kwaliteit en Slimme Keuzes

De onderzoekers concluderen dat de "diminishing returns" (de afnemende meeropbrengst) echt bestaan.

Het is niet zo dat het model "vol" zit of dat de architectuur te simpel is.
Het is gewoon zo dat na een bepaald punt, extra data vooral zorgt voor meer herhaling van hetzelfde, zonder dat het model er veel meer van leert.

Kort samengevat:
Je hoeft niet de hele oceaan te drinken om verzadigd te raken. Een goed glas water (een slimme, kleine dataset) is vaak al genoeg om je te laten zien hoe de wereld eruitziet. Voor het trainen van kleine AI-modellen is het dus slimmer om te focussen op een goede, representatieve selectie van data, in plaats van blindelings alles te verzamelen.

Probleemstelling

Het trainen van Large Language Models (LLM's) wordt steeds duurder, aangezien prestaties doorgaans verbeteren met toenemende datasetgrootte en rekenkracht. Hoewel "scaling laws" (schaalwetten) deze trend op industriële schaal goed beschrijven, is het minder onderzocht hoe deze wetten zich gedragen in gecontroleerde, kleinere omgevingen. Bestaande studies schalen vaak modelgrootte, data en rekenkracht gelijktijdig, waardoor het moeilijk is om de individuele bijdrage van de datasetgrootte te isoleren. Voor kleine onderzoekslabs en exploratieve ontwikkelingen is het cruciaal om te begrijpen wanneer extra data afnemende meeropbrengst (diminishing returns) oplevert en hoeveel data eigenlijk nodig is om een verzadigingspunt te bereiken zonder onnodige kosten.

Methodologie

De auteurs hebben een streng gecontroleerde experimentele opzet ontwikkeld om uitsluitend het effect van datasetgrootte te isoleren:

Architectuur (Attention-Only Decoder):
- Het model is gebaseerd op het 117M GPT-2 ontwerp, maar sterk gereduceerd.
- MLP-verwijdering: De Multi-Layer Perceptron (MLP) sublagen zijn volledig verwijderd, waardoor alleen de self-attention mechanismen overblijven.
- Frozen Layers: De token-embeddings, positionele embeddings en de output-projectie (die gewichtsgedeeld is met de input) zijn ingevroren (gebruikmakend van vooraf getrainde GPT-2 gewichten).
- Trainable Parameters: Hierdoor zijn slechts ongeveer 2,36 miljoen parameters trainbaar (van de totale 79,5 miljoen), wat de leeropdracht beperkt tot het leren van contextuele relaties via self-attention, zonder dat het model nieuwe token-representaties moet leren.
Dataset en Subsets:
- Gebruikt werd de All the News 2.0 dataset (ongeveer 2,7 miljoen nieuwsartikelen), die niet in de originele GPT-2 training zat.
- Er werden geneste subsets (nested subsets) gecreëerd van de volledige trainingset, variërend in grootte van $2^7$ tot $2^{17}$ sequenties (van 128 tot 131.072 sequenties).
- De auteurs analyseerden de representativiteit van deze subsets via de Jensen-Shannon-divergentie om te garanderen dat verschillen in prestaties te wijten zijn aan datahoeveelheid en niet aan selectiebias.
Training en Evaluatie:
- Twee regimes werden getest:
  1. Vaste trainingsschema (150 epochs): Hierbij neemt de rekenkosten lineair toe met de datasetgrootte.
  2. Vaste rekenkosten (fixed compute): Alle configuraties krijgen hetzelfde aantal optimalisatiestappen, om het effect van data los te maken van extra rekenkracht.
- De evaluatie focust op token-level validatie-accuraatheid en cross-entropy loss.

Belangrijkste Bijdragen

Isolatie van Self-Attention: Een architectuur die MLP's verwijdert en embeddings invriest, waardoor dataset-scaling effecten puur aan het self-attention mechanisme kunnen worden toegeschreven.
Kwantificering van Diminishing Returns: Een systematische analyse die aantoont dat schaalwetten ook gelden voor "tiny models", maar met duidelijke afnemende meeropbrengst.
Kosten-Prestatie Trade-off: Een praktische richtlijn voor het balanceren van datasetgrootte en rekenkosten, specifiek voor data- en rekenbeperkte omgevingen.
Validatie van Subset Pretraining: Het bewijs dat kleine, representatieve subsets het grootste deel van het leersignaal kunnen vangen.

Resultaten

Afnemende Meeropbrengst: Er is een gladde verbetering in prestaties bij toenemende datasetgrootte, maar deze verbetert snel af.
De "90% Regel": Het gebruik van slechts ongeveer 30% van de volledige trainingdata is voldoende om 90% van de validatie-accuraatheid van het volledige dataset-model te bereiken.
Kostenbesparing: Om 90% van de prestaties te halen, is slechts ongeveer 26% van de totale trainingstijd/kosten nodig (in vergelijking met het trainen op de volledige dataset).
Data-Limited Regime: De analyse van de schaalwetten (gebaseerd op Kaplan et al., 2020) toont aan dat de prestaties in dit experiment voornamelijk beperkt worden door de datahoeveelheid en niet door de modelcapaciteit. Zelfs met een groter model zou de verbetering minimaal zijn zonder extra data.
Robuustheid: De resultaten zijn robuust over verschillende random seeds, wat aantoont dat de prestatieverbeteringen echt door de datahoeveelheid worden gedreven en niet door toevallige steekproeven.

Betekenis en Conclusie

Dit paper biedt waardevolle inzichten voor onderzoekers en ontwikkelaars met beperkte rekenkracht:

Efficiëntie: Het is niet nodig om enorme datasets te gebruiken om een basismodel te trainen. Een middelgrote subset levert het merendeel van de prestaties op tegen een fractie van de kosten.
Strategie: Voor kleine labs en exploratieve ontwikkeling is "subset-based pretraining" met vroege stopzetting (early stopping) een principiële en efficiënte strategie.
Architectonische Inzicht: Zelfs in een sterk gereduceerde "attention-only" architectuur gelden de fundamentele schaalwetten van LLM's, wat suggereert dat self-attention het primaire mechanisme is voor het benutten van datahoeveelheid in deze context.

Kortom, de studie bevestigt dat "meer data" niet altijd "beter" is in termen van kosten-batenverhouding, en dat voor kleine modellen een slimme selectie van data (ongeveer 30% van de totale set) vaak de optimale strategie is.