💬 NLP

Benchmarks Are Not That Out of Distribution: Word Overlap Predicts Performance

Dit onderzoek toont aan dat de prestaties op standaard benchmarks sterk voorspelbaar zijn op basis van de overlap in woordfrequenties en statistische patronen tussen de trainingsdata en de evaluatiesets, wat suggereert dat deze benchmarks niet echt 'out-of-distribution' zijn.

Oorspronkelijke auteurs: Woojin Chung, Jeonghoon Kim

Gepubliceerd 2026-02-12

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Woojin Chung, Jeonghoon Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student bent die zich voorbereidt op een groot examen. Je kunt op twee manieren studeren: je kunt de diepe, complexe theorieën van het vak proberen te begrijpen (echte intelligentie), of je kunt simpelweg duizenden oude oefenexamens uit het hoofd leren (patroonherkenning).

Als de examenvragen op de dag zelf bijna identiek zijn aan de oefenexamens die je hebt doorgenomen, zul je een fantastisch cijfer halen. Maar heb je dat cijfer echt verdiend omdat je de stof begrijpt, of omdat je de vragen gewoon herkende?

Dit is precies waar dit wetenschappelijke onderzoek over gaat.

De kern van het onderzoek: "De Spiekbrief-theorie"

Wetenschappers maken vaak 'benchmarks' (een soort digitale examens) om te testen hoe slim een AI-model is. We denken meestal dat als een AI een hoog cijfer haalt, het model de wereld echt begrijpt.

De auteurs van dit paper zeggen echter: "Wacht eens even, die AI is misschien niet zo slim, hij heeft gewoon de antwoorden al eens gezien!"

Ze ontdekten dat de prestaties van een AI-model heel sterk voorspeld kunnen worden door iets heel simpels: woordoverlap. Als de woorden in de examens (de benchmarks) heel erg lijken op de woorden die de AI tijdens zijn 'training' (het studeren) heeft gezien, dan scoort de AI veel hoger.

Een metafoor: De Kok en het Recept

Stel je een kok voor die leert koken door miljoenen recepten te lezen.

Scenario A: De kok leert over duizenden verschillende ingrediënten en technieken. Als je hem daarna vraagt om een gerecht te maken met een nieuwe combinatie, is hij echt een meesterkok.
Scenario B: De kok leert vooral heel veel recepten met aardappelen en kaas. Als je hem daarna een examen geeft over "Aardappelgerechten", scoort hij een 10. Is hij een goede kok? Misschien, maar hij is vooral een expert in aardappelen.

Het onderzoek laat zien dat veel AI-examens eigenlijk een soort "Aardappel-examen" zijn. De AI scoort niet omdat hij de "kunst van het koken" (logica en redeneren) begrijpt, maar omdat de woorden in de vragen precies lijken op de woorden in zijn enorme bibliotheek.

Hoe hebben ze dit bewezen?

De onderzoekers gebruikten twee slimme meetlatten:

De "Woord-match" (Unigram Cross-Entropy): Hoe goed voorspelt de AI welke woorden er in het examen gaan komen? Hoe kleiner de verrassing, hoe groter de overlap.
De "Hoe vaak heb je het gezien?"-factor: Zelfs als de woorden hetzelfde zijn, helpt het als de AI ze vaker heeft gezien. Hoe vaker een woord voorkomt in de training, hoe sterker het "geheugen" van de AI voor dat woord.

Ze ontdekten dat er een bijna perfecte lijn loopt: Hoe meer de woorden in het examen lijken op de woorden uit de training, hoe hoger het cijfer.

Waarom is dit belangrijk? (De "Wake-up Call")

Dit is een belangrijke waarschuwing voor de makers van AI. Als we willen weten of een AI echt kan nadenken (zoals wiskunde oplossen of grammatica begrijpen), moeten we examens maken die niet simpelweg een herhaling zijn van wat de AI al heeft gelezen.

De conclusie in gewone taal:
We denken dat we de intelligentie van AI meten, maar vaak meten we eigenlijk gewoon hoe goed de AI zijn "spiekbriefje" (de trainingsdata) kan onthouden. We moeten stoppen met examens maken die te veel lijken op de leerboeken, anders leren we nooit hoe slim ze écht zijn.

Technische Samenvatting: "Benchmarks Are Not That Out of Distribution"

Probleemstelling

Een fundamentele vraag in de ontwikkeling van Large Language Models (LLM's) is wat een pre-training dataset "hoogwaardig" maakt. De huidige standaard is om de kwaliteit van een dataset te beoordelen op basis van de prestaties van het model op diverse benchmarks (zoals MMLU of ARC). Er wordt echter vaak aangenomen dat deze benchmarks out-of-distribution (OOD) zijn: dat het model werkelijke intelligentie en generalisatie moet vertonen omdat de testtaken statistisch verschillen van de trainingsdata.

Het onderzoek stelt de vraag of de hogere scores op benchmarks daadwerkelijk het gevolg zijn van diepere kennisverwerving, of simpelweg een resultaat zijn van een sterke statistische overlap (woordoverlap) tussen de pre-training corpora en de evaluatiesets.

Methodologie

De auteurs onderzoeken de relatie tussen statistische overlap en benchmark-prestaties met behulp van twee nieuwe proxy-metrieken op woordniveau:

Word-level Unigram Cross-Entropy ( $H(P_{eval}, P_{pre})$ ): Deze metriek meet hoe goed de woordfrequentieverdeling van de pre-training dataset de verdeling van de benchmark-dataset kan voorspellen. Het is een informatie-theoretische maatstaf voor de marginale distributie-overlap.
Woordfrequentie-statistieken: Omdat unigram cross-entropy alleen naar de verhoudingen kijkt en niet naar de absolute aantallen, wordt ook gekeken naar de totale frequentie van woorden om de sterkte van het leersignaal te meten.

Experimenteel ontwerp:

Modellen: LLaMA-architecturen met groottes variërend van 400M tot 3.36B parameters.
Datasets: Vier verschillende pre-training corpora (FineWeb-Edu, DCLM, C4 en OpenWebText) met verschillende subset-groottes (8.5B tot 60B tokens).
Benchmarks: 10 representatieve zero-shot benchmarks (o.a. ARC, MMLU, Hellaswag, SciQ).
Controle: De auteurs gebruiken woordniveau-analyse in plaats van tokenniveau om de bias van subword-tokenizers te vermijden.

Belangrijkste Bijdragen

Introductie van nieuwe metrieken: Het presenteren van woordniveau unigram cross-entropy als een tokenizer-agnostische methode om dataset-overlap te kwantificeren.
Ontmaskering van de OOD-aanname: Het aantonen dat veel standaard benchmarks slechts "zwak" out-of-distribution zijn.
Mechanistische verklaring: Het bewijzen dat prestatieverbeteringen deels verklaard kunnen worden door de mate waarin de trainingsdata de woordverdeling van de benchmark benadert.

Resultaten

De resultaten van het onderzoek zijn consistent over verschillende modelgroottes en dataset-subsets:

Sterke Inverse Correlatie: Er is een robuuste negatieve correlatie tussen unigram cross-entropy en benchmark-scores. Hoe lager de cross-entropy (wat duidt op een grotere overlap in woordverdeling), hoe hoger de prestaties op de benchmark.
Voorspellende waarde: De volgorde van pre-training datasets (bijv. FineWeb-Edu > DCLM > C4) wat betreft cross-entropy, is vrijwel identiek aan de volgorde van hun prestaties op de benchmarks.
De rol van schaal: Terwijl de cross-entropy relatief constant blijft bij het vergroten van de dataset, verbeteren de benchmark-scores wel. Dit suggereert dat een grotere hoeveelheid data het leersignaal voor zowel veelvoorkomende als zeldzame woorden (de long tail) versterkt.
Uitzonderingen: De auteurs identificeren taken waarbij woordoverlap geen voorspeller is, zoals grammatica (BLiMP) en wiskunde (MathQA). Bij deze taken is de taakcomplexiteit (contextuele afhankelijkheden of algoritmisch redeneren) belangrijker dan de oppervlakkige woordverdeling.

Significantie en Implicaties

Dit onderzoek heeft belangrijke implicaties voor de AI-gemeenschap:

Kritiek op Benchmarking: Het waarschuwt dat een stijgende lijn in benchmark-scores niet noodzakelijkerwijs duidt op een verbetering in redeneervermogen, maar mogelijk op een betere statistische afstemming met de trainingsdata. Dit fenomeen kan worden gezien als een vorm van "benchmark hacking".
Data Curatie: Het biedt een theoretisch kader voor het selecteren van hoogwaardige data. In plaats van alleen te vertrouwen op heuristieken, kunnen ontwikkelaars metrieken gebruiken die de distributieve affiniteit met doelgebieden meten.
Ontwerp van Evaluaties: Het benadrukt de noodzaak voor de ontwikkeling van benchmarks die echt "moeilijk" zijn (zoals wiskunde of logica), waarbij de overlap in woordfrequentie niet langer de prestaties kan verklaren.