🤖 AI

When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation

Deze studie analyseert systematisch 60 benchmarks voor taalmodellen om aan te tonen dat bijna de helft kampt met verzadiging, een fenomeen dat meer wordt gedreven door een gebrek aan deskundige curatie dan door publieke testdata, om uiteindelijk inzichten in het ontwerp te bieden voor het creëren van duurzamere evaluatiemethoden.

Oorspronkelijke auteurs: Mubashara Akhtar, Anka Reuel, Prajna Soni, Sanchit Ahuja, Pawan Sasanka Ammanamanchi, Ruchit Rawal, Vilém Zouhar, Srishti Yadav, Chenxi Whitehouse, Dayeon Ki, Jennifer Mickel, Leshem Choshen, Marek Šu

Gepubliceerd 2026-08-07

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mubashara Akhtar, Anka Reuel, Prajna Soni, Sanchit Ahuja, Pawan Sasanka Ammanamanchi, Ruchit Rawal, Vilém Zouhar, Srishti Yadav, Chenxi Whitehouse, Dayeon Ki, Jennifer Mickel, Leshem Choshen, Marek Šuppa, Jan Batzner, Jenny Chim, Jeba Sania, Yanan Long, Hossein A. Rahmani, Christina Knight, Yiyang Nan, Jyoutir Raj, Yu Fan, Shubham Singh, Subramanyam Sahoo, Eliya Habba, Usman Gohar, Siddhesh Pawar, Robert Scholz, Arjun Subramonian, Jingwei Ni, Mykel Kochenderfer, Sanmi Koyejo, Mrinmaya Sachan, Stella Biderman, Zeerak Talat, Avijit Ghosh, Irene Solaiman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een coach bent die een team van superintelligente robots traint om puzzels op te lossen. Om te zien wie de beste is, geef je ze een test. In het begin liggen de scores allemaal verspreid: sommige robots halen 40%, anderen 80%, en een paar genieën halen 95%. Dit is geweldig! Je kunt duidelijk zien wie er wint en wie meer oefening nodig heeft. Maar dan gebeurt er iets vreemds. Na een tijdje halen alle robots 99% of 100%. De scores stoppen met bewegen. Het gat tussen de "goede" robot en de "geweldige" robot verdwijnt. De test is te makkelijk geworden om het verschil nog te zien. In de wereld van Kunstmatige Intelligentie (AI) wordt dit "verzadiging" genoemd. Het is als een level in een videogame dat iedereen al zo vaak heeft uitgespeeld, dat de ontwikkelaars van het spel een moeilijker level moeten verzinnen, of anders wordt de ranglijst nutteloos.

Dit artikel, getiteld "When AI Benchmarks Plateau", duikt diep in dit exacte probleem. De onderzoekers keken naar 60 verschillende tests die worden gebruikt om te meten hoe slim AI-taalmodellen zijn. Ze wilden ontdekken waarom sommige tests snel stoppen met werken terwijl andere jarenlang nuttig blijven. Ze bouwden een speciale "verzadigingsmeter" om precies te meten hoeveel de scores zijn afgevlakt. Hun grote ontdekking? De tests die oud zijn en het meest gebruikt zijn, zijn de tests die het eerst kapot gaan. Het blijkt dat simpelweg de antwoorden verbergen (een "privé" test houden) of de vragen meerkeuzevragen maken, een test niet echt behoedt voor het nutteloos worden. De echte helden die een test fris houden, zijn zaken als een enorm aantal vragen en het feit dat experts de test zorgvuldig ontwerpen om het lastig te maken. Als een test oud en klein is, is het bijna gegarandeerd dat hij een plafond bereikt waarbij niemand meer het verschil kan zien tussen de beste AI en de rest.

Het Verhaal van het Vastgelopen Scorebord

Laten we ons de wereld van AI-benchmarks voorstellen als een enorme, prestigieuze sportcompetitie. Elk jaar sluiten nieuwe teams (AI-modellen) zich aan bij de competitie, en ze moeten bewijzen dat ze de beste zijn. Hiervoor lopen ze een reeks races (benchmarks). Sommige races zijn korte sprints, sommige zijn lange marathons en sommige zijn hindernisbanen.

Een lange tijd werkten deze races perfect. Wanneer er een nieuwe, snellere loper verscheen, verbrak die het oude record, en iedereen juichte. Maar toen merkte de competitie een vreemde trend op. De lopers werden allemaal sneller, maar de finishlijnen raakten overvol. Al snel passeerden de top vijf lopers de lijn op bijna exact hetzelfde moment, tot op de milliseconde nauwkeurig. Het scorebord zat vast. Je kon niet meer zien wie er daadwerkelijk de snelste was, omdat de race te kort was of de timing te vaag.

Dit is het probleem dat de auteurs van dit artikel wilden oplossen. Ze vroegen zich af: "Waarom stoppen deze races met werken? Komt dat omdat de lopers te goed zijn geworden, of omdat de racebaan slecht is ontworpen?"

De Grote Onderzoeksmissie: 60 Races onder de Microscoop

De onderzoekers gokten niet zomaar; ze gingen op een enorme detectivemissie. Ze verzamelden gegevens van 60 verschillende AI-benchmarks — de "races" die worden gebruikt door de grootste AI-bedrijven en onderzoekers. Ze bekeken alles: hoe oud de race was, hoeveel vragen erin zaten, of de antwoorden publiek of geheim waren, en wie de vragen had geschreven (mensen of computers).

Om de "vastgelopenheid" van het scorebord te meten, bedachten ze een slim instrument genaamd de Saturation Index (Verzadigingsindex). Denk hierbij aan een "ruisdetector".

Als het verschil tussen de toplopers groot is in verhouding tot de "ruis" (willekeurige fouten in de timing), is de index laag en is de race nog steeds eerlijk.
Als de toplopers zo dicht bij elkaar liggen dat hun verschillen kleiner zijn dan de ruis, gaat de index omhoog. De race is "verzadigd". Het is alsof je probeert een fluistering te horen in een orkaan; je kunt niet horen wie er spreekt omdat de wind te hard waait.

Ze ontdekten dat bijna de helft van de 60 races die ze bestudeerden, al verzadigd was. Sommige waren zo verzadigd dat de topmodellen in feid niet meer van elkaar te onderscheiden waren.

De Mythes die ze Ontkrachtten

Voordat deze studie bestond, hadden mensen een paar ideeën over hoe je een race langdurig eerlijk houdt. De onderzoekers testten deze ideeën, en sommige daarvan bleken onjuist te zijn.

Mythe 1: "Als we de antwoorden verbergen, blijft de race langer eerlijk."
Veel mensen dachten dat als je de testvragen geheim houdt (een "privé" testset), de robots de antwoorden niet kunnen memoriseren. De onderzoekers controleerden dit door publieke tests met privé tests te vergelijken.

De resultaten: Het maakte niet uit. De privé tests liepen net zo snel "vast" als de publieke tests. Zodra een test populair wordt, leren de AI-modellen de stijl van de vragen zelfs als de antwoorden geheim zijn, zodat ze allemaal dezelfde hoge scores halen. Het verbergen van de test is als het verbergen van de finishlijn in een mist; uiteindelijk ontdekken ze allemaal waar deze is.

Mythe 2: "Multiple-choice vragen zijn het probleem."
Sommigen dachten dat als je de AI lange, open vragen laat schrijven in plaats van alleen A, B, C of D te kiezen, de test langer zou meegaan.

De resultaten: Nee. De studie vond dat tests met multiple-choice vragen en tests met open teksten beide ongeveer in hetzelfde tempo verzadigden. Het formaat van het antwoord redde de test niet.

Mythe 3: "Engelse tests breken sneller dan tests in veel talen."
Het leek logisch dat een test in alleen het Engels te makkelijk zou worden, omdat de meeste AI voornamelijk op Engels is getraind.

De resultaten: Het leek erop dat Engelse tests sneller kapot gingen, maar de onderzoekers realiseerden zich dat dit een truc van de tijd was. De Engelse tests waren simpelweg ouder. De meertalige tests waren nieuw, waardoor ze nog niet genoeg keren waren uitgevoerd om vast te lopen. Wanneer je tests van dezelfde leeftijd vergelijkt, deed de taal er minder toe dan je zou denken.

De Echte Boosdoeners: Leeftijd en Grootte

Als het verbergen van antwoorden en het veranderen van formaten niet werkt, wat zorgt er dan werkelijk voor dat een test kapot gaat? De onderzoekers vonden twee hoofdschurken:

Leeftijd (Tijd): Dit was de belangrijkste factor. Hoe ouder een test is, hoe groter de kans dat deze verzadigd is. Denk aan een populair liedje. De eerste keer dat je het hoort, is het fris. Maar nadat je het duizend keer hebt gehoord, ken je elke noot. AI-modellen zijn hetzelfde. Hoe vaker een test door de jaren heen wordt gebruikt, hoe meer de modellen leren om de test te "gamen" — niet door te memoriseren, maar door simpelweg expert te worden in dat specifieke type puzzel. De studie toonde aan dat tests ouder dan 60 maanden veel grotere kans hadden om vast te lopen dan nieuwe tests.
Grootte (Het aantal vragen): Dit was de tweede belangrijkste factor. Tests met heel weinig vragen (kleine testsets) verzadigden veel sneller. Stel je een race voor met slechts 3 hindernissen voor. Als je er één bij struikelt, is dat een enorme zaak. Als je 100 hindernissen hebt, maakt één struikelpartij niet uit voor de winnaar. Kleine tests zijn "ruizig". Als een AI geluk heeft bij een paar vragen, springt de score omhoog, waardoor het lijkt also alsof het een genie is. Maar als je een enorme test hebt met duizenden vragen, doet geluk er minder toe. De studie vond dat tests met meer vragen langer eerlijk en nuttig bleven, omdat ze de minuscule verschillen tussen de slimste modellen konden spotten.

Het Goede Nieuws: Hoe je een Betere Race Bouwt

Het artikel zegt niet alleen dat "alles kapot is". Het geeft een recept voor het bouwen van tests die standhouden.

Maak de test enorm: Als je wilt dat een test nuttig blijft, geef de AI dan duizenden vragen, niet slechts een paar dozijn. Dit vermindert de "ruis" en laat de echte verschillen zien.
Houd het fris: Gebruik niet eeuwig dezelfde vragen. De beste tests zijn de tests die veranderen, nieuwe vragen toevoegen of die zijn ontworpen door experts die weten hoe ze de AI in de val kunnen lokken.
Vertrouw niet op geheimen: Het verbergen van de test is geen magisch schild. Je moet de test zo goed ontwerpen dat de AI zelfs als hij de regels kent, nog steeds hard moet werken om te winnen.

De Kernboodschap

De auteurs benadrukken dat het behalen van een hoge score niet altijd slecht is. Als een test ontworpen is om iets eenvoudigs te meten, en elke AI haalt 100%, dan is dat geweldig! Dat betekent dat het probleem is opgelost. Maar het probleem ontstaat wanneer de test in staat zou moeten zijn om het verschil te zien tussen een goede AI en een geweldige AI, maar dat niet meer kan omdat de test te oud of te klein is.

Deze studie suggereert dat we deze tests niet langer moeten behandelen als permanente trofeeën, maar als levende wezens. Ze moeten groeien, veranderen en groter worden om de snelheid van de superintelligente robots die we bouwen bij te houden. Als we dat niet doen, zullen onze ranglijsten slechts een vlakke lijn laten zien, en zullen we niet meer weten wie er werkelijk de beste is.

Technische Samenvatting: Wanneer AI-benchmarks een plateau bereiken: Een systematische studie naar benchmark-verzadiging

Probleemstelling

AI-benchmarks zijn cruciaal voor het meten van modelprogressie, het sturen van implementaties en het informeren van beleid. Er is echter een hardnekkig probleem: "benchmark-verzadiging", waarbij top-presterende modellen bijna identieke scores behalen, waardoor de benchmark niet langer in staat is om state-of-the-art systemen van elkaar te onderscheiden. Hoewel eerder werk heeft gewezen op prestatieplateaus of nieuwe benchmarks heeft geïntroduceerd als reactie daarop, is er geen systematische, operationele definitie van verzadiging of een uitgebreide analyse van de factoren die dit aansturen. Bestaande definities vertrouwen vaak op het bereiken van menselijk prestatieniveau of vaste plafonds, wat moeilijk consistent te meten is. Bovendien blijft het onduidelijk of veelvoorkomende ontwerpwaarborgen (bijv. private testsets, open formaten) verzadiging effectief vertragen of dat andere structurele factoren meer voorspellend zijn.

Methodologie

De auteurs hebben een systematische studie uitgevoerd naar 60 veelgebruikte tekstgebaseerde Large Language Model (LLM) benchmarks. De methodologie bestond uit drie primaire componenten:

Definitie en Metriekconstructie:
Het artikel definieert benchmark-verzadiging als het verlies van betrouwbaar onderscheidend vermogen tussen top-presterende modellen, gekenmerkt door: (1) statistisch ononderscheidbare prestaties tussen topmodellen, en (2) prestaties die de empirisch waargenomen bovengrens benaderen.
Om dit te meten, hebben de auteurs een Onzekerheidsbewuste Verzadigingsindex ( $S_{index}$ ) geïntroduceerd. Deze index is afgeleid van leaderboard-data en incorporeert evaluatie-onzekerheid.
- Statistische Gelijkenis: De top $k$ modellen (standaard $k=5$ ) worden als statistisch gelijk beschouwd als hun scoreverschil ( $\Delta$ ) kleiner dan of gelijk is aan $z \cdot SE_{\Delta}$ , waarbij $SE_{\Delta}$ de standaardfout van het verschil is, aangepast voor de effectieve omvang van de testset ( $n_{eff} = n^\alpha$ ).
- Scorecompressie: Een genormaliseerd scorebereik ( $R_{norm}$ ) wordt berekend als de ratio van het geobserveerde scorebereik tot de verwachte evaluatie-onzekerheid.
- Indexberekening: $S_{index} = \exp(-R_{norm}^2)$ . Waarden variëren van 0 tot 1, waarbij hogere waarden duiden op sterkere verzadiging. Benchmarks worden ingedeeld in categorieën van "zeer laag" tot "zeer hoog" verzadiging.
Datacollectie en Annotatie:
De dataset bestaat uit 60 benchmarks geselecteerd uit rapporten van belangrijke modelontwikkelaars (2022–2025) en veelgeciteerde papers. De auteurs hebben deze benchmarks geannoteerd over meerdere dimensies, waaronder:
- Toegankelijkheid: Publiek versus Privaat (held-out testsets).
- Taalkundige reikwijdte: Alleen Engels versus Meertalig.
- Dataconstructie: Door experts gecureerd, crowdsourced, synthetisch of hybride.
- Taakontwerp: Gesloten formaten (bijv. meerkeuzevragen) versus open generatie; Getemplateerde versus niet-getemplateerde formaten.
- Kwaliteit: Aanwezigheid van gedocumenteerde problemen (contaminatie, ruis, etc.).
- Temporeel: Releasedatum en leeftijd.
Empirische Analyse:
De studie testte zes hypothesen over drijfveren van verzadiging (H1–H6) met behulp van zowel univariate vergelijkingen als een Bayesiaans regressiemodel. Het regressiemodel voorspelde de $S_{index}$ op basis van benchmark-leeftijd, testset-omvang, adoptie-indicatoren, toegankelijkheid, outputformaat, templating, taaldekking, curatiestrategie en kwaliteitsaspecten.

Belangrijkste Bijdragen

Operationele Definitie: Het artikel biedt een formele, reproduceerbare definitie van benchmark-verzadiging gebaseerd op het verlies van statistisch onderscheidend vermogen tussen topmodellen, wat verschilt van eenvoudige prestatie-stagnatie.
Verzadigingsindex: Introductie van een onzekerheidsbewuste verzadigingsindex ( $S_{index}$ ) die verzadiging kwantificeert als een gradueel fenomeen, rekening houdend met evaluatie-ruis en de omvang van de testset.
Systematische Analyse: Een uitgebreide analyse van 60 benchmarks over diverse domeinen, waarbij wordt vastgesteld dat benchmark-leeftijd en testset-schaal de sterkste voorspellers van verzadiging zijn.
Ontkrachten van Veelvoorkomende Aannames: De studie toont aan dat veelvoorkomende waarborgen, zoals private testsets en open formaten, verzadiging niet systematisch voorkomen zodra de benchmark-leeftijd in rekening wordt gebracht.
Levenscyclus-aanbevelingen: Praktische richtlijnen voor benchmark-ontwerp en -beheer, met de nadruk op de noodzaak van dynamische updates, hogere resolutie metrieken en expliciete criteria voor uitfasering.

Belangrijkste Resultaten

Prevalentie: Bijna de helft (29 van de 60) van de geanalyseerde benchmarks vertoont een hoge of zeer hoge verzadiging ( $S_{index} \ge 0.7$ ).
Leeftijd en Blootstelling: Benchmark-leeftijd is de meest consistente voorspeller van verzadiging. Oudere benchmarks vertonen hogere verzadigingsindices, zelfs na correctie voor adoptie-indicatoren zoals citaties. Dit suggereert dat cumulatieve blootstelling en herhaalde optimalisatie tegen een vast doel de convergentie drijven.
Testset-schaal: Grotere testsets zijn geassocieerd met lagere verzadigingsindices. Kleinere testsets versnellen verzadiging omdat de evaluatie-onzekerheid de werkelijke prestatiekloven domineert, waardoor topmodellen statistisch ononderscheidbaar worden.
Ineffectieve Waarborgen:
- Private Testsets: Er werd geen statistisch betekenisvol verschil gevonden in verzadiging tussen publieke en private benchmarks. Geheimhouding alleen voorkomt geen compressie zodra de distributionele kenmerken breed bekend zijn.
- Outputformaat: Er werd geen significant verschil waargenomen tussen gesloten en open benchmarks met betrekking tot verzadigingspercentages.
- Templating: Getemplateerde en niet-getemplateerde benchmarks vertoonden vergelijkbaar verzadigingsgedrag.
- Taal: Hoewel meertalige benchmarks minder verzadigd leken in ruwe vergelijkingen, werd dit grotendeels verklaard door hun jongere leeftijd vergeleken met Engelstalige benchmarks.
Expert Curation: Door experts gecureerde benchmarks vertoonden lagere verzadiging bij vergelijkbare leeftijden vergeleken met crowdsourced of synthetische benchmarks, wat suggereert dat adversariële of hoogwaardige vormgeving de robuustheid kan verbeteren, hoewel leeftijd een verstorende factor blijft.
Kwaliteitsproblemen: Benchmarks met gedocumenteerde kwaliteitsproblemen (bijv. contaminatie) vertoonden hogere verzadiging, maar deze waren ook aanzienlijk ouder, waardoor de causale richting moeilijk te isoleren is.

Betekenis en Claims

Het artikel betoogt dat benchmark-verzadiging primair een structureel fenomeen is, gedreven door blootstellingsdynamiek en limieten in meetresolutie, in plaats van geïsoleerde ontwerpfouten. De auteurs stellen:

Verzadiging is Neutraal maar Contextafhankelijk: Verzadiging is niet inherent negatief; als een benchmark valide is, kan verzadiging duiden op werkelijke taakbeheersing. Het wordt echter problematisch wanneer het een verlies van meetresolutie reflecteert (ruis die groter is dan de werkelijke verschillen) in plaats van voltooiing van capaciteiten.
Ontwerpkeuzes Doen Er Minder Toe dan Levenscyclusbeheer: Veelvoorkomende ontwerpkeuzes (private data, open formaten) zijn onvoldoende om langdurig onderscheidend vermogen te garanderen. In plaats daarvan vereist duurzame evaluatie actief levenscyclusbeheer, inclusioneel periodieke vernieuwingen, dynamische datacollectie en het rapporteren van onzekerheidsbewuste statistieken.
Behoefte aan Hogere Resolutie: Om onderscheidend vermogen te behouden, moeten benchmarks ervoor zorgen dat de scoreverschillen tussen modellen de verwachte evaluatie-onzekerheid overstijgen. Dit kan een grotere testset, gestratificeerde rapportage of het verder gaan dan enkelvoudige geaggregeerde scores vereisen.

De auteurs concluderen dat hun werk een fundament legt voor robuustere evaluatiepraktijken, en pleiten voor de gemeenschap om benchmarks te behanden als evoluerende instrumenten die monitoring en revisie vereisen om in de loop van de tijd informatief te blijven.