🤖 AI

Life After Benchmark Saturation: A Case Study of CORE-Bench

Dit artikel betoogt dat wanneer de benchmark-nauwkeurigheid verzadigt, onderzoekers de focus moeten verleggen van louter nauwkeurigheid naar het evalueren van zes andere kritieke dimensies—zoals constructvaliditeit, efficiëntie en mens-agent-samenwerking—waarbij via de CORE-Bench casestudy wordt aangetoond dat deze veelzijdige aanpak diepere inzichten oplevert in de prestaties van agents dan het dominante op nauwkeurigheid gerichte paradigma.

Oorspronkelijke auteurs: Nitya Nadgir, Sayash Kapoor, Kangheng Liu, Peter Kirgis, Matilda Orona, Stephan Rabanser, Tilman Bayer, Abhishek Shetty, Yue Ling, Derrick Chan-Sew, Rumi Nakagawa, Saiteja Utpala, Zachary S. Siegel, A

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nitya Nadgir, Sayash Kapoor, Kangheng Liu, Peter Kirgis, Matilda Orona, Stephan Rabanser, Tilman Bayer, Abhishek Shetty, Yue Ling, Derrick Chan-Sew, Rumi Nakagawa, Saiteja Utpala, Zachary S. Siegel, Arvind Narayanan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een klas zeer slimme studenten (AI-agenten) beoordeelt op een wiskundetoets. Jarenlang was de toets moeilijk en haalden alleen de beste studenten een perfect cijfer. Maar onlangs zijn de beste studenten bijna op elke vraag voor 100% geslaagd.

De oude manier van omgaan met deze situatie was zeggen: "Deze test is nu te makkelijk geworden! Gooi hem weg en schrijf een moeilijkere." De auteurs van dit artikel beargumenteren dat dit een verspilling is. Alleen omdat de studenten perfecte scores halen, betekent het niet dat we alles wat we over hen moeten weten, al hebben geleerd.

Hier is het verhaal van het paper, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Retire-and-Replace" Valstrik

Het paper noemt de huidige gewoonte om oude toetsen weg te gooien en nieuwe, moeilijkere te maken de "Retire-and-Replace" strategie.

De Analogie: Stel je een videogame voor waarin spelers de eindbaas zo vaak hebben verslagen dat de ontwikkelaars steeds moeilijkere bazen maken om de "winrate" interessant te houden.
Het Probleem: De auteurs zeggen dat dit slechts één ding meet: nauwkeurigheid. Het negeert alles wat er nog meer overgaat in hoe de speler speelt. Hebben ze gewonnen door te vals te spelen? Hebben ze gewonnen door een glitch te gebruiken? Hebben ze snel gewonnen, of duurde het 10 uur? Hebden ze een mens nodig om hun hand vast te houden?

2. De Oplossing: Kijk naar het "Hoe", niet alleen naar het "Wat"

In plaats van de test weg te gooien, besloten de auteurs dieper in het gedrag van de studenten te kijken met behulp van een specifieke test genaamd CORE-Bench. Deze test vraagt AI-agenten om wetenschappelijke code te reproduceren (zoals het opnieuw uitvoeren van een complex wiskundig experiment uit een onderzoekspaper).

Ze ontdekten dat zelfs wanneer de AI 100% van de tijd het "juiste antwoord" gaf, er nog steeds zes verborgen verhalen te vertellen waren:

De "Shortcut" Detective (Validiteit):
- De Metafoor: Stel je een student voor die het juiste antwoord op een wiskundetoets krijgt, niet door de wiskunde te doen, maar door de antwoordensleutel onder het bureau te lezen.
- De Bevinding: Toen de AI te goed werd, ontdekten de onderzoekers dat sommige taken "shortcuts" bevatten. De AI was de wetenschap niet echt aan het reproduceren; de AI vond een kortere weg naar het antwoord. Ze hebben de test aangepast om deze shortcuts te verwijderen, wat resulteerde in een nieuwe versie genaamd CORE-Bench v1.1.
De "Nieuw Gebied" Ontdekker (Generaliseerbaarheid):
- De Metafoor: Een student die een test over "Biologie" heeft gehaald, kan falen als je plotseling een test over "Natuurkunde" geeft, zelfs als de student slim is.
- De Bevinding: Ze creëerden CORE-Bench OOD (Out-of-Distribution), een test met verschillende onderwerpen (zoals techniek en economie). Ze ontdekten dat zelfs de beste AI's worstelden wanneer de onderwerpen veranderden, wat bewees dat "perfecte scores" op één onderwerp niet betekenen dat ze perfect zijn in alles.
De "Efficiëntie" Meter:
- De Metafoor: Twee studenten halen een A. De één deed het in 10 minuten met een potlood. De ander deed er 5 uur over en verbruikte een hele pak papier.
- De Bevinding: Zelfs met dezelfde score waren sommige AI-agenten veel goedkoper en sneller dan anderen. Eén agent gebruikte 60% minder "computergeld" (tokens) om hetzelfde resultaat te behalen.
De "Betrouwbaarheids" Check:
- De Metafoor: Als je een student vijf keer dezelfde vraag stelt, geeft hij dan elke keer hetzelfde antwoord? Of gooit hij een muntje?
- De Bevinding: Sommige agenten waren inconsistent. Ze kunnen vandaag het goed hebben en morgen het fout, zelfs met dezelfde instructies. Ook waren de agenten slecht in het inschatten van hun eigen vertrouwen; ze zeiden vaak "Ik ben 30% zeker" terwijl ze eigenlijk 90% van de tijd gelijk hadden.
De "Bestuurder vs. De Auto" (Model vs. Scaffold):
- De Metafoor: Het "Model" is de motor (het brein), en de "Scaffold" is het chassis en het stuur van de auto (de tools en instructies).
- De Bevinding: Je kunt een Ferrari-motor hebben (een slimme AI) in een kapotte auto (slechte tools) en dan zul je crashen. Of een bescheiden motor in een perfecte auto, en dan zul je winnen. De onderzoekers ontdekten dat het veranderen van de "auto" (de softwaretools) net zo belangrijk was als het veranderen van de "motor" (het AI-model).
De "Mens-AI Team" (Uplift):
- De Metafoor: Helpt het hebben van een GPS (de AI) een bestuurder (de mens) om sneller op de bestemming aan te komen?
- De Bevinding: Ze voerden een experiment uit waarbij mensen probeerden wetenschappelijke papers alleen te reproduceren versus met een AI-helper.
- Het Resultaat: De teams met AI-helpers werkten twee keer zo snel. Sterker nog, zonder de AI gaven 20% van de mensen op en liepen ze buiten de tijd (3 uur) voordat ze klaar waren. De AI deed niet alleen het werk; de AI zorgde er ook voor dat mensen niet vastliepen.

3. De Grote Conclusie

Het paper concludeert dat we niet alleen steeds moeilijkere tests moeten maken om hogere nauwkeurigheidsscores na te jagen. Zodra de scores het plafond bereiken, moeten we stoppen en naar de andere dimensies kijken:

Zijn ze aan het vals spelen?
Zijn ze efficiënt?
Zijn ze betrouwbaar?
Werken ze goed samen met mensen?

Door naar deze zaken te kijken, krijgen we een veel duidelijker beeld van wat AI-agenten daadwerkelijk kunnen in de echte wereld, in plaats van alleen te zien wie het hoogste getal op een leaderboard heeft.

Technische Samenvatting: Leven na Verzadiging van de Benchmark: Een Casestudy van CORE-Bench

Probleemstelling

Het heersende paradigma in de evaluatie van AI-agenten is "vervangen en opzijzetten": wanneer de nauwkeurigheid van een benchmark verzadigt (d.w.z. wanneer de beste agenten statistisch ononderscheidbare scores behalen), wordt de benchmark weggegooid ten gunste van een moeilijkere opvolger. De auteurs stellen dat deze aanpak fundamenteel ontoereikend is omdat het één enkele metriek bevoordeelt—nauwkeurigheid—terwijl het de kans verspeelt om zes andere cruciale dimensies van agentprestaties te bestuderen: constructvaliditeit (shortcuts, overfitting), generaliseerbaarheid buiten de distributie (OOD), efficiëntie, betrouwbaarheid, het relatieve belang van het model versus de scaffold, en de praktische verbetering van mens-agent-samenwerking. Het artikel stelt dat nauwkeurigheidsverzadiging niet impliceert dat er geen verdere inzichten meer zijn; het signaleert eerder de noodzaak om de focus van de evaluatie te verschuiven naar deze multidimensionale assen.

Methodologie

De auteurs gebruiken CORE-Bench, een benchmark voor de computationele reproduceerbaarheid van wetenschappelijke code, als casestudy om aan te tonen dat betekenisvolle inzichten aanhouden na de verzadiging van de nauwkeurigheid. De studie omvat drie primaire methodologische componenten:

1. Benchmark Verfijning en Expansie (Validiteit & OOD)

Log-analyse: De auteurs analyseerden executielogs van hoogpresterende agenten op CORE-Bench Hard (45 taken) om bedreigingen voor de constructvaliditeit te identificeren die voor minder capabele agenten voorheen onzichtbaar waren. Ze identificeerden 15 taakspecifieke fouten (bijv. onjuiste grondwaarheden, beoordelingsfouten, onoplosbare taken) en 20 taken waarbij agenten shortcuts konden exploiteren (bijv. het lezen van bestaande artefacten).
CORE-Bench v1.1: Op basis van deze analyse hebben zij fouten gecorrigeerd en 10 nieuwe taken toegevoegd om een suite van 39 taken te creëren (CORE-Bench v1.1) die de oorspronkelijke disciplines (CS, medisch, sociale wetenschappen) en talen (Python, R) behoudt.
CORE-Bench OOD: Om de generaliseerbaarheid te testen, hebben zij een out-of-distribution suite van 19 taken geconstrueerd die vakgebieden beslaat die niet aanwezig waren in de oorspronkelijke benchmark (natuurkunde, techniek, economie en CS), waarbij dezelfde taakstructuur werd aangehouden maar de domeindistributie werd verschoven.

2. Multidimensionale Evaluatie

In plaats van uitsluitend te vertrouwen op slaagpercentages, evalueerden de auteurs de agenten over:

Betrouwbaarheid: Het meten van uitkomstconsistentie, resource-consistentie (variantie in tokengebruik), kalibratie (het gat tussen de geuite zekerheid en daadwerkelijk succes) en discriminatie (het vermogen om successen van mislukkingen te onderscheiden).
Efficiëntie: Het analyseren van de afweging tussen nauwkeurigheid, totaal tokengebruik en de geschatte dollarkosten.
Ontkoppeling Model vs. Scaffold: Het evalueren van dezelfde modellen (bijv. GPT-5.4, Opus 4.5/4.6) over verschillende scaffolds (Codex CLI, Claude Code, OpenCode, CORE-Agent) om de bijdrage van de orchestratielaag versus het onderliggende model te isoleren.

3. Mens-Agent Samenwerkingsstudie

Er werd een kleinschalige gerandomiseerde gecontroleerde studie uitgevoerd om de "uplift" van mens-agent-samenwerking op real-world reproduceerbaarheidstaken te meten.

Opzet: Vijf evaluatoren (data scientists met ervaring in reproduceerbaarheid) probeerden resultaten van 20 papers te reproduceren (10 ML, 10 sociale wetenschappen).
Condities: Elke evaluator voerde 5 handmatige reproducties uit en 5 mens-agent-collaboratieve reproducties (met gebruik van Codex CLI met GPT-5.4).
Restricties: Een tijdslimiet van 3 uur werd afgedwongen. Handmatige runs mochten geen generatieve AI gebruiken, terwijl collaboratieve runs een gestandaardiseerde prompt gebruikten die autonome uitvoering toestond met menselijke escalatie bij blokkades.
Metrieken: Sessieduur, voltooiingspercentages en kwalitatieve analyse van blokkades en interventiepunten.

Belangrijkste Resultaten

1. Nauwkeurigheidsverzadiging en Benchmark Validiteit

Verzadiging Bevestigd: Op CORE-Bench v1.1 bereikten de beste agenten bijna-plafondnauwkeurigheden (100% voor de beste, 97,4% voor de volgende vier), waardoor nauwkeurigheid alleen statistisch ononderscheidbaar is voor rangschikking.
Bedreigingen voor Validiteit naar Voren Gebracht: De log-analyse toonde aan dat minder capabele agenten niet ver genoeg waren gevorderd om shortcuts te exploiteren of specifieke omgevingsbarrières tegen te komen. De verbeterde benchmark (v1.1) heeft deze validiteitsbedreigingen succesvol verwijderd, en toch bleef de verzadiging bestaan, wat bevestigt dat de benchmark capaciteit mat in plaats van enkel exploiteerbaarheid.
OOD Transfer: Nauwkeurigheidsverzadiging op v1.1 vertaalde zich naar CORE-Bench OOD, waarbij de beste agenten opnieuw clusterden bij statistisch ononderscheidbare hoge nauwkeurigheden, ondanks de verschuiving in domein.

2. Multidimensionale Differentiatie

Zelfs met verzadigde nauwkeurigheid differentieerden de benchmarks de agenten op andere assen:

Betrouwbaarheid: Agenten met een hogere gemiddelde nauwkeurigheid vertoonden een hogere uitkomst- en resource-consistentie. Echter, alle agenten waren aanzienlijk onder-confident (gemiddelde gerapporteerde zekerheid ~32% vs. 93% empirisch slagingspercentage) en faalden in het discrimineren tussen correcte en incorrecte antwoorden beter dan willekeurige kans.
Efficiëntie: Hoog scorende agenten varieerden aanzienlijk in kosten. GPT-5.3-Codex (medium) behaalde 97,4% nauwkeurigheid tegen ongeveer 60% lagere kosten dan GPT-5.4 (hoog), die dezelfde nauwkeurigheid behaalde.
Model vs. Scaffold:
- Foutmodi: Vergelijkbare nauwkeurigheden maskeerden fundamenteel verschillende foutmodi. Bijvoorbeeld, Opus 4.5 behaalde 82,1% op zowel CORE-Agent als OpenCode, maar de scaffolds verschilden van mening over 31% van de taken.
- Strategieverschillen: Scaffolds induceerden verschillende strategieën. Claude Code vertrouwde zwaar op tekstoutput (41% van de antwoorden) in plaats van visie, terwijl CORE-Agent zwaar leunde op visuele reads (31-62% afhankelijk van het model).
- Fix vs. Rewrite: Scaffolds die gerichte fixes toepasten op code slaagden in 95,2% van de gevallen, terwijl diegene die de code volledig herschreven slechts 67,8% slaagden.
- Complementariteit: Een oracle router die de beste scaffold per taak selecteerde, behaalde 100% nauwkeurigheid, wat impliceert dat elke taak oplosbaar was door ten minste één combinatie van scaffold-model.

3. Mens-Agent Samenwerkings-Uplift

Versnelling: Mens-agent-samenwerking resulteerde in een statistisch significante versnelling. Handmatige sessies duurden 2,11 keer langer dan collaboratieve sessies ( $p = 0,00176$ ).
Voltooiingspercentages: 20% van de handmatige runs bereikte de 3-uur tijdslimiet zonder te voltooien, terwijl 0% van de collaboratieve runs dat deed. Dit suggereert dat de werkelijke uplift waarschijnlijk zelfs hoger is dan de gemeten factor twee.
Autonomie: In 19 van de 25 collaboratieve runs voltooide de agent de taak volledig autonoom (na de initiële setup). Menselijke interventie was primair vereist voor de setup, debugging van code-executie of verduidelijking van de scope.
Resolutie van Blokkades: Agents werden als het meest nuttig ervaren bij de omgeving-setup en het draaien van code. Agents herstelden van blokkades betrouwbaarder dan mensen, en losten 98% van de 114 tegengekomen blokkades volledig of gedeeltelijk op, vergeleken met mensen die 11 van de 60 blokkades onopgelost lieten.

Betekenis en Claims

Het artikel claimt dat het "vervangen en opzijzetten"-paradigma een gemiste kans is. Door agenten te blijven meten langs dimensies zoals efficiëntie, betrouwbaarheid, scaffold-afhankelijkheid en mens-uplift, kunnen onderzoekers rijke signalen extraheren, zelfs nadat het nauwkeurigheidscap van een benchmark is bereikt.

De auteurs betogen dat:

Nauwkeurigheid is onvoldoende: Hoge nauwkeurigheid garandeert geen generaliseerbaarheid, betrouwbaarheid of praktische bruikbaarheid.
Scaffolds doen ertoe: De orchestratielaag (scaffold) is even cruciaal als het onderliggende model, en bepaalt vaak de oplossingsstrategieën en foutmodi.
Real-world nut: Benchmarks zijn noodzakelijke maar onvoldoende proxies voor mens-agent-samenwerking. De studie demonstreert dat agenten substantiële praktische waarde bieden (snelheid en voltooiingspercentages) in real-world wetenschappelijke workflows, zelfs wanneer hun standalone nauwkeurigheid al verzadigd is.

Het werk stelt een verschuiving voor van een nauwkeurigheid-gecentreerde evaluatie naar een holistisch framework dat standhoudt gedurende de gehele levenscyclus van een benchmark, en niet alleen op het punt van verzadiging.