🤖 machine learning

Benchmarked Yet Not Measured -- Generative AI Should be Evaluated Against Real-World Utility

Dit artikel betoogt dat de kloof tussen de sterke benchmarkprestaties van generatieve AI en zijn beperkte bruikbaarheid in de praktijk voortkomt uit gebrekkige evaluatiepraktijken, en stelt het SCU-GenEval-raamwerk voor om de beoordeling te verschuiven naar het meten van aanhoudende verbeteringen in menselijke uitkomsten binnen specifieke inzetcontexten.

Oorspronkelijke auteurs: Ishani Mondal, Shweta Bhardwaj

Gepubliceerd 2026-05-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ishani Mondal, Shweta Bhardwaj

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Videospelletjescore" versus het Reële Leven

Stel je voor dat je een robot traint om een auto te besturen. Je test hem in een perfecte, lege videospelletjesimulatie waar het altijd zonnig is, de wegen recht zijn en er geen andere auto's rijden. De robot behaalt een perfecte score van 100/100.

Je bent opgetogen! Je koopt de robot en plaatst hem op een echte snelweg. Crash.

Dit artikel stelt dat Generatieve AI (zoals de chatbots en codeschrijvers die we vandaag de dag gebruiken) precies zo'n robot is. Het behaalt perfecte scores op standaardtests (benchmarks), maar wanneer we het daadwerkelijk gebruiken in het echte leven (scholen, ziekenhuizen, advocatenkantoren), faalt het vaak om mensen te helpen of veroorzaakt het zelfs schade.

De auteurs keken naar 28 reële verhalen waarin AI er op papier geweldig uitzag maar in de praktijk faalde. Ze vonden drie hoofdredenen waarom dit gebeurt:

1. Het "Valse Proxy"-Probleem (Proxy Displacement)

De Analogie: Stel je een restaurantjury voor die eten alleen beoordeelt op hoe luid de chef klapt wanneer het gerecht wordt geserveerd. De chef leert om heel hard te klappen en krijgt een 10/10-oordeel. Maar het eten is eigenlijk verbrand.
De Realiteit: AI wordt vaak beoordeeld op makkelijk te meten dingen zoals "vloeiendheid" (hoe glad de zinnen klinken) of "slaagpercentage" (werkt de code?). Maar in de echte wereld gaan we om moeilijk te meten dingen zoals "is dit medisch advies eigenlijk veilig?" of "heeft deze student het concept daadwerkelijk geleerd?"

Voorbeeld: Een AI voor coderen kan code schrijven die alle tests doorstaat (hoge score), maar een beveiligingslek bevat waardoor hackers binnen kunnen komen. De test mat niet de veiligheid; het mat alleen of de code draaide.

2. Het "Snapshot"-Probleem (Temporal Collapse)

De Analogie: Stel je een student voor die een rekenmachine gebruikt om een wiskundeprobleem direct op te lossen. Ze halen een A op het toets. Maar als je de rekenmachine een maand later wegneemt, kunnen ze helemaal geen basiswiskunde meer. De rekenmachine hielp hen op dat moment, maar het hielp hen niet om te leren.
De Realiteit: Huidige AI-tests zijn "snapshots". Ze vragen: "Kan de AI deze taak nu uitvoeren?" Ze vragen niet: "Helpt het gebruik van deze AI de mens om in de loop van de tijd beter te worden, of maakt het hen lui en vergeetachtig?"

Voorbeeld: In het onderwijs kan AI een student helpen om huiswerk snel af te maken, maar de student kan later vergeten hoe ze zelf schrijven of kritisch denken.

3. Het "Gemiddelde"-Probleem (Distributional Concealment)

De Analogie: Stel je een arts voor die zegt: "Deze nieuwe medicijn werkt geweldig! De gemiddelde patiënt voelt zich beter." Maar ze vertellen je niet dat het perfect werkt voor mannen maar vrouwen ziek maakt. Het "gemiddelde" verbergt het feit dat de helft van de mensen gekwetst wordt.
De Realiteit: AI-systemen zien er vaak goed uit als je kijkt naar de "gemiddelde" score. Maar dat gemiddelde verbergt het feit dat de AI vreselijk faalt voor specifieke groepen mensen (zoals minderheden, beginners of mensen in landelijke gebieden).

Voorbeeld: Een medische AI kan goed werken voor blanke patiënten maar ziekte niet detecteren bij zwarte patiënten, of een juridische AI kan geweldig zijn voor grote advocatenkantoren maar vreselijk advies geven aan gewone mensen.

De Oplossing: Een Nieuwe Manier om Succes te Meten

De auteurs zeggen dat we moeten stoppen met vragen "Hoe goed is de output van de AI?" en moeten beginnen met vragen "Hoeveel heeft de AI de vaardigheid van de mens veranderd om hun doelen te bereiken?"

Ze noemen dit "Utility" (Nuttigheid). Het gaat niet om de score van de AI; het gaat om de vooruitgang van de mens.

Om dit te meten, stellen ze een nieuw kader voor genaamd SCU-GenEval. Denk hierbij aan een recept met vier stappen om AI te testen voordat je het de wereld in laat:

Wie en Wat? (Stakeholder-Goal Mapping)
- Zeg niet zomaar "De Ontwikkelaar". Zeg "De Junior Ontwikkelaar", "De Beveiligingsexpert" en "De Eindgebruiker". Hoe ziet succes eruit voor elk van hen?
Wat Maakt Uit? (Construct-Indicator Specification)
- Meet niet zomaar "snelheid". Meet "hebben ze geleerd?", "Is de code veilig?", "Is de patiënt beter geworden?"
Hoe Verandert Het? (Mechanism Modeling)
- Voorspel de toekomst. Zal het gebruik van deze AI de junior ontwikkelaar lui maken? Zal het de arts te veel laten vertrouwen op de machine?
Meet in de Loop van de Tijd (Longitudinal Utility)
- Test niet slechts één keer. Test vandaag, test volgende week en test volgende maand. Is de mens beter geworden, of slechter?

De Hulpmiddelen om Dit Te Realiseren

De auteurs weten dat dit duur en moeilijk klinkt om te doen. Dus stellen ze drie hulpmiddelen voor om het praktisch te maken:

De "Pre-Flight Checklist" (Gestructureerde Protocollen): Voordat je een AI lanceert, moet je precies opschrijven wat je test, op wie je het test en wat je verwacht dat er gebeurt. Dit voorkomt dat je de regels verandert nadat je de resultaten hebt gezien.
De "Digitale Tweeling" (Gebruikerssimulatoren): In plaats van maanden te wachten om te zien hoe echte mensen reageren, gebruik computersimulaties van specifieke soorten mensen (bijvoorbeeld "een vermoeide junior coder") om te voorspellen hoe ze in de loop van de tijd zullen presteren.
De "Gespecialiseerde Liniaal" (Persona-Conditioned Metrics): In plaats van één liniaal voor iedereen te gebruiken, gebruik verschillende linialen voor verschillende groepen. Meet de "Junior Ontwikkelaar" apart van de "Senior Expert".

De Conclusie

Het artikel concludeert dat een hoge benchmarkscore niet genoeg is. Alleen omdat een AI een videospelletje wint, betekent niet dat het klaar is voor de echte wereld.

We moeten onze focus verschuiven van "Hoe slim is de machine?" naar "Hoeveel heeft de machine de mens geholpen om bekwaamer te worden?". Als we deze verschuiving niet maken, riskeren we het inzetten van AI-systemen die er op papier indrukwekkend uitzien maar falen om te helpen, of zelfs schade toebrengen aan de mensen die ze het hardst nodig hebben.

Technische Samenvatting: Genbenchmark maar niet Gemeten - Generatieve AI Moet Geëvalueerd Worden op Basis van Wereldse Nuttigheid

1. Probleemstelling

Het paper identificeert een kritieke disconnectie tussen de hoge prestaties van Generatieve AI (GenAI)-systemen op standaard benchmarks en hun falen om betrouwbare nuttigheid te leveren in real-world implementaties. Waar benchmarks zoals ImageNet, GLUE, HumanEval en VBench modelvergelijking en vooruitgang hebben gestimuleerd, falen ze steeds vaker om succes te voorspellen in hoog-risicodomeinen zoals onderwijs, gezondheidszorg, software-engineering en recht.

De auteurs analyseren 28 gedocumenteerde implementatiegevallen om aan te tonen dat systemen met sterke benchmark-scores vaak falen in het verbeteren van menselijke vaardigheid, besluitvorming of leren op de lange termijn. In plaats daarvan introduceren ze frequent beveiligingskwetsbaarheden, missen ze kritieke klinische gevallen of verslechteren ze langetermijnvaardigheden. Het paper betoogt dat huidige evaluatiepijplijnen lijden aan een fundamenteel gebrek aan constructvaliditeit: ze meten hanteerbare proxy-metrics (bijv. BLEU, pass@k, vloeiendheid) die geen geldige maatstaven zijn voor de complexe, real-world constructen die ze verondersteld worden te vertegenwoordigen.

Deze "benchmark-nuttigheidskloof" wordt aangedreven door drie terugkerende structurele falen:

Proxy-verplaatsing: Het behandelen van hanteerbare metrics als geldige maatstaven voor complexe constructen zonder bewijs van constructvaliditeit (bijv. het gelijkstellen van vloeiendheid met correctheid of kostenreductie met patiëntbehoefte).
Temporele instorting: Het verwarren van korte-termijn, AI-ondersteunde prestaties met duurzame vaardigheid, waarbij langetermijneffecten zoals vaardigheidsatrofie, overmatige afhankelijkheid en gebrek aan kennisoverdracht worden genegeerd.
Distributionele verberging: Het toestaan dat aggregatiescores systematische falen maskeren over specifieke populaties, ondervertegenwoordigde groepen of onzichtbare implementatieomgevingen.

Deze falen worden versterkt door benchmark-saturatie, data-contaminatie en Goodhart-achtige optimalisatie, waarbij systemen de proxy optimaliseren in plaats van het onderliggende doel.

2. Methodologie en Kader: SCU-GenEval

Om deze kloven aan te pakken, stellen de auteurs een paradigma-shift voor van statische, artefact-gerichte evaluatie naar Stakeholder-Centered Utility Evaluation (SCU-GenEval). Dit kader definieert nuttigheid niet als de kwaliteit van een output-artefact, maar als de verandering in de vaardigheid van een stakeholder om hun doelen te bereiken over tijd, als gevolg van interactie met een AI-systeem.

2.1 Formalisering van Nuttigheid

Nuttigheid ( $U$ ) wordt gekwantificeerd als de contrafactuele verandering in de vaardigheidsvector ( $C$ ) van een stakeholder tussen een staat voor interactie en een staat na interactie binnen een specifieke implementatiecontext ( $D$ ) en tijdsbestek ( $t$ ):
$U(u, G, y, D, t) = C_{after}(u, G, y, D, t) - C_{before}(u, G, D, t)$
Waarbij:

$u$ de stakeholder is.
$G$ het doel is.
$y$ het AI-systeem is.
$C$ een vector is van meetbare indicatoren (bijv. besluitkwaliteit, retentie, veiligheid, samenwerking).

Deze formulering zorgt ervoor dat evaluatie georiënteerd is op gebruikersuitkomsten (R1), temporeel (R2) en gedisaggregeerd (R3), en adresseert direct de drie structurele falen.

2.2 Het Vier-Staps Evaluatieproces

SCU-GenEval operationaliseert nuttigheid via vier sequentiële, verbonden stadia:

Stakeholder–Doel Mapping: Het expliciet identificeren van beïnvloede gebruikers ( $u$ ) en hun doelen ( $G$ ) om distributionele verberging te voorkomen en te waarborgen dat de evaluatie de juiste menselijke uitkomsten target.
Construct–Indicator Specificatie: Het definiëren van real-world vaardigheidsconstructen en het selecteren van geldige indicatoren ( $I_k$ ) om deze te meten, dienend als verdediging tegen proxy-verplaatsing.
Mechanisme Modeling: Het identificeren van causale mechanismen (bijv. vaardigheidsatrofie, automatiseringsbias, expertise-reversie) waardoor AI-interactie vaardigheid over tijd verandert, en adresseert temporele instorting.
Longitudinale Nuttigheidsmeting: Het schatten van $U$ $U$ met behulp van specifieke protocollen:
- Voorwaarde Vergelijking: Het vergelijken van mens-alleen, AI-alleen en mens+AI prestaties.
- Longitudinale Tracking: Het meten van duurzaamheid over tijdsbesteken.
- Subgroep Disaggregatie: Het rapporteren van uitkomsten per $(u, G, D)$ tuple.
- Mechanisme Verificatie: Het testen of voorspelde mechanismen manifesteren in interactie-sporen.
- Auditbaarheid: Het loggen van data voor onafhankelijke replay.

2.3 Ondersteunende Instrumenten

Om dit kader praktisch te maken op schaal, stellen de auteurs drie instrumenten voor:

Gestructureerd Implementatie Data Collectie Protocol (SDDCP): Een voor-geregistreerd, machine-leesbaar contract (analoog aan CONSORT-AI) dat omgevingen, constructen, mechanismen en disaggregatiesleutels specificeert vóór implementatie.
Context-Geconditioneerde Gebruikers Simulatoren: Simulatoren geïnitieerd met specifieke persona's en doelen, gekalibreerd tegen SDDCP ground truth, om langetermijn nuttigheidseffecten (bijv. vaardigheidsverval) te schatten zonder maanden veldwerk te vereisen.
Persona–Doel-Geconditioneerde Proxy Metrics (PGCPMs): Snelle, goedkope metrics die nuttigheid benaderen door evaluatiesets te filteren om te matchen met specifieke stakeholder persona's en gevalideerde constructen, gekalibreerd tegen SDDCP-data.

3. Belangrijkste Bijdragen

Het paper levert vier primaire bijdragen:

Systematische Analyse: Een analyse van 28 implementatiegevallen over onderwijs, gezondheidszorg, software-engineering en recht, die aantoont dat de benchmark-nuttigheidskloof systematisch, cross-domein en terugkerend is, niet anekdotisch.
Structurele Diagnose: De identificatie van drie structurele oorzaken van de kloof: proxy-verplaatsing, temporele instorting en distributionele verberging.
SCU-GenEval Kader: Een nieuw kader voor het meten van nuttigheid als veranderingen in menselijke vaardigheid over tijd, waarbij de eenheid van evaluatie verschuift van artefactkwaliteit naar menselijke uitkomsttrajecten.
Domein-specifieke Actieoproepen: Concreet aanbevelingen voor onderzoekers, industrie en beleidsmakers om nuttigheidsmeting te adopteren, inclusief oproepen voor gedisaggregeerde rapportage, longitudinale studies en voor-geregistreerde implementatieprotocollen.

4. Resultaten en Bewijs

Het paper presenteert geen nieuwe experimentele resultaten van een enkel model, maar synthetiseert bewijs uit 28 bestaande gevallen (gedetailleerd in Tabel 1) om zijn claims te valideren:

Software Engineering: Code-generatiesystemen met hoge pass@k-scores introduceerden beveiligingskwetsbaarheden in ~40% van de oplossingen; AI-ondersteunde programmeertools werden gelinkt aan metacognitieve schade en vaardigheidsatrofie bij junior ontwikkelaars.
Gezondheidszorg: Het Epic Sepsis Model, ondanks sterke interne validatie, miste 67% van de sepsisgevallen en gaf ten onrechte alarm bij 18% van de patiënten in externe validatie. Andere modellen vertoonden bias tegen specifieke raciale groepen of faalden om te generaliseren over ziekenhuislocaties.
Onderwijs: Systemen die korte-termijn taakvoltooiing verbeterden, faalden vaak om langetermijnretentie of transfer te verbeteren, en AI-samenvattingen bleken potentieel de "inspannende ophaal" die nodig is voor leren te verslechteren.
Recht: Juridische AI-tools produceerden vloeiende maar gefabriceerde citaten en gehallucineerde jurisprudentie, wat leidde tot sancties, terwijl risicobeoordelingsinstrumenten (bijv. COMPAS) ondoorzichtige scores leverden die niet konden worden betwist.

De toepassing van het SCU-GenEval-kader op een hypothetisch "DevAssist"-scenario (Figuur 2) illustreert hoe het kader negatieve nuttigheid zou onthullen voor junior engineers en beveiligingsrecensenten die standaard benchmarks zouden verbergen.

5. Betekenis en Claims

Het paper betoogt dat voor systemen met betekenisvolle menselijke consequenties, benchmarkprestaties noodzakelijk maar niet voldoende bewijs van nuttigheid zijn. De betekenis van het werk ligt in zijn oproep tot een meetwetenschap die centraal staat op stakeholder-geconditioneerde nuttigheidstransparantie in plaats van alleen benchmarkprestaties.

De auteurs positioneren SCU-GenEval niet als vervanging voor benchmarks, maar als een noodzakelijke aanvulling voor hoog-risico implementatie. Ze benadrukken dat:

Constructvaliditeit het ontbrekende anker is in huidige evaluatie; metrics moeten worden gevalideerd tegen de implementatie-uitkomsten die ze beweren te vertegenwoordigen.
Nuttigheid is temporeel en gedisaggregeerd: Evaluatie moet bijhouden hoe vaardigheid verandert over tijd en over specifieke gebruikerssubgroepen, in plaats van te vertrouwen op statische, aggregatiescores.
Praktijkbaarheid is haalbaar: Door de voorgestelde instrumenten (SDDCP, Simulatoren, PGCPMs) kan rigoureuze nuttigheidsevaluatie hanteerbaar en schaalbaar worden gemaakt, waardoor de "kosten" van implementatieschade (bijv. patiëntletsel, beveiligingsinbreuken) niet zwaarder wegen dan de kosten van pre-implementatie evaluatie.

Het paper concludeert dat vooruitgang in Generatieve AI moet worden geëvalueerd op meetbare verbeteringen in menselijke uitkomsten, en dringt er bij de gemeenschap op aan rapportagestandaarden aan te nemen die analoog zijn aan CONSORT en TRIPOD voor socio-technische AI-implementatie.