📊 statistics

Deployment-complete benchmarking

Dit artikel introduceert "deployment-complete benchmarking", een raamwerk dat evalueert of benchmarkscores betrouwbaar beslissingen over implementatie kunnen sturen door ambiguïteit in het bewijs te kwantificeren, en onthult dat huidige benchmarks vaak falen bij het ondersteunen van real-world beslissingen ondanks hoge scores, en stelt een "certify-then-acquire"-strategie voor om valse implementatiebeslissingen aanzienlijk te verminderen.

Oorspronkelijke auteurs: El Mustapha Mansouri, Keigo Arai

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: El Mustapha Mansouri, Keigo Arai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wervingmanager bent die moet beslissen wie je inhuurt voor een zeer specifieke baan: een vrachtwagen besturen door een sneeuwstorm.

Je hebt een lijst met kandidaten en je hebt hen een standaard rijtest laten doen. De test meet hoe goed ze een auto kunnen parkeren op een leeg terrein en kunnen rijden op een zonnige dag. De resultaten zijn duidelijk: Kandidaat A behaalde een perfecte 100/100, en Kandidaat B behaalde een 95/100.

Op basis van deze "benchmarkscore" zou je natuurlijk Kandidaat A inhuren. Maar hier zit het probleem: De test die je hen gaf, testte hun vermogen om in een sneeuwstorm te rijden, niet daadwerkelijk.

Dit artikel, getiteld "Deployment-complete benchmarking", stelt dat we precies deze fout maken met AI-modellen, nieuwe materialen en medische verbindingen. We behandelen een testscore als een garantie dat een systeem klaar is voor de echte wereld, terwijl die score vaak alleen maar aantoont dat het systeem goed is in de test zelf.

Hier is de uiteenzetting van hun bevindingen met eenvoudige analogieën:

1. Het "Fiber"-probleem: Dezelfde score, verschillende realiteit

De auteurs introduceren een concept genaamd een "fiber". Stel je voor dat een fiber een groep mensen is die allemaal exact dezelfde score behaalden op je rijtest.

Het ideale scenario: Iedereen in die groep is even goed in het rijden door een sneeuwstorm. Als je iemand uit die groep huurt, ben je veilig.
Het echte probleem (Gemengde fibers): In werkelijkheid is die groep een mix. Sommigen kunnen door een sneeuwstorm rijden; anderen zullen direct crashten. Ze behaalden allemaal dezelfde score op de zonnige-dagtest, maar de test onderscheidde het verschil niet.

Het artikel noemt dit een "gemengde fiber". Het is een wiskundig bewijs dat je testscore ontoereikend is om een beslissing te nemen. Als je een "gemengde fiber" hebt, vlieg je blind.

2. De valkuil van de "Perfecte score"

De auteurs voerden experimenten uit waarbij ze een perfecte test creëerden. Ze ontdekten dat zelfs als een model een 100% perfecte score behaalt op de benchmark (de zonnige-dagtest), het nog steeds nutteloos kan zijn voor de echte baan (de sneeuwstorm).

Analogie: Stel je een chef-kok voor die perfect is in het maken van een taart in een rustige keuken. Je huurt hen in om een enorm banket te bereiden in een chaotische, lawaaierige keuken. Hun "perfecte taartscore" vertelt je niet of ze het chaos aankan.
De bevinding: In hun experimenten faalde een model dat "perfect" was op de test, nog steeds om het realistische resultaat te voorspellen in ongeveer 55% van de gevallen, omdat de test een cruciaal stukje informatie miste (het "residu" of de "sneeuwstorm").

3. De "Gemengde fiber"-audit

De auteurs gingen naar buiten en controleerden echte benchmarkresultaten (zoals Tox21 voor toxicologie en JARVIS voor materialenwetenschap) om te zien hoeveel "gemengde fibers" er bestonden. De resultaten waren schokkend:

Toxicologie (Tox21): 97,9% van de groepen met dezelfde testscore bevatte een mix van veilige en giftige chemicaliën. De testscore was bijna nutteloos om veiligheid te bepalen.
Materialen (Matbench/JARVIS): In de belangrijkste audits was het mediane aantal kandidaten dat je met vertrouwen kon inhuren 0%. De scores waren zo dubbelzinnig dat je geen enkele kon vertrouwen zonder meer informatie.

4. De oplossing: "Certify-Then-Acquire"

Dus, wat doen we? Het artikel stelt een nieuwe workflow voor genaamd "Certify-Then-Acquire".

In plaats van alleen naar de score te kijken en een beslissing te nemen, volg je deze stappen:

Controleer de score: Kijk naar het benchmarkresultaat.
Controleer de fiber: Vraag: "Bevat deze scoregroep een mix van goede en slechte uitkomsten?"
Als het gemengd is (Dubbelzinnig): Raad niet! Stop. Je moet nog één specifieke test uitvoeren (een "probe") om de verwarring op te helderen.
- Analogie: Als de rijtest dubbelzinnig is, huur de bestuurder dan nog niet in. Geef hen een snelle 5-minuten test specifiek in de sneeuw.
Als het zuiver is: Als de groep allemaal veilig is (of allemaal onveilig), dan kun je een beslissing nemen.

De resultaten van deze nieuwe aanpak:

Bij de toxicologietests verminderde deze methode verkeerde beslissingen (valse alarmen) van 1,19% naar 0,027%.
Bij de materialentests verminderde het verkeerde beslissingen van 20,3% naar 0,128%.
Bonus: Het veranderde vaak welk model of materiaal je koos. Het "beste" model volgens de oude score was vaak de slechtste keuze voor de echte baan. De nieuwe methode koos de juiste.

5. De "Completion Curve"

De auteurs stellen een nieuwe manier voor om resultaten te rapporteren. In plaats van alleen te zeggen "Ons model behaalde 95% nauwkeurigheid", zou een rapport een "Completion Curve" moeten bevatten.

Deze curve beantwoordt: "Hoeveel extra informatie (of geld) moeten we uitgeven om zeker te zijn dat onze beslissing juist is?"

Als de curve vlak is, heb je veel extra testen nodig om zeker te zijn.
Als de curve steil is, ben je al dichtbij zekerheid.

De kernboodschap

Het artikel stelt dat een score geen beslissing is. Een score is slechts een stukje bewijs.

Oude manier: "Het model scoorde 95%, dus we zetten het in." (Dit is riskant omdat de score de realiteitsgevaar misschien niet dekt).
Nieuwe manier: "Het model scoorde 95%, maar die score laat ons onzeker over 20% van de gevallen. Laten we één extra test uitvoeren op die 20% om zeker te zijn voordat we het inzetten."

De auteurs concluderen dat voor elke beslissing met hoge risico's (AI inzetten, materialen kopen, medicijnen goedkeuren) we moeten stoppen met alleen de score te rapporteren. We moeten rapporteren wat de score daadwerkelijk ondersteunt, waar het dubbelzinnig is en hoeveel het kost om die dubbelzinnigheid op te lossen.

Technische Samenvatting: Implementatie-Compleet Benchmarken

Probleemstelling
Huidige machine learning-benchmarks sturen in toenemende mate cruciale implementatiebeslissingen aan, zoals modelaanschaf, materiaalselectie en triage van verbindingen. Er bestaat echter een fundamentele disconnectie: een benchmarkscore levert slechts bewijs voor de specifieke respons die deze registreert (bijvoorbeeld voorspellingnauwkeurigheid op een testset), niet noodzakelijk voor de vereiste implementatieactie (bijvoorbeeld veiligheid, robuustheid of een specifieke fysieke drempelwaarde). Een model kan perfect presteren op een benchmark, terwijl de uit die score afgeleide actie onderbepaald blijft, omdat de implementatie afhankelijk is van responsen buiten het bereik van de benchmark (bijvoorbeeld toxiciteit, stabiliteit of robuustheid buiten de verdeling). Dit artikel betoogt dat standaardmetrieken zoals nauwkeurigheid, kalibratie en onzekerheid niet garanderen dat een benchmarkscore een specifieke implementatieclaim ondersteunt.

Methodologie
De auteurs introduceren implementatie-compleet benchmarken, een raamwerk dat de overgang van benchmarkbewijs naar implementatieactie behandelt als een wiskundig factorisatieprobleem.

Formele Definities:
- Laat $S$ de ruimte van kandidaten zijn, $Z$ de ruimte van geregistreerd bewijs (benchmarkscores) en $A$ de ruimte van implementatieacties.
- Een benchmark registreert een bewijskaart $E: S \to Z$ . Een implementatieclaim is een actie $D: S \to A$ .
- Claim-Completie: Een benchmark is compleet voor een claim $D$ dan en slechts dan als $D$ constant is op elke bewijsvezel $E^{-1}(z)$ . Equivalent moet er een kaart $\phi: Z \to A$ bestaan zodat $D = \phi \circ E$ .
- Gemengde Vezels: Als een vezel $E^{-1}(z)$ kandidaten bevat die verschillende implementatieacties vereisen (bijvoorbeeld: één kandidaat moet worden geïmplementeerd, een andere afgewezen), dan is het een "gemengde vezel". Dit dient als een wiskundig getuige dat het gerapporteerde bewijs ontoereikend is om de actie te bepalen.
Diagnostische Hulpmiddelen:
- Gemengde-Vezel Audit: Een diagnostiek die het aandeel kandidaten telt dat in gemengde vezels zit.
- Completiecurven: Deze kwantificeren de kosten (in termen van aanvullende responsprobes of budget) die nodig zijn om ambiguïteit op te lossen. Ze plotten het "gecertificeerde aandeel" (kandidaten met pure vezels) tegen het "responsbudget".
- Certificeringstypen: Het artikel onderscheidt tussen exacte certificering (eindige sets met bekende labels), kalibratiecertificering (empirisch risico op vastgehouden data) en voorspelde certificering (intervalgrenzen gebaseerd op modelaannames).
Experimenteel Ontwerp:
- Gestuurde Responsruimten: Synthetische experimenten waarbij de geometrie van de responsruimte bekend is, waardoor een precieze berekening mogelijk is van de "residugrootte" (het component van de implementatierespons dat voor de benchmark onzichtbaar is).
- Publieke Audits: Analyse van bestaande datasets (Tox21, Matbench, JARVIS, Vision) om de prevalentie van gemengde vezels in real-world benchmarks te meten.
- Vastgehouden Herhalingen: Operationele simulaties waarbij een "certificeer-then-aanschaf"-workflow wordt getest. Kandidaten met pure vezels worden direct beslist; die in gemengde vezels worden doorgestuurd voor aanvullende meting (aanschaf).

Belangrijkste Resultaten

Benchmarknauwkeurigheid $\neq$ Implementatie-Completie:
- In gestuurde experimenten bereikte conformale voorspelling via benchmarkkanalen 94,98% dekking op gemeten labels, maar slechts 10,07% op het ongemeten implementatiekanaal.
- Zelfs met nul benchmarkfout (perfecte voorspelling op de benchmark), stortte de implementatie-dekking in (tot 45,4% bij een specifieke residugrootte), omdat de implementatierichting een component had die orthogonaal was op de benchmarkspanning.
- Leaderboard Inversie: Het model met de beste benchmark Mean Absolute Error (MAE) was vaak het slechtst in het certificeren van implementatiekandidaten. In sommige runs certificeerde het model met de beste MAE slechts 6% van zijn topkandidaten, terwijl een model met een slechtere MAE 100% certificeerde omdat zijn responsspanning de implementatieprobe dekte.
Systemische Onvolledigheid in Publieke Benchmarks:
- Tox21: 97,9% van de vezels (groepen verbindingen met identieke 7-assay-profielen) was gemengd met betrekking tot het SR-p53-implementatie-eindpunt.
- Matbench & JARVIS: In de belangrijkste audits van 20-quantielen was het mediane certificeerbare aandeel voor stabiliteits- en bandgapsclaims 0%.
- Vision: Schone voorspellingvezels lieten 22,7% van de claims voor corruptierobuustheid ambigu.
Operationele Impact van Completie-bewuste Beleidslijnen:
- Verminderde Valse Beslissingen: In vastgehouden herhalingen van Tox21 verlaagde een "certificeer-then-aanschaf"-workflow het empirische aantal valse beslissingen van 1,19% (benchmark-meerderheidsbeleid) naar 0,027%. In JARVIS daalden valse bandgap-beslissingen van 20,3% naar 0,128%.
- Modelselectie: Completie-bewuste workflows selecteerden andere modellen dan benchmark-MAE-workflows. In een representatieve JARVIS-split maakte het benchmark-MAE-model 613 valse bandgap-beslissingen, terwijl de respons-geselecteerde workflow er geen enkele maakte.
- Probe-selectie: "Respons-rang"- en "residu-greedy"-beleid identificeerden succesvol implementatie-relevante probes (bijvoorbeeld specifieke toxiciteitsassays of bandgap-berekeningen) die ambiguïteit verlaagden, en presteerden beter dan onzekerheidsgebaseerde of diversiteitsgebaseerde aanschafstrategieën.

Betekenis en Claims
Het artikel claimt dat implementatie-klaar benchmarken hun rapportagestandaard moeten verschuiven van "alleen scores" naar een auditabel bewijspakket. Dit pakket moet bevatten:

De score.
De gebruikte bewijskaart.
De specifieke actie die de score moet ondersteunen.
Het aandeel kandidaten waarvan de actie al bepaald is (pure vezels).
Het ambiguïteitsaandeel (gemengde vezels).
De completiekosten (budget vereist om ambiguïteit op te lossen).

De auteurs betogen dat nauwkeurigheid, kalibratie en onzekerheidsschatting waardevol blijven voor ranking en betrouwbaarheid, maar verschillende vragen beantwoorden. Implementatie-completie vraagt specifiek of het bewijspakket de actie bepaalt. Het raamwerk biedt een diagnostiek voor wanneer bewijs ontoereikend is, een limiet voor wat statistieken ontbrekende informatie kunnen repareren (geen, als ze uitsluitend vertrouwen op hetzelfde bewijs), en een ontwerpregel voor het verwerven van de nodige informatie om implementatiebeslissingen te ondersteunen.

Beperkingen en Reikwijdte
Het artikel claimt niet dat alle benchmarks nutteloos zijn, maar wel dat ze vaak onvolledig zijn voor specifieke implementatieclaims. De "certificeer-then-aanschaf"-workflow behandelt ambiguë kandidaten niet als falen, maar als verzoeken om verdere meting. Het raamwerk is bewijs-relatief; het toevoegen van beschrijvers, beperkingen of nieuwe metingen verandert de bewijskaart en kan completiekosten verlagen. De resultaten worden gepresenteerd als empirische risicobeoordelingen op vastgehouden data en wiskundige diagnostiek op eindige sets, in plaats van formele populatiegaranties voor onwaargenomen verdelingen.