📊 statistics

Beyond Point Estimates: Distributional Uncertainty in Machine Learning Performance Evaluation

Dit artikel pleit voor een distributief perspectief in machine learning-evaluatie door prestatie-metrics te behandelen als stochastische variabelen en hun empirische verdelingen te analyseren via kwantielen en betrouwbaarheidsintervallen, waarbij wordt aangetoond dat zinvolle statistische inferentie over modelvariabiliteit haalbaar is zelfs bij kleine steekproefomvang om meer risicogerichte en gedifferentieerde modelvergelijkingen te ondersteunen.

Oorspronkelijke auteurs: Christoph Lehmann, Yahor Paromau

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christoph Lehmann, Yahor Paromau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert een nieuw recept te perfectioneren. In de wereld van Machine Learning (ML) is het "recept" het model, en de "smaaktest" is de prestatiemetriek (zoals nauwkeurigheid of foutpercentage).

De Oude Manier: De Enkele Smaaktest
Traditioneel koken chefs (of datawetenschappers) een recept een keer, proeven het en zeggen: "Deze soep is een 9 op 10." Ze behandelen dat enkele getal als de absolute waarheid.

Maar hier is het probleem: Koken is niet perfect voorspelbaar. Als je de volgorde verandert waarin je ingrediënten toevoegt, een iets andere partij kruiden gebruikt, of de pot op een andere snelheid roert, kan de soep elke keer iets anders smaken. In ML zijn deze "ingrediënten" dingen zoals hoe de data wordt gesplitst, hoe de computer zijn berekeningen start, of hoe het zijn instellingen aanpast.

De oude methode negeert dit. Het gaat ervan uit dat één smaaktest de hele pot soep vertegenwoordigt.

De Nieuwe Manier: De "Smaakverdeling"
Dit artikel stelt een nieuwe manier van denken voor: In plaats van te vragen: "Wat is de score?", vraag: "Hoe ziet het bereik van scores eruit?"

Stel je voor dat je in plaats van de soep één keer te proeven, het 20 keer kookt met lichte, willekeurige variaties in je techniek. Je krijgt 20 verschillende smaak-scores.

Sommige zijn misschien 8,5.
Sommige zijn misschien 9,2.
Eentje is misschien een teleurstellende 7,0.

Het artikel stelt dat we deze niet zomaar moeten middelen om een "9,0" te krijgen. In plaats daarvan moeten we kijken naar de verdeling (de spreiding) van die 20 scores. Dit geeft ons een veel duidelijker beeld van betrouwbaarheid.

Belangrijke Concepten Uitgelegd met Analogieën

1. De "Slechtst-Mogelijke" en "Beste-Mogelijke" Scenario's (Percentielen)
In plaats van alleen het gemiddelde te kennen, kijkt deze methode naar de randen van de verdeling.

De Analogie: Denk aan een weersvoorspelling. Een standaardvoorspelling zegt misschien: "Het wordt 24°C." Maar een distributie-voorspelling zegt: "Het zal waarschijnlijk tussen de 21°C en 27°C liggen, maar er is 10% kans dat het daalt tot 18°C."
In het Artikel: Ze kijken naar specifieke punten in de spreiding, genaamd percentielen.
- Het 90e percentiel kan je vertellen: "In 90% van de gevallen presteert ons model minimaal zo goed."
- Het 10e percentiel kan je vertellen: "In 10% van de gevallen presteert het model slechter dan dit."
- Dit is cruciaal voor "risico". Als je een zelfrijdende auto bouwt, geef je niet alleen om de gemiddelde snelheid; je geeft om het slechtst-mogelijke scenario (de staart van de verdeling).

2. Het "Betrouwbaarheidsinterval" (Het Veiligheidsnet)
Omdat we de soep niet 1.000 keer kunnen koken (het kost te veel tijd en geld), koken we het meestal maar een paar keer (zeg 10 tot 25 keer). Omdat de steekproef klein is, kan onze gok over het "slechtst-mogelijke" scenario wankel zijn.

De Analogie: Stel je voor dat je de hoogte van een boom raadt door er van veraf naar te kijken. Je raadt misschien "15 meter". Maar omdat je ver weg bent, ben je niet 100% zeker. Dus zeg je: "Ik ben er vrij zeker van dat het tussen de 13,5 en 16,5 meter ligt." Dat bereik (13,5–16,5) is je Betrouwbaarheidsinterval.
In het Artikel: De auteurs tonen aan dat we zelfs met een klein aantal "kookrondes" (10–25) deze veiligheidsnetten kunnen berekenen. Ze ontdekten dat hoewel de intervallen breder worden (minder precies) als je kijkt naar de extreme staarten (de allerergste of allerbeste gevallen), ze nog steeds nuttig zijn voor het middengebied.

3. De "Kleine Steekproef" Uitdaging
Het artikel erkent een grote beperking: Het 1.000 keer uitvoeren van een machine learning-model is duur en traag. De meeste mensen kunnen het zich slechts 10 tot 25 keer veroorloven.

De Bevinding: De auteurs voerden enorme simulaties uit (de soep 1.000 keer koken in een computersimulatie) om te zien hoe de "ware" verdeling eruitzag. Vervolgens namen ze kleine stukjes van 10, 15 of 25 runs en probeerden ze het hele plaatje te raden.
Het Resultaat: Zelfs met slechts 15 of 20 runs kun je een verrassend goed idee krijgen van de stabiliteit van het model. Je kunt zeggen of een model "consistent" is (alle scores liggen dicht bij elkaar) of "onstabiel" (scores springen wild).

Waarom Dit Belangrijk Is (Volgens het Artikel)
Het artikel betoogt dat kijken naar de spreiding van resultaten beter is dan kijken naar een enkel gemiddelde.

Twee Modellen, Zelfde Gemiddelde: Stel je voor dat Model A en Model B beide een gemiddelde nauwkeurigheid van 87% hebben.
- Model A is consistent: Het scoort altijd tussen de 86% en 88%.
- Model B is wild: Het scoort soms 95%, maar andere keren crasht het naar 70%.
De Oude Manier: Zou zeggen: "Ze zijn hetzelfde."
De Nieuwe Manier: Zou zeggen: "Model A is veiliger. Model B is riskant vanwege zijn brede spreiding."

Samenvatting
Dit artikel is een gids voor de overstap van "Wat is de score?" naar "Hoe betrouwbaar is de score?". Het leert ons machine learning-resultaten niet te behandelen als vaste getallen, maar als een wolk van mogelijkheden. Door statistische hulpmiddelen te gebruiken om deze wolk in kaart te brengen (zelfs met beperkte data), kunnen we slimmere, veiligere beslissingen nemen over welke modellen we vertrouwen, vooral in situaties waar falen geen optie is.

De auteurs bieden praktische methoden om dit te doen zonder complexe wiskundige aannames nodig te hebben, waardoor het een tool is die nu direct door ingenieurs en wetenschappers kan worden gebruikt.

Technische Samenvatting: Voorbij Puntinschattingen: Distributieonzekerheid in de Evaluatie van Prestaties van Machine Learning

Probleemstelling

Machine learning (ML)-modellen worden traditioneel geëvalueerd aan de hand van puntinschattingen van prestatie-indicatoren (bijvoorbeeld nauwkeurigheid, F1-score, RMSE). Deze aanpak behandelt prestaties als een vaste waarde, waardoor de inherente variabiliteit die wordt veroorzaakt door stochastische elementen van het trainingsproces, zoals het splitsen van data, initialisatie van gewichten en hyperparameteroptimalisatie, niet wordt vastgelegd. Hoewel deze factoren vaak worden erkend als "verstorende factoren", worden ze doorgaans onsystematisch geanalyseerd met een primaire focus op het bereiken van één enkele beste meetwaarde.

Het artikel betoogt dat ML-training moet worden beschouwd als een wetenschappelijk experiment waarbij de Doelindicator van Interesse (TMoI) een stochastische variabele is die conditioneel is op deze verstorende factoren. Echter, beperkingen in de praktijk beperken vaak het aantal herhaalde trainingsruns (steekproefomvang $n$ ) tot kleine of middelgrote bereiken (bijvoorbeeld $n \approx 10\text{--}25$ ) vanwege de rekenkosten. Bijgevolg bestaat er een lacune in het begrip van hoe zinvolle statistische inferentie kan worden uitgevoerd op de onderliggende prestatiedistributie gegeven deze beperkte steekproefgroottes, met name voor staartkwantielen die cruciaal zijn voor risicogerichte toepassingen (bijvoorbeeld geneeskunde, bankwezen).

Methodologie

Het werk stelt een distributieperspectief voor waarbij prestatie-indicatoren worden behandeld als stochastische grootheden. De methodologie richt zich op het schatten van kwantielen en de bijbehorende Betrouwbaarheidsintervallen (BI's) met behulp van frequentistische statistiek.

Statistisch Kader

De studie gaat uit van een onafhankelijke en identiek verdeelde (i.i.d.) steekproef van TMoI-waarden die zijn afgeleid van zaad-gestuurde trainingsruns. Het evalueert twee hoofdstatistische taken:

Puntinschatting van Kwantielen: Het artikel vergelijkt twee schatters:
- Steekproefkwantiel ( $\hat{Q}$ ): Gebaseerd op rangstatistieken (stapfunctie).
- Lineair Geïnterpoleerd Kwantiel ( $\hat{Q}_L$ ): Een gladdere schatter die gebruikmaakt van lineaire interpolatie van rangstatistieken.
Intervalinschatting (Betrouwbaarheidsintervallen): Er worden drie niet-parametrische benaderingen onderzocht voor het construeren van BI's voor kwantielen, naast het standaard $t$ $t$ -interval voor het gemiddelde als referentiepunt:
- Exacte Niet-parametrische BI's: Gebaseerd op rangstatistieken en de binomiale verdeling. Deze zijn distributie-vrij maar vereisen specifieke minimale steekproefgroottes om te bestaan voor een gegeven betrouwbaarheidsniveau.
- Asymptotische Niet-parametrische BI's: Gebaseerd op de asymptotische normaliteit van steekproefkwantielen. Deze hebben ook minimale steekproefgrootte-eisen, met name voor extreme kwantielen.
- Semiparametrische Bootstrap-BI's: Gebruikt een semiparametrische kwantiel-schatter (Hut02) die extrapoleert naar de staarten met behulp van een kwantiel-functie. Deze aanpak vermijdt strikte parametrische aannames terwijl de instabiliteit van standaard bootstrapping voor kwantielen nabij de staarten wordt aangepakt.

Experimenteel Ontwerp

De methodologie wordt gevalideerd via twee hoofdroutes:

Gebruik van Real-data: Drie ML-taken werden geanalyseerd:
- Simpsons-personages: Beeldclassificatie (20 klassen).
- CIFAR10: Beeldclassificatie (10 klassen).
- Supergeleiders: Regressie (voorspellen van kritieke temperatuur).
  Voor elk werden ongeveer 500–1.000 zaad-gestuurde herhalingen uitgevoerd om "waarheid" empirische distributies te genereren. Hieruit werden kleinere subsamples ( $n=10, 15, 25, 50$ ) getrokken om realistische beperkingen te simuleren en de prestaties van de schatters te testen.
Simulatiestudies: Gecontroleerde simulaties werden uitgevoerd met verdelingen met begrenste ondersteuning (relevant voor indicatoren zoals nauwkeurigheid) en variërende vormen (links-scheve Beta, normaal en normale mengsel) om de robuustheid van de methoden onder bekende theoretische omstandigheden te valideren.

Belangrijkste Resultaten

Puntinschatting

Bias en RMSE: Zowel de steekproefkwantiel als de lineair geïnterpoleerde schatter vertonen een lage relatieve bias (maximaal $\approx 1\%$ ) en vergelijkbare Root Mean Square Error (RMSE).
Vorm van de Distributie: Inschatting is betrouwbaarder voor centrale kwantielen (rond 0,5) en wordt uitdagender voor staartkwantielen (bijvoorbeeld 0,05, 0,95).
Keuze van Schatter: Er is geen substantieel praktisch verschil tussen de steekproefkwantiel en de lineair geïnterpoleerde schatter voor de geteste steekproefgroottes en distributies.

Intervalinschatting

Dekking en Steekproefgrootte:
- Voor steekproefgroottes tot $n=25$ wordt een betrouwbaarheidsniveau van 0,90 aanbevolen. Hogere betrouwbaarheidsniveaus (bijvoorbeeld 0,95 of 0,99) resulteren in buitensporig lange intervallen die de precisie verminderen, met name voor kleine $n$ .
- Exacte en Asymptotische BI's: Deze methoden presteren goed wanneer aan de eisen voor steekproefgrootte wordt voldaan. Ze falen echter vaak om geldige intervallen te produceren voor extreme kwantielen met kleine $n$ (bijvoorbeeld $n=10$ ).
- Bootstrap-BI's: De semiparametrische bootstrap biedt een praktisch alternatief wanneer andere methoden ongeldig zijn vanwege beperkingen in de steekproefgrootte. Hoewel ze een iets lagere empirische dekking kunnen vertonen (dalend tot $\approx 0,85$ voor $n=10$ ) en langere intervallen hebben, blijven ze toepasbaar waar exacte/asymptotische methoden niet kunnen worden berekend.
Asymmetrie: De onzekerheid van inschatting is asymmetrisch; lagere kwantielen vereisen over het algemeen grotere steekproefgroottes dan hogere kwantielen voor hetzelfde betrouwbaarheidsniveau. Dit kan worden verzacht door de indicator te transformeren (bijvoorbeeld het gebruik van $-X$ voor nauwkeurigheid) om de kwantiel van interesse naar de bovenste staart te verschuiven.
Vergelijking met Gemiddelde: Het $t$ -interval voor het gemiddelde produceert consequent kortere intervallen met hoge stabiliteit. Het artikel merkt echter op dat hoewel het gemiddelde stabiel is, het het staartgedrag en het risico niet vastlegt. De voorgestelde kwantiel-BI's, hoewel breder, bieden noodzakelijke informatie over variabiliteit en worst-case scenario's.
Invloed van Distributie: Scheefheid en multimodaliteit in de onderliggende distributie beïnvloeden de interval-lengte significant. Bijvoorbeeld, in scheve distributies vertonen kwantielen in de lange staart een hogere onzekerheid en langere BI's.

Betekenis en Claims

Het artikel claimt de kloof tussen statistische theorie en ML-praktijk te dichten door een kader te bieden voor distributie-evaluatie dat haalbaar is onder realistische rekenkundige beperkingen.

Risicogerichte Interpretatie: De primaire bijdrage is het mogelijk maken van een risicogerichte kijk op modelprestaties. In plaats van te vertrouwen op gemiddelden, kunnen practitioners probabilistische uitspraken doen (bijvoorbeeld "de nauwkeurigheid zakt in ten hoogste 10% van de gevallen onder de 90%") ondersteund door betrouwbaarheidsintervallen.
Haalbaarheid met Kleine Steekproeven: De studie toont aan dat zinvolle statistische inferentie mogelijk is zelfs met kleine steekproefgroottes ( $n \approx 10\text{--}25$ ), wat gebruikelijk is in ML vanwege de hoge kosten van herhaalde training.
Praktische Toepasbaarheid: De voorgestelde methoden (met name de niet-parametrische asymptotische BI en semiparametrische bootstrap) zijn distributie-vrij, eenvoudig te implementeren en toepasbaar op zowel classificatie- als regressie-indicatoren.
Gedifferentieerde Modelvergelijking: De aanpak staat een meer genuanceerde vergelijking van modellen toe. Twee modellen kunnen vergelijkbare gemiddelde prestaties hebben, maar hun betrouwbaarheidsintervallen kunnen verschillen in stabiliteit en variabiliteit onthullen die puntinschattingen missen.

De auteurs concluderen dat hoewel standaard puntinschattingen ontoereikend zijn voor toepassingen met hoge risico's, de voorgestelde distributie-evaluatie een praktische uitbreiding biedt op standaard ML-workflows, waardoor een gedetailleerdere karakterisering van onzekerheid mogelijk wordt zonder parametrische aannames te vereisen.