🤖 machine learning

Unstable Rankings in Bayesian Deep Learning Evaluation

Dit artikel toont aan dat de rangschikking van Bayesiaanse deep learning-methoden onbetrouwbaar en dataset-afhankelijk is bij beperkte hoeveelheden data, en stelt daarom een nieuw Bayesiaans hiërarchisch kader voor om de statistische significantie en detecteerbaarheid van prestatieverschillen beter te beoordelen.

Oorspronkelijke auteurs: Qishi Zhan, Minxuan Hu, Guansu Wang, Jiaxin Liu, Liang He

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qishi Zhan, Minxuan Hu, Guansu Wang, Jiaxin Liu, Liang He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jury bent bij een bakwedstrijd. Je moet bepalen wie de beste taart heeft gebakken. Je proeft één hapje van elke taart en geeft direct een cijfer.

Maar er is een probleem: de juryleden zijn ontzettend moe en de taartjes zijn piepklein. De ene hap is toevallig een stukje met extra veel suiker, de andere hap is een droog stukje deeg. Als je alleen op die ene hap afgaat, is je oordeel misschien totaal niet eerlijk. Misschien was de tweede bakker wel de beste, maar kreeg hij een slecht cijfer omdat hij net een 'droog' hapje aan jou gaf.

Dit is precies waar dit wetenschappelijke onderzoek over gaat.

De kern van het probleem: De "Kleine Hapjes" valkuil

In de wereld van AI (Artificial Intelligence), en dan specifiek bij 'Bayesian Deep Learning' (modellen die niet alleen een antwoord geven, maar ook zeggen hoe zeker ze van hun zaak zijn), gebruiken wetenschappers scores om te bepalen welk model het beste is.

De meeste grote onderzoeken gaan ervan uit dat ze duizenden voorbeelden (de "taartjes") hebben om te testen. Maar in belangrijke velden zoals het ontdekken van nieuwe medicijnen of het diagnosticeren van zeldzame ziektes, is er vaak heel weinig data beschikbaar. Je hebt dan maar een paar "hapjes" om de modellen te testen.

De ontdekking van de onderzoekers:
Wanneer je weinig data hebt, zijn de scores die je geeft extreem onbetrouwbaar. Het onderzoek laat zien dat:

De ranglijst wankelt: Model A lijkt de winnaar bij 50 testpunten, maar zodra je naar 200 testpunten kijkt, wint Model B plotseling. De ranglijst is dus niet stabiel; hij verandert afhankelijk van hoeveel data je toevallig hebt.
Elke dataset is uniek: Een model dat "superieur" lijkt op de ene dataset, kan een totale flop zijn op een andere. Je kunt de resultaten van de ene test dus niet zomaar kopiëren naar een andere situatie.

De oplossing: De "Onzekerheids-bril"

De onderzoekers zeggen: "Stop met het geven van één enkel cijfer. Dat is alsof je zegt: 'Deze taart krijgt een 7'."

In plaats daarvan stellen ze een nieuw systeem voor. Ze gebruiken een wiskundig model dat niet alleen kijkt naar de score, maar ook naar de onzekerheid van die score. Ze kijken eigenlijk naar een hele reeks mogelijke scores.

Ze introduceren ook een handig hulpmiddel: de Minimum Detectable Difference (MDD). Je kunt dit zien als een "detectie-filter". Het vertelt de wetenschapper: "Luister, het verschil tussen deze twee AI-modellen is zo klein, dat je met de huidige hoeveelheid data eigenlijk niet kunt bewijzen wie er echt beter is. Je hebt meer data nodig om het verschil te zien."

Wat betekent dit in de praktijk?

Als een dokter een AI-systeem gebruikt om een zeldzame ziekte te herkennen, en dat systeem zegt: "Ik ben 90% zeker dat dit model beter werkt dan het vorige", dan moet de dokter nu kritisch zijn.

Dankzij dit onderzoek weten we dat die "90% zekerheid" een illusie kan zijn als er te weinig testdata is gebruikt. De onderzoekers geven wetenschappers een gereedschapskist om te zeggen: "Wacht even, we hebben nog niet genoeg bewijs verzameld om een definitieve winnaar aan te wijzen. Laten we eerst meer data verzamelen."

Kortom: Het onderzoek leert ons dat we niet moeten varen op de eerste de beste ranglijst als we met weinig gegevens werken. We moeten niet alleen kijken naar hoe goed een model scoort, maar ook naar hoe zeker we kunnen zijn van die score.

Technische Samenvatting: Onstabiele Rangschikkingen in de Evaluatie van Bayesian Deep Learning

1. Het Probleem: De Illusie van Betrouwbaarheid bij Kleine Datasets

In de huidige praktijk van Bayesian Deep Learning (BDL) worden methoden (zoals Monte Carlo Dropout of Deep Ensembles) vaak gerangschikt op basis van gemiddelde scores op testsets. De impliciete aanname is dat de geschatte metrieken (zoals CRPS of NLL) betrouwbare indicatoren zijn van de werkelijke prestaties.

Dit paper stelt dat deze aanname faalt in scenario's met data-schaarste (kleine $n$ ). Wanneer de hoeveelheid trainingsdata beperkt is, is de variantie van de metriek-schatters zo groot dat de rangorde van methoden eerder een reflectie is van de steekproefruis dan van de werkelijke superieuriteit van een algoritme. De auteurs tonen aan dat:

Rangschikkingen onbetrouwbaar zijn: Een methode kan bij $n=50$ superieur lijken, maar bij $n=500$ een andere methode laten winnen.
Dataset-afhankelijkheid: Er bestaat geen universele drempelwaarde voor de steekproefgrootte ( $n$ ) die nodig is voor een betrouwbare vergelijking; dit varieert per dataset.
Punthendeling is misleidend: Het vergelijken van gemiddelde scores (point estimates) verbergt de onzekerheid die inherent is aan de schatting zelf.

2. Methodologie: Een Bayesiaans Hiërarchisch Kader

Om de onzekerheid in de evaluatie zelf te kwantificeren, introduceren de auteurs een nieuw statistisch kader:

Bayesiaans Hiërarchisch Model (BHM): In plaats van een enkele waarde per methode te rapporteren, behandelen de auteurs de evaluatiemetrieken als stochastische variabelen over verschillende realisaties van de data. Het model houdt rekening met:
- $\mu_m$ : De latente, ware prestatie van methode $m$ .
- $\sigma^2_m$ : De variantie binnen een methode (hoeveel de score fluctueert door trainingsruis).
- $\gamma_i$ : Een random intercept om de afhankelijkheid tussen methoden te modelleren wanneer ze op dezelfde datarealisatie worden getraind.
- Dit stelt de onderzoekers in staat om de posterior kans $P(M_A \prec M_B)$ te berekenen: de kans dat methode A daadwerkelijk beter is dan methode B.
Minimum Detectable Difference (MDD): De auteurs introduceren de MDD-curve. Dit is een diagnostisch instrument dat aangeeft wat de kleinste prestatieverschillen is die men met een bepaalde betrouwbaarheid (bijv. 80%) kan detecteren bij een gegeven steekproefgrootte $n$ . Dit helpt onderzoekers te bepalen of hun experiment krachtig genoeg is om een conclusie te trekken.

3. Belangrijkste Bijdragen

Nieuw Evaluatieparadigma: De verschuiving van het vergelijken van gemiddelde scores naar het modelleren van de onzekerheid in de scores zelf.
MDD-diagnostiek: Een praktisch hulpmiddel voor experimenteel ontwerp in machine learning.
Empirische deconstructie van variantie: Het aantonen dat de variantie van metrieken niet alleen voortkomt uit de data, maar ook wordt versterkt door de willekeur in het trainingsproces van de modellen zelf.

4. Belangrijkste Resultaten

De auteurs testten zes BDL-methoden op vijf datasets (één synthetisch, vier real-world regressie-datasets).

Instabiliteit van rangordes: Op de synthetische dataset wisselt de rangorde tussen MCD en Deep Ensembles meerdere keren naarmate $n$ groeit. Op de Energy Efficiency dataset is MCD superieur bij kleine $n$ , maar verliest het deze positie bij $n=200$ aan Deep Ensembles.
Variatie in convergentie: De variantie van metrieken neemt af met $n$ , maar de snelheid van deze afname ( $\alpha$ ) verschilt sterk per methode. Sommige methoden vereisen exponentieel meer data om een stabiele score te bereiken.
Metriek-keuze: De Continuous Ranked Probability Score (CRPS) bleek veel stabieler bij kleine steekproeven dan de Negative Log-Likelihood (NLL).
Onbetrouwbaarheid van dekking (Coverage): Metrieken zoals Prediction Interval Coverage Probability (PICP) zijn extreem onbetrouwbaar bij $n < 100$ .

5. Betekenis en Conclusie

De implicaties van dit werk zijn groot voor velden waar data schaars is, zoals de medische diagnostiek, drug discovery en milieumonitoring.

De belangrijkste les is: Men mag niet blind vertrouwen op "leaderboards" bij kleine datasets. Een methode die op een kleine dataset de beste score laat zien, is niet noodzakelijkerwijs de beste methode. Onderzoekers moeten overstappen op onzekerheidsbewuste evaluatie door gebruik te maken van posterior kansen en MDD-analyses om te verifiëren of hun conclusies over de superioriteit van een methode statistisch houdbaar zijn.