🤖 machine learning

A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning

Dit onderzoek toont aan dat het rapporteren van een enkel gemiddelde bij evaluatiemetrieken in Bayesian Deep Learning misleidend kan zijn, omdat de variantie van deze metrieken tijdens het trainen onvoorspelbaar kan fluctueren en de betrouwbaarheid van een enkele meting ernstig kan ondermijnen.

Oorspronkelijke auteurs: Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weerman bent die elke dag de temperatuur voorspelt. Je gebruikt een computerprogramma om dat te doen. Na een jaar kijk je naar je resultaten en zeg je: "Mijn computer is gemiddeld 95% accuraat." Dat klinkt heel betrouwbaar, toch?

Maar wat als ik je vertel dat die 95% een soort "gemiddelde van een gemiddelde" is, en dat de computer op bepaalde dagen zó onvoorspelbaar is, dat die ene score eigenlijk een complete gok is?

Dit is precies waar dit wetenschappelijke onderzoek over gaat. Ze hebben ontdekt dat bij bepaalde slimme AI-systemen (Bayesiaanse Deep Learning), de manier waarop ze leren, soms een soort "identiteitscrisis" krijgt op specifieke momenten.

Hier is de uitleg in begrijpelijke taal:

1. De "Onbetrouwbare Thermometer" (Het probleem)

Stel je voor dat je een thermometer hebt. Meestal geeft hij de juiste temperatuur aan. Maar op een heel specifiek moment in de ochtend — zeg precies om 08:00 uur — begint de thermometer ineens wild te schommelen. De ene keer zegt hij 10 graden, de andere keer 40 graden.

De onderzoekers ontdekten dat AI-modellen dit gedrag vertonen. Als je de AI traint met een klein beetje data, gaat het goed. Als je heel veel data geeft, gaat het ook goed. Maar er is een "gevaarlijke zone" in het midden (bijvoorbeeld als de AI net genoeg informatie heeft om te denken dat hij het snapt, maar nog niet genoeg om zeker te zijn). In die zone is de AI extreem wispelturig. Als je de AI één keer laat draaien, krijg je een resultaat, maar dat resultaat kan totaal anders zijn dan de volgende keer dat je hem aanzet.

2. De "Spagaat-fase" (Waarom gebeurt dit?)

Waarom doet de AI dit? De onderzoekers gebruiken een metafoor die we kunnen vergelijken met een leerling-kok.

Er zijn twee soorten AI-kokjes:

De "Gevoelige Kok" (Directe methoden): Deze kok probeert tegelijkertijd het recept te leren én tegelijkertijd te raden hoe zout de soep is. Omdat hij probeert alles in één keer perfect te doen, raakt hij in de war. Op een bepaald punt in zijn training raakt hij in een soort "spagaat": hij probeert de smaak te corrigeren, maar door zijn eigen onzekerheid maakt hij de soep juist nóg zouter. Dit zorgt voor die enorme pieken in fouten.
De "Rustige Kok" (Impliciete methoden): Deze kok leert eerst het recept en kijkt pas later hoe zout de soep is. Hij blijft stabiel en maakt geen gekke sprongen.

3. De Ontdekking: De "Gok-score" is misleidend

In de wetenschap rapporteren onderzoekers vaak één enkel getal om te laten zien hoe goed een AI is. De auteurs van dit paper zeggen: "Stop daarmee! Dat is alsof je zegt dat een golfer gemiddeld 70 slagen nodig heeft, maar je vergeet te vertellen dat hij de helft van de tijd een hole-in-one slaat en de andere helft de bal in de vijver laat vallen."

Het gemiddelde zegt dan niets over de werkelijke betrouwbaarheid. De onderzoekers hebben een manier gevonden om te zien wanneer een AI in die "gevaarlijke zone" zit, zodat we niet blind varen op een gemiddelde dat eigenlijk gebaseerd is op een gelukstreffer of een enorme misser.

4. De Oplossing: Een betere "Receptuur"

De onderzoekers hebben een trucje gevonden om de "Gevoelige Kok" rustiger te maken. Door de manier waarop de AI wordt gestraft voor fouten (de wiskundige formule) een klein beetje aan te passen, verdwijnen die gekke pieken. De AI wordt weer een stabiele leerling die rustig en voorspelbaar beter wordt naarmate hij meer data krijgt.

Samenvatting voor aan de keukentafel:

AI-modellen die proberen hun eigen onzekerheid te berekenen, kunnen soms een soort "puberteit" doormaken tijdens het leren. Op een bepaald punt in hun training worden ze extreem onvoorspelbaar. Als wetenschappers dan alleen naar het gemiddelde kijken, denken ze dat de AI goed werkt, terwijl hij eigenlijk gewoon een enorme gok aan het nemen is. We moeten dus niet alleen kijken naar hoe goed de AI is, maar vooral naar hoe stabiel hij is.

Technische Samenvatting: A Tale of Two Variances

1. Het Probleem: De Onbetrouwbaarheid van "Single-Seed" Benchmarks

In het veld van Bayesian Deep Learning (BDL) worden prestaties van modellen vaak gerapporteerd als een enkel getal (een "endpoint mean"), zoals de Continuous Ranked Probability Score (CRPS). Dit suggereert dat de score een stabiele eigenschap is van de methode.

De auteurs stellen echter dat in scenario's met beperkte data (limited-data settings) deze score zelf een stochastische variabele is. De waarde van een benchmark hangt sterk af van de specifieke willekeurige selectie van de trainingsset en de random initialisatie. Het probleem is niet alleen dat de variantie bestaat, maar dat deze variantie niet uniform is: er zijn specifieke trainingsomvang-regimes (waarbij $n$ de grootte van de dataset is) waarin een enkele meting een extreem slechte schatting geeft van de werkelijke gemiddelde prestatie.

2. Methodologie

De onderzoekers voerden een uitgebreide studie uit met 50 onafhankelijke herhalingen over zes regressiedatasets (waaronder real-world data zoals Seoul Bike en Kin8nm).

Methoden: Ze vergeleken twee groepen BDL-methoden:
- Directe methoden (Direct parameterization): Methoden die een heteroscedastische variantie-kop leren (bijv. MAP en Deep Ensembles).
- Impliciete methoden (Implicit uncertainty): Methoden die onzekerheid verkrijgen via stochastische middeling zonder expliciete variantie-kop (bijv. MC Dropout en Bayes by Backprop).
Analyse van de Variantie-trajectorie: In plaats van alleen naar de eindscore te kijken, bestudeerden ze hoe de variantie van de CRPS verandert naarmate de trainingsomvang $n$ toeneemt. Ze gebruikten een power-law model ( $Var \approx Cn^{-\alpha}$ ) om de regelmaat van deze trajectorieën te beschrijven.
Diagnostische tools:
- $R^2$ van de power-law fit: Meet hoe goed de variantie volgt een voorspelbaar schaalpatroon.
- Monotoniciteit: Controleert of de variantie consistent afneemt naarmate er meer data komt.
- Lokale variantie: Gebruikt als een directe risico-indicator voor de foutmarge van een enkele meting.

3. Belangrijkste Bijdragen

Identificatie van "Variance Spikes": Het aantonen dat directe methoden op real-world data vaak een plotselinge piek in variantie vertonen bij een gemiddelde trainingsomvang, in plaats van een vloeiende afname.
Kwantificering van de Schattingsfout: Het bewijzen dat lokale variantie een zeer sterke voorspeller is (Spearman correlatie $> 0.96$ ) voor de fout die een enkele "seed" maakt ten opzichte van het werkelijke gemiddelde.
Oorzaakanalyse via $\beta$ -NLL: Het aantonen dat de standaard heteroscedastische verliesfunctie (NLL) bijdraagt aan deze instabiliteit en dat het vervangen hiervan door een $\beta$ -NLL functie de trajectorieën stabiliseert.

4. Resultaten

Instabiliteit van Directe Methoden: Methoden zoals MAP en Deep Ensembles vertonen significante, reproduceerbare pieken in variantie bij intermediaire trainingsomvang. Op de Seoul Bike dataset bereikt de relatieve RMSE van een enkele MAP-schatting zelfs 93,6% op het piekpunt, en is de kans dat de score binnen $\pm 10\%$ van het gemiddelde valt slechts 5,9%.
Stabiliteit van Impliciete Methoden: MC Dropout en Bayes by Backprop vertonen veel regelmatiger, monotone trajectorieën met een vloeiende afname van variantie.
De rol van de Loss-functie: De instabiliteit is deels te wijten aan de optimalisatie-pathologie van de standaard heteroscedastische NLL. Wanneer het model de variantie ( $\sigma^2$ ) vergroot, wordt de gradiënt voor het gemiddelde ( $\mu$ ) gedempt, wat leidt tot een vicieuze cirkel van slechte schattingen. Het gebruik van $\beta$ -NLL herstelt de regelmaat van de variantie-afname aanzienlijk.

5. Significantie en Praktische Implicaties

Dit onderzoek heeft grote gevolgen voor hoe machine learning benchmarks worden gerapporteerd en uitgevoerd:

Voor onderzoekers: Rapporteer niet alleen het gemiddelde, maar ook de stabiliteit (zoals $R^2$ en monotoniciteit van de variantie). Een methode die een goede eindscore heeft maar een zeer onregelmatige variantie-trajectorie, is onbetrouwbaar in beperkte data-scenario's.
Voor praktijkgebruikers: Concentreer herhaalde evaluaties (multiple runs) op de regio's waar de lokale variantie hoog is. Het is verspilling van rekenkracht om overal evenveel herhalingen te doen; focus op de "gevaarlijke" trainingsomvang-regimes.
Voor modelontwerp: Bij het gebruik van directe variantie-lerende modellen is het overwegen van een $\beta$ -NLL verliesfunctie een eenvoudige en effectieve manier om de betrouwbaarheid van de resultaten te vergroten.