📊 statistics

Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties

Dit artikel stelt een cooperatief trainingskader voor dat een variantie-schattingnetwerk integreert met een Bayesiaans neuronaal netwerk om aleatorische en epistemische onzekerheden effectief te ontrafelen en tegelijkertijd de gemiddelde schatting te verbeteren over diverse datasets.

Oorspronkelijke auteurs: Jiaxiang Yi, Miguel A. Bessa

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaxiang Yi, Miguel A. Bessa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer probeert te voorspellen. Je hebt een model dat zegt: "Morgen wordt het 24°C." Maar hoe zeker is het model?

In de wereld van AI zijn er twee hoofdredenen waarom een model onzeker kan zijn:

Het "Rommelige Data"-Probleem (Aleatorische Onzekerheid): De thermometer is defect, of de wind waait wild. Hoe slim je model ook is, je kunt de exacte temperatuur niet voorspellen omdat de data zelf ruis bevat. Dit is als proberen het exacte resultaat van het gooien van een dobbelsteen te raden; de ruis zit ingebouwd in het proces.
Het "Ik heb dit nog nooit gezien"-Probleem (Epistemische Onzekerheid): Je vraagt je model om een weerspatroon te beoordelen dat het nooit heeft gezien in zijn trainingsdata. Het model is onzeker omdat het kennis mist, niet omdat de data ruis bevat. Dit is als een chef vragen die alleen Italiaans kookt om de smaak te raden van een gerecht uit een keuken die hij nooit heeft bestudeerd.

Het Probleem met Huidige AI
De meeste AI-modellen zijn als overmoedige studenten. Ze geven je één antwoord (het gemiddelde) maar doen alsof ze alles weten. Als ze fout zijn, vertellen ze het je niet.

Sommige modellen proberen toe te geven dat ze onzeker zijn over de "rommelige data", maar ze raken in de war en overpassen vaak (ze memoriseren de ruis), wat leidt tot slechte voorspellingen.
Andere modellen (Bayesiaanse Neurale Netwerken) proberen toe te geven dat ze onzeker zijn over hun "kennisgebrek", maar ze zijn ontzettend moeilijk te trainen en raken vaak vast in een wiskundige doodlopende straat.

Proberen een model te trainen om beide taken tegelijk te doen, is als een student vragen om een wiskundeprobleem op te lossen terwijl hij tegelijkertijd probeert uit te zoeken hoe rommelig zijn potlood is. De twee taken vechten tegen elkaar, en het resultaat is meestal een puinhoop.

De Oplossing: Een Samenwerkend Team (VeBNN)
De auteurs van dit artikel stellen een nieuwe manier voor om AI te trainen, genaamd VeBNN (Variance estimation Bayesian Neural Network). In plaats van één model te dwingen om alles tegelijk te doen, splitsen ze de taak op in drie distincte stappen, net als een estafettewedstrijd waarbij elke loper gespecialiseerd is in één etappe.

Stap 1: De "Gemiddelde" Loper
Eerst trainen ze een simpel model om alleen het gemiddelde antwoord te vinden (het gemiddelde). Ze doen alsof de data voor een moment perfect schoon is. Dit geeft hen een solide basisvoorspelling zonder afgeleid te worden door de ruis.

Stap 2: De "Ruis"-Detective
Vervolgens nemen ze die solide basis en trainen ze een tweede, gespecialiseerd model om alleen te kijken naar de fouten die het eerste model heeft gemaakt. Deze "Ruis-Detective" leert in kaart brengen waar de data rommelig is en waar deze schoon is. Het leert de Aleatorische Onzekerheid (de onherleidbare ruis). Cruciaal is dat dit gebeurt zonder te proberen het gemiddelde voorspelling te veranderen, zodat het niet in de war raakt.

Stap 3: De "Kennis"-Expert
Tot slot trainen ze een complex Bayesiaans Neuraal Netwerk. Dit is de expert die weet hoe hij om moet gaan met "Ik weet het niet"-situaties. Maar hier zit de truc: ze geven deze expert de kaart van de "ruis" die door de detective in Stap 2 is gemaakt. Omdat de expert precies weet waar de data rommelig is, kan hij zich volledig richten op het uitzoeken waar hij kennis mist. Hierdoor kan hij de Epistemische Onzekerheid nauwkeurig meten.

Waarom Dit Werkt (De Analogie)
Denk aan een team artsen dat een patiënt diagnoseert:

Arts A meet de temperatuur en hartslag van de patiënt (het Gemiddelde).
Arts B kijkt naar de geschiedenis van de patiënt en merkt op dat de thermometer trilt en de patiënt zweet (de Aleatorische Ruis).
Arts C (de Bayesiaanse expert) gebruikt de metingen van A en de context van B om te beslissen: "Is dit een zeldzame ziekte die ik nog nooit heb gezien?" (De Epistemische Onzekerheid).

Als je Arts C vraagt om alle drie de taken tegelijk te doen, kan hij overweldigd raken. Maar door hen samenwerkend in volgorde te laten werken, is de diagnose veel nauwkeuriger.

Wat Ze Vonden
De auteurs testten deze methode op verschillende datasets, waaronder:

Standaard wiskundeproblemen.
Taken voor beeldherkenning.
Een speciale dataset die ze zelf hebben gemaakt, gerelateerd aan materiaalkunde (het voorspellen hoe metaal vervormt onder spanning). In dit specifieke geval wisten ze de ware hoeveelheid ruis in de data, waardoor ze konden bewijzen dat hun methode correct was.

De Resultaten

Betere Nauwkeurigheid: De modellen voorspelden het gemiddelde resultaat beter dan eerdere methoden.
Ware Ontkoppeling: Het model slaagde erin "rommelige data" te scheiden van "kennisgebrek". Bij eerdere methoden werden deze twee onzekerheden vaak door elkaar gehaald, waardoor het model ofwel te zelfverzekerd of te bang werd.
Robuustheid: De methode werkte goed, zelfs wanneer de data schaars was of wanneer het model werd gevraagd om dingen te voorspellen buiten zijn trainingsbereik (extrapolatie).

Samenvattend
Dit artikel introduceert een "deel en heers"-strategie voor AI-onzekerheid. Door drie gespecialiseerde netwerken in een specifieke volgorde te trainen, hebben de auteurs een systeem gecreëerd dat je niet alleen kan vertellen wat er zal gebeuren, maar ook hoe zeker het is over de ruis in de data versus zijn eigen kennisgebrek. Het is een eenvoudigere, robuustere manier om AI toe te laten geven wat het niet weet.

Technische Samenvatting: Cooperatieve Variansieschatting en Bayesiaanse Neuronale Netwerken voor het Ontkoppelen van Aleatorische en Epistemische Onzekerheden

Probleemstelling

Real-world data bevat inherent twee verschillende soorten onzekerheid: aleatorische onzekerheid (dataraas voortkomend uit imperfecte metingen of stochastische generatieprocessen) en epistemische onzekerheid (modelonzekerheid voortkomend uit beperkte data of modelcapaciteit). Hoewel Mean-Variance Estimation (MVE)-netwerken aleatorische onzekerheid kunnen leren, lijden ze vaak aan overfitting en falen ze in het voorspellen van epistemische onzekerheid. Omgekeerd kunnen Bayesiaanse Neuronale Netwerken (BNN's) epistemische onzekerheid voorspellen, maar zijn ze berucht moeilijk te trainen, vooral bij het proberen om tegelijkertijd heteroscedastische (invoer-afhankelijke) aleatorische ruis te modelleren.

Bestaande benaderingen voor het gezamenlijk trainen van MVE-netwerken stuiten vaak op optimalisatieproblemen. De Negative Log-Likelihood (NLL) verliesfunctie die wordt gebruikt voor gezamenlijke training creëert een niet-convex landschap met zadelpunten. Specifiek bevat de gradiënt met betrekking tot de variansie termen van hoge orde in de noemer, wat leidt tot onevenwichtigheden waarbij het netwerk ofwel de ruis overfit (door de variansie naar nul te drijven) ofwel niet convergeert (door de variansie naar oneindig te drijven). Bovendien is aangetoond dat pogingen om onzekerheden te ontkoppelen met ensemble-methoden of MC-Dropout op MVE-netwerken onbetrouwbare resultaten opleveren, waarbij de twee onzekerheidstypen vaak worden verward.

Methodologie: VeBNN

De auteurs stellen VeBNN (Variance estimation Bayesian Neural Network) voor, een cooperatieve trainingsstrategie die de schatting van het gemiddelde, de aleatorische onzekerheid en de epistemische onzekerheid sequentieel ontkoppelt. De methode verloopt in drie distincte stappen:

Training van het Gemiddelde Netwerk (Stap 1): Een deterministisch netwerk wordt getraind om het gemiddelde ( $\mu$ ) te schatten, uitgaande van constante (homoscedastische) aleatorische onzekerheid. Dit vereenvoudigt het optimalisatielandschap, waardoor het netwerk een robuuste puntsschatting van het gemiddelde kan vinden zonder interferentie van variansie-gradiënten.
Training van het Variansieschatting Netwerk (Stap 2): Een apart netwerk wordt getraind om de aleatorische onzekerheid ( $\sigma^2_a$ ) te voorspellen op basis van de residuen van de vaste gemiddelde schatting uit Stap 1. Cruciaal is dat de auteurs, in plaats van de standaard Gaussische NLL-verliesfunctie (die lijdt aan gradiënt-onevenwichtigheden), voorstellen om de gekwadrateerde residuen te modelleren met een Gamma-verdeling. Dit leidt tot een op Gamma gebaseerde NLL-verliesfunctie waarbij de gradiënten met betrekking tot de netwerkparameters geen termen van hoge orde in de noemer bevatten, wat zorgt voor stabiele optimalisatie. De aleatorische variansie wordt vervolgens afgeleid als de verwachte waarde van deze Gamma-verdeling.
Training van het Bayesiaanse Neuronale Netwerk (Stap 3): Een BNN wordt getraind met een "warm start" met behulp van de gemiddelde schatting uit Stap 1 en de vaste schatting van de aleatorische variansie uit Stap 2. Omdat de aleatorische ruis in dit stadium wordt behandeld als een bekende, vaste grootheid, richt het BNN zich uitsluitend op het leren van de posterior-verdeling van de gewichten om epistemische onzekerheid te vangen.

De uiteindelijke voorspelling voor een nieuwe invoer $x'$ ontbindt de totale onzekerheid in:

Voorspellend Gemiddelde: De verwachting van de BNN-uitvoer.
Aleatorische Onzekerheid: De vaste variansieschatting uit Stap 2.
Epistemische Onzekerheid: De variansie van het voorspellende gemiddelde van de BNN over de posterior-verdeling.

De auteurs merken op dat het proces kan itereren tussen Stap 2 en Stap 3 om de ontkoppeling te verfijnen, hoewel empirische resultaten suggereren dat convergentie vaak wordt bereikt met één iteratie ( $K=1$ of $K=2$ ).

Belangrijkste Bijdragen

Cooperatieve Trainingsstrategie: Het artikel introduceert een sequentieel trainingskader dat de gekoppelde optimalisatieproblemen die inherent zijn aan gezamenlijke MVE-training vermijdt. Door de taken te scheiden, mitigeert de methode de niet-convexiteit en gradiënt-onevenwichtigheden die geassocieerd zijn met gezamenlijke gemiddelde-variansieschatting.
Gamma-likelihood voor Variansieschatting: De auteurs stellen het gebruik van een Gamma-likelihood voor om gekwadrateerde residuen te modelleren voor variansieschatting. Dit vermijdt de numerieke instabiliteit van de Gaussische NLL-verliesfunctie en biedt een theoretisch onderbouwde, convexe optimalisatieprobleem voor het variansienetwerk.
Effectieve Ontkoppeling: De methode slaagt erin aleatorische en epistemische onzekerheden te scheiden, een taak waarbij veel bestaande methoden (inclusief diepe ensembles en MC-Dropout toegepast op MVE) falen om een betrouwbare scheiding te bieden.
Schalbaarheid en Implementatie: De aanpak is eenvoudig te implementeren met standaardarchitecturen (MLP's, GRU's, ResNets) en inferentiemethoden (pSGLD, Ensembles, BBB, MC-Dropout), en toont aan dat cooperatieve training zelfs "zwakke" inferentiemethoden zoals BBB kan verbeteren.

Experimentele Resultaten

De auteurs evalueerden VeBNN over vijf categorieën datasets:

Eendimensionale illustratieve voorbeelden: Toonde aan dat VeBNN de oververzekerde variansievoorspellingen en slechte gemiddelde-schattingen vermijdt die worden gezien bij gezamenlijke MVE-training, met name in extrapolatiegebieden.
UCI Regression Datasets: VeBNN verbeterde consistent de Test Log-Likelihood (TLL) en de Root Mean Square Error (RMSE) over verschillende inferentiemethoden (Ensembles, MC-Dropout, BBB, pSGLD) in vergelijking met hun gezamenlijke MVE-tegenhangers. Opvallend is dat VeBNN (BBB) concurrerende prestaties behaalde, terwijl gezamenlijke MVE (BBB) vaak faalde om te convergeren.
Grootschalige Beeldregressie: Onder real-world distributieveranderingen behaalde VeBNN (Ensembles) een hogere TLL en betere testdekking dan baselines, wat een sterkere capaciteit aantoont om verschoven data te verwerken.
Ontdekking van Materiaal Plasticiteitswetten (Bekende Ground Truth): Met behulp van een aangepaste dataset waarbij de ground-truth aleatorische onzekerheid bekend is (via meerdere fysische simulaties), presteerde VeBNN (pSGLD) beter dan alle baselines op RMSE, de Wasserstein-afstand (die de nabijheid van de geschatte aleatorische onzekerheid tot de ground truth meet) en Epistemische TLL. De methode identificeerde correct dat aleatorische onzekerheid stabiel bleef terwijl epistemische onzekerheid toenam in out-of-distribution gebieden.
APPA-REAL Dataset: VeBNN behaalde de beste prestaties op alle metrieken (RMSE, WA, Epistemische TLL) in vergelijking met MVE-baselines.

Ablatiestudies bevestigden dat de Gamma-verliesfunctie superieur is aan Gaussische NLL of $\beta$ -NLL voor het variansienetwerk en dat de methode snel convergeert, waarbij vaak slechts één extra iteratie nodig is naast de initiële training.

Betekenis en Claims

Het artikel beweert dat de voorgestelde cooperatieve trainingsstrategie een robuuste, efficiënte en schaalbare oplossing biedt voor onzekerheidskwantificatie in deep learning. Door de schatting van aleatorische en epistemische onzekerheden te ontkoppelen, overwint de methode de optimalisatiehobbels die de brede adoptie van Bayesiaanse heteroscedastische regressie hebben beperkt.

De auteurs benadrukken dat hoewel het trainen van BNN's uitdagender blijft dan het trainen van deterministische netwerken, hun aanpak dit proces faciliteert door een hoogwaardige warm start (het gemiddelde) en een vaste schatting van aleatorische ruis te bieden. Zij stellen dat deze methode bijzonder waardevol is voor veiligheidskritieke toepassingen waarbij het onderscheid tussen reduceerbare (epistemische) en irreduceerbare (aleatorische) onzekerheid essentieel is voor actief leren en risicosensitief besluitvorming. Het artikel concludeert dat VeBNN een praktische, implementeerbaar alternatief is voor huidige state-of-the-art methoden, en in staat is om de gemiddelde-schatting en de ontkoppeling van onzekerheid te verbeteren over diverse modelarchitecturen en inferentietechnieken.