🤖 machine learning

Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning

Dit artikel stelt een besluittheoretisch kader voor om epistemische onzekerheid te evalueren op basis van regret-minimalisatie in plaats van traditionele proxy-taken, waarbij wordt aangetoond dat standaard correlatiemetingen falen in het voorspellen van operationele bruikbaarheid en significante discrepanties worden onthuld tussen de besluittheoretische en de proxy-taak-rangschikkingen van onzekerheidsmethoden.

Oorspronkelijke auteurs: Jakub Paplhám, Willem Waegeman, Eyke Hüllermeier, Vojtěch Franc

Gepubliceerd 2026-07-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jakub Paplhám, Willem Waegeman, Eyke Hüllermeier, Vojtěch Franc

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een ruimteschip dat door een chaotische nevel navigeert. Het computergestuurde systeem van je schip is ongelooflijk intelligent, maar het moet twee verschillende soorten "onzekerheid" aan je rapporteren. De eerste is aleatorische onzekerheid: dit is de "mist van de oorlog": de ruis in de sensoren, de statische elektriciteit op de radio, het feit dat de nevel zelf gewoon rommelig en onvoorspelbaar is. Geen matter hoe goed je computer wordt, die ruis zal er altijd zijn; het is de onherleidbare chaos van het universum. De tweede is epistemische onzekerheid: dit is de "onwetendheid" van de computer. Dit is het gevoel dat de computer krijgt wanneer hij naar een stuk ruimte kijkt dat hij nog nooit eerder heeft gezien en denkt: "Ik heb geen idee wat daar buiten is, omdat ik dit gebied nog niet bestudeerd heb." Deze soort onzekerheid is reduceerbaar; als de computer meer leert, verdwijnt deze angst.

Lange tijd waren wetenschappers die probeerden betere AI te bouwen geobsedeerd door het leren van computers om het verschil te zien tussen de "mist" en hun eigen "onwetendheid". Waarom? Omdat als een computer weet dat hij onwetend is, hij kan zeggen: "Ik weet het niet, vraag het me niet," en zo een gevaarlijke fout kan vermijden. Maar hier komt het lastige deel bij: hoe test je of een computer daadwerkelijk goed is in het opsporen van zijn eigen onwetendheid? Traditioneel hebben onderzoekers twee belangrijke "proxy-testen" gebruikt. De ene is Out-of-Distribution (OOD) detectie, die vraagt: "Kun je vertellen wanneer je naar iets kijkt dat totaal vreemd is en wat je nog nooit hebt gezien?" De andere is Active Learning, die vraagt: "Als je één nieuw stukje data zou kunnen kiezen om te bestuderen, welke zou je dan het meest leren?" De grote vraag is: vertellen deze tests ons wel echt of een computer goed is in het opsporen van zijn eigen onwetendheid, of testen ze eigenlijk iets heel anders?

Dit artikel, getiteld "Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning," betoogt dat we het verkeerde spel spelen. De auteurs, een team van onderzoekers van universiteiten uit Praag, Gent en München, ontdekten dat het wiskundige "perfecte antwoord" voor het opsporen van vreemde data (OOD) of het kiezen van het beste studiemateriaal (Active Learning) eigenlijk volledig verschilt van het "perfecte antwoord" voor het opsporen van onwetendheid (Regret).

Om dit te begrijpen, stel je voor dat je een leraar bent die een leerling beoordeelt.

De OOD-test is als de leraar vragen: "Kun je vertellen of deze vraag door een alien is geschreven?" Het perfecte antwoord hangt alleen af van hoe de vraag eruitziet, niet van of de leerling het antwoord weet.
De Active Learning-test is als vragen: "Welke vraag moeten we als volgende stellen om de leerling het meest te helpen leren?" Het perfecte antwoord hangt af van hoeveel de toekomstige kennis van de leerling zal verbeteren.
De Regret-test (Epistemische Onzekerheid) is vragen: "Voor deze specifieke vraag op dit moment, hoeveel kans is de leerling het mis omdat hij de stof gewoon niet kent?"

Het artikel bewijst wiskundig dat deze drie "perfecte antwoorden" vaak naar totaal andere plekken wijzen. Een computer kan geweldig zijn in het opsporen van alien-vragen (OOD), maar verschrikkelijk in het weten wanneer hij voor een specifieke wiskundige opdracht gaat falen (Regret). Sterker nog, de auteurs bouwden een eenvoudige, eendimensionale "sandbox"-wereld (geïnspireerd door een functie genaamd de Rossellini-functie) om aan te tonen dat de beste strategie voor OOD-detectie je kan vertellen een specifiek gebied van de ruimte te verwerpen, terwijl de beste strategie om regret te minimaliseren je zou vertellen datzelfde gebied juist te accepteren. Ze zijn fundamenteel niet op één lijn.

Vanwege deze mismatch betogen de auteurs dat het gebruiken van OOD-detectie of Active Learning als een "proxy" om te beoordelen hoe goed een model zijn eigen onwetendheid begrijpt, gebrekkig is. Ze laten zien dat methoden die op #1 staan in OOD-tests, op #10 kunnen staan in regret-tests, en vice versa. Bijvoorbeeld, in hun tests op de CIFAR-10H-dataset (een collectie afbeeldingen met veel menselijke meningen over wat ze voorstellen), was een methode genaamd "Evidential Networks" verschrikkelijk in het opsporen van vreemde data (OOD), maar was het de absolute beste in het identificeren wanneer het onwetend was en waarschijnlijk een fout zou maken. Daarentegen waren "Deep Ensembles" geweldig in het opsporen van vreemde data, maar faalden ze in het minimaliseren van regret.

Het artikel pakt ook een populair idee in het vakgebied aan, genaamd "disentanglement" (ontvlechting). Recentelijk stelden sommige onderzoekers dat als de "fog"-score en de "ignorance"-score van een computer sterk gecorreleerd zijn (ze gaan samen omhoog en omlaag), de computer heeft gefaald in het scheiden van deze twee concepten. De auteurs dagen dit uit. Ze laten zien dat zelfs als de scores sterk gecorreleerd zijn, de computer nog steeds perfecte beslissingen kan nemen. In plaats van alleen te controleren of de scores gecorreleerd zijn, stellen ze een nieuwe, meer praktische test voor: de Pareto-gap.

Beschouw de Pareto-gap als een "beslissingskaart". Stel je een 3D-grafiek voor waarin je een afweging maakt tussen hoeveel vragen je beantwoordt (Coverage), hoeveel fouten je maakt (Risk) en hoeveel "onwetendheid" je vermijdt (Regret). De "perfecte" computer tekent een vloeiende, ideale curve op deze kaart. De auteurs meten hoe dicht de curve van een echte computer bij die perfecte lijn ligt. Ze vonden dat methoden met een hoge correlatie tussen hun scores (wat sommigen als slecht beschouwden) in feite curves heel dicht bij de perfecte lijn konden tekenen, wat betekent dat ze operationeel nuttig waren.

Kortom, de auteurs bewijzen dat we niet alleen kunnen kijken naar hoe goed een model vreemde data opspoort of studiethema's kiest om te zien of het zijn eigen onwetendheid begrijpt. Ze bieden een nieuw kader dat onzekerheid behandelt als een instrument om betere beslissingen te nemen, en laten zien dat de oude manieren van testen ons vaak naar de verkeerde conclusies leiden over welke AI-modellen daadwerkelijk veilig en betrouwbaar zijn. Hun bevindingen zijn gebaseerd op rigoureuze wiskundige bewijzen en uitgebreide benchmarks op real-world datasets met dichte menselijke annotaties, wat suggereert dat het vakgebied moet stoppen met het vertrouwen op deze handige maar misleidende proxy-tests en moet beginnen met het meten van onzekerheid op basis van de werkelijke regret die het helpt te vermijden.

Technische Samenvatting: Het evalueren van epistemische onzekerheid voorbij OOD-detectie en Active Learning

Probleemstelling
De huidige evaluatie van epistemische onzekerheid (modelonwetendheid) leunt zwaar op surrogaattaken zoals Out-of-Distribution (OOD) detectie en Active Learning. De auteurs stellen echter dat de Bayes-optimale beslissingsstrategieën voor deze surrogaattaken wiskundig niet overeenkomen met de scores die worden gebruikt om epistemische onzekerheid voor implementatie te kwantificeren. OOD-detectie optimaliseert namelijk de likelihood-ratio's van inputs onafhankelijk van de predictieve loss, terwijl Active Learning streeft naar globale foutreductie, terwijl epistemische onzekerheid in een implementatiecontext wordt gedefinieerd als de lokale reduceerbare fout (regret). Deze theoretische discrepantie leidt tot een situatie waarin methoden die hoog scoren op proxy-taken, slecht kunnen presteren wanneer ze worden geëvalueerd op hun werkelijke operationele nut: het minimaliseren van regret. Bovendien bekritiseert recente literatuur de disentanglement van onzekerheid op basis van hoge rangcorrelaties tussen geleerde aleatorische en epistemische componenten, een metriek waar de auteurs stellen dat faalt in het vatten van functionele bruikbaarheid.

Methodologie
Het artikel stelt een verenigd kader voor om epistemische onzekerheid te evalueren door direct te meten hoe effectief het in staat is om regret te identificeren, in plaats van te vertrouwen op proxy-taken.

Theoretische Unificatie: De auteurs verenigen standaard selectieve classificatie (totale onzekerheid) en de epistemische reject-optie in één enkel geconstrueerd optimalisatiekader. Ze formuleren selectieve predictie als een optimalisatieprobleem over dekking ( $\rho$ ), verwachte risico ($Ri$) en regret ($Re$).
Optimale Selector Bewijs: Ze bewijzen (Theorema 1) dat de optimale selector voor elke combinatie van deze restricties een gedrempelde convexe combinatie is van de grondwaarheid aleatorische ( $A^*$ ) en epistemische ( $E^*$ ) onzekerheden. De optimale score heeft de vorm $(1-\lambda)A^* + \lambda E^*$ , waarbij $\lambda \in [1/2, 1]$ .
Diagnostische Metriek (Pareto-gap): In plaats van te vertrouwen op rangcorrelatie voor het evalueren van disentanglement, stellen de auteurs voor om de afstand te meten tussen het bereikbare oppervlak van een methode in de (Dekking, Risico, Regret) ruimte en het theoretische Pareto-optimale oppervlak ( $S^*$ ). Deze afstand, de "Pareto-gap" genoemd, dient als een diagnose voor of de geleerde componenten gezamenlijk over de informatie beschikken die nodig is voor optimale implementatiebeslissingen.
Empirische Benchmarking: Om de onberekenbaarheid van ware regret in standaard single-label settings te omzeilen, maken de auteurs gebruik van datasets met dichte menselijke annotaties (bijv. CIFAR-10H, APPA-REAL, DCIC suite) om de ware datagenererende distributie $p^*(y|x)$ te benaderen. Dit maakt de exacte berekening van de Bayes-optimale voorspeller en de ware frequentistische regret mogelijk. Ze benchmarken standaard onzekerheidskwantificatiemethoden (MC-Dropout, Deep Ensembles, DDU, Evidential Networks) tegen deze grondwaarheden en vergelijken deze met resultaten uit proxy-taken (OOD-detectie, Active Learning).

Belangrijkste Bijdragen

Theoretische Misalignement: Het artikel toont aan dat de Bayes-optimale scorers voor OOD-detectie, Active Learning (BALD, EER) en regret-minimalisatie fundamenteel verschillende regio's van de inputruimte targeten. Een methode die geoptimaliseerd is voor één criterium, kan falen onder een ander.
Verenigd Kader: De auteurs leveren een wiskundig bewijs dat de optimale beslissingsregel voor het minimaliseren van excessief risico onder dekking-restricties altijd een drempelwaarde is van een convexe combinatie van aleatorische en epistemische onzekerheden.
Nieuwe Diagnose: Ze dagen het vertrouwen in rangcorrelatie uit voor het evalueren van de disentanglement van onzekerheid. Ze laten zien dat een hoge correlatie niet noodzakelijkerwijs wijst op een falen van scheiding als de componenten nog steeds een optimale beslissingsgrens kunnen vormen via een lineaire combinatie. Ze introduceren de Pareto-gap als een meer operationeel relevante metriek.
Empirisch Bewijs: Door uitgebreide benchmarking op datasets met menselijk geannoteerde distributies, tonen de auteurs aan dat beslissingstheoretische ranglijsten (gebaseerd op regret) vaak substantieel afwijken van proxy-taak ranglijsten. Merkwaardig genoeg observeren zij paren van ranginversies waarbij methoden die bovenaan staan in OOD of Active Learning, onderaan presteren op regret, en vice versa.

Resultaten

Ranginversies: Op de CIFAR-10H dataset behaalde Evidential Networks de beste pure epistemische bruikbaarheid (laagste AuReC) en de kleinste Pareto-gap, ondanks het feit dat het slecht presteerde op OOD-detectie en Active Learning benchmarks. Daarentegen presteerden Deep Ensembles en DDU, die domineerden in OOD-detectie, slecht in het isoleren van reduceerbare fout (regret).
Correlatie vs. Bruikbaarheid: Op CIFAR-10H vertoonden Evidential Networks een bijna perfecte rangcorrelatie ( $\rho_S = 0.999$ ) tussen hun geleerde aleatorische en epistemische componenten. Traditionele metrieken zouden dit classificeren als een falen van disentanglement. Echter, deze zelfde componenten bereikten de kleinste afstand tot het theoretische optimum (Pareto-gap = 0.0379), wat aantoont dat een hoge correlatie de operationele bruikbaarheid niet in de weg staat.
Grondwaarheid Correlatie: De auteurs merkten ook op dat zelfs grondwaarheid aleatorische en epistemische onzekerheden ( $A^*, E^*$ ) een hoge rangcorrelatie kunnen vertonen (tot 0.882 op CIFAR-10H), wat suggereert dat een hoge correlatie in geleerde componenten een reflectie kan zijn van het datagenererende proces in plaats van een methodologisch falen.

Betekenis
Het artikel beweert dat de afhankelijkheid van het veld van OOD-detectie en Active Learning als proxies voor epistemische onzekerheid theoretisch gebrekkig is en leidt tot misleidende conclusies over welke onzekelijkheidsschatters nuttig zijn voor implementatie. Door de focus van de evaluatie te verschuiven naar het vermogen om regret te minimaliseren en door de Pareto-gap te introduceren als een diagnose voor gezamenlijke operationele bruikbaarheid, bieden de auteurs een rigoureuzere basis voor het evalueren van onzekerheidskwantificatie. Ze betogen dat onderzoekers expliciet de downstream actie moeten definiëren (bijv. het onthouden van risicovolle voorspellingen) in plaats van te vertrouwen op ambigue begrippen van onwetendheid of surrogaattaken die verschillende wiskundige doelstellingen optimaliseren. Het werk benadrukt dat standaard evaluatiemetrieken modellen kunnen selecteren die suboptimaal zijn voor het werkelijke doel: het reduceren van reduceerbare fout in real-world implementaties.

Technische Samenvatting: Het evalueren van epistemische onzekerheid voorbij OOD-detectie en Active Learning

Meer zoals dit