Technische Samenvatting: Beslissings-gealigneerde Evaluatie van Onzekerheidskwantificering

Probleemstelling

Onzekerheidskwantificering (Uncertainty Quantification, UQ) in machine learning is cruciaal voor betrouwbare besluitvorming in veiligheidskritische domeinen. De evaluatie van UQ-methoden vertrouwt echter momenteel op generieke surrogaatmetrieken zoals de negatieve log-likelihood (NLL), Brier-score (BS) en de expected calibration error (ECE). Er bestaat een fundamentele discrepantie: een hoge prestatie op deze standaardmetrieken vertaalt zich niet noodzakelijkerwijs naar een hoge bruikbaarheid in downstream beslissingsproblemen. De auteurs stellen dat huidige evaluatieprotocollen het risico lopen te optimaliseren voor de "verkeerde" downstream-werelden, omdat deze metrieken impliciet specifieke, vaak pathologische aannames over beslissingskosten coderen of zelfs totaal niet aansluiten bij beslissingsnut (decision utility).

Methodologie

Het artikel introduceert een formeel kader genaamd beslissings-alignement (decision-alignment) om de relatie tussen evaluatiemetrieken en downstream beslissingsnutten te analyseren.

1. Beslissings-alignement Criterium

Een metriek $M$ wordt gedefinieerd als beslissings-gealigneerd met betrekking tot een familie van beslissingsnutten $\{U_\theta\}_{\theta \in \Theta}$ als er een priorverdeling $\pi$ over de beslissingsparameters $\theta$ bestaat waarvoor de waarde van de metriek een strikt toenemende transformatie is van het verwachte nut onder die prior. Formeel:
$$h_y(M_y(f)) = \int_{\Theta} -U_{\theta, y}(f) \pi(\theta) d\theta$$
waarbij $h_y$ een strikt toenemende functie is. Dit impliceert dat een beslissings-gealigneerde metriek modellen exact zo rangschikt als het verwachte nut onder de impliciete prior $\pi$.

2. Analyse van Veelvoorkomende Metrieken

De auteurs passen dit kader toe op standaard UQ-metrieken voor zowel classificatie- als regressietaken, waarbij zij beslissingsfamilies overwegen zoals:

• Binaire Beslissingen: Kostengevoelige classificatie (bijv. medische diagnose).
• Top-k Selectie: Het selecteren van een subset van voorspellingen met een hoog vertrouwen (bijv. aanbevelingssystemen).
• Selectieve Predictie: Beslissen of men een voorspelling doet of zich onthoudt op basis van onzekerheid (bijv. overdragen aan een menselijke expert).

De analyse laat het volgende zien:

• Coördinaat-afhankelijke Metrieken: Metrieken zoals ECE, MCE, R-AUC en E-Det zijn niet beslissings-gealigneerd voor puntgewijs-scheidbare utiliteitsfamilies, omdat ze voorspellingen over de dataset heen koppelen, wat de scheidbaarheid schendt die vereist is voor alignement met standaard beslissingsnutten.
• Proper Scoring Rules (PSRs): Hoewel metrieken zoals NLL en BS 'proper scoring rules' zijn, zijn ze alleen beslissings-gealigneerd onder specifieke, vaak pathologische priors. Bijvoorbeeld:
  • NLL impliceert een prior $\pi(c) \propto 1/(c(1-c))$, wat een onbegrensde massa plaatst op extreme kostenratio's waarbij één type fout essentieel gratis is.
  • Accuracy (Acc) impliceert een degeneratieve prior die uitgaat van perfect symmetrische kosten.
  • BS impliceert een uniforme prior, die mogelijk geen reflectie is van realistische kostenasymmetrieën.
• Pathologische Priors: De impliciete priors van standaardmetrieken plaatsen massa vaak in regio's waar onzekerheidskwantificering het minst nodig is (bijv. triviale beslissingsgrenzen) of gaan uit van onrealistische kostenstructuren.

3. Voorgestelde Oplossing: Prior-Gewogen Nut (PWU) Metrieken

Om deze misalignementen aan te pakken, stellen de auteurs Prior-Gewogen Nut (PWU) metrieken voor. Dit zijn een klasse van proper scoring rules die worden geconstrueerd door expliciet een downstream nutfunctie te integreren tegen een plausibele prior $\pi$ die realistische beslissingscontexten weerspiegelt:
$$M_\pi(f, y) = \int_{\Theta} -U_\theta(f, y) \pi(\theta) d\theta$$
In tegenstelling tot standaardmetrieken laten PWU-metrieken onderzoekers toe om de beslissingscontext (via de utiliteitsfamilie) en de overtuiging over de beslissingsparameters (via de prior) expliciet te definiëren, waardoor de metriek inherent beslissings-gealigneerd is.

Belangrijkste Bijdragen

1. Beslissings-alignement Kader: Een formeel criterium om te bepalen of een UQ-metriek aansluit bij downstream nutten, wat aantoont dat veelvoorkomende metrieken ofwel pathologische beslissingswerelden coderen, ofwel geen coherente beslissingsovertuiging hebben.
2. Theoretische Diagnose: Een systematische analyse die aantoont dat coördinaat-afhankelijke metrieken (ECE, R-AUC, etc.) fundamenteel misaligned zijn met puntgewijs-scheidbare beslissingsproblemen, en dat zelfs coördinaat-onafhankelijke PSR's (NLL, BS) vaak steunen op implausibele impliciete priors.
3. Prior-Gewogen Nut Metrieken: De introductie van een nieuwe klasse metrieken die per definitie beslissings-gealigneerd zijn. Deze metrieken bieden een principiële manier om UQ-methoden te evalueren op basis van hun waarde voor specifieke downstream beslissingsscenario's.
4. Empirische Validatie: Uitgebreide experimenten op benchmark-datasets en real-world casestudies die aantonen dat PWU-metrieken consistent een hoge alignement vertonen met gerealiseerd beslissingsnut, terwijl conventionele metrieken hier vaak in falen.

Resultaten

De auteurs voerden experimenten uit op 10 binaire classificatie- en 10 regressiemodellen over vijf datasets, waarbij de alignement werd geëvalueerd met Kendall's $\tau$ tussen de metriek-rangschikking en de nut-rangschikking.

• Benchmark Datasets: In gecontroleerde experimenten behaalden PWU-metrieken consistent de hoogste alignement met hun respectieve utiliteitsfamilies. In contrast hiermee vertoonden conventionele metrieken (NLL, BS, ECE, etc.) een zwakke of negatieve alignement, met name bij taken zoals Top-k selectie en selectieve predictie.
• Real-World Casestudies:
  • Elektriciteitsmarkt Biedingen: In een scenario van biedingen voor een windpark toonden conventionele metrieken geen stabiele positieve alignement met de biedingsutiliteit, terwijl PWU-metrieken (specifiek die voor selectieve predictie) een sterke alignement vertoonden.
  • Kredietgoedkeuring & P2P Lending: In financiële beslissingstaken met klantafhankelijke kosten, vertoonden PWU-metrieken een robuuste alignement met de beslissingsutiliteit, zelfs wanneer de specifieke beslissingsparameters in de casestudy verschilden van de priors die voor de constructie van de PWU-metrieken werden gebruikt.
• Robuustheid: Gevoeligheidsanalyses toonden aan dat PWU-metrieken robuust blijven tegen prior-mis-specificatie. Zelfs wanneer de prior aanzienlijk werd verstoord, behielden PWU-metrieken een sterke positieve utiliteits-alignement, waarmee ze de conventionele metrieken die steunen op vaste, pathologische impliciete priors, overtroffen.

Betekenis en Claims

Het artikel claimt dat de dominante praktijk om UQ te evalueren met generieke metrieken systematisch misleidend kan zijn wanneer het doel is om downstream beslissingen te ondersteunen. De auteurs stellen dat:

1. Huidige Benchmarks zijn Gebrekkig: Standaardmetrieken optimaliseren stilletjes voor pathologische beslissingswerelden, wat potentieel modellen promoot die goed presteren op NLL of ECE, maar falen in praktische, kostengevoelige toepassingen.
2. Expliciete Priors zijn Noodzakelijk: Betekenisvolle vooruitgang in probabilistische ML vereist het afstappen van impliciete aannames. Door expliciet de prior $\pi$ en de utiliteitsfamilie te vermelden, kunnen onderzoekers ervoor zorgen dat UQ-benchmarks methoden evalueren die betrouwbare besluitvorming mogelijk maken.
3. Een Principiële Uitbreiding: PWU-metrieken bieden een principiële uitbreiding van bestaande evaluatieprotocollen. Ze vervangen de 'proper scoring rules' niet, maar verfijnen ze om beslissingsrelevant te zijn.

De auteurs concluderen dat toekomstige UQ-benchmarking een verscheidenheid aan PWU-metrieken moet rapporteren naast conventionele metrieken om een breed scala aan plausibele beslissingscontexten te dekken, en daarmee methoden naar voren te brengen die werkelijk nuttig zijn voor downstream toepassingen.