Technische Samenvatting: QUEST voor Onzekerheidskwantificatie via Highest Density Regions

1. Probleemstelling

Onzekerheidskwantificatie (Uncertainty Quantification, UQ) is cruciaal voor betrouwbare besluitvorming in veiligheidskritische probabilistische machine learning. Hoewel entropie-gebaseerde maten de standaard zijn voor classificatie, heeft regressie-UQ grotendeels vertrouwd op Proper Scoring Rules (PSR's), die onzekerheid operationaliseren als het puntgewijze voorspellende risico van een model ten opzichte van de ware verdeling.

De auteurs identificeren een fundamenteel gebrek in op PSR gebaseerde benaderingen (zoals variantie en differentiële entropie) wanneer de doelstatistiek niet de voorwaardelijke verwachting (gemiddelde) is. In veel praktische situaties—zoals reinforcement learning of Bayesiaanse modellering—is het doel de voorwaardelijke modus (Maximum A Posteriori, of MAP). In de aanwezigheid van scheefheid (skewness), multimodaliteit of uitschieters (outliers), kunnen het gemiddelde en de modus aanzienlijk uiteenlopen. Standaardmaten zoals variantie overschatten de onzekerheid in dergelijke gevallen vaak omdat ze gevoelig zijn voor de massa in de staarten (tails) in plaats van de concentratie van waarschijnlijkheid rond de modus. Bovendien voldoen bestaande axiomatische kaders voor regressie-UQ vaak niet aan intuïtieve eigenschappen zoals monotoniciteit onder distributionele spreiding of invariantie voor locatieverschuivingen wanneer ze worden toegepast op niet-Gaussische of asymmetrische verdelingen.

2. Methodologie: Het QUEST-raamwerk

Het artikel introduceert QUEST (Quantifying Uncertainty via highest dEnSiTy regions), een raamwerk dat onzekerheid karakteriseert door het volume van de meest waarschijnlijke deelverzameling van het steungebied (support) van een verdeling, in plaats van door puntgewijs risico.

Kernconcepten

• Highest Density Regions (HDR's): Voor een kansdichtheidsfunctie (PDF) $p$ en een robuustheidsparameter $\alpha \in (0,1)$, is de $(1-\alpha)$-HDR ($C_\alpha$) de kleinste verzameling die $1-\alpha$ van de waarschijnlijkheidsmassa bevat. Deze wordt gedefinieerd als $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$, waarbij $t_\alpha$ de drempelwaarde is die aan de massabeperking voldoet.
• $\alpha$-Volume (Lokale maat): Gedefinieerd als $V_\alpha(p) := \lambda(C_\alpha)$, waarbij $\lambda$ de Lebesgue-maat is. Dit meet de "omvang" van de regio die de bulk van de waarschijnlijkheidsmassa bevat. Kleine volumes duiden op hoge concentratie (lage onzekerheid); grote volumes duiden op dispersie (hoge onzekerheid).
• Geïntegreerd Volume (Globale maat): Gedefinieerd als $IV(p) = \int_0^1 V_\alpha(p) d\alpha$. Dit vat de volledige dekkingscurve samen en biedt een globale beoordeling van concentratie. De auteurs stellen een geometrische equivalentie vast tussen de dekkingscurve en de Lorenz-curve uit de economie, en tussen het geïntegreerde volume en de Gini-coëfficiënt.

Typologie van Onzekerheid in QUEST

Het raamwerk definieert drie typen onzekerheid op basis van een tweede-orde verdeling $q$ (die over de parameters $\theta$ representeert) en de ware grondwaarheid-verdeling $p_{\theta^*}$:

1. Aleatorische Onzekerheid (AU): Gekwantificeerd door het volume van de HDR van de ware verdeling $p_{\theta^*}$. Dit vangt de onherleidbare onzekerheid die inherent is aan het datagenereerproces.
   • Lokaal: $V_\alpha(p_{\theta^*})$
   • Globaal: $IV(p_{\theta^*})$
2. Epistemische Onzekerheid (EU): Gekwantificeerd door het volume van de HDR van de tweede-orde verdeling $q$. In tegenstelling tot standaardbenaderingen die EU behandelen als een residu (Totaal - Aleatorisch), behandelt QUEST EU als een puur subjectieve maat van de concentratie van de overtuiging (belief) van de agent, onafhankelijk van de waarheid.
   • Lokaal: $V_\alpha(q)$
   • Globaal: $IV(q)$
3. Totale Onzekerheid (TU): Gedefinieerd via een interactie tussen AU en EU. Omdat AU en EU op verschillende ruimtes bestaan, kunnen ze niet simpelweg worden opgeteld. In plaats daarvan wordt TU gemodelleerd als het AU-volume geschaald door een straffactor afgeleid van de divergentie tussen de ware voorwaardelijke dichtheid en de voorspellende voorwaardelijke dichtheid binnen hun respectieve HDR's.
   • Formule: $TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
   • Hierbij is $D_f$ een toelaadbare $f$-divergentie (bijv. Total Variation), en $g_f$ een strikt toenemende functie die de mismatch tussen de overtuiging van de agent en de waarheid bestraft.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Conceptueel: Stelt een volume-gecentreerde interpretatie van onzekerheid voor op basis van dichtheidsconcentratie en een door de gebruiker geleverde robuustheidsparameter $\alpha$, wat een alternatief biedt voor risicogebaseerde PSR-maten.
2. Methodologisch: Introduceert nieuwe lokale ($\alpha$-volume) en globale (geïntegreerd volume) maten voor aleatorische en epistemische onzekerheid. Het legt theoretische verbanden tussen deze maten en klassieke statistiek uit de informatietheorie (differentiële entropie) en economie (Lorenz-curves, Gini-coëfficiënten).
3. Theoretisch: Demonstreert dat QUEST-maten voor AU en EU voldoen aan een set axioma's aangepast uit de UQ-literatuur (A0–A5). Deze omvatten niet-negativiteit, minimalisatie bij Dirac-massa's, monotoniciteit onder "nivellering" (distributionele spreiding) en invariantie voor locatieverschuivingen. Opvallend genoeg beargumenteren de auteurs dat Totale Onzekerheid (TU) de monotoniciteitsaxioma (A4) niet in alle gevallen zou moeten voldoen, aangezien verbeterde kalibratie (het verminderen van TU) kan optreden zelfs als de epistemische onzekerheid toeneemt.
4. Empirisch: Valideert het raamwerk via benchmarks voor selectieve predictie. De resultaten tonen aan dat QUEST (met name de globale maat) superieur is aan variantie en differentiële entropie in scheve en multimodale settings, wat leidt tot nauwkeurigere rangschikkingen van voorspellingsbetrouwbaarheid.

4. Experimentele Resultaten

De auteurs evalueerden QUEST tegen variantie, differentiële entropie en willekeurige baselines met behulp van diepe deep mixture-of-experts ensembles op drie synthetische datagenereerprocessen (DGP's):

• Unimodale Gaussische verdeling: Alle methoden presteerden vergelijkbaar, zoals verwacht.
• Unimodale Scheve verdeling: Variantie en entropie hadden moeite door gevoeligheid voor de massa in de staarten. QUEST bood meer betrouwbare onzekerheidsrangschikkingen.
• Bimodale Mix: Standaardmaten rangschikken de onzekerheid vaak foutief in multimodale settings. QUEST presteerde aanzienlijk beter dan variantie en entropie, door correcte regio's van hoge dichtheidsconcentratie te identificeren.

In selectieve predictie-taken (waarbij voorspellingen alleen worden gedaan op de meest zekere monsters), behaalde QUEST (globaal) een lagere loss over alle trials vergeleken met concurrenten. Een aanvullend experiment met active learning liet zien dat QUEST qua prestaties op gelijke voet staat met variantie en entropie, hoewel de auteurs opmerken dat de prestaties van QUEST gevoelig zijn voor de kwaliteit van de schatting van de agent van de ware dichtheid in niet-orakel settings.

5. Betekenis en Claims

Het artikel claimt dat QUEST specifieke pathologieën van PSR-gebaseerde UQ aanpakt, met name wanneer de doelstelling de modus is in plaats van het gemiddelde. Door de focus te verleggen van puntgewijs risico naar de concentratie van maat, biedt QUEST een intuïtiever en robuuster karakterisering van onzekerheid voor niet-Gaussische, scheve of multimodale verdelingen.

De auteurs benadrukken dat hun benadering:

• De contra-intuïtieve resultaten van variantie-gebaseerde maten in de aanwezigheid van uitschieters of scheefheid vermijdt.
• Een solide axiomatische basis biedt voor AU en EU die de geometrie van kansdichtheden respecteert.
• Een flexibel raamwerk biedt waarbij de robuustheidsparameter $\alpha$ gebruikers in staat stelt de gevoeligheid voor fluctuaties in de staarten te controleren.

Het artikel sluit bescheiden af door beperkingen te erkennen, zoals de aanname van absolute continuïteit ten opzichte van de Lebesgue-maat en de computationele kosten van het schatten van HDR's in hoge dimensies. Het suggereert toekomstig werk voor het uitbreiden van het raamwerk naar statistische inferentie en het afhandelen van verdelingen met atomen of lager-dimensionale steungebieden.