📊 statistics

Subjective Risk Decomposition: A New View for Uncertainty Quantification

Dit artikel stelt een nieuw kader voor onzekerheidskwantificering voor waarbij maatstaven voor epistemische en aleatorische onzekerheid worden afgeleid als consequenties van het decomponeren van een subjectief risico op basis van een strikt passende verliesfunctie, waardoor bestaande metrieken worden verenigd en een fundament wordt gelegd voor een leertheoretische benadering van UQ.

Oorspronkelijke auteurs: Raghad Alamri, Michele Caprio, Gavin Brown

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Raghad Alamri, Michele Caprio, Gavin Brown

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Mysterie van de Kristallen Bol

Stel je voor dat je de toekomst probeert te voorspellen. Misschien raad je de score van een voetbalwedstrijd, het weer van morgen, of wat een vriend als volgende zal zeggen. In de wereld van de computerwetenschappen, specifiek in een vakgebied genaamd Machine Learning, bouwen we digitale "kristallen bollen" (modellen) om deze gissingen te doen. Maar hier komt de lastige kant: een model kan vol zelfvertrouwen zijn en toch fout zitten. Daarom geven wetenschappers veel om Uncertainty Quantification (onzekerheidsmeting). Het gaat niet alleen om het goed krijgen van het antwoord; het gaat erom te weten hoe zeker het model is.

Om dit artikel te begrijpen, moeten we op de hoogte zijn van twee hoofdvormen van "niet weten". Ten eerste is er Aleatorische onzekerheid. Denk aan dit als de ruis in het systeem—de dingen die je simpelweg niet kunt controleren, zoals een plotselinge windvlaag die de baan van een voetbal verandert. Het is de "irreducibele" rommeligheid van de echte wereld. Ten tweede is er Epistemische onzekerheid. Dit is het soort "ik weet niet wat ik niet weet". Het is de onzekerheid die voortkomt uit het model zelf, bijvoorbeeld omdat het niet genoeg data heeft gezien of in de war is over de regels. Al een tijdje discussiëren wetenschappers fel over hoe ze deze twee soorten onzekerheid moeten meten, waarbij ze proberen strikte regels (axioma's) te schrijven om ze te definiëren.

Het Grote Idee van het Papier: Stop met Discussiëren, Begin met Decompositie

Dit artikel, getiteld "Subjective Risk Decomposition", suggereert dat al deze discussies wellicht de kern missen. De auteurs, Raghad Alamri, Michele Caprio en Gavin Brown, stellen een nieuwe manier voor om naar het probleem te kijken. In plaats van te proberen onzekerheid te definiëren als een mysterieus, op zichzelf staand object, suggereren zij dat onzekerheid eigenlijk slechts een gevolg is van hoe wij ervoor kiezen onze modellen te evalueren.

Stel je voor dat je een docent bent die een essay van een student beoordeelt. Je hebt een specifiek beoordelingsschema (een set regels) voor hoe je punten geeft. Als je het beoordelingsschema verandert, verandert het cijfer, zelfs als het essay hetzelfde blijft. De auteurs stellen dat "onzekerheid" als dat cijfer is. Het is geen magisch getal dat in de lucht zweeft; het is het resultaat van een specifieke berekening gebaseerd op een specifiek "beoordelingsschema" (dat zij een strictly proper loss noemen).

Het artikel introduceert het concept Subjectieve Risico. In eenvoudige bewoordingen is dit een manier om te vragen: "Als het model gelooft dat de wereld op een bepaalde manier in elkaar zit, hoe erg zou het zijn als de echte wereld anders blijkt te zijn?" De auteurs laten zien dat als je dit "Subjectieve Risico" neemt en het uit elkaar haalt (decompositie), de stukken die je krijgt precies de verschillende soorten onzekerheid zijn waar wetenschappers al jaren naar proberen te definiëren.

Hoe de Goocheltruc Werkt

De auteurs gebruiken een wiskundig instrument genaamd een Bregman divergence (denk aan dit als een speciaal soort liniaal die de afstand meet tussen twee verschillende manieren om de wereld te zien). Wanneer zij deze liniaal toepassen op het "Subjectieve Risico", splitst het zich vanzelf in drie duidelijke delen:

Bias (De Systematische Fout): Dit is het deel waar het gemiddelde geloof van het model simpelweg fout is vergeleken met de realiteit. Het is als een kompas dat altijd iets naar het noorden wijst in plaats van naar het ware noorden. Het artikel stelt dat dit geen "onzekerheid" is in de zin waarin we het gewoonlijk begrijpen; het is gewoon een fout in de verankering van het model.
Variantie (Het Epistemische Deel): Dit is het "ik ben in de war"-gedeelte. Het meet hoeveel de voorspellingen van het model rondspringen wanneer het iets andere data ziet. Als het model een nerveuze, schichtige student is die elke keer een ander antwoord geeft als je het vraagt, is dit getal hoog. De auteurs laten zien dat beroemde maten zoals Mutual Information (een complexe wiskundige term voor hoeveel de interne staat van het model ons vertelt over zijn voorspelling) speciale versies van deze variantie zijn.
Entropie (Het Aleatorische Deel): Dit is het "ruis"-gedeelte. Het is de inherente willekeur van de situatie die geen enkele hoeveelheid data kan oplossen. Het is de "windvlaag" in onze voetbalanalogie.

Waarom Dit Alles Verandert

Het artikel suggereert dat alle verschillende formules die wetenschappers door de jaren heen hebben uitgevonden, niet werkelijk tegenstanders zijn. Ze zijn slechts verschillende smaken van hetzelfde onderliggende recept.

De "Gal"-methode: Eén beroemde manier om onzekerheid te meten (door een onderzoeker genaamd Gal) gebruikt een specif kind van wiskunde genaamd "log-loss". De auteurs laten zien dat als je deze specifieke loss gebruikt, je decompositie je vanzelf de beroemde "Mutual Information"-formule geeft.
De "Sale"-methode: Een andere groep onderzoekers gebruikt een andere wiskunde (kwadratische loss of squared loss). De auteurs laten zien dat als je die loss gebruikt, je een andere formule krijgt (variantie-gebaseerd), die ook geldig is, maar net voor een ander type probleem.

Het artikel betoogt expliciet tegen het idee dat we nieuwe regels (axioma's) nodig hebben om te beslissen welk onzekerheidsmaatstaf "correct" is. In plaats daarvan zeggen zij dat de "correcte" maatstaf simpelweg degene is die natuurlijk voortkomt uit de specifieke loss-functie die je voor je probleem hebt gekozen. Als je een loss kiest die geeft om "mode-seeking" (focussen op de meest waarschijnlijke uitkomst), krijg je één type onzekerheid. Als je een loss kiest die geeft om "mean-seeking" (alles middelen), krijg je een ander type.

De Connectie met Learning Theory

De auteurs gaan ook een stap verder en verbinden dit idee met Statistical Learning Theory, de wiskunde achter hoe machines leren van data. Ze introduceren nieuwe termen zoals "Subjective Approximation Gap" en "Subjective Estimation Error".

Ze ontdekken dat de "Epistemische Onzekerheid" (het reduceerbare deel) eigenlijk een mix is van twee dingen:

Hoeveel het model met zichzelf in strijd is (het variantie/Mutual Information-deel).
Hoeveel het model beperkt wordt door het specifieke type model dat het is (de approximation gap).

Dit is een cruciaal inzicht. Het suggereert dat wanneer we zeggen dat een model een "hoge epistemische onzekerheid" heeft, we misschien twee verschillende problemen door elkaar halen: het model is gewoon in de war (variantie), of het model is het verkeerde soort instrument voor de klus (approximatie). Het artikel suggereert dat de beroemde "Mutual Information"-maatstaf alleen het eerste deel (de verwarring) vangt en de totale "reduceerbare" onzekerheid mogelijk onderschat omdat het de tweede parte (de approximatie) negeert.

De Kernboodschap

Kortom, dit artikel vindt geen nieuwe manier om onzekerheid te berekenen. In plaats daarvan biedt het een verenigde kaart. Het vertelt ons dat de vele verschillende kaarten die we hebben gebruikt allemaal correct zijn, maar dat ze slechts dezelfde berg vanuit verschillende hoeken bekijken.

De auteurs suggereren dat we moeten stoppen met het behandelen van onzekerheid als een mysterieus primitief dat vanaf nul gedefinieerd moet worden. In plaats daarvan moeten we kijken naar het Subjectieve Risico—de kosten van het fout zijn volgens onze eigen overtuigingen—en dit uit elkaar halen. De stukken die we vinden, zijn de onzekerheidsmaten die we de hele tijd al zochten. Het is een verschuiving van "Wat is onzekerheid?" naar "Hoe hebben we gekozen om het te meten?".

Het artikel merkt zorgvuldig op dat dit een theoretisch kader is. Het legt uit waarom verschillende maten bestaan en hoe ze zich tot elkaar verhouden, maar het beweert niet dat het elk praktisch probleem in het vakgebied heeft opgelost. Het is een nieuw perspectief dat het bestaande landschap veel duidelijker maakt, door te suggereren dat de meningsverschillen in het veld vaak slechts verschillen zijn in de "linialen" (loss functies) die mensen gebruiken, in plaats van tegenstrijdigheden in de aard van onzekerheid zelf.

Technische Samenvatting: Subjectieve Risico-decompositie: Een Nieuw Perspectief op Onzekerheidskwantificatie

Probleemstelling
Het vakgebied van onzekerheidskwantificatie (Uncertainty Quantification, UQ) lijdt momenteel onder een proliferatie van concurrerende definities voor aleatorische (irreducibele) en epistemische (reduceerbare) onzekerheid. Hoewel raamwerken zoals Gal (2016) invloedrijke informatietheoretische decomposities bieden, bevat de literatuur talrijke alternatieve maten die gemotiveerd zijn door verschillende modelleringsaannames en toepassingsdomeinen. Dit heeft geleid tot debatten over de axiomatische fundamenten van UQ-termen en de vraag of de aleatorische/epistemische dichotomie zelf wel betekenisvol is. Bestaande benaderingen behandelen onzekerheidsmaten vaak als primitieve objecten die onafhankelijke rechtvaardiging vereisen, of ze vertrouwen op "alle combinaties"-strategieën die kandidaat-maten genereren zonder uit te leggen waarom specifieke maten anders gedragen of welke geschikt is voor een gegeven scenario.

Methodologie
De auteurs stellen een verenigd raamwerk voor waarbij onzekerheidsmaten geen primitieven zijn, maar gevolgen van hogere-orde modelleringsbeslissingen, specifiek de keuze van een strikt passende verliesfunctie (strictly proper loss function) en de evaluatie van risico.

Subjectief Risico als Fundament: Het artikel hanteert de besluitvormingstheoretische notie van subjectief risico (Savage, 1971), gedefinieerd als het verwachte verlies van een model $q$ geëvalueerd tegen een ware verdeling $p$ , waarbij de verwachting echter wordt genomen over de eigen overtuigingen van het model ( $q$ ) in plaats van over het werkelijke datagenereerproces ( $p$ ). Formeel, voor een strikt passende verliesfunctie $\ell$ , is het subjectieve risico $R_q(p) = \mathbb{E}_{\hat{Y} \sim q}[\ell(p, \hat{Y})]$ .
- In tegenstelling tot het objectieve risico ( $\mathbb{E}_{Y \sim p}[\ell(q, Y)$ ), dat antwoordt op de vraag "hoe correct is het model?", beantwoordt het subjectieve risico de vraag "hoe realistisch is het model?" door het model te straffen voor het toekennen van massa aan uitkomsten die de ware verdeling als onwaarschijnlijk beschouwt.
- Deze formulering maakt gebruik van het omgekeerde argument van de verliesfunctie (het evalueren van $p$ onder $q$ ), wat overeenkomt met reverse cross-entropy of reverse KL-divergentie in het geval van log-loss.
Decompositie via Bregman-divergenties: Door gebruik te maken van de eigenschappen van strikt passende verliesfuncties, tonen de auteurs aan dat het verwachte subjectieve risico een omgekeerde bias-variantie-decompositie toelaat.
- Het verwachte subjectieve risico wordt gedecomposed in drie termen:
  $\mathbb{E}_\theta [R_{q_\theta}(p)] = \underbrace{B_\phi(\bar{q}, p)}_{\text{Bias}} + \underbrace{\mathbb{E}_\theta [B_\phi(q_\theta, \bar{q})]}_{\text{Variantie}} + \underbrace{\mathbb{E}_\theta [H_\ell(q_\theta)]}_{\text{Gegeneraliseerde Entropie}}$
- Hierbij is $\bar{q}$ het juiste Bregman-centroïde (de mengeling van predictieve verdelingen), $B_\phi$ is de Bregman-divergentie geïnduceerd door de verliesfunctie, en $H_\ell$ is de gegeneraliseerde entropie.
- De Variantie-term wordt geïdentificeerd als de maat voor epistemische onzekerheid, en de Gegeneraliseerde Entropie-term wordt geïdentificeerd als aleatorische onzekerheid.
Extensie naar Leertheorie: De auteurs breiden dit raamwerk uit naar de statistische leertheorie door subjectieve analogen van standaardconcepten te definiëren:
- Excessief Subjectief Risico: Het verschil tussen het verwachte subjectieve risico van een model en het beste subjectieve model binnen de klasse.
- Subjectieve Approximatiekloof: De fout die voortvloeit uit het feit dat de hypotheseklasse de optimale subjectieve modellen niet bevat (analoog aan approximatiefout).
- Subjectieve Schattingsfout: De fout die voortvloeit uit eindige data en parameteronzekerheid (analoog aan schattingsfout).

Kernbijdragen en Resultaten

Unificatie van Bestaande Maten: Het artikel toont aan dat talrijke bestaande onzekerheidsmaten speciale gevallen zijn van deze decompositie, afgeleid door specifieke verliesfuncties en hypotheseklassen te kiezen:
- Informatietheoretische Maten (Gal, 2016): Door log-loss te gebruiken op categorische verdelingen, herstelt de decompositie de epistemische onzekerheid van Gal als de wederzijdse informatie $I(\hat{Y}; \Theta)$ (de Bregman-variantie) en de aleatorische onzekerheid als de conditionele entropie $H(\hat{Y}|\Theta)$ .
- Gaussiaanse Regressie: Voor Gaussische modellen met een onbekende gemiddelde en variantie, herstelt het raamwerk de differentiële entropie en de wederzijdse informatie-termen die worden gebruikt in regressie-UQ.
- Label-specifieke Onzekerheid: Het gebruik van de kwadratische fout (Brier score) op Bernoulli-verdelingen herstelt de "label-wise" onzekerheidsmaten voorgesteld door Sale et al. (2024).
Verklaring van Divergentie: Het raamwerk verklaart waarom verschillende maten (bijv. entropie-gebaseerd versus variantie-gebaseerd) verschillend gedrag vertonen. Deze verschillen zijn geen tegenstrijdigheden, maar gevolgen van de geometrie van de verliesfunctie. Verliesfuncties met een hoge kromming nabij de rand van het waarschijnlijkheidssimplex (zoals log-loss) zijn gevoeliger voor "hallucinaties" (het toekennen van massa aan onwaarschijnlijke gebeurtenissen) dan verliezen met vlakkere geometrieën (zoals squared loss).
Leertheoretische Inzichten:
- De auteurs tonen aan dat wederzijdse informatie (de epistemische maat van Gal) een systematische onderschatting is van de ware subjectieve schattingsfout. Wederzijdse informatie vangt alleen de variantiecomponent (posterior onenigheid) op, maar negeert de extra fout die wordt veroorzaakt door de beperking van voorspellingen tot een specifieke hypotheseklasse.
- Ze stellen voorwaarden vast waaronder het "beste-in-de-klasse" model voor objectief risico samenvalt met dat van subjectief risico, waarmee ze de optimaliteit van een model onder de realiteit koppelen aan de optimaliteit onder interne overtuigingen.
Analyse van Epistemische Varianten: Het artikel analyseert diverse voorstellen voor epistemische onzekerheid (bijv. Expected Pairwise KL, Reverse Mutual Information) en laat zien hoe deze zich verhouden tot symmetrische en asymmetrische componenten van de wederzijdse informatie-decompositie.

Betekenis en Claims
Het artikel claimt een "nieuw perspectief" te bieden op onzekerheidskwantificatie door het perspectief te verschuiven van het definiëren van axioma's voor onzekerheidsprimitieven naar het afleiden ervan als gevolgen van modelleringskeuzes.

Theoretisch Fundament: De auteurs beargumenteren dat onzekerheidsmaten niet als onafhankelijke primitieven betwist hoeven te worden. In plaats daarvan worden ze natuurlijk geïnduceerd zodra een strikt passende verliesfunctie en een modelleringsscenario zijn vastgesteld. Dit biedt een gemeenschappelijk theoretisch fundament voor uiteenlopende maten in de literatuur.
Bruggen Bouwen tussen UQ en Leertheorie: Door subjectieve analogen van excessief risico, approximatiefout en schattingsfout te introduceren, legt het artikel de basis voor een volledig leertheoretisch raamwerk voor UQ. Het verheldert de relatie tussen epistemische onzekerheid en standaard leertheoretische begrippen zoals schattingsfout.
Praktische Implicatie: De benadering suggereert een nieuwe methodologie voor beoefenaars: gegeven een specifiek modelleringsscenario en een gekozen strikt passende verliesfunctie, worden de corresponderende epistemische en aleatorische termen automatisch geïnduceerd door de risicodecompositie, waardoor de noodzaak om te kiezen tussen concurrerende ad-hoc definities vervalt.

De auteurs positioneren dit werk als een eerste stap naar een uitgebreid raamwerk, waarbij zij benadrukken dat het bestaande voorstellen verenigt in plaats van één enkele "beste" maat voor te stellen, en wijzen op de rol van de verliesgeometrie bij het bepalen van het gedrag van onzekerheidskwantificatie.