CUPID: A Plug-in Framework for Joint Aleatoric and Epistemic Uncertainty Estimation with a Single Model

CUPID is een plug-in framework dat ongemodificeerde, vooraf getrainde diepe netwerken in staat stelt om zowel aleatorische als epistemische onzekerheid te schatten zonder hertraining, waardoor betrouwbare en interpreteerbare AI-toepassingen in hoog-risicodomains mogelijk worden.

De kern

🎯 Wat is CUPID? De "Onzichtbare Radar" voor AI

Stel je voor dat je een zeer slimme robot hebt die foto's bekijkt en diagnoses stelt (bijvoorbeeld: "Dit is een huidkanker" of "Dit is een gezonde foto"). Deze robot is vaak heel slim, maar hij heeft een groot gebrek: hij weet niet wanneer hij het fout heeft. Hij zegt met 100% zekerheid: "Dit is kanker!", terwijl het eigenlijk een onschuldige moedervlek is. Dit is gevaarlijk, vooral in de geneeskunde of bij zelfrijdende auto's.

De meeste bestaande methoden om deze robot "zekerheid" te geven, zijn als het bouwen van een compleet nieuwe auto: je moet de hele machine uit elkaar halen, de motor vervangen en alles opnieuw leren. Dat kost veel tijd, geld en energie.

CUPID (Comprehensive Uncertainty Plug-in estImation moDel) is iets heel anders. Het is als een slimme, draagbare radar die je gewoon op de bestaande auto klikt. Je hoeft de motor niet aan te raken, je hoeft de auto niet opnieuw te leren rijden. Je plakt er gewoon een apparaatje op dat je vertelt: "Hé, ik ben hier niet zeker van" of "Ik twijfel, want dit beeld is wazig".

🎈 Twee soorten twijfel: De "Regen" en de "Onbekende Weg"

Het paper legt uit dat er twee soorten twijfel (onzekerheid) zijn. CUPID kan beide tegelijk meten, wat heel uniek is.

1. Aleatorische Onzekerheid (De "Regen"):

   • Vergelijking: Stel je voor dat je door een regenbui rijdt. De regen maakt het zicht slecht. Dat is niet jouw schuld, en het is ook niet de schuld van de auto. Het is gewoon de omstandigheid.
   • In de AI: Dit is ruis in de data. Bijvoorbeeld een wazige foto, een slechte camera of een vlek op het scherm. De AI kan dit niet oplossen, zelfs niet met meer training. CUPID ziet dit en zegt: "De foto is wazig, ik ben niet zeker omdat de data slecht is."

2. Epistemische Onzekerheid (De "Onbekende Weg"):

   • Vergelijking: Stel je voor dat je een auto hebt die alleen in Nederland heeft gereden. Plotseling kom je in een dorp in Japan waar je de verkeersborden niet kent. Je weet niet wat je moet doen. Dat is geen probleem met de auto of de weg, maar met jouw kennis.
   • In de AI: Dit is wanneer de AI iets ziet dat ze nooit eerder heeft gezien. Bijvoorbeeld een ziekte die ze nooit in de lesboeken heeft gehad. CUPID ziet dit en zegt: "Ik heb dit nog nooit gezien, ik ben hier niet zeker van omdat ik het niet ken."

🏗️ Hoe werkt CUPID? (De Magische Spiegel)

CUPID werkt als een slimme spiegel die in het midden van de AI wordt geplaatst.

• De "Spiegel" (Reconstructie): CUPID neemt een stukje van de "gedachten" van de AI (de interne data) en probeert het een beetje te vervormen, alsof je een foto een beetje verwazigt of draait.
• De Test: Vervolgens kijkt CUPID: "Als ik dit een beetje verandert, blijft het antwoord hetzelfde?"
  • Als het antwoord verandert, betekent dit dat de AI niet zeker is van haar kennis (Epistemische onzekerheid). Het is alsof de AI zegt: "Oh, een klein beetje verandering en ik weet niet meer wat het is!"
  • Als het antwoord niet verandert, maar de input was toch wazig, dan weet CUPID dat het probleem bij de input ligt (Aleatorische onzekerheid).

🧪 Wat hebben ze getest?

De makers van CUPID hebben het getest op drie verschillende gebieden:

1. Medische Foto's (Huidkanker & Glaucoom):

   • Hier helpt CUPID artsen. Als de AI zegt: "Ik zie een tumor, maar mijn 'Regen-meter' (Aleatorisch) staat hoog", weet de arts: "Ah, de foto is wazig, laten we een nieuwe foto maken."
   • Als de AI zegt: "Ik zie een tumor, maar mijn 'Onbekende Weg-meter' (Epistemisch) staat hoog", zegt de arts: "Ah, dit is een zeldzame vorm die de AI niet kent, ik moet dit zelf controleren."

2. Vreemde Foto's (OOD Detection):

   • Wat gebeurt er als je een AI die op auto's is getraind, een foto van een banaan laat zien? CUPID slaat direct alarm: "Dit is niet waar ik voor gemaakt ben!" Dit voorkomt dat de AI domme fouten maakt.

3. Foto's Scherpstellen (Super-Resolution):

   • Als je een wazige foto scherp maakt, weet CUPID precies welke delen van de foto de AI "uit het hoofd" moet raden (onzeker) en welke delen duidelijk zijn.

🌟 Waarom is dit zo cool?

• Geen herbouwen: Je kunt het op elke bestaande AI plakken. Geen dure herberekeningen nodig.
• Transparantie: Het geeft niet alleen een antwoord, maar vertelt je waarom de AI twijfelt. Is het de foto? Of is het de kennis van de AI?
• Vertrouwen: In de geneeskunde en bij zelfrijdende auto's is het belangrijker om te weten dat je het niet weet, dan om met 100% zekerheid een fout antwoord te geven. CUPID maakt AI veiliger en betrouwbaarder.

Kortom: CUPID is de "gewetenscheck" voor AI. Het zorgt ervoor dat slimme computers eerlijk zijn over wat ze weten en wat ze niet weten, zonder dat je de hele computer hoeft te vervangen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CUPID: A Plug-in Framework for Joint Aleatoric and Epistemic Uncertainty Estimation with a Single Model", geschreven in het Nederlands.

Titel: CUPID: Een Plug-in Framework voor Gezamenlijke Schatting van Aleatorische en Epistemische Onzekerheid met één Model

Auteurs: Xinran Xu en Xiuyi Fan (Nanyang Technological University, Singapore)
Publicatie: Geaccepteerd bij ICLR 2026

---

1. Het Probleem

Diepe neurale netwerken presteren uitstekend in diverse domeinen, maar missen vaak betrouwbare mechanismen om onzekerheid tot uitdrukking te brengen. Dit leidt tot overmoedige voorspellingen, wat riskant is in hoog-risico toepassingen zoals medische diagnose en autonome besluitvorming.

Onzekerheid in deep learning wordt doorgaans onderverdeeld in twee soorten:

• Aleatorische onzekerheid: Ontstaat uit inherente ruis of ambiguïteit in de data (bijv. meetfouten, slechte beeldkwaliteit). Deze is niet te reduceren door meer data.
• Epistemische onzekerheid: Ontstaat uit beperkingen van het model of de trainingsdata (bijv. onvoldoende dekking van het domein, domeinverschuivingen). Deze kan worden verminderd met meer data.

Bestaande methoden hebben vaak de volgende beperkingen:

1. Ze behandelen slechts één type onzekerheid.
2. Ze vereisen ingrijpende architecturale wijzigingen of volledige hertraining van het basismodel (bijv. Bayesian Neural Networks, Deep Ensembles), wat rekenkundig duur is en de integratie in bestaande systemen bemoeilijkt.
3. Ze bieden geen duidelijke scheiding tussen de oorzaken van onzekerheid, wat essentieel is voor risicobewust handelen.

2. Methodologie: CUPID

De auteurs stellen CUPID (Comprehensive Uncertainty Plug-in estImation moDel) voor. Dit is een lichtgewicht, veelzijdige module die kan worden ingevoegd in een reeds getraind neurale netwerk zonder de basisarchitectuur te wijzigen of het model opnieuw te hoeven trainen.

Architectuur en Werking:
CUPID wordt op een willekeurig tussenliggend laag $l$ van het netwerk geplaatst en bestaat uit drie componenten:

1. Feature Extractor: Verwerkt de intermediate feature-representatie $m_l$.
2. Uncertainty Branch (voor Aleatorische Onzekerheid): Leert een Bayesiaanse identiteitsmapping om de data-afhankelijke variantie ($\hat{\sigma}^2$) te voorspellen. Dit gebeurt door de log-likelihood te maximaliseren, waarbij de output wordt gemodelleerd als een heteroscedastische Gaussische verdeling.
3. Reconstruction Branch (voor Epistemische Onzekerheid): Genereert een gestructureerde perturbatie van de features ($m'_l$) die zo groot mogelijk is, maar waarbij de uiteindelijke voorspelling van het netwerk constant blijft. De epistemische onzekerheid wordt gekwantificeerd als de afwijking tussen de oorspronkelijke output en de output na perturbatie.

Wiskundige Formulering:

• Aleatorische Onzekerheid ($U_{alea}$): Wordt geschat via de voorspelde variantie $\hat{\sigma}^2_n$ van de Uncertainty Branch.
• Epistemische Onzekerheid ($U_{epis}$): Wordt berekend als de $L_1$-afstand tussen de originele voorspelling $\hat{y}$ en de geperturbeerde voorspelling $\hat{y}'$:
  $$U_{epis}(x) := \|\hat{y}_n - \hat{y}'_n\|_1$$
  Dit kan worden benaderd als het product van de gevoeligheid (Jacobian van het netwerk) en de afwijking in de feature-ruimte.

Trainingsdoel:
De totale loss-functie combineert beide doelen:
$$L_{CUPID} = L_{epis} + \lambda_2 L_{alea}$$
Hierbij zorgt $L_{epis}$ voor maximale feature-perturbatie onder behoud van de output, en $L_{alea}$ voor het modelleren van de data-ruis. Beide takken worden gezamenlijk geoptimaliseerd.

3. Belangrijkste Bijdragen

1. Plug-in Modulariteit: CUPID is een model-agnostische module die zonder hertraining van het basismodel kan worden ingevoegd. Dit maakt het direct toepasbaar in bestaande productie-systemen.
2. Gezamenlijke Schatting: Het framework schat zowel aleatorische als epistemische onzekerheid tegelijkertijd en scheidt deze effectief, wat inzicht geeft in de oorzaak van onzekerheid (bijv. slechte beeldkwaliteit vs. onbekend patroon).
3. Interpreteerbaarheid: Door CUPID op verschillende lagen te plaatsen, kunnen onderzoekers analyseren hoe onzekerheid zich door het netwerk ontwikkelt.
4. State-of-the-Art Prestaties: Het bereikt concurrerende resultaten op diverse taken zonder de rekenkosten van ensemble-methoden of Bayesian networks.

4. Experimentele Resultaten

CUPID werd geëvalueerd op drie hoofdtaken: medische beeldclassificatie, Out-of-Distribution (OOD) detectie en beeldsuper-resolutie (regressie).

• Medische Beeldclassificatie (GLV2 & HAM10000):

  • CUPID presteerde beter dan baselines zoals MC Dropout, Rate-in en BNN bij het detecteren van misclassificaties.
  • Op GLV2 (meer ruis) was de aleatorische tak dominant, terwijl op HAM10000 (meer complexe, onevenwichtige data) de epistemische tak beter presteerde. Dit bevestigt dat CUPID de juiste onzekerheidsbron kan identificeren.

• OOD Detectie:

  • CUPID Epistemic was zeer effectief bij het detecteren van domeinverschuivingen binnen hetzelfde klinische domein (bijv. PAPILA vs. GLV2).
  • CUPID Aleatoric presteerde uitstekend bij extreme domeinverschillen (bijv. CIFAR-10), waarschijnlijk omdat het in staat is om hoge onzekerheid toe te kennen aan inputs in ondervertegenwoordigde feature-ruimtes.

• Beeldsuper-resolutie (Regressie):

  • Op natuurlijke beelden (Set5, Set14) was aleatorische onzekerheid de dominante factor.
  • Op medische MRI-data (IXI), die sterk afweek van de trainingsdata, was epistemische onzekerheid informatiever.
  • Visuele kaarten van CUPID toonden een sterkere correlatie met de werkelijke foutenkaarten dan andere methoden.

• Ablatie-studies:

  • Plaatsing: Aleatorische onzekerheid wordt beter geschat in lagen dichter bij de output, terwijl epistemische onzekerheid baat heeft bij plaatsing in eerdere lagen (waar representaties abstracter worden).
  • Gezamenlijke training: Het gezamenlijk trainen van beide takken levert betere resultaten op dan het trainen van ze apart, dankzij wederzijdse regularisatie.

5. Betekenis en Conclusie

CUPID biedt een praktische en schaalbare oplossing voor het maken van betrouwbare AI-systemen. Door onzekerheid te modulariseren en interpreteerbaar te maken, stelt het ontwikkelaars in staat om:

• Risicobewuste beslissingen te nemen (bijv. een arts waarschuwen voor een slechte beeldkwaliteit in plaats van een verkeerd model).
• Bestaande modellen te upgraden zonder kostbare hertraining.
• Inzicht te krijgen in de interne dynamiek van neurale netwerken.

De methode is beschikbaar als open-source code en vormt een belangrijke stap naar transparante en vertrouwenswaardige AI in kritieke domeinen.