Calibrating conditional risk

Titel: Calibreren van Conditionele Risico's

Auteurs: Andrey Vasilyev, Yikai Wang, Xiaocheng Li, Guanting Chen
Affiliaties: Imperial College London en UNC-Chapel Hill

1. Het Probleem: Conditionele Risico-Calibratie

In real-world besluitvormingssystemen, vooral in risicosensitieve domeinen zoals autonome systemen en mens-AI-interactie, is het niet voldoende dat een model alleen nauwkeurige voorspellingen doet. Het is cruciaal om de betrouwbaarheid van die voorspellingen te kwantificeren.

Traditionele methoden voor onzekerheidskwantificatie focussen vaak op globale of marginale onzekerheidsschattingen. Veel praktische toepassingen vereisen echter een verfijndere karakterisering die specifiek is voor individuele invoer (input). Dit leidt tot het probleem van conditionele risico-calibratie: het schatten van het verwachte verlies (expected loss) van een voorspellingsmodel, voorwaardelijk op de specifieke invoerkenmerken $x$.

Het doel is een schatter $\hat{g}(x)$ te ontwikkelen die de "onzekerheid" of "kwaliteit" van een predictor $\hat{f}$ voor een specifieke $x$ interpreteerbaar maakt. Een goed gekalibreerde schatter stelt systemen in staat om robuustere beslissingen te nemen, bijvoorbeeld door af te wijken van een voorspelling naar een menselijke expert wanneer het geschatte risico te hoog is.

2. Methodologie

De auteurs analyseren het probleem in zowel classificatie- als regressie-settings en stellen twee hoofdmethoden voor:

A. Regressie-gebaseerde Benadering

Deze methode behandelt het schatten van het conditionele risico $g(x)$ als een standaard regressieprobleem.

• Concept: In plaats van de onderliggende kansverdeling te modelleren, wordt het geschatte verlies $\ell(\hat{f}(x_i), y_i)$ direct gebruikt als het doelwit (label) voor een regressiemodel.
• Formulering: Men traint een model $g_\theta$ om de empirische loss te minimaliseren: $\min \frac{1}{n} \sum L(g_\theta(x_i), z_i)$, waarbij $z_i = \ell(\hat{f}(x_i), y_i)$.
• Theoretisch: Dit geniet van dezelfde statistische garanties als standaard regressie, afhankelijk van de complexiteit van de hypotheseclass.

B. Kalibratie-gebaseerde Benadering (Alleen voor Classificatie)

Deze methode maakt gebruik van de relatie tussen conditionele risico's en individuele kanskalibratie.

• Concept: Voor classificatie kan het conditionele risico worden uitgedrukt als een gewogen som van de verliezen per klasse, waarbij de gewichten de geschatte kansen $p_\theta(x)$ zijn:
  $$g_{ca}(x) = \sum_{k=1}^K \ell(\hat{f}(x), k) p_\theta(x)_k$$
• Voordeel: De auteurs tonen aan dat het schatten van de kansverdeling $p(x)$ vaak statistisch eenvoudiger is dan het direct schatten van het verlies $g(x)$, omdat kansverdelingen "vriendelijkere" statistische eigenschappen hebben.
• Theoretisch: Onder een "zwakke realiserbaarheid" (weak realizability) aanname, leidt het minimaliseren van de kalibratiefout (bijv. cross-entropy) tot een strakkere bovengrens voor het conditionele risico dan de regressie-gebaseerde methode.

3. Belangrijkste Bijdragen

1. Systematische Formulering: Het probleem van conditionele risico-calibratie wordt formeel gedefinieerd en gepositioneerd als een zelfstandig machine learning-probleem.
2. Theoretische Equivalentie en Verbetering:
   • Het probleem is fundamenteel equivalent aan een standaard regressietask.
   • Voor classificatie wordt een directe link gelegd met individuele kanskalibratie. De theorie toont aan dat het verbeteren van de kanskalibratie leidt tot betere conditionele risico-schattingen.
   • De kalibratie-gebaseerde methode biedt theoretisch sterkere garanties (lagere excess risk) dan de regressie-gebaseerde methode.
3. Empirische Validatie: Uitgebreide experimenten bevestigen de theoretische inzichten en tonen de praktische relevantie aan in de toepassing "Learning to Defer" (L2D).

4. Experimentele Resultaten

De auteurs voerden experimenten uit op zowel classificatie- als regressiedatasets (o.a. CIFAR-10 en diverse UCI datasets).

• Classificatie (CIFAR-10):

  • De kalibratie-gebaseerde methoden presteerden consistent beter dan de regressie-gebaseerde methoden voor het schatten van het conditionele risico.
  • Het gebruik van betere kalibratoren (bijv. EfficientNet in plaats van CNN) resulteerde direct in lagere kalibratiefouten.
  • Interessant genoeg verslechterde het toepassen van Platt-scaling (een groepskalibratietechniek) de prestaties in dit specifieke scenario, wat suggereert dat individuele kalibratie essentieel is.

• Learning to Defer (L2D) / Regressie met Afwijzing:

  • In het L2D-systeem wordt een voorspelling afgewezen (deferred) naar een menselijke expert als het geschatte risico een bepaalde drempel $c$ overschrijdt.
  • Resultaat: Betere conditionele risico-calibratie leidt direct tot betere prestaties in de L2D-taak (lagere totale kosten).
  • De methode met een Random Forest als kalibrator (MLP+RF of RF+RF) presteerde over het algemeen beter dan state-of-the-art benchmarks zoals SelectiveNet en NN+kNNRej.
  • Er werd een sterke correlatie gevonden tussen de nauwkeurigheid van de kalibrator en de uiteindelijke L2D-verliezen: hoe lager de kalibratiefout, hoe lager de totale systeemkosten.

5. Betekenis en Conclusie

Dit werk legt een brug tussen theoretische machine learning en praktische, risicobewuste besluitvorming.

• Onafhankelijkheid: Het toont aan dat conditionele risico-calibratie een uniek probleem is dat niet volledig opgelost kan worden door bestaande onzekerheidskwantificatie-methoden.
• Praktische Toepassing: Voor kritieke systemen (zoals medische diagnose of autonome voertuigen) biedt een goed gekalibreerd conditioneel risico een interpreteerbare maatstaf voor betrouwbaarheid.
• Toekomst: De bevindingen bieden richtlijnen voor het ontwerpen van AI-systemen die niet alleen voorspellen, maar ook weten wanneer ze het niet weten, waardoor ze veiliger en betrouwbaarder worden.

Kortom, het papier bewijst dat het expliciet modelleren en kalibreren van het conditionele risico, vooral via kanskalibratie in classificatie, een superieure strategie is voor het bouwen van robuuste, mens-AI-synergie systemen.