CREDO: Epistemic-Aware Conformalized Credal Envelopes for Regression

Dit paper introduceert CREDO, een methode die credale enveloppen combineert met conformale kalibratie om voorspellingsintervallen voor regressie te genereren die zowel de onzekerheid door gebrek aan data expliciet weergeven als gegarandeerde dekking bieden.

De kern

Stel je voor dat je een weersvoorspelling doet. Als je zegt: "Morgen is het 20 graden," is dat een puntvoorspelling. Maar als je zegt: "Morgen ligt de temperatuur waarschijnlijk tussen de 18 en 22 graden," geef je een voorspellingsinterval. Dat is veel nuttiger, want het geeft aan hoe zeker je bent.

Het probleem met moderne AI-modellen is dat ze soms heel zelfverzekerd lijken, zelfs als ze eigenlijk niets weten. Ze zeggen: "Ik weet zeker dat het 20 graden is," terwijl ze eigenlijk in een gebied zitten waar ze nog nooit eerder data hebben gezien. Dit noemen we epistemische onzekerheid (onzekerheid door gebrek aan kennis).

De auteurs van dit paper hebben een nieuwe methode bedacht, genaamd CREDO. Ze combineren twee slimme ideeën om voorspellingen te maken die niet alleen nauwkeurig zijn, maar ook eerlijk over hun eigen twijfels.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Zelfzekere Voorspeller

Stel je voor dat je een voorspeller hebt die getraind is op data uit Nederland. Als je vraagt hoe het weer is in Amsterdam, geeft hij een goede voorspelling. Maar als je vraagt hoe het weer is op de Maan, blijft hij gewoon een antwoord geven, alsof hij het weet.

• Huidige methoden (zoals CQR): Deze kijken vooral naar de "ruis" in de data (bijvoorbeeld: soms regent het, soms niet). Ze maken een interval dat overal even breed is. In gebieden waar de AI veel ervaring heeft, is dat prima. Maar in gebieden waar de AI geen ervaring heeft (de "Maan"), blijft het interval nog steeds smal. De AI lijkt dan te zelfverzekerd.

2. De Oplossing: CREDO (Het Twee-Stappen Plan)

CREDO lost dit op door twee stappen te doorlopen, alsof je een huis bouwt met twee verschillende vakmensen.

Stap 1: De "Twijfel-Builder" (Credal Envelopes)

De eerste stap is het bouwen van een envelop (een omhulsel) rondom de voorspelling.

• De Metafoor: Stel je voor dat je een groep experten vraagt om de temperatuur te voorspellen.
  • In een gebied waar ze veel ervaring hebben (Amsterdam), zeggen ze allemaal: "Tussen 18 en 22 graden." Dat is een strakke envelop.
  • In een gebied waar ze geen ervaring hebben (de Maan), beginnen ze te twijfelen. De ene zegt: "Misschien 10 graden," de ander: "Misschien 30 graden." De envelop wordt hierdoor wijd.
• Wat CREDO doet: Het kijkt naar hoe breed deze envelop is. Als de envelop breed is, weet het: "Ah, hier is de AI aan het gissen. We moeten rekening houden met deze twijfel." Dit is de epistemische onzekerheid.

Stap 2: De "Garanties-Manager" (Conformal Calibration)

Nu hebben we een envelop die reageert op twijfel, maar is hij betrouwbaar? Misschien zijn de experts wel te optimistisch of te pessimistisch.

• De Metafoor: Stel je voor dat je een garantiecertificaat wilt voor je voorspelling. Je wilt zeker weten dat de echte temperatuur altijd binnen je interval valt, ten minste 90% van de tijd.
• Wat CREDO doet: Het gebruikt een statistische truc (split conformal prediction) om de envelop een beetje te vergroten of verkleinen, zodat de garantie gegarandeerd wordt. Het voegt een "veiligheidsmarge" toe.

3. Het Resultaat: Een Drie-Lagen Taart

Het mooiste aan CREDO is dat je kunt zien uit welke stukken de voorspelling bestaat. Als je kijkt naar de breedte van het interval, kun je het opdelen in drie lagen:

1. De Basis (Aleatorisch): Dit is de onvoorspelbare chaos van het weer zelf. Soms regent het gewoon, zonder reden. Dat kan niemand voorspellen.
2. De Twijfel (Epistemisch): Dit is de breedte die komt door het gebrek aan data. Als je in een nieuw gebied bent, wordt deze laag dikker.
3. De Veiligheidsmarge (Calibratie): Dit is de extra ruimte die we toevoegen om de wiskundige garantie te houden.

Waarom is dit cool?
Als je een voorspelling krijgt van CREDO, kun je zeggen: "Deze voorspelling is breed, maar dat is niet omdat het weer chaotisch is. Het is breed omdat de AI hier geen ervaring mee heeft." Je kunt dus precies zien waarom de AI twijfelt.

Samenvatting in één zin

CREDO is een slimme voorspeller die eerst een "twijfel-omhulsel" bouwt om te laten zien waar hij geen weet, en daarna een wiskundige garantie toevoegt om ervoor te zorgen dat hij nooit liegt over hoe vaak hij gelijk heeft.

Het is alsof je een navigator hebt die niet alleen de route aangeeft, maar ook eerlijk zegt: "Hier ben ik zeker, maar daarachter is het mistig en heb ik geen kaarten, dus houd rekening met een grotere veiligheidsmarge."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CREDO: Epistemic-Aware Conformalized Credal Envelopes for Regression" in het Nederlands.

Probleemstelling

In regressieproblemen is het cruciaal om voorspellingsintervallen te construeren die niet alleen nauwkeurig zijn, maar ook de onzekerheid van het model correct weergeven. Bestaande methoden kampen met twee fundamentele beperkingen:

1. Conformale Voorspelling (CP): Biedt distributie-vrije dekking (garantie dat het interval de werkelijke waarde met een bepaalde waarschijnlijkheid bevat), maar gebruikt vaak "conformity scores" die voornamelijk aleatorische onzekerheid (ruis in de data) meten. Hierdoor blijven voorspellingsintervallen soms te smal in gebieden waar het model extrapoleert of waar weinig trainingsdata beschikbaar is, wat leidt tot een schijnbaar oververzekerd gedrag (overconfidence).
2. Credale Methoden (Imprecise Probabilities): Representeren epistemische onzekerheid (onzekerheid door gebrek aan kennis) via sets van plausibele distributies. Hoewel ze dit effect zichtbaar maken, zijn ze doorgaans modelafhankelijk en missen ze de strikte, distributie-vrije dekkingsgaranties van conformale methoden.

Het doel van dit paper is een methode te ontwikkelen die de dekkingsgaranties van CP combineert met de interpretatie van epistemische onzekerheid van credale methoden.

Methodologie: CREDO

De auteurs introduceren CREDO (Conformalized Regression with Epistemic-aware creDal envelOpes), een "credal-then-conformalize" receptie. De methode werkt in drie hoofdstappen:

1. Constructie van een Credale Omhulling (Credal Envelope):

   • Het model begint met een conditioneel aleatorisch model (bijv. een Bayesiaanse Quantile Neural Network).
   • In plaats van één voorspellende distributie, wordt een lokale credale set $F_0(x)$ geconstrueerd die plausibele distributies omvat.
   • De auteurs stellen een efficiënte implementatie voor: Endpoint-trimmed posterior credal sets. Hierbij worden extreme uiteinden van de posterior predictieve kwantielen (bijv. de onderste en bovenste 2,5%) "getrimd" op basis van een drempel $\gamma$.
   • Dit resulteert in een credale kwantiel-omhulling $[\ell(x), u(x)]$ die breder wordt in gebieden met weinig data (waar de posterior meer spreiding heeft) en smaller in goed ondersteunde gebieden.

2. Adaptieve Trim-Drempel ($\gamma(x)$):

   • Om lokaal gebrek aan data beter te detecteren, wordt een vaste trim-drempel $\gamma$ vervangen door een covariaat-afhankelijke $\gamma(x)$.
   • $\gamma(x)$ wordt bepaald door een schaarste-score (scarcity score) gebaseerd op de afstand tot de $k$-dichtste buren (kNN) in de trainingsdata.
   • In data-schaarse gebieden (extrapolatie) is $\gamma(x)$ klein, waardoor minder getrimd wordt en de omhulling breder wordt (hoge epistemische onzekerheid). In data-dichte gebieden is $\gamma(x)$ groot, wat leidt tot strakkere intervallen.

3. Conformale Kalibratie:

   • De credale omhulling $[\ell(x), u(x)]$ op zich heeft geen gegarandeerde dekking.
   • Er wordt een split-conformale kalibratie toegepast op basis van een "distance-to-envelope" score: $s(x, y) = \max(\ell(x) - y, y - u(x))$.
   • Deze score meet hoe ver een observatie buiten de credale omhulling valt. Op een kalibratieset wordt een correctiefactor $\hat{\tau}$ bepaald.
   • Het definitieve voorspellingsinterval is: $C(x) = [\ell(x) - \hat{\tau}, u(x) + \hat{\tau}]$.

Kernbijdragen

• CREDO Framework: Een nieuwe architectuur die credale sets gebruikt om epistemische onzekerheid expliciet te modelleren, gevolgd door conformale kalibratie voor strikte dekking.
• Interpreteerbare Ontleding: Het eindinterval kan worden ontbonden in drie componenten:
  1. Aleatorische basis: De onzekerheid inherent aan het proces (ruis).
  2. Epistemische inflatie: De extra breedte veroorzaakt door de credale set (onwetendheid).
  3. Kalibratie-slack: De distributie-vrije correctie ($\hat{\tau}$).
     Dit stelt onderzoekers in staat om te diagnosticeren waarom een interval breed is.
• Theoretische Validiteit: Bewijzen dat CREDO eindige-steekproef dekking garandeert onder de aanname van uitwisselbaarheid (exchangeability), en dat het asymptotisch convergeert naar de "oracle" intervallen onder correcte specificatie.
• Efficiënte Implementatie: Een lichtgewicht methode voor het construeren van credale sets via het trimmen van posterior eindpunten, zonder complexe herschrijving van de conformale machinery.

Resultaten

De auteurs evalueren CREDO op 12 standaard regressie-benchmarks (o.a. Concrete, Airfoil, Superconductivity) en vergelijken het met state-of-the-art methoden zoals CQR, UACQR en EPICScore.

• Dekking: CREDO behaalt consistent de doeldekking van 90% (marginaal), zowel op de totale dataset als specifiek op uitschieters (outliers).
• Efficiëntie (SMIS): De Scaled Mean Interval Score (SMIS) toont aan dat CREDO concurrerend is, en vaak beter presteert dan bestaande methoden, vooral in adaptieve varianten.
• Adaptiviteit aan Uitschieters (ILR): CREDO toont een superieure Interval Length Ratio (ILR). Dit betekent dat de methode de voorspellingsintervallen selectief verbreedt voor uitschieters (data-schaarse gebieden) zonder de breedte voor normale data onnodig te vergroten. Dit is cruciaal voor het detecteren van epistemische onzekerheid.
• Ontleding Validatie: De experimenten bevestigen dat de epistemische component van de onzekerheid significant hoger is voor uitschieters dan voor inliers, wat aantoont dat de methode succesvol onderscheid maakt tussen "risico" (aleatorisch) en "onwetendheid" (epistemisch).

Betekenis en Impact

CREDO biedt een belangrijke doorbraak in Uncertainty Quantification (UQ) voor machine learning:

1. Diagnostisch Vermogen: Het maakt het mogelijk om te zien of een breed voorspellingsinterval komt door hoge data-ruis of door gebrek aan kennis over het model. Dit is essentieel voor veilige AI-toepassingen in kritieke domeinen (zoals gezondheidszorg of autonoom rijden).
2. Robuustheid: Door expliciet rekening te houden met extrapolatie en data-schaarste, voorkomt CREDO dat modellen "oververzekerd" lijken in situaties waar ze dat niet zouden moeten zijn.
3. Combinatie van Sterke Punten: Het paper demonstreert succesvol hoe de wiskundige strengheid van conformale voorspelling kan worden gecombineerd met de filosofische en praktische voordelen van onnauwkeurige waarschijnlijkheid (imprecise probability), zonder in te leveren op schaalbaarheid of dekking.

Kortom, CREDO levert voorspellingsintervallen die niet alleen statistisch geldig zijn, maar ook semantisch interpreteerbaar en adaptief aan de lokale data-dichtheid.