Weighted Bayesian Conformal Prediction

Titel: Weighted Bayesian Conformal Prediction (WBCP)

Auteurs: Xiayin Lou (TU München) en Peng Luo (MIT)

1. Het Probleem: De "Meta-Onzekerheid" Kloof

Conformal Prediction (CP) is een krachtige methode voor het genereren van voorspellingsintervallen met gegarandeerde dekking (coverage) zonder aannames over de onderliggende verdeling. Echter, standaard CP en recente Bayesianse varianten hebben twee fundamentele beperkingen die dit artikel aanpakt:

1. Aannames over i.i.d. data: Bestaande Bayesianse methoden, zoals Bayesian Quadrature for Conformal Prediction (BQ-CP) van Snell & Griffiths, bieden een volledige posterior-verdeling over de drempelwaarde (wat "meta-onzekerheid" kwantificeert), maar vereisen strikt dat de data onafhankelijk en identiek verdeeld (i.i.d.) is. Dit is vaak niet het geval in real-world scenario's zoals ruimtelijke voorspelling of domeinadaptatie.
2. Gebrek aan meta-onzekerheid bij gewogen CP: Weighted Conformal Prediction (WCP) lost het probleem van distributieveranderingen (covariate shift) op door belangswaarden (importance weights) te gebruiken. WCP is echter puur frequentistisch: het levert slechts één deterministische drempelwaarde op en geeft geen informatie over hoe betrouwbaar die drempel is op basis van de beschikbare kalibratie-data.

De kernvraag: Hoe kunnen we de robuustheid van gewogen CP (voor distributieveranderingen) combineren met de rijke onzekerheidskwantificering van BQ-CP (posterior-verdelingen), zonder de i.i.d.-aanname te behouden?

2. Methodologie: Weighted Bayesian Conformal Prediction (WBCP)

De auteurs introduceren WBCP, een methode die BQ-CP generaliseert naar willekeurige belangswaarde-instellingen.

Kernidee

In plaats van de uniforme Dirichlet-verdeling Dir(1, ..., 1) te gebruiken (zoals in BQ-CP voor i.i.d. data), stelt WBCP een gewogen Dirichlet-verdeling voor over de "spacings" (intervallen tussen gesorteerde scores):
$$\text{Dir}(n_{eff} \cdot \tilde{w}_1, \dots, n_{eff} \cdot \tilde{w}_n)$$

Waarbij:

• $\tilde{w}_i$ de genormaliseerde belangswaarden zijn (afgeleid van covariate shift correctie, ruimtelijke kernels, etc.).
• $n_{eff}$ de Kish effectieve steekproefgrootte is, gedefinieerd als:
  $$n_{eff} = \frac{(\sum w_i)^2}{\sum w_i^2}$$

Waarom werkt dit?

• Bayesianse Bootstrap: De constructie is gebaseerd op de Weighted Bayesian Bootstrap. De parameter $n_{eff}$ fungeert als de concentratieparameter.
• Calibratie: De auteurs bewijzen dat $n_{eff}$ de unieke parameter is die de variantie van de Bayesianse posterior doet overeenkomen met de frequentistische variantie van de gewogen schatter.
  • Als de weights uniform zijn, is $n_{eff} = n$ en herwinnen we de standaard BQ-CP.
  • Als de weights sterk variëren (weinig effectieve data), daalt $n_{eff}$, wat leidt tot een diffuse posterior (hoge onzekerheid).
  • Als er veel effectieve data is, is $n_{eff}$ hoog, wat leidt tot een geconcentreerde posterior (lage onzekerheid).

Algoritme

1. Bereken belangswaarden $w_i$ voor de kalibratiepunten.
2. Bereken $n_{eff}$.
3. Trek steekproeven uit de Dirichlet-verdeling met parameters $(n_{eff} \cdot \tilde{w}_1, \dots)$.
4. Bereken voor elke steekproef de drempelwaarde $\lambda$.
5. Gebruik de Highest Posterior Density (HPD) drempel voor het definitieve interval en bereken de posterior standaardafwijking ($\sigma_{post}$) als maat voor meta-onzekerheid.

3. Belangrijkste Bijdragen

1. Theoretische Generalisatie: WBCP is de eerste methode die zowel robuust is tegen distributieveranderingen (via gewogen exchangeability) als een volledige posterior-verdeling over de drempelwaarde biedt.
2. Vier Theoretische Resultaten:
   • Calibratieconsistentie: $n_{eff}$ is de unieke concentratieparameter die de frequentistische en Bayesianse varianties matcht.
   • Concentratiesnelheid: De posterior standaardafwijking daalt met $O(1/\sqrt{n_{eff}})$. Dit betekent dat de onzekerheid kwantificeerbaar afneemt naarmate de effectieve steekproefgrootte toeneemt.
   • Gewogen Stochastische Dominantie: De garantie van BQ-CP (dat de drempel de echte verwachte fout met een bepaalde waarschijnlijkheid overschrijdt) wordt uitgebreid naar per-gewicht-profiel garanties.
   • Conditionele Dekkingsverbetering: De HPD-drempel biedt een verbetering in conditionele dekking van $O(1/\sqrt{n_{eff}})$ ten opzichte van de marginale dekking.
3. Ruimtelijke Instantiatie (GeoBCP): De methode wordt toegepast op ruimtelijke voorspelling met kernel-gebaseerde weights. Dit levert interpreteerbare diagnostische kaarten op:
   • Kaarten van $n_{eff}$ (hoeveel equivalente kalibratiepunten ondersteunen de voorspelling op deze locatie?).
   • Kaarten van $\sigma_{post}$ (waar is de voorspelling onzeker ondanks een smal interval?).
4. Empirische Validatie: Experimenten op synthetische en real-world datasets (o.a. huizenprijzen in Seattle) tonen aan dat WBCP de dekking garandeert terwijl het aanzienlijk rijkere onzekerheidsinformatie biedt dan bestaande methoden.

4. Resultaten

• Synthetische Data: WBCP behoudt de dekkingsgarantie (>90%) terwijl de posterior standaardafwijking sterk correleert met de bekende ruisstructuur van de data. Gebieden met weinig data of hoge ruis tonen een hoge $\sigma_{post}$ en een lagere $n_{eff}$.
• Real-world Data (Seattle Huizenprijzen):
  • GeoBCP (de ruimtelijke variant) bereikte een dekking van ~95% (boven de 90% target) met een acceptabele toename in intervalbreedte.
  • Diagnostiek: De methode onderscheidt duidelijk tussen "betrouwbare smalle intervallen" (centrum van de stad, hoge $n_{eff}$) en "onzekere smalle intervallen" (randgebieden, lage $n_{eff}$). Standaard CP en GeoCP kunnen deze onderscheiding niet maken.
  • De effectieve steekproefgrootte ($n_{eff}$) varieerde sterk per locatie (van ~10 in dunbevolkte gebieden tot >200 in dichte gebieden), wat de lokale betrouwbaarheid direct visualiseert.

5. Betekenis en Impact

WBCP vult een kritieke kloof in de onzekerheidskwantificering (Uncertainty Quantification - UQ).

• Voor High-Stakes Toepassingen: In domeinen zoals gezondheidszorg, klimaatmodellen of autonome voertuigen is het niet genoeg om te weten dat een interval correct is; het is cruciaal om te weten hoe zeker we zijn over die correctheid. WBCP levert deze "meta-onzekerheid".
• Data-Collectie: De $n_{eff}$-kaarten fungeren als een principieel hulpmiddel om te identificeren waar voorspellingen statistisch slecht ondersteund zijn, waardoor gerichte datacollectie mogelijk wordt.
• Generalisatie: De methode is niet beperkt tot ruimtelijke data; het is toepasbaar op elke situatie waar gewogen Conformal Prediction wordt gebruikt, zoals domeinadaptatie, fairness-aware voorspelling en covariate shift correctie.

Kortom, WBCP transformeert een punt-schatting (een enkel drempelgetal) in een volledige kansverdeling die eerlijk communiceert hoeveel informatie er werkelijk beschikbaar is voor een specifieke voorspelling, zelfs onder complexe distributieveranderingen.