Technische Samenvatting: Bayesiaanse Conformele Predictie via Beslissingstheoretische Drempelselectie

1. Probleemstelling

Onzekerheidskwantificering in machine learning staat voor een afweging tussen statistische validiteit en efficiëntie, met name wanneer onderliggende probabilistische modellen verkeerd gespecificeerd zijn. Standaard Bayesiaanse methoden bieden posterieure onzekerheid, maar kunnen falen om de nominale dekking te handhaven wanneer het model onjuist is. Omgekeerd biedt standaard Conformele Predictie (CP) dekkinggaranties voor eindige steekproeven en vrij van verdelingsaannames onder uitwisselbaarheid, maar leunt vaak op één vaste kwantieldrempel. Deze vaste drempel resulteert doorgaans in samenhangende voorspellingssets (intervallen), wat inefficiënt kan zijn wanneer de posterieure predictieve verdeling multimodaal is. In dergelijke gevallen worden standaard methoden gedwongen om gebieden met lage dichtheid tussen gescheiden modi te overspannen om validiteit te handhaven, wat leidt tot onnodig grote voorspellingssets.

Het kernprobleem dat wordt aangepakt, is of conformele drempels kunnen worden geoptimaliseerd met behulp van Bayesiaanse posterieure predictieve verdelingen om geometrisch adaptieve voorspellingssets te produceren (specifiek, Highest Posterior Density of HPD-sets) die zelfs onder modelmisspecificatie geldig blijven.

2. Methodologie: Bayesiaanse Conformele Predictie (BCP)

De auteurs stellen Bayesiaanse Conformele Predictie (BCP) voor, een raamwerk dat conformele predictie herformuleert als een beslissings-risicoo optimalisatieprobleem. In plaats van een vaste kwantieldrempel te accepteren, behandelt BCP de drempel $\lambda$ als een beslissingsvariabele om de verwachte grootte van de voorspellingsset te minimaliseren, terwijl een PAC-stijl (Probably Approximately Correct) dekkingbeperking wordt voldaan.

Belangrijke Componenten

1. Bayesiaanse Niet-conformiteitscores:
   BCP maakt gebruik van scores die zijn afgeleid van de posterieure predictieve dichtheid:
   $$s(x, y) = -\log \hat{p}(y \mid x, D_{tr})$$
   Deze scores integreren zowel parameter- als predictieve onzekerheid. Om deze efficiënt te berekenen zonder het model voor elke kalibratiepunt opnieuw te fitten, maken de auteurs gebruik van Add-One-In (AOI) importance sampling. Dit herschikt bestaande posterieure steekproeven om de predictieve dichtheid bij willekeurige $(x, y)$ te benaderen, waarbij ervoor wordt gezorgd dat de scorefunctie vast blijft ten opzichte van kalibratielabels om uitwisselbaarheid te behouden.

2. PAC-Stijl Risicobeheersing ($L_+$ Statistiek):
   Om validiteit af te dwingen, neemt BCP het Conformal Risk Control (CRC)-raamwerk over. Het maakt gebruik van de $L_+$-statistiek, die het ware misdekkingrisico stochastisch bovenwaarts begrenst. De drempel $\lambda^*$ wordt zo geselecteerd dat:
   $$P_D(P_{(X,Y)}(Y \notin C(X; \lambda)) \le \alpha) \ge 1 - \beta$$
   Dit waarborgt een dekking van $1-\alpha$ met een waarschijnlijkheid van ten minste $1-\beta$ over de randomiteit van de kalibratiegegevens, wat robuustheid biedt zelfs als het Bayesiaanse model verkeerd gespecificeerd is.

3. Bayesiaanse Quadratuur (BQ) voor Efficiëntie-estimatie:
   De doelfunctie $g(\lambda) = E_X[|C(X; \lambda)|]$ (verwachte setgrootte) is vaak onberekenbaar. BCP benadert deze met behulp van Bayesiaanse Quadratuur, waarbij een Gaussisch Proces-prior wordt geplaatst over de afbeelding $\lambda \mapsto g(\lambda)$.

   • Rol in drempelgebaseerde settings: BQ vermindert schattingsruis bij het identificeren van de kleinste haalbare drempel.
   • Rol in HPD-settings: Bij multimodale verdelingen verandert de geometrie van HPD-sets abrupt (disjuncte componenten verschijnen/verdwijnen) wanneer $\lambda$ de dichtheidsniveaus van de modusgrenzen kruist. Dit veroorzaakt hoge variantie in naïeve Monte Carlo-schattingen. BQ stabiliseert de schatting van $g(\lambda)$ nabij deze discontinuïteiten, waardoor een betrouwbare selectie van de optimale drempel mogelijk wordt.

4. Adaptieve Geometrie (HPD-sets):
   In tegenstelling tot standaard Split-CP of Conformalized Quantile Regression (CQR), die samenhangende intervallen afdwingen, construeert BCP voorspellingssets op basis van de superlevel-sets van de posterieure predictieve dichtheid:
   $$C_{HPD}(x; \lambda) = \{y : \hat{p}(y \mid x, D_{tr}) \ge e^{-\lambda}\}$$
   Onder multimodale posterieuren kunnen deze sets disjunct zijn, waarbij ze waarschijnlijkheidsmassa concentreren op gescheiden gebieden met hoge dichtheid en gebieden met lage dichtheid vermijden.

3. Belangrijkste Bijdragen

• Beslissingstheoretische Formulering: Het artikel presenteert CP als een optimalisatieprobleem waarbij de drempel een beslissingsvariabele is die de verwachte setgrootte minimaliseert, onderworpen aan een PAC-dekkingbeperking.
• Geometrische Adaptiviteit: Door gebruik te maken van posterieure predictieve dichtheden, genereert BCP HPD-voorspellingssets die onder multimodale verdelingen disjunct kunnen zijn, wat de efficiëntie aanzienlijk verbetert ten opzichte van methoden met samenhangende intervallen.
• Robuustheid tegen Misspecificatie: Het raamwerk ontkoppelt validiteit van modelcorrectheid. Waar Bayesiaanse Credibele Intervallen (BCI) falen bij prior-misspecificatie, herstelt BCP bijna nominale dekking via de $L_+$-beperking.
• Stabiele Drempelselectie: De integratie van Bayesiaanse Quadratuur adresseert de instabiliteit bij het schatten van doelfuncties nabij modusgrenzen in multimodale settings.

4. Experimentele Resultaten

De auteurs evalueren BCP op regressie-, classificatie- en distributieverplaatsingstaken tegenover baselines zoals Split-CP, CQR, Bayesiaanse Credibele Intervallen (BCI), Conformal Bayesian Computation (CB) en Snell-HPD.

• Regressie (Diabetes Dataset): Onder prior-misspecificatie ($c=0.02$) stortte de BCI-dekking in tot 49,2%, terwijl BCP 80,0% dekking handhaafde. BCP bereikte de doeldekking met een iets breder interval dan Snell-HPD vanwege expliciete efficiëntie-optimalisatie, maar presteerde aanzienlijk beter dan BCI in validiteit.
• Classificatie (Borstkanker): BCI overschreed de dekking ernstig (98,9% versus 80% doel). BCP bereikte 82,5% dekking met een gemiddelde setgrootte van 0,829, wat effectieve controle van efficiëntie en validiteit aantoont.
• Synthetische Multimodale Regressie: Deze setting benadrukt het primaire voordeel van BCP. Standaard intervalmethodes (Split-CP, CQR) produceerden samenhangende sets die het dal met lage dichtheid tussen de modi overspanden, wat resulteerde in gemiddelde grootte van ~4,8. BCP en Snell-HPD maakten gebruik van disjuncte HPD-sets, waardoor de gemiddelde grootte werd gereduceerd tot 2,07 (een statistisch significante verbetering, $p < 0.0001$). BCP behaalde een PAC-doorgangspercentage van 0,80, wat aan het doel voldoet, terwijl Snell-HPD iets tekortschoot (0,78).
• Hoogdimensionale Classificatie (ImageNet-A): In een unimodale setting, waarbij de verwachte setgrootte monotoon is in de drempel, herstelde BCP dezelfde oplossing als Snell-HPD (gemiddelde setgrootte 40,3 versus 122+ voor marginale methodes). Dit bevestigt dat de efficiëntiewinsten van BCP worden gedreven door het vermogen om complexe, multimodale geometrieën te hanteren, en niet alleen door de PAC-beperking.

5. Betekenis en Claims

Het artikel claimt dat BCP een robuust raamwerk biedt voor onzekerheidskwantificering dat de validiteitsgaranties van conformele predictie combineert met de geometrische adaptiviteit van Bayesiaanse inferentie.

• Validiteit: De methode garandeert dekking voor eindige steekproeven onder uitwisselbaarheid, onafhankelijk van modelcorrectheid.
• Efficiëntie: De primaire bijdrage aan efficiëntie is het vermogen om disjuncte voorspellingssets te construeren in multimodale scenario's, waardoor de "straf voor lage dichtheid" die inherent is aan methoden met samenhangende intervallen wordt vermeden.
• Scope: De auteurs merken op dat in standaard geneste-drempelsettings (unimodale regressie, standaard classificatie) BCP de kleinste haalbare drempel herstelt en overeenkomt met bestaande PAC-gebaseerde methodes. Het onderscheidende voordeel doet zich specifiek voor wanneer de predictieve verdeling multimodaal is.
• Beperkingen: De methode erft de computatiekosten van posterieure inferentie (vereist MCMC-steekproeven en AOI-herschikking). De auteurs erkennen dat schalen naar zeer grote datasets of hoogdimensionale labelruimten een open uitdaging blijft.

Kortom, BCP biedt een principiële aanpak voor het construeren van voorspellingssets die zowel statistisch geldig zijn onder modelmisspecificatie als geometrisch efficiënt in complexe, multimodale predictieve landschappen.