📊 statistics

Posterior Conformal Prediction

Dit artikel introduceert Posterior Conformal Prediction (PCP), een nieuwe methode die standaard conformale voorspelling verbetert door voorspellingsintervallen te genereren met zowel marginale als benaderende conditionele validiteit voor datagedreven clusters of door de gebruiker gespecificeerde subgroepen, wat resulteert in strakkere intervallen en een verbeterde dekking voor ondervertegenwoordigde individuen in diverse toepassingsdomeinen.

Oorspronkelijke auteurs: Yao Zhang, Emmanuel J. Candès

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yao Zhang, Emmanuel J. Candès

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weerman bent. Je hebt een model dat de temperatuur van morgen voorspelt. Om behulpzaam te zijn, zeg je niet alleen "Het wordt 70°F". Je geeft een bereik: "Het wordt tussen de 65°F en 75°F".

In de wereld van de statistiek heet dit bereik een voorspellingsinterval. Het doel is om 90% van de tijd gelijk te hebben (om de werkelijke temperatuur te vangen).

Het Probleem: De "Gemiddelde" Valstrik

Traditionele methoden (Conformale Voorspelling genoemd) zijn uitstekend in het gelijk hebben gemiddeld over de hele wereld. Als je naar 1.000 dagen kijkt, zullen ze 900 keer gelijk hebben.

Maar hier zit de adder onder het gras: Het gemiddelde verbergt de waarheid.

Misschien is het model perfect voor zonnige, kuststeden, maar verschrikkelijk voor regenachtige, bergachtige steden.
Als je in een regenachtige bergstad woont, helpt de "gemiddelde" garantie je niet. Jouw specifieke bereik is misschien maar 60% van de tijd juist, terwijl het wereldwijde gemiddelde 90% is.

Bestaande methoden proberen dit op te lossen door te kijken naar jouw specifieke buurt (localisatie) of mensen te groeperen op basis van eenvoudige kenmerken zoals leeftijd of geslacht. Maar in een complexe wereld met honderden factoren (inkomen, bevolking, misdaadcijfers, bodemtype) is het vinden van je exacte "buur" als het zoeken naar een speld in een hooiberg. Als je niet genoeg buren kunt vinden, wordt je voorspellingsbereik enorm en onbruikbaar om veilig te zijn.

De Oplossing: Posterior Conformale Voorspelling (PCP)

De auteurs introduceren Posterior Conformale Voorspelling (PCP). In plaats van te vragen: "Wie lijkt op mij?", vraagt PCP: "Wie maakt fouten zoals ik?"

Denk eraan als een Gym-lidmaatschap-analogie:

De Oude Manier (Lokale Buurt): Je wilt weten hoe zwaar een training zal zijn. Je vraagt: "Wie woont in mijn straat?" Als er niemand in je straat woont, krijg je geen antwoord. Als je iedereen in de stad vraagt, krijg je een algemeen antwoord dat niet past bij jouw specifieke heuvel.
De PCP-Manier (De "Foutenclub"): PCP kijkt naar de geschiedenis van de sportschool. Het merkt op dat sommige mensen worstelen met hardlopen (hoge fout), terwijl anderen worstelen met heffen (hoge fout), zelfs als de een een marathonloper is en de ander een bodybuilder.
- PCP groepeert mensen niet op basis van hoe ze er uitzien (kenmerken), maar op basis van hoe hun trainingen misgaan (residuen).
- Als je een hardloper bent die worstelt met heuvels, plaatst PCP je in een "Heuvel-Worstelaars"-club. Het kijkt vervolgens naar de geschiedenis van andere heuvel-worstelaars om je volgende run te voorspellen.
- Zelfs als die andere mensen in verschillende steden wonen of andere banen hebben, horen ze in jouw club omdat ze dezelfde specifieke uitdagingen hebben.

Hoe Het Werkt (De Magische Truc)

Het artikel gebruikt een slimme statistische truc om deze groepering eerlijk en nauwkeurig te maken:

De "Vage" Identiteit: In plaats van te zeggen: "Je zit zeker in de Heuvel-Worstelaars-club", zegt PCP: "Je bent grotendeels een Heuvel-Worstelaar, maar misschien een beetje een Hardloper."
De Gewogen Stem: Bij het voorspellen van jouw bereik luistert PCP niet alleen naar de mensen in jouw club. Het luistert naar iedereen, maar het geeft gewicht aan hun stemmen.
- Mensen die zeer vergelijkbaar zijn met jouw "foutenstijl" krijgen een luide stem.
- Mensen die zeer verschillend zijn, krijgen een fluisterstem.
Het Resultaat: Je krijgt een voorspellingsinterval dat strak is (niet te breed) maar nog steeds eerlijk (het dekt de waarheid daadwerkelijk 90% van de tijd, zelfs voor jouw specifieke, lastige situatie).

Waarom Het Beter Is

Het artikel testte dit op real-world data zoals misdaadcijfers, materiaalkunde en medische kosten.

De "Worst-Case" Test: Ze controleerden de methode op de moeilijkst te voorspellen groepen (de "slechtste plakken" van de data).
De Winnaar: Traditionele methoden faalden bij de moeilijkste groepen (de dekking daalde naar 80%). PCP bleef precies op het 90%-doel.
De Bonus: Omdat PCP de juiste "club" voor jou vond, hoefde het het voorspellingsbereik niet enorm te maken om veilig te zijn. Het hield de intervallen kort en bruikbaar.

Speciale Toepassingen Genoemd in het Artikel

De auteurs toonden ook twee speciale toepassingen voor PCP:

Eerlijkheid voor Minderheden: In een medische studie keken ze naar een groep (bijvoorbeeld vrouwen) waarbij sommige individuen zeldzaam of ondervertegenwoordigd waren. Traditionele methoden faalden vaak bij deze zeldzame individuen. PCP paste de gewichten aan om ervoor te zorgen dat zelfs de "zeldzame" mensen in de groep een eerlijk, nauwkeurig voorspellingsbereik kregen.
Slimme Classificators: Voor AI die categorieën gissen (zoals "Is dit een hond of een kat?"), kan PCP zeggen: "Als de AI zeer zeker is, geef een klein voorspelling (alleen 'Hond'). Als de AI onzeker is, geef een grotere lijst (Hond, Kat, Wolf)." Dit maakt het advies van de AI nuttiger voor mensen.

De Conclusie

Posterior Conformale Voorspelling is een slimmere manier om de toekomst te raden. In plaats van alleen te kijken naar wie je * bent*, kijkt het naar hoe je faalt. Door mensen te groeperen op basis van hun fouten in plaats van hun uiterlijk, creëert het voorspellingsintervallen die zowel nauwkeurig als betrouwbaar zijn, zelfs voor de meest unieke of moeilijke gevallen.

Technische Samenvatting: Posterior Conformal Prediction (PCP)

1. Probleemstelling

Conformal prediction (CP) is een veelgebruikte, modelvrije techniek voor het construeren van voorspellingsintervallen met distributievrije dekkinggaranties. Echter, standaard CP-methoden, zoals Split Conformal Prediction (SCP), bieden slechts marginale validiteit. Dit betekent dat de dekkinggarantie ( $1-\alpha$ ) gemiddeld geldt voor de gehele populatie, maar kan falen voor specifieke subgroepen of individuen, vooral wanneer de testdata is getrokken uit een subpopulatie met schaarse trainingsdata (bijvoorbeeld landelijke provincies bij verkiezingsvoorspellingen of ondervertegenwoordigde demografische groepen).

Het bereiken van conditionele validiteit – het garanderen van dekking voor elke specifieke feature-vector $X$ – is theoretisch onmogelijk in distributievrije settings zonder sterke aannames (bijvoorbeeld gladheid) te doen, aangezien dit oneindige verwachte intervallengtes zou vereisen. Bestaande benaderingen om conditionele validiteit te benaderen, zoals localisatie (het wegen van buren op basis van feature-afstand) of groepering (partitie op basis van gevoelige attributen), ondervinden beperkingen:

Localisatie: In hoogdimensionale ruimten kunnen "buren" ver uit elkaar liggen, wat leidt tot schaarse data en instabiele intervallen.
Groepering: Partitioneren op basis van gevoelige attributen kan leiden tot dekkingverlies voor minderheidsindividuen binnen die groepen (bijvoorbeeld lange vrouwen in een overwegend vrouwelijke groep) vanwege kleine steekproefgroottes.

Het artikel adresseert de behoefte aan een methode die marginale en conditionele validiteit in evenwicht brengt door "latente types" van datapunten te identificeren op basis van hun residugedrag in plaats van ruwe feature-proximaliteit.

2. Methodologie: Posterior Conformal Prediction (PCP)

PCP introduceert een raamwerk dat de verdeling van non-conformiteitscores (residuen) modelleert als een eindige mengeling van clusterdistributies. In plaats van gelijkenis te definiëren op basis van ruwe features $X$ , definieert PCP gelijkenis op basis van de cluster-lidmaatschapskansen van de residuen.

Kernmechanisme

Mengselmodellering: De non-conformiteitscores $R_i = |Y_i - \hat{\mu}(X_i)|$ worden verondersteld te volgen een mengselmodel:
$R_i | X_i \sim \sum_{k=1}^K \pi_k(X_i) f_k$
waarbij $\pi(X_i)$ een vector is van cluster-lidmaatschapskansen en $f_k$ onderscheiden clusterdistributies zijn.
Gestochastische Weegfactoren: Om een voorspellingsinterval te construeren voor een testpunt $X_{n+1}$ $X_{n + 1}$ , gebruikt PCP niet de ware (onbekende) $\pi(X_{n+1})$ $π (X_{n + 1})$ . In plaats daarvan introduceert het een randomisatiestap:
- Het trekt een steekproef $L^* \sim \text{Multi}(m, \pi(X_{n+1}))$ (of een geschatte versie $\hat{\pi}$ ) om empirische frequenties te verkrijgen $\pi^*(X_{n+1}) = L^*/m$ .
- Deze "verruiling" van de lidmaatschapskans voorkomt dat het testpunt uniek wordt geïdentificeerd, waardoor uitwisselbaarheid behouden blijft.
Gewogen Kwantiel: Het voorspellingsinterval wordt geconstrueerd met behulp van een gewogen empirisch kwantiel van de residuen. De weegfactor $w_i$ voor een validatiepunt $i$ is evenredig met de waarschijnlijkheid dat zijn cluster-lidmaatschap $\pi(X_i)$ de gerandomiseerde observatie $\pi^*(X_{n+1})$ heeft gegenereerd:
$w_i \propto \prod_{k=1}^K [\pi_k(X_i)]^{m \pi^*_k(X_{n+1})}$
Dit weegt validatiepunten op die hun residu-distributies (cluster-lidmaatschappen) hebben die vergelijkbaar zijn met die van het testpunt, zelfs als hun ruwe features ver uit elkaar liggen.

Omgaan met Onbekende Parameters

Omdat de ware $\pi(X)$ onbekend is, leert PCP deze uit de data. Het algoritme:

Imputeert de testrespons $Y_{n+1} = y$ voor alle kandidaat $y$ .
Gebruikt een symmetrisch leeralgoritme om lidmaatschapskansen $\hat{\pi}_y$ te schatten uit de uitgebreide dataset.
Hanteert een efficiënt matching-algoritme (rasteren, fiten en clusteren) met lineaire complexiteit in de steekproefgrootte om deze kansen te schatten zonder complexe modellen opnieuw te fiten voor elke kandidaat $y$ .

3. Belangrijkste Bijdragen en Theoretische Garanties

Theoretische Validiteit

Conditionele Validiteit op Cluster-lidmaatschap: Stelling 1 stelt vast dat het PCP-interval voldoet aan $P(Y_{n+1} \notin \hat{C}_n(X_{n+1}) \mid \pi^*(X_{n+1})) \le \alpha$ . Dit garandeert validiteit conditioneel op de gerandomiseerde cluster-toewijzing van het testpunt.
Benaderende Conditionele Validiteit: Naarmate de precisieparameter $m$ toeneemt, concentreert $\pi^*(X_{n+1})$ zich rond de ware $\pi(X_{n+1})$ . Het artikel toont aan dat het interval conditionele validiteit benadert op het testpunt zelf, mits het mengselmodel de ware residu-distributie goed benadert.
Eindige Intervallengte: In tegenstelling tot strikte localisatiemethoden die in hoge dimensies oneindige intervallen kunnen produceren, kan PCP eindige intervallen behouden, zelfs bij grote $m$ , als een voldoende aantal validatiepunten vergelijkbare cluster-lidmaatschapskansen deelt (Stelling 2).
PAC-Garanties: Onder stabiliteitsaannames over het mengsel-leeralgoritme voldoet PCP aan "Probably Approximately Correct" (PAC)-garanties, waardoor validiteit met hoge waarschijnlijkheid geldt over de realisatie van de validatiedata (Sectie D).

Uitbreidingen

Gelijkgestelde Conditionele Dekking: PCP wordt toegepast om dekking te garanderen voor subgroepen (bijvoorbeeld geslacht) terwijl ervoor wordt gezorgd dat het interval asymptotisch onafhankelijk is van de subgroep-lidmaatschap. Dit voorkomt het dekkingverlies van "minderheid binnen een minderheid" zoals gezien bij standaard partitioneringsmethoden (Propositie 3).
Niveau-Adaptieve Dekking voor Classificatie: Voor categorische responsen past PCP het doeldekking-niveau aan op basis van de voorspellingskansen van de classifier. Als een classifier goed gekalibreerd en zelfverzekerd is, produceert PCP kleinere (singleton) voorspellingssets terwijl het de validiteit behoudt (Propositie 4).

4. Experimentele Resultaten

De auteurs evalueren PCP op synthetische en real-world datasets, en vergelijken dit met SCP, SCP met Conditionele Kalibratie (SCP+CC), en Randomly-Localized Conformal Prediction (RLCP).

Communities and Crime Dataset: PCP bereikt een "worst-slice" conditionele dekkingssnelheid dicht bij het doel (0,9), wat significant beter is dan SCP (ongeveer 0,8) en vergelijkbaar met geavanceerde methoden zoals RLCP en SCP+CC. Cruciaal behoudt PCP intervallengtes die vergelijkbaar zijn met SCP, terwijl RLCP aanzienlijk bredere intervallen produceert.
Synthetische Data (Niet-lineaire Residuen): In settings waar residu-variatie niet-lineair afhankelijk is van een feature, identificeert PCP succesvol de relevante feature en past intervallengtes aan, waarbij dekking over het feature-bereik behouden blijft. RLCP en SCP+CC slagen er niet in deze niet-lineariteiten te vangen, wat leidt tot dekkingstekorten.
Medical Expenditure Panel Survey (MEPS): In een scenario met onbalans in subgroepen (bijvoorbeeld geslacht) slagen standaard partitioneringsmethoden (SCP+Partition) er niet in om minderheidsindividuen binnen de meerderheidsgroep te dekken. PCP corrigeert dit door intervallen te verbreden voor ondervertegenwoordigde individuen en ze te verkleinen voor goed vertegenwoordigde individuen, waardoor uniforme dekking over subgroepen wordt bereikt zonder afbreuk te doen aan de algehele efficiëntie.
HAM10000 (Huidlaesies): Voor classificatie genereert PCP kleinere voorspellingssets voor goed gekalibreerde classifiers vergeleken met standaard conformale sets, waarbij de setgrootte wordt afgestemd op het zelfvertrouwen van de classifier.

5. Betekenis en Claims

Het artikel claimt dat PCP een radicaal andere aanpak biedt voor het modelleren van gelijkenis in conformal prediction. Door de focus te verschuiven van de ruwe feature-ruimte naar de verdeling van non-conformiteitscores, maakt PCP gebruik van niet-lokale informatie om strakkere, robuustere intervallen te construeren.

De betekenis ligt in het vermogen om:

De kloof te overbruggen tussen marginale en conditionele validiteit zonder distributie-aannames over de features te vereisen.
Het afweging tussen conditionele dekking en intervallengte automatisch te balanceren, waardoor de "vloek van de dimensionaliteit" die localisatiemethoden teistert, wordt vermeden.
Fairness te versterken door dekking te garanderen voor ondervertegenwoordigde individuen binnen subgroepen, waarmee een specifiek falingsmechanisme van op partitie gebaseerde methoden wordt aangepakt.
Zich aan te passen aan het zelfvertrouwen van de classifier in classificatietaken, wat leidt tot actievere voorspellingssets.

De auteurs benadrukken dat hoewel PCP vertrouwt op het leren van een mengselmodel, het een distributievrije methode blijft in de zin dat het geen specifieke parametrische vorm veronderstelt voor de conditionele verdeling van $Y|X$ , maar alleen dat de residuen kunnen worden benaderd door een mengeling van clusters. De methode blijkt computationeel efficiënt (lineair in steekproefgrootte) en effectief in diverse domeinen, waaronder socio-economie, materiaalkunde en gezondheidszorg.