📊 statistics

Shape-Adaptive Conditional Calibration for Conformal Prediction via Minimax Optimization

Dit artikel introduceert MOPI, een nieuw raamwerk voor conformale voorspelling dat via minimax-optimalisatie flexibele, vormaanpassende voorspellingssets genereert om geldige conditionele dekking te garanderen en zo de dekkingsefficiëntie en -nauwkeurigheid verbetert ten opzichte van bestaande methoden.

Oorspronkelijke auteurs: Yajie Bao, Chuchen Zhang, Zhaojun Wang, Haojie Ren, Changliang Zou

Gepubliceerd 2026-03-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yajie Bao, Chuchen Zhang, Zhaojun Wang, Haojie Ren, Changliang Zou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een waarzegger bent, maar in plaats van kristallen ballen gebruik je een computermodel om voorspellingen te doen. Soms zegt de computer: "De temperatuur morgen wordt 20 graden." Maar dat is vaak te onzeker. Een betere manier is om een voorspellingsgebied te geven: "De temperatuur ligt ergens tussen 18 en 22 graden."

In de statistiek noemen we dit een conformal prediction. Het mooie hiervan is dat je kunt garanderen dat het echte antwoord (bijvoorbeeld 21 graden) binnen die grenzen valt, zeg, 90% van de tijd.

Het probleem: De "One-Size-Fits-All" valkuil
Het probleem met de oude methoden is dat ze vaak een vierkante doos gebruiken voor al hun voorspellingen, ongeacht de situatie.

Als het weer stabiel is, is een smalle doos (19-21 graden) perfect.
Maar als het weer chaotisch is (storm, onweer), moet de doos veel breder zijn (15-25 graden) om zeker te zijn dat je het goed hebt.

De oude methoden maken vaak een doos die te groot is voor stabiele dagen (vervelend, want je weet niet precies wat er gaat gebeuren) of te klein voor chaotische dagen (gevaarlijk, want je mist de echte temperatuur). Ze zijn ook "stijf": ze kunnen de vorm van de doos niet aanpassen. Als de onzekerheid bijvoorbeeld elliptisch is (bijvoorbeeld: als de temperatuur hoog is, is de luchtvochtigheid ook hoog), kunnen ze dat niet goed vangen.

De oplossing: MOPI (De Slimme Vormgever)
De auteurs van dit papier hebben een nieuwe methode bedacht, genaamd MOPI. Ze vergelijken dit met het maken van een op maat gemaakte pak in plaats van het dragen van een standaard maat.

Hier is hoe het werkt, in simpele termen:

1. De "Spiegel" en de "Kritische Bureaucraat"

Stel je voor dat je een pak wilt maken (de voorspellingsdoos).

De Pakker (MOPI): Deze probeert het pak zo strak en mooi mogelijk te maken. Hij wil de doos zo klein mogelijk houden, maar wel groot genoeg om de waarheid te vangen.
De Bureaucraat (De Minimax-optimalisatie): Dit is de slimme truc. De auteurs laten de Pakker niet alleen werken. Ze stellen een "Bureaucraat" aan die constant kijkt: "Heb je nu echt rekening gehouden met de specifieke groep mensen waarvoor je dit pak maakt?"

De Bureaucraat zoekt naar de ergste mogelijke situatie (bijvoorbeeld: "Wat als we kijken naar alleen mensen met een bepaalde huidskleur, of alleen in de winter?"). Als de Pakker een foutje maakt in die specifieke situatie, schreeuwt de Bureaucraat: "Nee! Je hebt die groep vergeten!"

De Pakker moet dan zijn werk opnieuw doen, maar nu met de instructie: "Maak een pak dat voor alle groepen goed zit, zelfs voor de groep die de Bureaucraat het meest uitdaagt."

2. De Vorm van de Doos (Shape-Adaptive)

Vroeger waren voorspellingsdozen vaak stijve vierkanten. MOPI is als een kleine, flexibele waterballon.

Als de data laat zien dat de onzekerheid langgerekt is (zoals een ei), wordt de doos een ei.
Als de onzekerheid rond is, wordt de doos een bol.
Als de onzekerheid in één richting groot is en in de andere klein, past de doos zich daar direct aan.

Dit zorgt ervoor dat de doos niet groter is dan nodig, maar wel groot genoeg om veilig te zijn.

3. Het "Geheime Ingrediënt" (Sensitive Attributes)

Dit is misschien wel het coolste deel. Soms heb je bij het maken van de voorspelling extra informatie die je later niet meer hebt.

Voorbeeld: Je wilt een voorspelling doen voor een patiënt. Tijdens het "leren" (calibratie) weet je dat de patiënt roker is of niet. Maar op het moment dat je de voorspelling doet voor een nieuwe patiënt, weet je dat misschien niet (bijvoorbeeld vanwege privacywetten).

Oude methoden kunnen hier niets mee. Ze moeten een "gemiddeld" pak maken voor iedereen.
MOPI is slim: het gebruikt die extra informatie (zoals "rookt" of "niet rookt") tijdens het leren om te begrijpen hoe de doos eruit moet zien. Maar op het moment van de voorspelling, als die informatie weg is, past het de doos aan op basis van wat er wel bekend is. Het is alsof je een pak maakt voor een roker en een niet-roker, en je leert hoe je die twee pakken kunt "samenvoegen" tot één slimme voorspelling die voor beide werkt, zelfs als je op het laatste moment niet weet wie je hebt.

Waarom is dit belangrijk?

Veiligheid: In medische situaties of bij zelfrijdende auto's wil je geen te grote voorspellingsgebieden (want dan weet je niets) en geen te kleine (want dan ben je onveilig). MOPI vindt de perfecte balans.
Rechtvaardigheid: Het zorgt ervoor dat bepaalde groepen (bijvoorbeeld mensen van een bepaalde etniciteit of geslacht) niet systematisch "onderbelicht" worden. Iedereen krijgt een eerlijke kans op een goede voorspelling.
Efficiëntie: De voorspellingsgebieden zijn vaak veel kleiner (preciezer) dan bij oude methoden, terwijl ze net zo veilig blijven.

Kort samengevat:
MOPI is een slimme, flexibele manier om voorspellingsgebieden te maken. Het gebruikt een slimme "strijd" tussen een maker en een criticus om ervoor te zorgen dat de voorspelling voor iedereen en in elke situatie precies goed is, zonder onnodig groot te zijn. Het is de overstap van een "one-size-fits-all" T-shirt naar een perfect op maat gemaakt pak.

Probleemstelling

Conformele voorspelling (Conformal Prediction) is een model-agnostische methode om voorspellingsetten te construeren die een gegarandeerde dekking hebben voor een onbekend label. Traditionele methoden garanderen echter slechts marginale dekking (de gemiddelde dekking over de hele populatie). In praktijktoepassingen met hoge risico's (zoals medische diagnose of autonoom rijden) is dit vaak onvoldoende, omdat bepaalde subgroepen of regio's in de covariatenruimte systematisch onder- of overgedekt kunnen worden.

Het doel is om voorwaardelijke dekking (conditional coverage) te bereiken: $P\{Y \in C(X) \mid Z = z\} = 1 - \alpha$ voor elke $z$ in een conditionerende variabele $Z$ .
De uitdagingen zijn:

Theoretische onmogelijkheid: Exacte voorwaardelijke dekking is in eindige steekproeven en zonder distributie-aannames onmogelijk te garanderen zonder triviale (oneindig grote) voorspellingsetten.
Geometrische rigiditeit: Bestaande methoden voor voorwaardelijke kalibratie (zoals Conditional Calibration van Gibbs et al., 2025) passen vaak alleen de grootte (volume) van een voorspellingset aan door de drempelwaarde van een vaste scorefunctie te variëren. Ze kunnen de vorm (shape) of oriëntatie van de set niet aanpassen aan lokale heteroscedasticiteit (variabiliteit die afhangt van de invoer). Dit is vooral problematisch bij multivariate labels.
Gecamoufleerde conditionele variabelen: Veel methoden vereisen dat de conditionerende variabele $Z$ ook beschikbaar is op het testmoment. Dit is echter niet altijd het geval, bijvoorbeeld bij gevoelige attributen (zoals ras of geslacht) die tijdens de kalibratie bekend zijn maar tijdens de voorspelling verborgen moeten blijven om bias te voorkomen.

Methodologie: MOPI

De auteurs introduceren Minimax Optimization Predictive Inference (MOPI), een nieuw raamwerk dat voorwaardelijke voorspelling omvormt tot een min-max optimalisatieprobleem.

1. Formulering als Min-Max Probleem:
In plaats van een vaste drempelfunctie te leren, optimaliseert MOPI over een klasse van verzamel-waardige functies (set-valued mappings) $\mathcal{C}$ . Het doel is om de maximale afwijking van de voorwaardelijke dekking te minimaliseren.
Het probleem wordt geformuleerd als:
$\min_{C \in \mathcal{C}} \max_{f \in \mathcal{F}} \mathbb{E}\left[ f(Z)(\mathbb{1}\{Y \notin C(X)\} - \alpha) - f^2(Z) \right]$
Waarbij:

$C(X)$ de voorspellingset is.
$f(Z)$ een "gewichtsfunctie" is uit een klasse $\mathcal{F}$ die dient om de conditionele momenten te controleren.
De term $-f^2(Z)$ fungeert als een regularisatie (L2-penalty) om het probleem goed gesteld te maken.

2. Structurele Flexibiliteit (Shape-Adaptivity):
MOPI definieert de voorspellingsetten via een gestructureerde klasse $\mathcal{C}$ :
$C(x; h) = \{y \in \mathcal{Y} : T(h(x), y) \leq 0\}$
Hierbij encodeert $h(x)$ de geometrische structuur (bijv. middelpunt $\mu(x)$ en covariantiematrix $\Sigma(x)$ ).

Voorbeeld: Voor ellipsoïden kan $h(x)$ de covariantiematrix aanpassen, waardoor de vorm en oriëntatie van de voorspellingset dynamisch veranderen om lokale correlaties in de data te vangen.
Dit contrasteert met eerdere methoden die alleen de schaal van een vaste vorm aanpassen.

3. Omgaan met Gecamoufleerde Variabelen:
Een kerninnovatie is het ontkoppelen van de dekkingseis (afhankelijk van $Z$ ) en de voorspellingsfunctie (afhankelijk van $X$ ).

Tijdens de kalibratiefase wordt $Z$ gebruikt om de optimale $h(x)$ te leren via de innerlijke maximalisatie over $f(Z)$ .
Tijdens de testfase wordt $Z$ niet nodig; de voorspellingset $C(X)$ wordt alleen gebaseerd op $X$ .
Dit stelt MOPI in staat om vooroordelen te corrigeren of dekking te garanderen voor gevoelige groepen, zelfs als die groepen op het testmoment onbekend zijn.

4. Empirische Implementatie:
Omdat de indicatorfunctie $\mathbb{1}\{Y \notin C(X)\}$ niet differentieerbaar is, wordt deze vervangen door een gladde surrogate (bijv. een Sigmoid-functie). De innerlijke maximalisatie kan vaak in gesloten vorm worden opgelost (afhankelijk van de keuze van $\mathcal{F}$ , zoals een eindige dimensie of een Reproducing Kernel Hilbert Space - RKHS), waardoor het probleem reduceert tot een standaard empirisch risicominimalisatieprobleem dat met gradient-based methoden (zoals SGD) kan worden opgelost.

Belangrijkste Bijdragen

Generalisatie van Bestaande Methoden: MOPI generaliseert de Conditional Calibration (CC) door de geometrie van de voorspellingsetten te laten meebewegen met de lokale data-dichtheid, in plaats van alleen de drempelwaarde aan te passen.
Statistische Interpretatie en Optimaliteit: De auteurs bewijzen dat het min-max doelwit equivalent is aan het minimaliseren van de Mean Squared Coverage Error (MSCE), mits de gewichtsfunctieklasse $\mathcal{F}$ expressief genoeg is. Ze leiden niet-asymptotische oracle-ongelijkheden af die laten zien dat de convergentiesnelheid van de MSCE optimaal is (tot op logaritmische factoren).
Omgaan met Masked Attributes: Het raamwerk biedt een principieel mechanisme om voorwaardelijke dekking te garanderen op gevoelige attributen die tijdens het testen onzichtbaar zijn, wat cruciaal is voor eerlijke AI-toepassingen.
Theoretische Analyse: De paper levert gedetailleerde convergentie-analyses voor zowel eindige dimensies (groep-voorwaardelijke dekking) als oneindige dimensies (RKHS voor continue conditionering).

Resultaten

De auteurs evalueren MOPI op synthetische data en real-world datasets (Households, Communities and Crime, Medical Insurance, FashionMNIST) en vergelijken met state-of-the-art baselines (SCP, CC, RLCP).

Geometrische Aanpassing: Bij multivariate labels (ellipsoïden en boxen) levert MOPI aanzienlijk kleinere voorspellingsetten op dan baselines, terwijl het de voorwaardelijke dekking beter handhaaft. Dit komt doordat MOPI de vorm aanpast in plaats van alleen de grootte.
Gecamoufleerde Gevoelige Attributen: In scenario's waar $Z$ (bijv. ras of geslacht) tijdens het testen ontbreekt, falen bestaande methoden (CC, RLCP) vaak om een eerlijke dekking over subgroepen te garanderen. MOPI slaagt erin om een gebalanceerde dekking te bereiken door gebruik te maken van $Z$ tijdens de kalibratie.
Convergentie en Efficiëntie: De empirische resultaten tonen aan dat MOPI een lagere MSCE bereikt en dichter bij de nominale dekking (bijv. 90%) blijft, zelfs in complexe heteroscedastische scenario's. De rekentijd is vergelijkbaar met niet-volledige conformale methoden en veel efficiënter dan volledige conformale methoden die per testpunt opnieuw moeten worden opgelost.

Betekenis

Deze paper is significant omdat het een fundamentele beperking van bestaande conformele voorspellingsmethoden oplost: het gebrek aan flexibiliteit in de vorm van voorspellingsetten en de moeilijkheid om voorwaardelijke dekking te garanderen zonder toegang tot conditionele variabelen op het testmoment.

Door het combineren van minimax optimalisatie met gestructureerde voorspellingsetten, biedt MOPI een robuust en wiskundig onderbouwd raamwerk voor:

Betrouwbare Uncertainty Quantification: Zekerheid dat voorspellingen betrouwbaar zijn voor specifieke subgroepen, niet alleen gemiddeld.
Eerlijke AI: Het mogelijk maken van eerlijke dekking voor beschermde groepen zonder dat deze groepen tijdens de voorspelling bekend hoeven te zijn (privacy-vriendelijk).
Efficiëntie: Het produceren van compactere en nauwkeurigere voorspellingsetten voor multivariate problemen, wat essentieel is voor besluitvorming in complexe systemen.

Kortom, MOPI zet een nieuwe standaard voor hoe conformele voorspelling kan worden toegepast in realistische, heterogene en ethisch gevoelige omgevingen.