🤖 machine learning

Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration

Het artikel stelt Decoupled Conformal Optimisation (DCO) voor, een train-tune-calibrate-framework dat gebruikmaakt van onafhankelijke datasplits voor structurele selectie en kalibratie om standaard marginale conformale dekking voor eindige steekproeven te bereiken, terwijl het tegelijkertijd de grootte van de voorspellingssets aanzienlijk verkleint in vergelijking met traditionele gekoppelde PAC-achtige methoden.

Oorspronkelijke auteurs: Fanyi Wu, Lihua Niu, Samuel Kaski, Michele Caprio

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fanyi Wu, Lihua Niu, Samuel Kaski, Michele Caprio

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Bild: Het "Twee-Koppige" Probleem

Stel je voor dat je een chef bent die probeert het perfecte recept voor een soep te maken. Je wilt dat de soep heerlijk is (efficiënt/klein), maar ook veilig om te eten (betrouwbaar/gedekt).

In modern machine learning gebruiken we een methode genaamd Conformal Prediction om "voorspellingssets" te maken. In plaats van slechts één antwoord te raden (bijvoorbeeld: "Het gaat regenen"), geeft het model een lijst met mogelijkheden (bijvoorbeeld: "Het gaat regenen, of misschien sneeuwen, of misschien hagelen") en garandeert het dat het ware antwoord een bepaald percentage van de tijd in die lijst staat (bijvoorbeeld 95% van de tijd).

Het probleem dat het artikel aanpakt, is hoe deze lijsten zo klein mogelijk te maken zonder de veiligheidsgarantie te verbreken.

De Oude Manier: De "Chef die Zelf zijn Soep Proeft"

Traditioneel gebruikten wetenschappers, wanneer ze probeerden deze voorspellingslijsten kleiner (efficiënter) te maken, dezelfde batch testdata voor twee taken:

Taak A (Het Zoeken): Het uitproberen van verschillende recepten om te zien welke de kleinste lijst oplevert.
Taak B (De Veiligheidscontrole): Het gebruik van diezelfde data om te bewijzen dat de lijst veilig is.

De Tekortkoming: Dit is alsof een chef zijn eigen soep proeft om te beslissen of hij klaar is, en hem daarna opnieuw proeft om een rapport voor de gezondheidsinspectie te schrijven. Omdat de chef het recept al heeft aangepast op basis van de eerste proeverij, is de tweede proeverij geen eerlijke, onafhankelijke test. De veiligheidsgarantie wordt wankel.

Om dit op te lossen, voegden eerdere methoden (genaamd "PAC-style" of "CRC") een enorme "veiligheidsmarge" toe aan het recept. Ze maakten de soep erg smaakloos (de voorspellingslijsten werden erg groot) om er absoluut zeker van te zijn dat het veiligheidsrapport correct was. Het was veilig, maar niet erg bruikbaar.

De Nieuwe Manier: DCO (De "Drie-Kamer Keuken")

De auteurs stellen een nieuwe methode voor genaamd Decoupled Conformal Optimisation (DCO). Zij suggereren de keuken op te delen in drie aparte kamers met drie verschillende teams:

Kamer 1: Training (De Oefenkeuken)
- Het model leert hier de basis.
Kamer 2: Tuning (Het R&D Laboratorium)
- Dit team probeert verschillende recepten, kruiden en kooktijden uit. Ze zoeken naar de meest efficiënte manier om een kleine lijst te maken. Ze kiezen het "beste" recept op basis van deze data.
- Cruciale Stap: Zodra ze een winnaar kiezen, gooien ze de specifieke metingen weg die ze gebruikten om die keuze te maken. Ze houden alleen het recept zelf over.
Kamer 3: Kalibratie (De Gezondheidsinspecteur)
- Dit team krijgt een verse, onaangetaste batch ingrediënten die het R&D-team nog nooit heeft gezien.
- Ze nemen het "winnende recept" uit Kamer 2 en testen het op deze nieuwe batch.
- Omdat het recept niet is aangepast op basis van deze specifieke batch, kan de Gezondheidsinspecteur een strenge, wiskundig perfecte veiligheidsgarantie geven.

Waarom Dit Belangrijk Is: Het Voordeel van de "Verse Batch"

Door het "zoeken naar efficiëntie" (Kamer 2) te scheiden van de "veiligheidscontrole" (Kamer 3), krijgen de auteurs het beste van twee werelden:

Veiligheid: Ze krijgen nog steeds de strenge wiskundige garantie dat de voorspellingslijst 95% van de tijd correct is.
Efficiëntie: Omdat het veiligheidsteam zich geen zorgen hoefde te maken dat het zoekteam "valstrik" door het data te overfitten, hoeven ze die enorme "veiligheidsmarge" niet toe te voegen. De voorspellingslijsten kunnen veel kleiner en preciezer zijn.

De Resultaten: Kleinere Lijsten, Dezelfde Veiligheid

Het artikel testte dit op real-world data (zoals het voorspellen van huizenprijzen, diabetesuitkomsten en het identificeren van afbeeldingen).

Het Resultaat: DCO produceerde voorspellingslijsten die kleiner (efficiënter) waren dan de oude "veiligheid-eerst" methoden, terwijl ze nog steeds de doelmatigheid haalden.
Voorbeeld: Bij een taak voor afbeeldingsclassificatie produceerde de oude methode gemiddeld een lijst van 26,5 mogelijke antwoorden. DCO bracht dit terug naar 25,3, en de "worst-case" lijsten (de enorme lijsten) werden ook aanzienlijk kleiner.
De Haken: Als je de stap van de "Verse Batch" overslaat (zoals de "DirectTune"-methode in het artikel), kun je misschien nog kleinere lijsten krijgen, maar verlies je de veiligheidsgarantie. Het is alsof je soep serveert zonder gezondheidsinspectie: soms is het prima, soms niet.

Samenvatting

Het artikel betoogt dat je niet dezelfde data hoeft te gebruiken om "te zoeken naar het beste model" en om "de veiligheid van het model te certificeren". Door een verse, onafhankelijke dataset te gebruiken voor de uiteindelijke veiligheidscontrole, kun je efficiëntere modellen vinden zonder betrouwbaarheid op te offeren. Het is het verschil tussen een chef die zijn eigen kookwerk proeft om een gezondheidsrapport te schrijven (riskant) en een chef die een aparte, onafhankelijke inspecteur huurt om een verse batch te controleren (veilig en efficiënt).

Technische Samenvatting: Ontkoppelde Conformale Optimalisatie

Probleemstelling
Moderne conformale voorspelling (CP) heeft tot doel voorspellingsets te construeren die zowel geldig zijn (leveren een marginaal dekkingspercentage voor eindige steekproeven) als efficiënt (kleine setgroottes of smalle intervallen). In Bayesiaanse conformale optimalisatie zoeken practitioners vaak naar verbetering van de efficiëntie door te zoeken naar structurele keuzes, zoals niet-conformiteitscores, prior-hyperparameters of modelarchitecturen.

Een kritieke methodologische spanning ontstaat in de manier waarop data wordt toegewezen voor dit proces. Standaard "gekoppelde" benaderingen (zoals Conformal Risk Control (CRC) en op Bayesiaanse Quadratuur (BQ) gebaseerde methoden) gebruiken dezelfde achtergehouden calibratiesplits om zowel te zoeken naar een efficiënte structuur/drempel als om het uiteindelijke risico of de dekking te certificeren. Hoewel deze koppeling noodzakelijk is voor risicobeperkingsgaranties met hoge waarschijnlijkheid (PAC-stijl), betogen de auteurs dat deze onnodig is wanneer het doel standaard marginaal conformaal dekkingspercentage voor eindige steekproeven is. Het hergebruiken van calibratiedata voor zowel zoektocht als certificatie breekt het uitwisselbaarheidsargument dat vereist is voor standaard gesplitste-conformale garanties, wat vaak leidt tot overdreven conservatieve drempels om geldigheid te behouden.

Methodologie: Ontkoppelde Conformale Optimalisatie (DCO)
Het artikel stelt Ontkoppelde Conformale Optimalisatie (DCO) voor, specifiek het DCO-Warmstart-protocol, dat een "train-tune-calibrate" ontwerpprincipe hanteert. Deze benadering scheidt expliciet de datarollen:

Trainingsplits ( $D_{train}$ ): Gebruikt om het Bayesiaanse model te fitten en de posterieure voorspellende verdeling te definiëren.
Tuning-splits ( $D_{tune}$ ): Uitsluitend gebruikt voor efficiëntie-gerichte structurele selectie. Het algoritme zoekt door een kandidaatklasse van structuren $\Phi$ (bijvoorbeeld scorefuncties, priors, architecturen) en drempels om de verwachte voorspellingssetgrootte te minimaliseren onderworpen aan een empirische misdekkingbeperking. Cruciaal is dat de hier gevonden drempel ( $\hat{\lambda}_{tune}$ ) uitsluitend wordt gebruikt voor het rangschikken van kandidaten en wordt verworpen voordat deze wordt ingezet.
Calibratiesplits ( $D_{cal}$ ): Uitsluitend gebruikt om de uiteindelijke conformale kwantiel te berekenen. Zodra een enkele structuur $\hat{\phi}_{tune}$ is geselecteerd uit $D_{tune}$ , wordt de uiteindelijke drempel berekend als de empirische $(1-\alpha)$ -kwantiel van de niet-conformiteitscores die zijn berekend op de onafhankelijke $D_{cal}$ .

Deze scheiding herstelt de standaard logische uitwisselbaarheid van gesplitste conformale voorspelling. Omdat de uiteindelijke structuur onafhankelijk van $D_{cal}$ is vastgesteld, geldt de standaardbewijsvoering voor marginaal dekkingspercentage voor eindige steekproeven direct, zonder dat een betrouwbaarheidsparameter ( $\delta$ ) of correcties voor meervoudig toetsen nodig zijn.

Belangrijkste Bijdragen

Ontwerpprincipe: De formulering van DCO-Warmstart als een ontkoppeld processtroom waarbij structurele keuzes worden geselecteerd op een onafhankelijke tuning-splits, en de uiteindelijke conformale kwantiel wordt berekend op een verse calibratiesplits.
Theoretische Garantie: Bewijs dat DCO-Warmstart de standaard garantie voor marginaal dekkingspercentage voor eindige steekproeven erf voor elke kandidaatklasse $\Phi$ (eindig of oneindig), mits de structuur onafhankelijk van de calibratiedata is vastgesteld. Er is geen betrouwbaarheidsparameter $\delta$ vereist.
Theoretische Vergelijking: Een verduidelijking van het onderscheid tussen DCO-Warmstart en gekoppelde methoden (CRC/BQ). Waar DCO gericht is op marginaal dekkingspercentage en CRC/BQ gericht is op risicobeperking met hoge waarschijnlijkheid, toont het artikel aan dat onder uniforme consistentie-aannames over de risicoschatter, beide benaderingen convergeren naar dezelfde populatiedrempel $\lambda^*$ .
Steekproefcomplexiteit: Een orakel-ongelijkheid voor de tuning-fase, die de vereiste steekproefomvang voor de tuning-splits vaststelt om betrouwbaar een efficiënte structuur te selecteren uit een eindige kandidaatklasse voordat de onafhankelijke calibratiestap plaatsvindt.

Experimentele Resultaten
De auteurs evalueren DCO-Warmstart over regressie-benchmarks (Diabetes, California Housing, Concrete) en classificatie-benchmarks (ImageNet-A, CIFAR-100), waarbij ze het vergelijken met BQ/CRC-achtige baselines en een diagnostische "DirectTune"-baseline (die optimaliseert op $D_{tune}$ maar geen herkalibratie uitvoert).

Dekking: DCO-Warmstart volgt het nominale dekkingsniveau nauwkeurig (bijvoorbeeld 0,801 versus een streefwaarde van 0,8 op ImageNet-A), en voldoet aan de garantie voor marginaal dekkingspercentage.
Efficiëntie: DCO-Warmstart produceert consequent kleinere voorspellingssets of smallere intervallen in vergelijking met gekoppelde BQ/CRC-baselines, die de neiging hebben conservatiever te zijn.
- ImageNet-A: Gemiddelde setgrootte gereduceerd van 26,52 (BQ) naar 25,26; setgrootte op het 95e percentiel gereduceerd van 58,95 naar 53,73.
- Diabetes: Gemiddelde intervalbreedte gereduceerd van 2,098 (BQ) naar 1,914.
Ablatiestudies: Experimenten over splits-toewijzing (bijvoorbeeld een tuning/calibratie-ratio van 33/67) suggereren dat de tuning-splits groot genoeg moet zijn om de selectie van kandidaten te stabiliseren, terwijl de resterende data aan calibratie moet worden toegewezen om variabiliteit in de kwantiel te minimaliseren.

Betekenis en Aanspraken
Het artikel beweert dat voor het specifieke doel van marginaal conformaal dekkingspercentage voor eindige steekproeven, het koppelen van optimalisatie en calibratie op dezelfde data voldoende is maar niet noodzakelijk. Door deze stappen te ontkoppelen, staat DCO-Warmstart toe om een expliciete efficiëntie-zoektocht uit te voeren (optimaliseren van structuur en drempels) terwijl de rigoureuze, distributie-vrije geldigheidsgaranties van standaard gesplitste conformale voorspelling behouden blijven.

De auteurs benadrukken dat DCO-Warmstart geen vervanging is voor CRC/BQ-methoden wanneer het wetenschappelijke doel risicobeperking met hoge waarschijnlijkheid is (waarbij gegarandeerd wordt dat de risicobeperking geldt met een betrouwbaarheid van $1-\delta$ over de calibratiesteekproef). Wanneer het doel echter standaard marginaal dekkingspercentage is, biedt DCO-Warmstart een theoretisch onderbouwde en empirisch efficiënter alternatief door het conservatisme te vermijden dat wordt geïntroduceerd door het koppelen van zoektocht en certificatieprocessen op een enkele datasplits.