Replicable Conformal Prediction

Technische Samenvatting: Replicable Conformal Prediction

Probleemstelling
Standaard split conformal prediction produceert set-waardige classificaties met dekingsgaranties voor eindige steekproeven. Echter, wanneer twee onafhankelijke analisten een conformal predictor kalibreren op afzonderlijke uitgesloten steekproeven, zullen zij bijna zeker verschillende classificaties inzetten. Dit komt doordat de gekalibreerde drempelwaarde een ordegetal is van continu verdeelde scores; de kans dat twee onafhankelijke kalibraties leiden tot exact dezelfde drempelwaarde (en daarmee de identieke classifier) is derhalve nul.

Dit gebrek aan repliceerbaarheid creëert aanzienlijke problemen voor deployment-artefacten die hashing, caching, versiebeheer of auditing vereisen. Bovendien is deze instabiliteit exploiteerbaar: een tegenstander kan de kalibratieset meerdere keren opnieuw trekken en de meest gunstige trekking selecteren, wat leidt tot systematische onderdekking die ondetecteerbaar blijft door standaard ondersteuningscontroles. Hoewel concepten van "one-point stability" bestaan, garanderen deze niet dat de ingezette classifier zelf identiek is over verschillende runs.

Methodologie: RECAL
Het artikel stelt RECAL (Replicable Calibration) voor, een procedure die ervoor zorgt dat twee onafhankelijke analisten met een hoge waarschijnlijkheid ($1-\rho$) exact dezelfde classifier inzetten, terwijl de marginale dekkingsgaranties behouden blijven.

1. Gedeelde Seed en Afronding: RECAL maakt gebruik van een gedeelde willekeurige seed om een willekeurige offset $u$ te genereren voor een vaste roosterbreedte $\beta$. Analisten berekenen de standaard conformal drempelwaarde $\hat{\tau}$ en ronden deze omhoog naar het dichtstbijzijnde roosterpunt gedefinieerd door $u + \beta\mathbb{Z}$.

   • De opwaartse afronding zorgt ervoor dat de marginale dekkingsgarantie ($\ge 1-\alpha$) onvoorwaardelijk behouden blijft, aangezien de voorspellingssets alleen groter worden.
   • Het gedeelde rooster zorgt ervoor dat als de ongeaf ronde drempelwaarden $\hat{\tau}$ en $\hat{\tau}'$ binnen dezelfde roostercel vallen (of een grens kruisen op een specifieke manier), de afgeronde drempelwaarden $\tau$ en $\tau'$ identiek zullen zijn.

2. Theoretisch Kader:

   • Onmogelijkheid van Exacte Replicatie: Het artikel bewijst dat exacte replicatie (kans 1 op identieke output) onmogelijk is voor elke procedure die uniform geldig blijft voor elke distributie. Bovendien dwingt replicatie met een gedeelde seed de output tot data-onafhankelijkheid (het negeren van de data), waardoor de classifier niet-informatief wordt.
   • Lokale Marginale Aanname: De analyse steunt op een lokale margeconditie (Aanname 1), waarbij wordt aangenomen dat de scoreverdeling een dichtheid heeft die begrensd is tussen nul en oneindig in een buurt van de doel-kwantiel. Dit maakt expliciete constanten in de complexiteitbounds voor steekproeven mogelijk.
   • Seedless Variant: Zonder gedeelde seed laat het artikel zien dat exacte singleton-replicatie onmogelijk is onder een faalkans van $1/2$. Echter, een deterministisch rooster kan alle analisten met hoge waarschijnlijkheid beperken tot een gemeenschappelijke lijst van twee aangrenzende classifiers, wat optimaal is in seedless settings.

3. Robuustheid tegen Selectie: Het artikel analyseert "selectieve recalibratie", waarbij een tegenstander de beste van $M$ kalibratietrekkingen selecteert. Het bewijst dat als een procedure $\rho$-reплиceerbaar is, de kans dat een tegenstander een afwijkende classifier vindt onder $M$ trekkingen wordt begrensd door $\min\{1, (M-1)\rho\}$. Dit voorkomt de systematische onderdekking die bij standaard split conformal prediction optreedt onder selectie.

Belangrijkste Bijdragen

1. Impossibility Theory: De auteurs stellen vast dat exacte replicatie onverenigbaar is met niet-triviale validiteit en dat gedeelde willekeur noodzakelijk is voor betekenisvolle replicabiliteit. Ze karakteriseren de grens voor seedless replicatie als een twee-elementenlijst van aangrenzende classifiers.
2. RECAL Algoritme: Een concrete, repliceerbare split-conformal calibrator met behouden validiteit. Het artikel biedt expliciete eindige-steekproef constanten voor de vereiste kalibratiegrootte $n$ om een doelstelling $\rho$ en dekkingsfout $\epsilon$ te bereiken: $n = O(\kappa^2 \alpha(1-\alpha) / (\epsilon^2 \rho^2))$, waarbij $\kappa$ de lokale score-dichtheidsratio begrenst.
3. Lower Bounds: Het artikel leidt lower bounds af met expliciete constanten, waarmee wordt aangetoond dat de steekproefcomplexiteit en de inflatie in de grootte van de sets (dekking) onvermijdelijk zijn voor elke drempelwaarde-calibrator. De kosten in setgrootte worden getoond als $\Omega(\sqrt{\alpha(1-\alpha)/n}/\rho)$.
4. Plug-in Procedure: Er wordt een pilot-procedure geïntroduceerd om de dichtheidsconstante $\kappa$ uit de data te schatten, waardoor de noodzaak voor een vooraf gespecificeerde $\hat{\kappa}$ asymptotisch wordt weggenomen.
5. Empirische Validatie: Experimenten op ImageNet (synthetisch en echt), een kleine digit-dataset en vier grote taalmodel-families (GPT-2, Pythia, Qwen, Llama) tonen aan dat RECAL de voorspelde replicatiedoelen behaalt. De experimenten bevestigen dat standaard conformal prediction een bijna nul-identiteit heeft, terwijl RECAL een hoge identiteit (bijv. 0,95–1,00) bereikt met een kwantificeerbare kost in de grootte van de voorspellingssets.

Resultaten

• Replicabiliteit: RECAL bereikt succesvol de beoogde niet-replicatieratio $\rho$. Bijvoorbeeld, bij $\rho=0,1$ bereikte de methode een identiteitspercentage van 0,95 op synthetische beeldgegevens en 0,89–0,96 op echte taalmodellen.
• Dekking: Marginale dekking blijft behouden ($\ge 1-\alpha$). De gerealiseerde dekking concentreert zich op rooster-atomen, wat de Beta-verdeling fluctuaties van standaard conformal prediction voorkomt.
• Kosten in Setgrootte: De methode brengt kosten met zich mee voor de grootte van de voorspellingssets. Op echte taalmodellen nam de setgrootte toe met 55–59% bij $\rho=0,1$. Het artikel merkt op dat voor modellen met zware staarten in hun vocabulaire (bijv. Qwen), deze kosten aanzienlijk hoger kunnen zijn vanwege de geometrie van de scoreverdeling, hoewel dit een eigenschap is van de score-ruimte en geen falen van de methode.
• Selection Attack: In een stresstest waarbij een tegenstander de laagste-dekking-trekking uit 20 recalibraties koos, vertoonde standaard split conformal onderdekking aanzienlijk (0,892 versus nominaal 0,900). RECL behield echter de dekking boven het nominale niveau omdat alle kandidaten upward-rounded waren, met geldige drempelwaarden.

Betekenis en Claims
Het artikel beweert de eerste framework te bieden voor replicabiliteit in conformal prediction, waarmee een kritiek gat wordt gedicht waar standaard methoden falen in het produceren van identieke artefacten over onafhankelijke runs. De betekenis ligt in:

• Auditbaarheid en Caching: Het mogelijk maken van verifieerbare, gecachte en versiede conformal predictors, wat essentieel is voor regelgevende audits en productiesystemen.
• Selectie-robuustheid: Het bieden van een theoretisch en praktisch verweer tegen "selectie-aanvallen" waarbij partijen kalibratiesets kiezen om de dekking te manipuleren.
• Trade-off Karakterisering: Het expliciet kwantificeren van de kosten van replicabiliteit in termen van steekproefgrootte en voorspellingssetgrootte, waarbij wordt aangetoond dat deze kosten onvermijdelijk zijn en de optimale rates worden geleverd.

De auteurs blijven bescheiden over beperkingen en merken op dat de experimenten met echte afbeeldingen cross-gevalideerde waarschijnlijkheden gebruikten in plaats van ruwe logits van een enkel bevroren netwerk, en dat het traject voor klinische site-split beperkt werd door kleine steekproeven ($n \le 303$). Ze erkennen ook dat hoewel de asymptotische verwijdering van de dichtheidsconstante $\kappa$ mogelijk is, het verwijderen ervan in eindige steekproeven een openstaand probleem blijft.