Technische Samenvatting: ST-BCP

Probleemstelling

Conformal Prediction (CP) biedt een vrijheidsvrij kader voor onzekerheidskwantificering, waarbij voorspellingssets worden geconstrueerd met gegarandeerde dekking. Standaard-CP levert echter vaak uiterst grote voorspellingssets op, wat de praktische bruikbaarheid beperkt. Backward Conformal Prediction (BCP) lost dit op door het paradigma om te keren: het definieert van tevoren een bovengrens voor de grootte van de voorspellingsset en schat de daaruit voortvloeiende dekkingstevredenheid.

Ondanks deze innovatie lijdt BCP aan een aanzienlijke "dekkingstekort" – een discrepantie tussen de geschatte dekkingsoptimaliteit en de empirische dekking. Deze onnauwkeurigheid ontstaat omdat BCP vertrouwen stelt in Markov's ongelijkheid toegepast op e-variabelen om dekkingstevredenheid te garanderen. Markov's ongelijkheid maakt gebruik van slechts het eerste moment (verwachting) van het niveau van misdekking, waardoor de grens ongevoelig is voor de specifieke vorm of het staartgedrag van de verdeling van de niet-conformiteitscores. Bijgevolg is de theoretische grens vaak overdreven conservatief, wat leidt tot onnodige handmatige ingrepen in toepassingen met hoge risico's (bijvoorbeeld medische diagnose), zelfs wanneer het systeem betrouwbaar is.

Methodologie: ST-BCP

De auteurs stellen ST-BCP (Score Transformation for Backward Conformal Prediction) voor, een methode die een datage afhankelijke transformatie van niet-conformiteitscores introduceert om de dekkingsoptimaliteit te verscherpen.

1. Kernmechanisme

Het centrale idee is om de verdeling van niet-conformiteitscores opnieuw vorm te geven zodat deze beter aansluit bij de aannames van Markov's ongelijkheid, waardoor de onnauwkeurigheid van de grens wordt verminderd. De methode maakt gebruik van een transformatiefunctie $h(s; D, X)$, waarbij $s$ de score is, en $D$ en $X$ respectievelijk de dataset en de feature-informatie voorstellen.

2. Behoud van Validiteit (Uitwisselbaarheid)

Een kritieke uitdaging bij datage afhankelijke transformaties is het behoud van uitwisselbaarheid, de wiskundige basis voor de validiteit van CP. ST-BCP lost dit op via een symmetrische parametrisatiestrategie:

• Voor een kandidaat-label $y$ worden de transformatieparameters samengesteld door de calibratieset met één punt weg te laten, gecombineerd met een pseudo-testpunt $(X_{n+1}, y)$.
• Dit zorgt ervoor dat de reeks getransformeerde scores wiskundig symmetrisch blijft, waardoor de uitwisselbaarheid strikt behouden blijft, zelfs wanneer de transformatie van de data afhankelijk is.

3. Theoretische Optimalisatie

De auteurs kaderen de verkleining van het dekkingstekort in als een functioneel optimalisatieprobleem.

• Optimale Transformatie: Onder een monotoniteitsbeperking wordt de theoretisch optimale transformatie afgeleid. Deze heeft de vorm van een stapfunctie: $h_{opt}(s) \propto I(s \ge w(D, X))$, waarbij $w(D, X)$ een drempelwaarde is die is afgeleid uit de groottebeperking.
• Berekenbare Benadering ($I_w$): Aangezien de optimale oplossing onbekende conditionele verdelingen vereist, leiden de auteurs een berekenbare benadering af genaamd $I_w$. Deze transformatie stelt de score op nul als deze onder de drempel $w(D, X)$ ligt, en op een constante waarde anderszins.
• Verbeteringsoperator: Het artikel definieert een verbeteringsoperator $G$ zodat het toepassen van $G$ op de basislineaire identiteitstransformatie resulteert in $I_w$. Theoretisch is gegarandeerd dat $I_w$ beter presteert dan de basislineaire identiteitstransformatie.

4. Schattingsconsistentie

Het artikel stelt vast dat de Leave-One-Out (LOO)-schatter een consistente schatter blijft voor de dekkingsoptimaliteit onder de voorgestelde transformatie. Ondanks de complexe statistische afhankelijkheden die door de datage afhankelijke transformatie worden geïntroduceerd, behoudt de schatter een convergentiesnelheid van $O_P(1/\sqrt{n})$, vergelijkbaar met het oorspronkelijke BCP-kader.

Belangrijkste Bijdragen

1. Theoretische Formalisering: De auteurs formaliseren de voorwaarden waaronder datage afhankelijke transformaties de uitwisselbaarheid van scores behouden en stellen criteria vast voor de LOO-schatter om consistent te blijven.
2. Afleiding van Optimale Transformatie: Zij leiden analytisch de optimale transformatie af onder monotoniteitsbeperkingen en bieden een berekenbare benadering ($I_w$) die geen ontoegankelijke distributie-informatie vereist.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat ST-BCP het dekkingstekort aanzienlijk verkleint, terwijl de schattingsnauwkeurigheid en stabiliteit vergelijkbaar blijven met de basislijn.

Experimentele Resultaten

Experimenten werden uitgevoerd op CIFAR-10, CIFAR-100 en Tiny-ImageNet met behulp van verschillende architecturen (ResNet, DenseNet, EfficientNet, MobileNet) en verschillende regels voor groottebeperkingen (constant, feature-afhankelijk, en feature/calibratieset-afhankelijk).

• Verkleining van Dekkingstekort: ST-BCP verkleint het gat tussen de LOO-schatter en de empirische dekking drastisch.
  • Op CIFAR-10 met een constante groottebeperking ($T=2$) nam het gat af van 5,38% (basislijn) naar 0,72%.
  • Over alle benchmarks en beperkingsregels heen nam het gemiddelde dekkingstekort af van 4,20% naar 1,12%.
• Stabiliteit en Efficiëntie: De methode bereikt een lagere Mean Squared Error (MSE) en standaardafwijking (STD) voor de LOO-schatter in vergelijking met de basislijn, wat wijst op een verbeterde schattingsstabiliteit.
• Invariantie van Voorspellingssets: Theoretische resultaten (Stelling 3.2) en empirische observaties bevestigen dat de voorspellingssets invariant blijven onder de voorgestelde transformatie wanneer de groottebeperking alleen van de features afhankelijk is, en niet van de volledige calibratieset.

Betekenis en Claims

Het artikel beweert dat ST-BCP een praktische oplossing biedt voor onzekerheidskwantificering in scenario's waarbij gecontroleerde grootte van voorspellingssets vereist is. Door de dekkingsoptimaliteit te verscherpen, vermindert de methode het inherente conservatisme van BCP.

De auteurs benadrukken een specifieke praktische implicatie: in veiligheidskritieke domeinen zoals medische diagnose leiden overdreven conservatieve grenzen vaak tot onnodige menselijke beoordelingen voor gevallen die eigenlijk veilig zijn. ST-BCP zorgt ervoor dat de geschatte ondergrens van de dekking de werkelijke betrouwbaarheid van het systeem nauwkeuriger weerspiegelt, waardoor onterechte menselijke ingrepen worden verminderd zonder de statistische validiteit te compromitteren.

Het werk wordt gepresenteerd als een verfijning van het BCP-kader, waarbij de efficiëntie van het dekkingsschattingproces wordt verbeterd terwijl strikt wordt vastgehouden aan de theoretische garanties van conformal prediction. De auteurs merken beperkingen op met betrekking tot de complexiteit van theoretische aannames wanneer groottebeperkingen afhankelijk zijn van zowel features als de calibratieset, en zij suggereren dat toekomstig werk zich kan richten op het versoepelen van deze aannames of het verder optimaliseren van de schattings-efficiëntie.