Conformal Prediction Sets for Instance Segmentation

Technische Samenvatting: Conformal Prediction Sets voor Instantie-segmentatie

Probleemstelling
Huidige instantie-segmentatiemodellen behalen een hoge gemiddelde prestatie, maar missen een principiële kwantificering van onzekerheid. Hun outputs, zoals logits of betrouwbaarheidsscores, zijn vaak niet gekalibreerd en bieden geen garantie dat een voorspelde masker dicht bij de grondwaarheid ligt. Bestaande onzekerheidsmetrieken (bijv. grens-waarschijnlijkheden) zijn frequent niet gekalibreerd en moeilijk te interpreteren. Bovendien zijn recente conformal prediction-benaderingen voor segmentatie beperkt tot het modificeren van een enkel door het model voorspeld masker (bijv. via dilatatie of grensexpansie). Deze methoden vangen lokale grens-onzekerheid op, maar falen in het adresseren van structurele onzekerheid—de ambiguïteit over de vraag of aangrenzende regio's als één enkel object moeten worden behandeld of moeten worden gesplitst in meerdere objecten. Deze beperking is kritiek in real-world toepassingen waar niet één enkele "beste" parameterinstelling bestaat voor alle queries.

Methodologie
De auteurs stellen een conformal prediction-algoritme voor dat adaptieve betrouwbaarheidssets genereert van instantie-voorspellingen voor een gegeven afbeelding en pixelcoördinaat-query. De methode werkt onder het volgende framework:

1. Setting: De input bestaat uit een afbeelding $I$ en een query-punt $(z_1, z_2)$. Het doel is om een binaire masker $Y$ te voorspellen voor het object-instantie dat de query bevat. De methode maakt gebruik van een instantie-segmentatiemodel $f$ dat een aanpasbare parameter $T$ accepteert (bijv. watershed-drempels, logit-drempels of masker-indices) om diverse voorspellingen $\hat{Y} = f(X, T)$ te produceren.
2. Kalibratie: Met behulp van een kalibratiedataset van $n$ afbeelding-query paren met grondwaarheid-maskers, evalueert het algoritme de Intersection-over-Union (IoU) van voorspellingen gegenereerd door een grid van $k$ parameterwaarden $\{t_1, \dots, t_k\}$.
3. Set Constructie (Set Cover): Voor een doel-IoU-drempel $\tau$ en foutpercentage $\alpha$, identificeert het algoritme een minimale deelverzameling van parameter-indices $J_{\alpha, \tau}$ zodanig dat de unie van succesvolle voorspellingen (die een IoU $> \tau$ hebben) ten minste $(1-\alpha)n$ kalibratievoorbeelden dekt. Deze stap is geformuleerd als een Set Cover-probleem, opgelost via een greedig algoritme gevolgd door brute-force verfijning om de setgrootte te minimaliseren.
4. Voorspelling: Voor een nieuwe testinput genereert het algoritme voorspellingen met behulp van de geselecteerde parameter-deelverzameling $J_{\alpha, \tau}$, wat de initiële betrouwbaarheidsset $C_{\alpha, \tau}(X_{test})$ vormt.
5. Adaptieve Verfijning (Duplicaatverwijdering): Om redundantie te voorkomen, verwijdert het algoritme bijna-duplicaten (gedefinieerd door een secundaire IoU-drempel $\eta$) met behruik van een Dominating Set-benadering. Dit resulteert in een adaptieve setgrootte die varieert op basis van de moeilijkheidsgraad van de query.
6. Garanties: De methode biedt asymptotische garanties dat, met een waarschijnlijkheid $\ge 1-\alpha$, de uiteindelijke betrouwbaarheidsset ten minste één masker bevat met een IoU groter dan een herkalibreerde drempel $\tilde{\theta}$. Een finite-sample versie wordt ook geleverd met behulp van sample splitting en Conformal Risk Control (CRC).

Belangrijkste Bijdragen

1. Nieuwe Formulering: Het artikel introduceert de eerste conformal prediction-formulering voor instantie-segmentatie die structurele onzekerheid vangt. In tegenstelling tot eerdere methoden die een enkel masker verstoren, construeert deze benadering set-waardige voorspellingen over meerdere modelconfiguraties.
2. Haalbaarheid in Niet-Monotone Settings: De methode vereist geen monotone verliesfunctie (een vereiste voor standaard Conformal Risk Control en Learn Then Test frameworks). Dit maakt het mogelijk om IoU-gebaseerde verliesfuncties te gebruiken, die inherent niet-monotoon zijn met betrekking tot segmentatieparameters.
3. Adaptieve Betrouwbaarheidssets: Het algoritme produceert voorspellingssets die variëren in grootte op basis van de moeilijkheidsgraad van de query, waarbij duplicaten worden verwijderd om een meer informatieve representatie van onzekerheid te bieden zonder de gebruiker te overweldigen.
4. Theoretische Garanties: Het werk biedt zowel asymptotische als finite-sample theoretische garanties voor dekking, waardoor gegarandeerd wordt dat ten minste één voorspelling in de set een hoge IoU bereikt met de grondwaarheid.

Experimentele Resultaten
Het algoritme werd geëvalueerd op drie verschillende taken: landbouwveld-delineatie, celsegmentatie en voertuigdetectie.

• Dekking: De methode behaalde een empirische dekking die dicht bij de doelstelling $(1-\alpha)$ lag, waarmee zij baselines significant overtrof. Bijvoorbeeld, in voertuigdetectie verbeterde de dekking van 66,1% (naive best parameter baseline) naar 84,3%.
• Vergelijking met Baselines: De "naive best parameter" baseline (het selecteren van een enkele globale parameter) en de "morphological dilation" baseline (het uitbreiden van een enkel masker) faalden in het vatten van structurele ambiguïteit. De voorgestelde methode slaagde erin gevallen te herstellen waarin de baseline ofwel onder- of over-gesegmenteerde objecten.
• Adaptiviteit: De grootte van de voorspellingssets paste zich aan de moeilijkheidsgraad van de query aan. In ambigue scenario's (bijv. veldgrenzen) breidden de sets uit om meerdere plausibele maskers te bevatten (tot 5), terwijl ze in duidelijke gevallen (bijv. onderscheidende cellen) krompen naar een grootte van één of twee.
• Drempels: De herkalibreerde IoU-drempel $\tilde{\theta}$ bleef dicht bij of groter dan de oorspronkelijke doelstelling $\tau$, wat aangeeft dat duplicaatverwijdering de dekking-garantie niet significant heeft verslechterd.

Betekenis en Claims
De auteurs stellen dat dit werk de eerste is die structurele onzekerheid in instantie-segmentatie vangt door betrouwbaarheidssets van diverse segmentatie-voorspellingen te construeren. De betekenis ligt in de verschuiving van het paradigma van het leveren van een enkele "beste" voorspelling (die structureel incorrect kan zijn) naar het leveren van een bewijsbaar even diverse set hypothesen. Deze benadering erkent dat in ambigue beeldmateriaal (bijv. contrastarme velden, overlappende cellen) een enkel masker vaak onvoldoende is. De methode formaliseert de betrouwbaarheid van segmentatiemodellen door expliciet de waarschijnlijkheid te kwantificeren dat het ware object binnen de set aanwezig is.

Het artikel merkt bescheiden op dat conformal prediction de inherente beperkingen van het onderliggende segmentatiemodel niet kan overwinnen; als het basismodel een bepaalde IoU niet kan bereiken, kan de betrouwbaarheidsset dat ook niet garanderen. Bovendienen vertrouwt de methode op het bestaan van een aanpasbare parameter die betekenisvolle diversiteit induceert. De auteurs identificeren toekomstig werk in het ontwikkelen van trainingsstrategieën die expliciet maskerdiversiteit stimuleren en in het creëren van schaalbare benaderingen voor de combinatorische optimalisatiestappen (set cover en duplicaatverwijdering) om grotere parameterruimtes te kunnen hanteren.