Technische Samenvatting: Gelokaliseerde Conformal Predictie voor Beeldclassificatie met Vision-Language Modellen

1. Probleemstelling

Conformal Predictie (CP) is een statistisch kader dat breed wordt gebruikt voor onzekerheidskwantificatie in machine learning, waarbij sterke marginale dekkinggaranties worden geboden (d.w.z. de voorspellingsset bevat de ware label met een door de gebruiker gedefinieerde waarschijnlijkheid $1-\alpha$, gemiddeld over de gehele datadistributie). Echter, een bekende beperking van standaard CP is het onvermogen om conditionele dekking te garanderen voor specifieke subgroepen (bijv. specifieke klassen of feature-regio's). Dit leidt tot dekkingsverschillen waarbij bepaalde subpopulaties onder- of overgedekt zijn.

Hoewel Localized Conformal Prediction (LCP) is voorgesteld om dit aan te pakken door kalibratievoorbeelden te wegen op basis van hun gelijkenis met het testmonster, blijft de toepassing ervan grotendeels beperkt tot regressietaken en synthetische datasets. De toepassing van LCP op beeldclassificatie, met name met behulp van Vision-Language Models (VLMs), is nog onvoldoende onderzocht. Een kritieke openstaande vraag is of de intuïtieve keuze voor het gebruik van cosinusgelijkenis tussen visuele features in VLM-latente ruimtes voldoende is om de prestaties van niet-lokale baselines te verbeteren in classificatietaken.

2. Methodologie

2.1 Framework en Opzet

De auteurs passen het LCP-framework toe op classificatietaken met behulp van VLMs (specifiek CLIP-gebaseerde modellen met ViT en CNN backbones). Het proces omvat:

1. Kalibratie: Een set kalibratiesamples wordt gebruikt om conformal scores te berekenen.
2. Scoring: Vier standaard conformal classificatie scores worden geëvalueerd:
   • TopK: Gebruikt de rang van de ware klasse in de voorspellingsvector.
   • LAC (Least Ambiguous set-valued Classifier): Gebruikt $1 - \text{waarschijnlijkheid van de ware klasse}$.
   • APS (Adaptive Prediction Sets): Gebruikt de cumulatieve som van gesorteerde waarschijnlijkheden tot aan de ware klasse.
   • RAPS (Regularized APS): Voegt een strafterm toe aan APS om de setgrootte te controleren.
3. Lokalisatie: In plaats van een uniforme distributie over de kalibratiescores te gebruiken, construeert LCP een gewogen empirische distributie op basis van een localizer-functie $H(f_{test}, f_i)$, die hogere gewichten toekent aan kalibratiesamples die vergelijkbaar zijn met het testmonster.

2.2 De Kerninnovatie: Niet-lineaire Transformatie van Cosinusgelijkenis

Het onderzoek richt zich op de localizer-functie $H$. In VLMs is de cosinusgelijkenis tussen beeldembeddings ($f_i^T f_j$) een intuïtieve maatstaf voor visuele gelijkenis. De auteurs testen twee benaderingen:

1. Naïeve Benadering: Het direct gebruiken van de ruwe cosinusgelijkenis als de localizer-weging ($H = f_i^T f_j$).
2. Voorgestelde Benadering: Het toepassen van een genormaliseerde sigmoid-transformatie op de cosinusgelijkenis:
   $$H(f_i, f_j) = \frac{1 + \exp(-m(1-\tau))}{1 + \exp(-m(f_i^T f_j - \tau))}$$
   waarbij $m > 0$ de steilheid regelt en $\tau \in [0, 1]$ het afbuigingspunt bepaalt.

Deze hyperparameters $m$ en $\tau$ worden getuned via 5-voudige cross-validatie op de kalibratieset om de gemiddelde voorspellingssetgrootte te minimaliseren. De uiteindelijke parameters worden afgeleid van de mediaan van $m$ en het gemiddelde van $\tau$ over de folds.

2.3 Experimenteel Ontwerp

• Datasets: Negen diverse beeldclassificatie-datasets (SUN397, Aircraft, EuroSAT, StanfordCars, Food101, Pets, Flower102, DTD, UCF101).
• Modellen: Vier VLM backbones (ViT-B/16, ViT-L/14, RN50, RN101).
• Metrieken:
  • Efficiëntie: Mean Set Size (MSS).
  • Validiteit: Coverage Gap (CovGap) en Minimum Class-Conditional Coverage (MCCC).
• Baselines: Standaard niet-lokale CP-methoden met dezelfde scores.

3. Belangrijkste Resultaten

3.1 Gemiddelde Setgrootte (Efficiëntie)

De voorgestelde niet-lineaire transformatie verbetert de efficiëntie aanzienlijk ten opzichte van zowel niet-lokale baselines als de naïeve gelokaliseerde benadering.

• Prestaties: De voorgestelde methode bereikte een statistisch significante reductie in gemiddelde setgroottes voor 9 van de 9 datasets over 3 van de 4 backbones (ViT-B/16, ViT-L/14, RN50) vergeleken met de niet-lokale TopK baseline.
• Falen van de Naïeve Benadering: De naïeve benadering (het gebruik van ruwe cosinusgelijkenis) verslechterde de prestaties vaak, wat leidde tot een significante toename van de setgroottes vergeleken met niet-lokale baselines in verschillende gevallen (bijv. DTD met ViT-B/16, UCF101 met RN50).
• Consistentie: De verbetering hield stand bij verschillende conformal scores (LAC, APS, RAPS), hoewel de omvang varieerde.

3.2 Dekkingsmetrieken (Validiteit)

De resultaten met betrekking tot conditionele validiteit waren genuanceerder:

• CovGap: De gelokaliseerde benaderingen (zowel naïef als voorgesteld) produceerden CovGap-waarden die bijna identiek waren aan die van niet-lokale baselines over alle datasets en backbones. Dit suggereert dat lokalisatie alleen niet voldoende is om de coverage gap te minimaliseren voor beeldclassificatie met VLMs.
• MCCC: Verbeteringen in de worst-case dekking (MCCC) waren inconsistent. Hoewel de voorgestelde methode de MCCC in sommige specifieke gevallen verbeterde (bijv. LAC score op Pets met ViT-B/16), verslechterde het de prestaties in andere gevallen (bijv. TopK score op hetzelfde dataset).

4. Bijdragen

Het artikel levert drie primaire bijdragen:

1. LCP voor Classificatie: Het benchmarkt LCP voor beeldclassificatie met behulp van VLMs en toont aan dat het intuïtieve gebruik van cosinusgelijkenis suboptimaal is. Het stelt een eenvoudige, niet-lineaire sigmoid-transformatie voor om de effectiviteit van de localizer te verbeteren.
2. Uitgebreide Benchmarking: Het biedt een uitgebreide evaluatie over negen diverse datasets en vier VLM backbones, waarbij wordt aangetoond dat de voorgestelde methode consistent de gemiddelde voorspellingssetgroottes vermindert.
3. Open-Source Implementatie: De auteurs stellen de eerste open-source implementatie van LCP voor classificatie beschikbaar, ontworpen om compatibel te zijn met een breed scala aan datasets en modellen.

5. Betekenis en Claims

Het artikel beweert dat hoewel LCP een veelbelovend framework is voor het aanpassen van voorspellingssets aan lokale distributionele eigenschappen, het succes ervan in classificatietaken met VLMs sterk afhankelijk is van het ontwerp van de localizer-functie.

• Kernbevinding: De "naïeve" intuïtie om de ruwe cosinusgelijkenis in de visuele latente ruimte te gebruiken is onvoldoende en kan zelfs nadelig zijn voor de efficiëntie.
• Oplossing: Een eenvoudige, afstembare niet-lineaire transformatie van deze gelijkenissen is noodzakelijk om statistisch significante reducties in de gemiddelde voorspellingssetgroottes te bereiken, terwijl de marginale dekkinggaranties behouden blijven.
• Beperking: De auteurs merken bescheiden op dat hoewel de efficiëntie is verbeterd, de methode momenteel het probleem van de conditionele dekking-verschillen (CovGap) voor deze specifieke setting niet oplost, aangezien de coverage gap vergelijkbaar blijft met die van niet-lokale baselines.

Het werk beoogt de inzet van gelokaliseerde conformal predictie in real-world toepassingen te vergemakkelijken door een robuuste, open-source tool te bieden en de noodzakelijke preprocessing-stappen voor VLM-gebaseerde classificatie te verduidelijken.