Near OOD Detection for Vision-Language Prompt Learning with Contrastive Logit Score

Probleemstelling

Vision-Language Modellen (VLM's) zoals CLIP hebben revolutionaire prestaties geleverd in zero-shot classificatie. Om de prestaties in few-shot scenario's te verbeteren, wordt Prompt Learning gebruikt, waarbij continue contextvectoren worden geoptimaliseerd in de woord-embeddingsruimte in plaats van handmatig prompts te schrijven.

Hoewel deze methoden de classificatie-accuraatheid verbeteren, blijft de detectie van Out-of-Distribution (OOD) data een kritiek maar onderbelicht probleem, vooral voor Near OOD detectie.

• Far OOD: Deel van de dataset heeft een duidelijke covariaat- of domeinverschuiving (bijv. honden als ID, cijfers als OOD).
• Near OOD: Deel van de dataset heeft een semantische verschuiving binnen hetzelfde domein (bijv. bloemen als ID, maar andere bloemensoorten die niet in de trainingsset zitten als OOD). Dit is veel moeilijker te detecteren omdat de visuele kenmerken sterk overlappen.

Bestaande OOD-detectiemethoden zijn vaak niet ontworpen voor VLM's, vereisen training vanaf nul, of zijn niet compatibel met prompt learning-architecturen die geen klassieke classificatiekoppen hebben.

Methodologie: Contrastive Logit Score (CLS)

De auteurs introduceren de Contrastive Logit Score (CLS), een post-hoc, plug-and-play scoringsfunctie die geen aanpassingen aan de modelarchitectuur vereist en geen hertraining nodig heeft.

1. Theoretische Basis:
De methode is gebaseerd op hypothese-toetsing. Het doel is om te onderscheiden tussen:

• $H_{ID}$: De data komt uit de in-distribution verdeling.
• $H_{OOD}$: De data komt uit de near OOD verdeling.

In plaats van de onbekende OOD-waarschijnlijkheid direct te modelleren, introduceren de auteurs een "null"-klasse (y=0) die de algemene kenmerken van de in-distribution data vertegenwoordigt zonder specifieke klassen te koppelen.

2. De Scoringsfunctie:
De CLS combineert twee componenten:

• MaxLogit (of Energy Score): De maximale cosine-similariteit tussen de afbeelding en de prompts van de bekende klassen ($\max_i \langle I, P_i \rangle$).
• Context Score: De cosine-similariteit tussen de afbeelding en de geleerde contextvectoren ($V$) zonder specifieke klassenamen ($\langle I, V \rangle$). Deze waarde meet hoe goed de afbeelding past bij de algemene kenmerken van het domein.

De formule voor CLS is:
$$CLS(x) = \max_{i} \langle I, P_i \rangle - \beta \langle I, V \rangle$$

Waarbij:

• $\langle I, P_i \rangle$ de logit is voor de beste voorspelling.
• $\langle I, V \rangle$ de "context score" is (hoeveel de afbeelding lijkt op de algemene ID-distributie).
• $\beta$ een schalingsfactor is die de relatieve weging bepaalt.

3. Het belang van $\beta$:
De auteurs stellen dat een vaste waarde voor $\beta$ niet optimaal is omdat datasets verschillen in hun kenmerkverdelingen. Ze stellen een data-specifieke schalingsfactor voor die wordt geschat met behulp van slechts een paar-shot ID-trainingsdata.

• Het doel is om de correlatie tussen de MaxLogit-score en de Context Score te minimaliseren.
• Dit wordt opgelost via Maximum Likelihood Estimation (MLE) op de covariantiematrix van de trainingsdata, wat resulteert in een gesloten vorm-oplossing voor $\beta$.

4. Werkingsprincipe:

• Typische ID-voorbeelden: Hoge MaxLogit, hoge Context Score.
• Near OOD-voorbeelden: Vaak hoge Context Score (lijken visueel op het domein) maar lage MaxLogit (geen juiste klasse).
• Door de term $\beta \langle I, V \rangle$ af te trekken, worden Near OOD-voorbeelden (die een hoge context-score hebben maar geen hoge class-score) gestraft, waardoor ze beter gescheiden worden van atypische ID-voorbeelden.

Belangrijkste Bijdragen

1. Nieuwe Scoring Functie: Introductie van CLS, specifiek ontworpen voor vision-language prompt learning, die de scheiding tussen ID en Near OOD data verbetert door gebruik te maken van de contrastieve structuur van CLIP.
2. Post-hoc en Plug-and-Play: De methode vereist geen wijziging van de modelarchitectuur, geen extra training en werkt met elke bestaande prompt learning methode (zoals CoOp, CoCoOp, MaPLe, etc.).
3. Automatische Schaling: Een efficiënte, gesloten-formule methode om de optimale schalingsfactor $\beta$ te schatten op basis van de trainingsdata, zonder toegang tot OOD-data tijdens de implementatie.
4. Uitgebreide Validatie: De methode is getest op 13 diverse datasets en 8 state-of-the-art prompt learning modellen.

Resultaten

De experimenten tonen aanzienlijke verbeteringen aan ten opzichte van bestaande baselines (zoals MaxLogit en Energy Score):

• Near OOD Detectie: De methode leidt tot een verbetering van tot 11,67% in AUROC (Area Under the Receiver Operating Characteristic curve) voor Near OOD detectie.
• Consistentie: In 100 van de 104 evaluaties (13 datasets × 8 modellen) werd een positieve verbetering in AUROC waargenomen.
• Vergelijking met SOTA: CLS presteert beter dan gespecialiseerde OOD-methoden voor VLM's (zoals NegPrompt, LoCoOp) en traditionele OOD-methoden (zoals Mahalanobis, ODIN), zelfs zonder dat de onderliggende classificatie-accuraatheid wordt aangetast.
• Far OOD: Hoewel primair gericht op Near OOD, presteert CLS ook zeer goed op Far OOD detectie, vaak op de tweede plaats na de beste gespecialiseerde methoden, maar met een veel grotere algehele betrouwbaarheid omdat het zowel Near als Far OOD aangepakt.

Betekenis en Impact

Dit werk is van groot belang voor de veilige implementatie van vision-language modellen in kritieke toepassingen zoals gezondheidszorg, autonoom rijden en industriële automatisering.

• Veiligheid: Het biedt een manier om modellen te waarschuwen wanneer ze data tegenkomen die buiten hun kennisbereik valt (Near OOD), wat essentieel is om fouten te voorkomen in onbekende situaties.
• Efficiëntie: Omdat het een post-hoc oplossing is, kunnen bestaande, goed getrainde modellen direct worden verbeterd zonder de kostbare en tijdrovende procedure van hertraining of architecturale aanpassingen.
• Generalisatie: De aanpak is model-agnostisch binnen het domein van vision-language prompt learning, wat het een veelzijdige tool maakt voor de gemeenschap.

Kortom, de paper biedt een elegante en effectieve oplossing voor een van de grootste uitdagingen bij het inzetten van AI-modellen in de echte wereld: het herkennen van data die "net niet" past bij het trainingsdomein.