Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

Technische Samenvatting: Mitigatie van de Modality Gap in Few-Shot OOD Detectie

Probleemstelling
Vision-Language Models (VLMs), met name CLIP, zijn prominent geworden voor Out-of-Distribution (OOD) detectie. Bestaande methoden die uitsluitend vertrouwen op tekstprototypes (bijv. MCM) lijden echter aan de "modality gap" — een fenomeen waarbij beeld- en tekstembeddings zich in afzonderlijke regio's in de embeddingruimte bevinden. Deze scheiding zorgt ervoor dat OOD-beelden een hoge gelijkenis vertonen met In-Distribution (ID) tekstprototypes vanwege ruimtelijke nabijheid in plaats van semantische relevantie, wat leidt tot hoge fout-positieve ratio's (FPR). Hoewel er few-shot tuning methoden bestaan, richten deze zich primair op het leren van negatieve tekstprompts en adresseren zij niet expliciet de fundamentele mismatch tussen de beeld- en tekstmodaliteiten.

Methodologie: SUPREME
De auteurs stellen SUPREME voor (een few-shot tuning framework voor OOD-detectie met CLIP) om de modality gap te mitigeren. De aanpak bestaat uit drie kerncomponenten:

1. Multi-Modale Prototypes (Theoretisch & Empirisch Fundament):
   Het artikel stelt eerst vast dat het opnemen van ID beeldprototypes naast ID tekstprototypes de OOD-detectie verbetert zonder extra training. Door de beeldembeddings voor elke klasse te middelen, definiëren de auteurs een Multi-Modale Prototypes score ($S_{MMP}$). Theoretische analyse (Stelling 1) en empirische resultaten tonen aan dat deze duale-prototype aanpak de score-separatie tussen ID- en OOD-samples vergroot, waardoor de negatieve impact van de modality gap effectief wordt verminderd.

2. Biased Prompt Generation (BPG):
   Om de generalisatie tijdens few-shot tuning verder te verbeteren, introduceert SUPREME BPG. In tegen tegenstelling tot eerdere methoden die prompts alleen conditioneren op leerbare contexten en beeldembeddings, conditioneert BPG tekstprototypes op drie componenten:

   • Leerbare context tokens.
   • Gemapte beeldembeddings ($m(I)$).
   • Een op Gaussische distributie gebaseerde geschatte beeld-domein bias ($\mathcal{N}(\mu, \Sigma)$).
     Deze bias wordt geschat uit de distributie van ID-beeldembeddings. Door deze bias in de promptgeneratie op te nemen, voorkomt de methode overfitting op beperkte few-shot data en brengt zij de tekstprototypes dichter bij de ware distributie van ID-beelden, wat de beeld-tekst fusie versterkt.

3. Image-Text Consistency (ITC):
   Om de modality gap direct te minimaliseren, gebruikt SUPREME twee leerbare mappings: een beeld-naar-tekst mapping ($f_{img-txt}$) en een tekst-naar-beeld mapping ($f_{txt-img}$). Deze worden geoptimaliseerd met behulp van twee verliesfuncties terwijl de CLIP-backbone bevroren blijft:

   • Inter-modale loss ($\ell_{inter}$): Minimaliseert de afstand tussen de gemapte embeddings en hun oorspronkelijke tegenhangers (bijv. ervoor zorgen dat $f_{img-txt}(I)$ uitlijnt met tekstprototypes).
   • Intra-modale loss ($\ell_{intra}$): Reconstrueert de originele embedding vanuit de gemapte embedding om informatieverlies te voorkomen (bijv. $f_{txt-img}(f_{img-txt}(I)) \approx I$).

4. Generalized Multi-modal Prototype Score ($S_{GMP}$):
   Voortbouwend op de multi-modale bevindingen, stellen de auteurs een nieuwe OOD-scoringfunctie voor, $S_{GMP}$. Deze score maakt gebruik van zowel uni-modale als cross-modale gelijkenissen. Het berekent het gemiddelde van de maximale gelijkenissen tussen:

   • De originele beeldembedding ($I$) en tekst/beeldprototypes.
   • De gemapte beeldembedding ($I' = f_{img-txt}(I)$) en tekst/beeldprototypes.
     Deze integratie zorgt ervoor dat zowel de originele als de uitgelijnde representaties bijdragen aan de uiteindelijke beslissing, wat de robuustheid verhoogt.

Belangrijkste Bijdragen

• Analyse van de Modality Gap: Het artikel biedt theoretisch en empirisch bewijs dat de modality gap de VLM-gebaseerde OOD-detectie negatief beïnvloedt en dat het opnemen van beeldprototypes dit effect mitigeert zonder training.
• SUPREME Framework: Een nieuwe few-shot tuning methode bestaande uit BPG (om generalisatie te verbeteren via domeinbias) en ITC (om de modality gap te verminderen via consistentieverliezen).
• Nieuwe Scoring Metriek: De introductie van $S_{GMP}$, die gebruikmaakt van multi-modale prototypes en cross-modale gelijkenissen om de separatie tussen ID- en OOD-distributies te verbeteren.
• State-of-the-Art Prestaties: Uitgebreide experimenten die een consistente prestatieverbetering laten zien ten opzichte van bestaande zero-shot en few-shot OOD-detectiemethoden.

Experimentele Resultaten
De auteurs evalueerden SUPREME op ImageNet-1k en ImageNet-100 als ID-datasets tegen vier diverse OOD-datasets (iNaturalist, SUN, Places, Texture) en de OpenOOD benchmark.

• ImageNet-1k: SUPREME bereikte een gemiddelde FPR95 van 20,70% en een AUROC van 95,38%, waarmee het sterke baselines zoals NegPrompt (23,01% FPR95) en LoCoOp (28,66% FPR95) verslaat.
• ImageNet-100: De methode bereikte een gemiddelde FPR95 van 8,47% en een AUROC van 98,08%, waarmee het CoOp en CoCoOp aanzienlijk overtreft.
• Hard OOD (ImageNet-10/20): SUPREME demonstreerde robuustheid in scenario's met een hoge semantische overlap, waarbij de laagste FPR95 (4,10% en 3,60%) werd behaald in beide richtingen.
• Ablatie-studies: Het verwijderen van BPG of ITC resulteerde in significante prestatiedegradatie (bijv. FPR95 stijgend naar ~28%), wat de noodzaak van beide modules bevestigt. Het gebruik van $S_{GMP}$ boven $S_{MCM}$ leverde ook meetbare verbeteringen op.
• ID Nauwkeurigheid: SUPREME behield een hoge ID-classificatienauwkeurigheid (71,8% Top-1 op ImageNet-1k), waarmee het andere op OOD gerichte methoden overtreft.

Significantie en Claims
Het artikel claimt dat SUPREME een kritieke beperking in huidige VLM-gebaseerde OOD-detectie aanpakt: de modality gap. Door verder te gaan dan enkel tekstuele prototypes en mechanismen te introduceren om beeld- en tekstruimtes uit te lijnen (via BPG en ITC), vermindert de methode het aantal fout-positieven aanzienlijk. De auteurs benadrukken dat hun aanpak de betrouwbaarheid verbetert zonder toegang nodig te hebben tot OOD-data tijdens de training, waarbij enkel een kleine subset van ID-data (16 shots per klasse) wordt gebruikt. Het werk suggereert dat het expliciet modelleren van de relatie tussen modaliteiten essentieel is voor robuuste OOD-detectie in real-world implementaties.