Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs

Technische Samenvatting: Dichtheidsbewuste Translatie van Spuriële Correlaties in Zero-Shot VLMs

Probleemstelling
Vision-Language Models (VLMs), zoals CLIP, hebben krachtige zero-shot classificatiecapaciteiten aangetoon- door afbeelding en tekst te aligneren in een gedeelde latente ruimte. Deze modellen blijven echter zeer gevoelig voor spuriele correlaties, waarbij voorspellingen steunen op frequente maar semantisch irrelevante contextuele aanwijzingen (bijv. de achtergrond) in plaats op betekenisvolle inhoud.

Het artikel identificeert een geometrische kernoorzaak voor dit falen: de CLIP-embeddings vertonen een anisotrope, ellipsoïdale structuur in de featureruimte. Veelvoorkomende patronen (vaak gecorreleerd met spuriele attributen) clusteren nabij het gemiddelde van de distributie, terwijl zeldzame maar semantisch betekenisvolle patronen in de lossere, perifere regio's liggen. Deze geometrie creëert een ongelijke uitlijning waarbij:

1. Spuriele correlaties worden versterkt omdat frequente monsters nauw aansluiten bij de gemiddelde vector van de modaliteit.
2. Semantisch betekenisvolle maar zeldzame aanwijzingen worden gemarginaliseerd en ontvangen lagere gelijkenisscores dan spurieel uitgelijnde monsters.
3. Standaard cosinus-gelijkenis, die uitgaat van isotrope distributies, geen rekening houdt met deze variatie in dichtheid, wat leidt tot systematische bias tegen ondervertegenwoordigde groepen.

Bestaande mitigatiestrategieën vertrouwen vaak op fine-tuning (wat de zero-shot generalisatie ondermijnt), prompt engineering (gevoelig voor hallucinatie en misalignement), of gesuperviseerde conceptontdekking (dat gelabelde spuriele attributen vereist).

Methodologie: Density-Aware Translation (DAT)
De auteurs stellen Density-Aware Translation (DAT) voor, een zero-shot kalibratiemechanisme dat de afbeelding-tekst gelijkenisscores verfijnt met behulp van een lokale geometrische dichtheidsterm afgeleid van groep-referentiesets. De methode werkt zonder de modelparameters bij te werken of toegang te vereisen tot labels van spuriele attributen op het moment van testen.

De kerncomponenten van DAT zijn:

1. Groep-referentieconstructie: Een kleine, gebalanceerde set referentiemonsters wordt geconstrueerd voor elke groep (gedefinieerd door klasse $y$ en spurieel attribuut $a$) met behruikmakend een bemonsteringsprocedure. Om stabiliteit te garanderen, wordt deterministische feature-space exemplar herding gebruikt om embeddings te selecteren waarvan het voortschrijdend gemiddelde overeenkomt met het groepsgemiddelde.
2. Dichtheidsschatting: Voor een query-afbeelding wordt de lokale dichtheid ten opzichte van een groep-referentieset geschat met behulp van de Simplified Local Outlier Factor (SLOF). Een hogere SLOF-waarde geeft aan dat het monster zich in een ijle (sparse) regio bevindt (minder representatief), terwijl een lagere waarde duidt op een dichte regio.
3. Dichtheidstranslatie: Ruwe gelijkenisscores tussen de afbeelding en groep-prompts worden geschaald op basis van de geschatte dichtheid. Specifiek worden scores voor monsters in diffuse (ijle) regio's onderdrukt, terwijl scores voor monsters in dichte, semantisch consistente regio's behouden blijven. De translatie wordt geformuleerd als:
   $$\tilde{s}_{y,a}(x) = \frac{s_{y,a}(x)}{(D_{y,a}(z) + \epsilon)^\lambda}$$
   waarbij $s_{y,a}$ de ruwe gelijkenis is, $D_{y,a}$ de dichtheidsproxie, $\lambda$ de kracht van de translatie controleert, en $\epsilon$ zorgt voor stabiliteit.
4. Voorspellingsaggregatie: Definitieve voorspellingen worden gemaakt door te maximaliseren over zowel de groep-gecorrigeerde scores als een klasse-marginale (attribuut-gemiddelde) score, wat robuustheid garandeert over verschillende aggregatiestrategieën.

Een variant, DAT*, wordt geïntroduceerd voor scenario's waarin labels voor spuriele attributen niet beschikbaar zijn. Het extrapoleert de groepslidmaatschap zero-shot door de attribuut-prompt te selecteren die de maximale gelijkenis vertoont met de afbeelding-embedding.

Theoretische Analyse
Het artikel biedt een theoretische rechtvaardiging voor DAT door groepdistributies te modelleren met de Kent (Fisher-Bingham) distributie, die de anisotrope aard van CLIP-embeddings vastlegt.

• Bias in Cosinus-gelijkenis: De auteurs bewijzen dat ruwe cosinus-gelijkenis systematisch afwijkt van de Bayes-optimale beslissingsgrenzen in anisotrope ruimtes. Het herstelt de lineaire axiale term van de log-densiteit, maar negeert de kwadratische anisotropiteit-term.
• Bayes Alignement: Onder de aanname dat de logaritme van de dichtheidsproxie (SLOF) getrouw is aan de negatieve log-densiteit, tonen de auteurs aan dat DAT de ontbrekende anisotropie-gevoelige log-likelihood termen herstelt. Bijgevolg komt de DAT-discriminant overeen met Bayes-optimale scoring regels, waardoor de bias die inherent is aan pure cosinus-scoring wordt gecorrigeerd.

Belangrijkste Bijdragen

1. DAT Mechanisme: Introductie van een zero-shot mechanisme dat afbeelding-tekst gelijkenissen herschaalt met behulp van groep-referentiedichtheden, zonder dat hiervoor fine-tuning, prompt engineering of toegang tot labels van spuriele attributen tijdens het testen nodig is.
2. Theoretische Correctie: Een theoretische analyse die aantoont dat DAT de bias van cosinus-gelijkenis onder anisotrope embeddings corrigeert door de ontbrekende log-likelihood termen te herstellen en te aligneren met Bayes-optimale beslissingsregels.
3. Empirische Validatie: Uitgebreide experimenten over meerdere benchmarks (Waterbirds, CelebA, COVID-19, FMoW) en VLM backbones (CLIP varianten, ALIGN, AltCLIP) die consistente verbeteringen laten zien in de Worst-Group (WG) en Average accuratesse.

Experimentele Resultaten
De auteurs evalueerden DAT op standaard benchmarks voor spuriele correlaties:

• Waterbirds: DAT behaalde de hoogste Worst-Group (WG) accuratesse over alle CLIP backbones, waarmee het de sterkste eerdere baseline (TIE) met ongeveer 4–14% overtrof, afhankelijk van de backbone. Bijvoorbeeld, met CLIP ViT-L/14 behaalde DAT 83,33% WG accuratesse vergeleken met 78,82% voor TIE.
• CelebA: DAT en DAT* behaalden de sterkste prestaties over de meeste metrieken, met name in WG accuratesse, waarbij ze vaak superieur waren aan state-of-the-art methoden zoals TIE en ROBOSHOT.
• Medische en Multi-label Domeinen: Op de COVID-19 dataset (met behulp van BiomedCLIP) verbeterde DAT de WG accuratesse met meer dan 20% ten opzichte van de nieuwste baselines. Op de complexe FMoW dataset behaalde DAT de hoogste WG en Average accuratesse, terwijl de kloof tussen beide aanzienlijk werd verkleind.
• Generalisatie: De methode toonde robuustheid aan over verschillende VLMs, inclusief ALIGN en AltCLIP, waarbij het consequent eerdere debiasing benaderingen overtrof.

Betekenis en Claims
Het artikel beweert dat DAT een eenvoudig en effectief kalibratiemechanisme biedt voor betrouwbare zero-shot classificatie. De betekenis ligt in het aanpakken van de geometrische beperkingen van VLMs zonder het zero-shot regime te ondermijnen. Door expliciet anisotropie en lokale dichtheid te modelleren, mitigeert DAT de versterking van spuriele correlaties die de standaard gelijkenis-gebaseerde inferentie teisteren.

De auteurs positioneren DAT niet als een vervanging voor training-gebaseerde debiasing, maar als een noodzakelijke post-hoc correctie voor de geometrische biases die inherent zijn aan gepre-trainde multimodale embeddings. Zij concluderen dat toekomstig werk adaptieve multimodale benaderingen voor dichtheidsschatting moet verkennen die minder gevoelig zijn voor referentie-selectie en prompt-ontwerp, maar benadrukken dat de huidige methode een sterk, parameter-vrij baseline biedt voor het verbeteren van groep-robuustheid.