Calibrating Uncertainty for Zero-Shot Adversarial CLIP

Technische Samenvatting: Kalibratie van Onzekerheid voor Zero-Shot Adversariële CLIP

1. Probleemstelling

Contrastive Language-Image Pretraining (CLIP) heeft zichzelf gevestigd als een fundamenteel model voor zero-shot herkenning, door gebruik te maken van een gedeelde embedding-ruimte om beeldkenmerken te matchen met tekstprompts zonder taakspecifieke training. CLIP blijft echter zeer kwetsbaar voor adversariële aanvallen, waarbij onwaarneembare pixel-niveau perturbaties leiden tot zelfverzekerde misclassificaties.

Eerder werk op het gebied van Zero-Shot Adversarial Robustness (ZSAR) heeft zich primair gericht op het uitlijnen van adversariële beeldkenmerken met de grondwaarheid tekstprototypes (single-anchor alignment) om de nauwkeurigheid te verbeteren. De auteurs identificeren een kritieke, over het hoofd geziene betrouwbaarheidskloof: adversariële perturbaties in CLIP verslechteren niet alleen de nauwkeurigheid, maar onderdrukken ook systematisch de voorspellende onzekerheid.

In tegen tegen de verwachting dat onzekerheid zou moeten toenemen wanneer inputs verschuiven van de trainingsdistributie of moeilijker worden, vertonen standaard CLIP-modellen overmatige zelfverzekerdheid (over-confidence) bij adversariële voorbeelden. Dit leidt tot ernstige miskalibratie waarbij het model vals zelfverzekerd is in onjuiste voorspellingen. Bestaande methoden, die vaak alleen de voorspelde logits uitlijnen of zich richten op single-class discriminatie, falen in het behouden van de relatieve semantische geometrie tussen klassen of de magnitude van het voorspellende bewijs, waardoor ze de onderliggende onzekerheidsstructuur die essentieel is voor robuuste open-vocabulary herkenning, verwaarlozen.

2. Methodologie

De auteurs stellen Uncertainty-Calibrated Adversarial Fine-Tuning (UCAT) voor, een framework ontworpen om gekalibreerde onzekerheid te herstellen terwijl de adversariële robuustheid behouden blijft. De methodologie bestaat uit drie kerncomponenten:

A. Dirichlet-herformulering van CLIP-logits
De auteurs herparametriseren de standaard zero-shot logits van CLIP als concentratieparameters ($\alpha$) van een Dirichlet-distributie.

• Mapping: Gegeven CLIP-logits $\ell$, zijn de concentratieparameters gedefinieerd als $\alpha_k(x) = \exp(h(\ell_k))$, waarbij $h(\ell) = (\tau \ell + 1) / \tau'$. Hierbij is $\tau$ de leerbare temperatuur en $\tau'$ een kalibratiecoëfficiënt.
• Theoretische rechtvaardiging: Deze herformulering zorgt ervoor dat $\alpha_k \ge 1$, wat voldoet aan de geldheidsvoorwaarden voor Dirichlet-bewijs. Cruciaal is dat wanneer $\tau' = \tau$, de verwachting van de resulterende Dirichlet-distributie exact de oorspronkelijke softmax voorspellende regel van CLIP herstelt, wat garandeert dat de methode een getrouwe probabilistische interpretatie is in plaats van een ad-hoc modificatie.
• Onzekerheidsdecompositie: Deze parametrisering maakt een closed-form decompositie van de voorspellende onzekerheid mogelijk in twee componenten zonder sampling:
  • Aleatorische Onzekerheid (AU): Legt inherente databambiguïteit vast (bijv. semantische overlap tussen "wolf" en "hond") via de entropie van de Dirichlet-distributie.
  • Epistemische Onzekerheid (EU): Legt onzekerheid vast door onvoldoende bewijs of distributieverschuiving, wat omgekeerd evenredig is aan de totale sterkte van het bewijs ($\alpha_0 = \sum \alpha_k$).

B. Distributionele Alignment Doelstelling
In plaats van adversariële kenmerken te verankeren aan een enkel tekstprototype, lijnt UCAT de volledige voorspellende distributie van een adversarieel voorbeeld ($x_a$) uit met die van zijn schone tegenhanger ($x$).

• Verliesfunctie: Het doel combineert een standaard tekst-gestuurde cross-entropy loss ($L_{ce}$) met een regularisatieterm ($L_{ucr}$) gedefinieerd als de reverse Kullback-Leibler (KL) divergentie tussen de Dirichlet-distributies:
  $$L_{ucr} = KL(\text{Dir}(\alpha_{adv}) \parallel \text{Dir}(\alpha))$$
• Ratio: De auteurs kiezen de reverse KL-richting omdat deze "mode-seeking" is. In tegen tegenstelling tot forward KL, die bewijs kan afvlakken, behoudt reverse KL zowel de relatieve klassenstructuur (inter-class semantiek) als de absolute sterkte van het bewijs. Dit voorkomt dat het model instort in vals zelfverzekerde fouten door te waarborgen dat als een schoon voorbeeld weinig bewijs heeft (hoge onzekerheid), het adversariële voorbeeld niet wordt gedwongen om veel bewijs te hebben.

C. Trainingspipeline
Het framework fine-tunt de image encoder van CLIP terwijl de text encoder bevroren blijft. Schone en adversariële paren (gegenereerd via $\ell_\infty$-PGD) worden verwerkt om de gezamenlijke loss $L = L_{ce} + \lambda L_{ucr}$ te berekenen, waarbij $\lambda$ de balans bepaalt tussen discriminatieve supervisie en onzekerheidskalibratie.

3. Belangrijkste Bijdragen

1. Dirichlet-gebaseerde Formulering: Het artikel biedt een theoretisch gefundeerde, closed-form methode om CLIP-logits te interpreteren als Dirichlet-bewijs, wat een efficiënte decompositie van onzekerheid in aleatorische en epistemische componenten mogelijk maakt.
2. UCAT Framework: Een nieuwe methode voor adversariële fine-tuning die volledige Dirichlet-distributies regulariseert. Deze aanpak bewaart gezamenlijk de inter-class semantische relaties en kalibreert de bewijskracht, waarmee het miskalibratieprobleem wordt aangepakt waarbij adversariële inputs leiden tot overmatige zelfverzekerdheid.
3. Uitgebreide Empirische Validatie: De methode wordt gevalideerd over 16 single-label benchmarks en de multi-label MS-COCO dataset. Het demonstreert significante verbeteringen in onzekerheidskalibratie (het herstellen van de verwachte ordening van onzekerheid: schoon < adversarieel) terwijl het competitieve adversariële robuustheid en schone nauwkeurigheid behoudt.

4. Experimentele Resultaten

• Onzekerheidskalibratie: Experimenten tonen aan dat vanilla CLIP een lagere voorspellende onzekerheid vertoont op adversariële inputs dan op schone inputs (een teken van miskalibratie). UCAT herstelt een consistente ordening waarbij onzekerheid toeneemt met de moeilijkheid van de input, wat de verschuiving in distributie getrouw reflecteert.
• Robuustheid: Op 16 single-label datasets (inclusief CIFAR-10/100, ImageNet, en fine-grained datasets) bereikt UCAT state-of-the-art of de op één na beste prestaties in termen van de harmonische gemiddelde van schone en adversariële nauwkeurigheid onder diverse aanvallen (PGD, CW, AutoAttack).
• Multi-Label Robuustheid: Op de MS-COCO dataset bereikt UCAT de beste top-3 precisie, recall en F1-scores onder CW-aanvallen, wat wijst op superieure stabiliteit in ambigue multi-label settings waar het behoud van de relatieve semantische ordening cruciaal is.
• Generalisatie: De methode generaliseert effectief over verschillende CLIP backbones (B/16, B/32) en andere contrastieve VLMs (SLIP), wat suggereert dat de aanpak niet gebonden is aan een specifieke architectuur.
• Ablatie-studies: De auteurs bevestigen dat de reverse KL-richting en de Dirichlet-formulering (in tegenstelling tot eenvoudige softmax alignment) cruciaal zijn voor de prestaties. De methode blijft robuust over verschillende regularisatiestrengtes ($\lambda$) en kalibratiecoëfficiënten ($\tau'$).

5. Betekenis en Claims

Het artikel claimt een kritieke betrouwbaarheidskloof in vision-language modellen te overbruggen door aan te tonen dat robuustheid niet enkel over nauwkeurigheid gaat, maar ook over gekalibreerde onzekerheid. Door te onthullen dat adversariële aanvallen de onzekerheid in CLIP onderdrukken, betogen de auteurs dat eerdere methoden die zich enkel richten op logit-alignment ontoereikend zijn.

De betekenis van dit werk ligt in:

• Theoretisch Inzicht: Het bieden van een geprincipeerde mapping tussen contrastieve leer-logits en evidential deep learning (Dirichlet-distributies, wat een nieuw perspectief biedt op hoe onzekerheid in open-vocabulary settings gemodelleerd kan worden.
• Praktische Betrouwbaarheid: Het bieden van een methode die ervoor zorgt dat modellen niet overmatig zelfverzekerd worden wanneer ze worden aangevallen, wat essentieel is voor de inzet van VLMs in veiligheidskritische of open-world scenario's.
• Schaalbaarheid: Het aantonen dat onzekerheidskalibratie kan worden bereikt via fine-tuning zonder dat volledige hertraining of complexe architecturale wijzigingen nodig zijn, wat de toepassing op bestaande foundation models mogelijk maakt.

De auteurs hanteren een bescheiden toon met betrekking tot real-world implementatie, waarbij zij opmerken dat hoewel de aanpak het begrip van modelgedrag onder adversariële perturbaties verbetert, elke praktische toepassing een grondige risicoanalyse en extra waarborgen vereist. Het werk is gepositioneerd als een methodologische vooruitgang in onzekerheidsmodellering en robuustheidsevaluatie voor contrastieve leerframeworks.