Semantic-aware Adversarial Fine-tuning for CLIP

Titel: Semantic-aware Adversarial Fine-tuning for CLIP (SAFT)

Auteurs: Jiacheng Zhang, Jinhao Li, Hanxun Huang, Sarah M. Erfani, Benjamin I.P. Rubinstein, Feng Liu (University of Melbourne).
Publicatie: Transactions on Machine Learning Research (02/2026).

1. Het Probleem

Hoewel CLIP (Contrastive Language-Image Pre-training) uitstekende zero-shot classificatieprestaties levert, is het kwetsbaar voor adversarial examples (AE's). Bestaande methoden voor het verbeteren van de robustheid, zoals Adversarial Training (AT) of adversarial fine-tuning, genereren AE's door de cosine-相似heid (de "CLIP-score") tussen een afbeelding en een enkele, handgemaakte teksttemplate (bijv. "Een foto van een {label}") te minimaliseren.

De auteurs identificeren een fundamenteel tekortkoming in deze aanpak:

• Onvoldoende semantische dekking: Een enkele template vangt niet de volledige semantische rijkdom van een klasse.
• Schijnbare robustheid: AE's die succesvol zijn in het misleiden van CLIP volgens de standaard-template, blijken vaak niet effectief te zijn wanneer de similariteit wordt gemeten met semantisch verrijkte alternatieven (zoals CuPL of WCA).
• Gevolgen: Omdat de gegenereerde AE's niet robuust zijn tegen semantische variaties in tekst, leidt het fine-tunen met deze AE's tot een beeldencoder die minder robuust is dan nodig. De aanval "overfittet" op de specifieke formulering van de template in plaats van op de onderliggende klasse.

2. Methodologie: SAFT

Om dit probleem op te lossen, stellen de auteurs Semantic-aware Adversarial Fine-Tuning (SAFT) voor. Dit is een nieuw raamwerk dat AE's genereert die semantisch bewust zijn en invariant zijn ten opzichte van linguïstische variaties. Het proces bestaat uit drie hoofdstappen:

A. Hallucination-aware Description Generation (Semantische Beschrijvingsgeneratie)

In plaats van één template te gebruiken, genereert SAFT een ensemble van diverse tekstuele beschrijvingen voor elke klasse.

• Generatie: Een foundation model (zoals een LLM of MLLM) genereert meerdere beschrijvingen per label (bijv. voor "hond": "een harige zoogdier die blaft", "een gedomesticeerd canide", etc.).
• Filtering (Cruciaal): Foundation modellen kunnen hallucineren (feitelijke onjuistheden). SAFT introduceert een semantische filterstrategie. De relevantie van elke gegenereerde beschrijving wordt berekend door de cosine-相似heid te meten met de ground-truth label-embeddings. Alleen de top-K meest relevante beschrijvingen worden behouden om hallucinaties te elimineren.

B. Semantic-ensemble Adversarial Attack

De AE's worden gegenereerd door de gemiddelde similariteit te minimaliseren tussen de verstoord beeld en het ensemble van de gefilterde tekstbeschrijvingen.

• De aanval maximaliseert de dissimilariteit tussen de beeld-embedding en de gemiddelde embedding van de $K$ geselecteerde tekstbeschrijvingen.
• Dit dwingt de AE om de afbeelding zo te verstoren dat deze niet meer overeenkomt met geen enkele van de diverse semantische beschrijvingen, wat leidt tot sterkere en generaliseerbaardere perturbaties.

C. Learning Objective (Leerdoel)

Tijdens het fine-tunen wordt de CLIP beeldencoder getraind om de verstoord afbeeldingen weer in de buurt te brengen van het semantische manifold van de diverse tekstbeschrijvingen.

• Het doel is een bi-level optimalisatie: het vinden van perturbaties die de similariteit maximaliseren (aanval) en het aanpassen van de encoderparameters om deze perturbaties te minimaliseren (verdediging).
• Dit resulteert in een encoder die representaties leert die robuust zijn voor zowel visuele perturbaties als linguïstische variaties.

3. Belangrijkste Bijdragen

1. Observatie: De auteurs tonen aan dat AE's gegenereerd via een enkele handgemaakte template falen bij het testen met semantisch verrijkte similariteitsmaten, wat leidt tot een schijnbaar maar niet robuust model.
2. SAFT Framework: Een nieuw framework dat gebruikmaakt van een ensemble van semantisch verrijkte, gefilterde tekstbeschrijvingen om AE's te genereren.
3. Hallucination-aware Filtering: Een strategie om hallucinaties van foundation modellen te filteren, waardoor alleen semantisch correcte beschrijvingen de training beïnvloeden.
4. Uitgebreide Validatie: Empirisch bewijs dat SAFT de trade-off tussen nauwkeurigheid en robustheid aanzienlijk verbetert ten opzichte van state-of-the-art methoden.

4. Resultaten

De auteurs hebben SAFT getest op 16 datasets (inclusief 1 brondataset en 15 zero-shot doeldatasets) en vergeleken met SOTA-methoden zoals TeCoA, FARE, PMG-AFT en TGA-ZSR.

• Zero-shot Robustheid: SAFT presteert significant beter dan bestaande methoden. SAFT-L en SAFT-M verbeteren de gemiddelde zero-shot robuuste nauwkeurigheid met respectievelijk 3,85% en 2,28% ten opzichte van de huidige SOTA (TGA-ZSR) over 15 datasets.
• Nauwkeurigheid-Robustheid Trade-off: Hoewel sommige methoden (zoals FARE) een hogere schone nauwkeurigheid behalen, overtreft SAFT deze methoden aanzienlijk in robuustheid (bijv. +17,46% verbetering in robuustheid voor SAFT-L ten opzichte van FARE). SAFT behaalt ook de op één na hoogste schone nauwkeurigheid.
• Generalisatie:
  • Ongeziene Templates: SAFT generaliseert uitstekend naar ongeziene teksttemplates (bijv. "een tekening van een {label}" in plaats van "een foto van...").
  • Aanvallen: Het model is robuust tegen verschillende aanvalstypen, waaronder AutoAttack en C&W.
  • Schaalbaarheid: De methode werkt effectief op grotere modellen (CLIP-L/14) en grotere datasets (ImageNet-1K).
  • Andere Taken: De methode is ook succesvol toegepast op image-text retrieval taken.

5. Betekenis en Impact

Dit werk biedt een nieuw perspectief op adversarial fine-tuning voor vision-language modellen. Het benadrukt dat semantische rijkdom in de tekstuele supervisie essentieel is voor het genereren van effectieve adversarial examples.

• Theoretisch Inzicht: Het toont aan dat robustheid niet alleen een visueel probleem is, maar ook een linguïstisch-semantisch probleem. Een model dat alleen getraind is op één tekstvariant, blijft kwetsbaar voor semantische variaties.
• Praktische Toepassing: SAFT biedt een schaalbare en effectieve manier om CLIP-modellen veiliger te maken voor real-world toepassingen, waar tekstuele prompts variëren en onvoorspelbaar zijn.
• Toekomst: Het legt de basis voor toekomstige methoden die gebruikmaken van rijkere tekstuele supervisie om de robustheid van multimodale AI-systemen te verbeteren.

Kortom, SAFT bewijst dat het gebruik van diverse, semantisch gefilterde beschrijvingen in plaats van starre templates, leidt tot aanzienlijk robuustere en betrouwbaardere CLIP-modellen.