ATAC: Augmentation-Based Test-Time Adversarial Correction for CLIP

Probleemstelling

Vision-Language Models (VLMs) zoals CLIP hebben de zero-shot beeldherkenning en open-wereld zoekopdrachten getransformeerd. Echter, deze modellen zijn uiterst kwetsbaar voor adversariële perturbaties: kleine, voor mensen onzichtbare wijzigingen in een afbeelding kunnen leiden tot volledig verkeerde classificaties.

Bestaande oplossingen hebben aanzienlijke nadelen:

• Training-tijd methoden (zoals adversarial fine-tuning) zijn computationally prohibitively duur bij foundation modellen en kunnen de zero-shot generalisatie verminderen.
• Test-tijd methoden (zoals prompt tuning of input-purificatie) vertonen vaak beperkte robuustheid, zijn rekenkundig intensief, of maken onstabiele aannames over de aggregatie van augmentaties.

Er is dus behoefte aan een efficiënte, trainingsvrije strategie die tijdens de inferentie (test-time) kan werken om de semantische integriteit van de embedding te herstellen zonder de oorspronkelijke prestaties op schone data te veel te beïnvloeden.

Methodologie: ATAC

De auteurs stellen ATAC (Augmentation-based Test-time Adversarial Correction) voor. Dit is een methode die direct in de embedding-ruimte van CLIP opereert, in plaats van in de pixelruimte of via prompt-aanpassingen.

Kernprincipes:

1. Observatie: Hoewel adversariële aanvallen de voorspelling van CLIP kunnen omkeren, blijven de embeddings van CLIP relatief stabiel onder standaard augmentaties (zoals spiegeling, rotatie, kleurverandering).
2. Drift Vector Analyse:
   • Voor een invoerbeeld $x$ worden $n$ geaugmenteerde versies ($x_1, ..., x_n$) gegenereerd.
   • De embeddings van deze versies worden vergeleken met de originele embedding ($f_x$).
   • Er worden latent drift vectors berekend: $d_i = f_x - f_{x_i}$.
3. Semantische Herstelrichting:
   • Bij schone data zijn deze drift vectors willekeurig verspreid (geen consistente richting).
   • Bij adversariële data wijzen de drift vectors door de augmentaties heen in een consistente richting die weg wijst van de aanval en terug naar de echte semantiek.
   • De gemiddelde drift vector $\bar{d}$ wordt gebruikt als schatting van de semantische herstelrichting.
4. Cosine Consistency Gate:
   • Om te voorkomen dat schone beelden onnodig worden aangepast, wordt een cosine-consistentie-maatstaf ($\tau$) berekend tussen de individuele drift vectors en de gemiddelde drift.
   • Als $\tau$ een drempelwaarde $\tau^*$ overschrijdt (wat wijst op hoge consistentie/adversariële aanwezigheid), wordt de embedding gecorrigeerd: $f^* = f_x + \alpha \bar{d}$.
   • Anders blijft de originele embedding behouden.

Voordeelpunten:

• Trainingsvrij: Geen retraining of fine-tuning nodig.
• Efficiënt: Vereist slechts een beperkt aantal forward passes (voor augmentaties) en geen zware optimalisatie zoals bij PGD-gebaseerde counterattacks.
• Feature-level: Werkt direct in de latent space, wat computationally goedkoper is dan pixel-optimalisatie.

Belangrijkste Bijdragen

1. Nieuwe Paradigma: ATAC is de eerste methode die direct visuele embeddings in CLIP's feature space corrigeert voor adversariële aanvallen, in plaats van pixels of prompts aan te passen.
2. State-of-the-Art Robuustheid: De methode behaalt aanzienlijk betere resultaten dan bestaande methoden, inclusief adversarial fine-tuning en andere test-time defenses.
3. Inzicht in Aanvalsmechanismen: De auteurs onthullen een fundamenteel gebrek in niet-gerichte (untargeted), gradient-based aanvallen: deze zijn te afhankelijk van de ground-truth label, wat leidt tot voorspelbare drifts in de embedding-ruimte die ATAC kan exploiteren.
4. Robuustheid tegen Adaptieve Aanvallen: Zelfs wanneer aanvallers de verdediging kennen en proberen de correctie te omzeilen of te activeren, behoudt ATAC een aanzienlijke mate van robuustheid.

Resultaten

De auteurs hebben ATAC getest op 13 classificatie-benchmarks (o.a. CIFAR-10/100, OxfordPets, StanfordCars, Food101) tegen een PGD-aanval ($\epsilon = 4/255$).

• Robuustheid: ATAC verbetert de robuuste nauwkeurigheid van ongeverdedigde CLIP met gemiddeld ~80% en verslaat de vorige state-of-the-art test-time methoden (zoals R-TPT en TTC) met gemiddeld ~50%.
  • Voorbeeld: Op CIFAR-10 steeg de robuuste nauwkeurigheid van 0.43% (CLIP) naar 91.80% (ATAC).
• Clean Accuracy: Er is een kleine daling in de nauwkeurigheid op schone data (robustness-accuracy trade-off), maar deze is vergelijkbaar met of beter dan andere methoden.
• Efficiëntie: De inferentietijd is laag (ongeveer 18 seconden voor 1000 beelden), wat aanzienlijk sneller is dan methoden zoals R-TPT (916 seconden) en vergelijkbaar met andere test-time methoden.
• Extreme Scenario's: Zelfs bij aanpassingen waarbij de label-afhankelijkheid van de aanval wordt verwijderd (bijv. targeted attacks of unsupervised attacks), presteert ATAC nog steeds beter dan concurrenten, hoewel de prestaties dalen. Dit bevestigt dat de methode niet uitsluitend afhankelijk is van de label-afhankelijke fout van de aanval.

Betekenis en Conclusie

ATAC introduceert een krachtig en efficiënt paradigma voor defensie tegen adversariële aanvallen bij Vision-Language Models. Door de semantische herstelrichting te schatten via augmentatie-gedreven drifts in de embedding-ruimte, omzeilt de methode de hoge kosten van training en de complexiteit van pixel-optimalisatie.

De resultaten tonen aan dat:

1. Adversariële perturbaties in CLIP's embedding-ruimte structurele patronen vertonen die kunnen worden gecorrigeerd.
2. Een eenvoudige, trainingsvrije test-time strategie superieur kan zijn aan complexe fine-tuning methoden.
3. De methode robuust is, zelfs in worst-case scenario's met adaptieve aanvallen.

Dit werk opent de weg voor verdere onderzoek in het corrigeren van adversariële monsters direct in de feature space, wat essentieel is voor de veilige implementatie van foundation modellen in kritieke toepassingen.