Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

1. Het Probleem

Vision-Language Models (VLMs), zoals CLIP, hebben indrukwekkende zero-shot capaciteiten ontwikkeld door voor te trainen op web-schaal beeld-tekstparen. Echter, deze modellen zijn kwetsbaar voor adversariale aanvallen: kleine, onzichtbare pixelveranderingen kunnen leiden tot verkeerde voorspellingen.

Bestaande methoden om de robuustheid te verbeteren, noemen Adversarial Finetuning (AFT). Deze methoden finetunen de visuele encoder van CLIP doorgaans op een gesorteerde proxy-dataset (zoals ImageNet) met gelabelde klassen. Ze passen een cross-entropy loss toe om het model te leren adversariale afbeeldingen correct te classificeren.
De auteurs identificeren twee fundamentele tekortkomingen in deze bestaande praktijk:

1. Afwijking van het pretrainingsproces: CLIP is voorgetraind om afbeeldingen te matchen met beschrijvende teksten via een contrastive loss, niet om afbeeldingen te classificeren in discrete klassen. Het finetunen op een classificatiedoelwit devieert drastisch van de oorspronkelijke leeropdracht.
2. Verlies van generalisatie en zero-shot kennis: Door het model te finetunen op een specifieke dataset met een cross-entropy loss, degradeert de zero-shot prestatie van het model en is de overdraagbaarheid (transferability) van robuustheid naar andere domeinen beperkt.

2. Methodologie: AdvFLYP

De auteurs stellen een nieuwe, eenvoudige maar effectieve paradigm voor: AdvFLYP (Adversarially Finetune Like You Pretrain). Het kernprincipe is om de trainingsspecificaties van CLIP's oorspronkelijke pretraining te respecteren tijdens het adversariale finetunen.

Belangrijke componenten van AdvFLYP:

• Data Distributie: In plaats van een gelabelde dataset zoals ImageNet, verzamelen de auteurs 1 miljoen willekeurige beeld-tekstparen van het web (uit LAION-400M). Dit imiteert de ruwe, diverse data-distributie van de oorspronkelijke pretraining.

• Trainingsdoelwit (Contrastive Loss): Het model wordt niet getraind om een klasse te voorspellen, maar om een adversariale afbeelding te matchen met zijn bijbehorende tekst.

  • Er wordt een min-max optimalisatie uitgevoerd. Eerst worden adversariale perturbaties ($\delta$) gegenereerd om de contrastive loss binnen een batch te maximaliseren (Eq. 6).
  • Vervolgens wordt de visuele encoder ($f_\theta$) bijgewerkt om deze adversariale afbeeldingen weer te matchen met de bijbehorende teksten via de oorspronkelijke CLIP contrastive loss (Eq. 7).
  • Dit gebeurt in tegenstelling tot eerdere methoden waarbij perturbaties per afbeelding onafhankelijk worden geoptimaliseerd; hier worden ze gezamenlijk geoptimaliseerd binnen een batch.

• Regularisatie: Omdat web-data ruis bevat en het maximaliseren van de contrastive loss kan leiden tot vervormde features in de inbeddingsruimte, introduceren de auteurs twee regularisatietermen:

  1. Logit-level regularisatie: Straf de afwijking in de output-logits van het getrainde model ten opzichte van de originele, bevroren CLIP en de schone afbeeldingen. Dit verbetert de robuustheid.
  2. Feature-level regularisatie: Straf de afwijking van de features (embeddings) van de adversariale afbeeldingen ten opzichte van de features van de originele bevroren encoder en de schone afbeeldingen. Dit is cruciaal om de zero-shot capaciteiten (clean accuracy) te behouden, omdat het voorkomt dat de visuele encoder te veel "vergiftigd" raakt door de ruis in de web-data.

De totale loss functie combineert de contrastive loss met deze twee regularisatietermen (Eq. 13).

3. Belangrijkste Bijdragen

1. Nieuw Paradigma (AdvFLYP): Een eenvoudige aanpak die de pretraining-recipe van VLMs respecteert (web-data + contrastive loss) in plaats van af te wijken naar classificatie-taken.
2. Regularisatie-strategie: Het aantonen dat feature-level regularisatie essentieel is voor het behoud van zero-shot kennis bij het werken met ruwe web-data, terwijl logit-level regularisatie de robuustheid verbetert. Dit verschilt van eerdere bevindingen bij classificatie-gebaseerde AFT.
3. Uitgebreide Validatie: Experimenten op 14 downstream datasets over diverse domeinen (objectherkenning, fijnkorrelige classificatie, landschappen, etc.) tonen aan dat AdvFLYP superieur is aan bestaande methoden.

4. Resultaten

De auteurs evalueren hun methode op 14 datasets (o.a. CIFAR, ImageNet-variants, OxfordPets, Food101) onder verschillende adversariale aanvallen (PGD, CW, AutoAttack) met verschillende budgetten ($\epsilon$).

• Roeustheid: AdvFLYP (zonder regularisatie) behaalt een gemiddelde robuuste nauwkeurigheid van 35,61%, wat al beter is dan de state-of-the-art TeCoA (33,00%) en PMG-AFT (34,87%).
• Met Regularisatie (AdvFLYPfull): Door zowel logit- als feature-level regularisatie toe te passen, stijgt de gemiddelde robuuste nauwkeurigheid naar 38,39%.
• Clean Accuracy: Een cruciale bevinding is dat AdvFLYPfull de trade-off tussen robuustheid en schone nauwkeurigheid verbetert. Het behaalt een gemiddelde clean accuracy van 55,84%, wat aanzienlijk hoger is dan TeCoA (51,35%) en PMG-AFT (54,25%).
• Transferability: Op cross-domein datasets (zoals ImageNet-R, ImageNet-A, ObjectNet) presteert AdvFLYP consistent beter, wat aantoont dat de robuustheid beter overdraagbaar is dan bij methoden die op ImageNet zijn getraind.
• Sterke Aanvallen: Zelfs bij hogere aanvalsbudgetten ($\epsilon = 2/255$ en $4/255$) blijft AdvFLYP de concurrentie voor.

5. Betekenis en Conclusie

Dit paper daagt de huidige "de facto" standaard uit om VLMs te finetunen voor adversariale robuustheid. De auteurs bewijzen dat het respecteren van de oorspronkelijke pretraining-distributie en het trainingsdoelwit (contrastive learning op web-data) essentieel is voor het behoud van de zero-shot eigenschappen van het model.

De belangrijkste implicatie is dat adversariale finetuning niet als een losstaand proces moet worden gezien dat zich aanpast aan downstream classificatietaken, maar als een voortzetting van het pretrainingsproces. Door dit te doen, en door slimme regularisatie toe te passen om de ruis van web-data te compenseren, kan men modellen creëren die zowel robuust zijn tegen aanvallen als behoudt hun algemene kennis. Dit stelt een nieuwe standaard voor in het veld van Vision-Language Models.