Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

Probleemstelling

Vision-Language modellen, zoals CLIP (Contrastive Language-Image Pre-training), zijn fundamenteel voor moderne AI-toepassingen (zoals zero-shot classificatie en multimodale zoekopdrachten). Deze modellen worden getraind op enorme datasets van web-scraped afbeelding-tekstparen, wat ze kwetsbaar maakt voor backdoor-aanvallen.

• De Aanval: Een aanvalle injecteert een klein percentage (vaak < 1%) van vergiftigde data in het trainingsset. Deze data bevat een specifiek "trigger" (bijv. een patroon of tekst) dat ervoor zorgt dat het model bij aanwezigheid van deze trigger een vooraf bepaald doelwit (bijv. "banaan") voorspelt, terwijl het normaal gedrag behoudt voor schone data.
• De Uitdaging: Het opnieuw trainen van CLIP-modellen vanaf nul is computergewijs onhaalbaar. Daarom moet men de vergiftigde modellen "schoonmaken" via fine-tuning met een kleine set schone data.
• Huidige Tekortkomingen: Bestaande methoden voor het verwijderen van backdoors (zoals CleanCLIP en RoCLIP) vertrouwen op sterke data-augmentaties (zoals AutoAugment, kleurveranderingen, roteren). De auteurs tonen aan dat deze methoden kwetsbaar zijn voor gestructureerde triggers (zoals strepen, driehoeken of watermerken). Omdat deze gestructureerde patronen niet overeenkomen met de willekeurige vervormingen die door augmentaties worden veroorzaakt, blijven ze effectief na het "reinigen", waardoor de backdoor niet wordt verwijderd.

Methodologie: PAR (Perturb and Recover)

De auteurs stellen PAR voor, een nieuwe fine-tuning-methode die geen afhankelijkheid heeft van specifieke augmentaties of kennis van de trigger. Het concept bestaat uit twee fasen:

1. Perturb (Verstoren):

   • Het doel is om de vergiftigde correlatie tussen de trigger en het doelwit te "vergeten".
   • Dit wordt gedaan door een verliesterm ($\mathcal{L}_{PERT}$) toe te voegen die de afstand (in $\ell_2$-norm) maximaliseert tussen de embeddings van het huidige model en de embeddings van het oorspronkelijke vergiftigde model.
   • Het model wordt actief gedwongen om zich te verwijderen van de vergiftigde toestand in de weight space.
   • Een drempelwaarde ($\tau$) bepaalt wanneer deze verstoring voldoende is; zodra de embeddings ver genoeg verwijderd zijn, stopt de term met het verstoren.

2. Recover (Herstellen):

   • Tegelijkertijd wordt de standaard CLIP-verliesfunctie ($\mathcal{L}_{CLIP}$) geminimaliseerd op schone data.
   • Dit zorgt ervoor dat het model zijn normale prestaties (zero-shot classificatie, retrieval) behoudt terwijl het de backdoor leert vergeten.
   • De totale loss is: $\mathcal{L}_{PAR} = \mathcal{L}_{CLIP} - \mathcal{L}_{PERT}$.

Belangrijke kenmerken:

• Onafhankelijkheid: PAR werkt zonder kennis van het type trigger.
• Lichte Augmentatie: In plaats van zware augmentaties, gebruikt PAR alleen minimale verstoringen (Gaussian noise en CutOut) om te voorkomen dat de semantiek van de afbeelding-tekstparen wordt vernietigd.
• Synthetische Data: De methode werkt ook effectief met synthetisch gegenereerde data (via text-to-image modellen), wat de noodzaak van dure, schone real-world datasets elimineert.

Belangrijkste Bijdragen

1. Kwetsbaarheid van Bestaande Methodes: De auteurs demonstreren dat methoden zoals CleanCLIP en RoCLIP eenvoudig te omzeilen zijn met gestructureerde triggers (zoals strepen of tekst-watermerken), terwijl ze wel werken tegen willekeurige ruis.
2. Introductie van PAR: Een eenvoudige, effectieve fine-tuning-strategie die backdoors verwijdert door het model te verstoren van zijn vergiftigde toestand en vervolgens de schone prestaties te herstellen.
3. Uitgebreide Validatie: De methode is getest op verschillende architecturen (ResNet50, ViT-B/32, ViT-L/14), verschillende modellen (CLIP, SigLIP) en diverse aanvalsscenario's.
4. Synthetische Data Validatie: Bewijs dat synthetische data voldoende is om backdoors effectief te verwijderen, wat de kosten voor beveiliging drastisch verlaagt.

Resultaten

De experimenten tonen aan dat PAR superieur is aan de state-of-the-art methoden:

• Aanvalssuccesrate (ASR): PAR reduceert de ASR aanzienlijk, vaak tot bijna 0% (bijv. van 99% naar 0.1% bij Blended-Stripes), terwijl CleanCLIP en RoCLIP vaak falen bij gestructureerde triggers (ASR blijft hoog, bijv. >40%).
• Schone Prestaties (Clean Accuracy): In tegenstelling tot RoCLIP, dat vaak een grote daling in schone nauwkeurigheid veroorzaakt, behoudt PAR een hoge zero-shot classificatie- en retrieval-prestatie (vergelijkbaar met of slechts licht lager dan het originele model).
• Robuustheid: PAR werkt consistent over verschillende encoder-architecturen en aanvalstypes, inclusief de recente BadCLIP-aanval.
• Synthetische Data: Met synthetische data (SynthCLIP) bereikt PAR een vergelijkbare prestatie als met echte data (CC3M), met een ASR van 3.7% versus 50.1% voor CleanCLIP in bepaalde scenario's.

Betekenis en Impact

Dit paper is van groot belang voor de veiligheid van foundation modellen:

• Realistische Bedreigingsmodellen: Het benadrukt dat de veronderstelling dat "sterke augmentaties" altijd backdoors verwijderen, onjuist is. Aangrijpende, gestructureerde triggers zijn een reëel risico voor de inzet van CLIP in de praktijk.
• Efficiënte Defensie: PAR biedt een kosteneffectieve oplossing die geen volledige hertraining vereist en zelfs werkt met synthetische data, wat de drempel voor het beveiligen van grote modellen verlaagt.
• Toekomstige Richting: Het werk suggereert dat toekomstige defensiemethoden voor multimodale modellen minder moeten vertrouwen op augmentatie en meer op het actief "ontleren" van specifieke correlaties in de embedding-ruimte.

Kortom, PAR biedt een robuuste, generieke en kostenefficiënte oplossing om backdoors uit vision-language modellen te verwijderen, zelfs wanneer de exacte aard van de aanval onbekend is.