Technische Samenvatting: CLIP-Guided Backdoor Defense door middel van Entropy-gebaseerde Poisoned Dataset Separatie (CGD)

1. Probleemstelling

Diepe Neurale Netwerken (DNN's) zijn kwetsbaar voor backdoor-aanvallen, waarbij aanvallers een klein deel van de trainingsdata vergiftigen om een trigger te implementeren die het model dwingt specifieke inputs foutief te classificeren naar een doelklasse. Hoewel er bestaande verdedigingen zijn, kampen deze met aanzienlijke beperkingen:

• Clean Model-gebaseerde Verdedigingen: Methoden die vertrouwen op self-supervised of semi-supervised learning (bijv. DBD, ASD) zijn computationeel duur en vaak ineffectief tegen geavanceerde clean-label backdoors, waarbij de labels correct blijven maar de trigger in de afbeelding is ingebed.
• Suspicious Model-gebaseerde Verdedigingen: Methoden die het gedrag van het slachtoffermodel analyseren (bijv. ABL, EP) hebben moeite met clean-image backdoors, waarbij vergiftigde afbeeldingen visueel niet te onderscheiden zijn van schone afbeeldingen, wat anomaliedetectie via datadistributie of activaties moeilijk maakt.
• Afhankelijkheid van Schone Data: Veel effectieve verdedigingen (bijv. Fine-Pruning, MCR) gaan uit van de beschikbaarheid van een kleine, schone subset van data, wat in real-world scenario's waar trainingsdata extern wordt verkregen zonder garanties op veiligheid vaak niet mogelijk is.

2. Methodologie: CLIP-Guided Backdoor Defense (CGD)

De auteurs stellen CGD voor, een tweestaps verdedigingsmechanisme dat gebruikmaakt van een publiekelijk beschikbare, vooraf getrainde vision-language model (CLIP) als een "zwakke maar schone" classifier om vergiftigde data te scheiden en model unlearning te sturen.

Kerninzicht

De methode vertrouwt op een entropy-gebaseerde analyse van voorspellingen van twee modellen:

1. CLIP (Zwak maar Schoon): Als zero-shot classifier wordt aangenomen dat CLIP vrij is van de specifieke backdoor. Het heeft de neiging om hoge entropy (lage betrouwbaarheid) te produceren op vergiftigde samples waar het label niet overeenkomt met de visuele inhoud (label poisoning) of waar de trigger het semantisch begrip verstoort.
2. Suspicious Model (Slachtoffer): Het model dat getraind is op de vergiftigde dataset. In clean-label backdoors leert het slachtoffermodel een sterke associatie tussen de trigger en de doelklasse, wat resulteert in lage entropy (hoge betrouwbaarheid) voorspellingen voor vergiftigde samples, zelfs als de trigger subtiel is.

Fase 1: CLIP-Guided Meta Data Splitting

Het framework genereert een "entropy map" door elke sample te evalueren met zowel CLIP als het verdachte model.

• Poison-Label Identificatie: Samples met een hoge entropy vanuit CLIP (wat duidt op een mismatch tussen label en afbeelding) worden gemarkeerd.
• Clean-Label Identificatie: Samples met een lage entropy vanuit het verdachte model (wat duidt op overmatige betrouwbaarheid door de trigger-associatie) worden gemarkeerd.
• Splitting Strategie: Gebruikmakend van percentile ranks van entropy scores ($\hat{S}_{CLIP}$ en $\hat{S}_{Model}$), wordt de dataset gepartitioneerd in:
  • Clean Subset ($D_c$): Lage CLIP entropy en hoge Model entropy.
  • Triggered Subset ($D_p$): Hoge CLIP entropy OF lage Model entropy.
  • Mixed Subset: Overgebleven samples.

Fase 2: CLIP-Guided Backdoor Unlearning

Het model wordt gefinetuned met een samengestelde loss-functie op de gescheiden subsets:

1. Relearning Loss ($L_{re}$): Standaard cross-entropy loss op $D_c$ om de schone nauwkeurigheid te behouden.
2. Unlearning Loss ($L_{un}$): Negatieve cross-entropy op $D_p$ om betrouwbare voorspellingen op getriggerde samples te bestraffen, waardoor de trigger-label associatie wordt verbroken.
3. Distillation Loss ($L_{distill}$): Kullback-Leibler divergentie tussen de voorspellingen van het model en de voorspellingen van CLIP op $D_p$. Dit stuurt het model aan om af te stemmen op de "schone" zero-shot classificaties van CLIP, wat de invloed van de backdoor effectief neutraliseert.

Extensie: Mogelijk maken van Clean-Data-gebaseerde Verdedigingen

Een nieuwe bijdrage van het paper is de mogelijkheid om verdedigingen die traditioneel schone data vereisen (bijv. Fine-Pruning, ANP) aan te passen aan vergiftigde datasets. Door CGD te gebruiken om een hoogwaardige "Split Clean" subset ($D_c$) uit de vergiftigde data te filteren, kunnen deze methoden worden toegepast zonder externe schone data nodig te hebben.

3. Belangrijkste Bijdragen

1. Nieuw Verdedigingsmechanisme (CGD): Introductie van een verdediging die CLIP gebruikt als een zero-shot classifier om vergiftigde samples te identificeren via entropy-analyse, waarmee zowel label-poisoned als clean-label/clean-image backdoors worden aangepakt.
2. Efficiëntie en Effectiviteit: De methode bereikt een hoge verdedigingsprestatie met minimale computationele overhead (minder dan 3 minuten na training) en behoudt een hoge schone nauwkeurigheid.
3. Overbruggen van Verdedigingsparadigma's: Het demonstreren dat clean-data-gebaseerde verdedigingen effectief kunnen worden ingezet op vergiftigde data door CGD te gebruiken om een schone subset te extraheren, waardoor de strikte vereiste voor externe schone data wordt weggenomen.
4. Robuustheid: De verdediging blijft effectief, zelfs wanneer CLIP zwak is (lage zero-shot nauwkeurigheid) of wanneer CLIP zelf gecompromitteerd is door een backdoor.

4. Experimentele Resultaten

De auteurs evalueerden CGD op vier datasets (CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet) tegen 11 state-of-the-art backdoor aanvallen.

• Prestaties: CGD verminderde de Attack Success Rates (ASR) tot onder de 1% (gemiddeld 0,2% op CIFAR-10) over alle aanvalscategorieën, inclus_en clean-label en clean-image backdoors waar andere verdedigingen faalden.
• Clean Accuracy (CA): De methode behield een hoge schone nauwkeurigheid met een maximale daling van slechts 0,3% op CIFAR-10.
• Vergelijking: CGD presteerde beter dan bestaande poisoned-data-gebaseerde verdedigingen (bijv. ABL, DBD, EP) en bereikte, wanneer het werd gebruikt om data te filteren voor clean-data-gebaseerde verdedigingen (bijv. ANP-SC, MCR-SC), resultaten die vergelijkbaar met of beter dan het gebruik van 5% externe schone data.
• Efficiëntie: De totale runtime voor splitting en verdediging was ongeveer 1.154 seconden (inclusief training van het slachtoffermodel), wat aanzienlijk sneller is dan self-supervised benaderingen zoals DBD (26.971 seconden).
• Robuustheidstests:
  • Zwakke CLIP: Effectieve verdediging (ASR $\le$ 5%) zelfs wanneer de zero-shot nauwkeurigheid van CLIP werd teruggebracht naar ~7,5%.
    • Backdoored CLIP: CGD verwijderde succesvol backdoors uit het slachtoffermodel, zelfs wanneer het leidende CLIP-model zelf een backdoor bevatte, zonder de backdoor van CLIP over te dragen.
  • Adaptieve Aanvallen: CGD bood weerstand tegen adaptieve aanvallen (bijv. Rand-Patch, Feature Mixing Backdoor) die probeerden de entropy-detectie te omzeilen.

5. Betekenis en Claims

Het paper claimt dat CGD een praktische, schaalbare en zeer efficiënte oplossing biedt voor real-world backdoor verdediging. De betekenis ligt in:

• Overwinnen van Beperkingen: Het adresseert succesvol de specifieke zwakheden van huidige verdedigingen tegen clean-label en clean-image backdoors zonder de zware computationele kosten van self-supervised learning.
• Resource Efficiëntie: Het elimineert de noodzaak voor externe schone data, een grote bottleneck voor praktische implementatie, door zelf een schone subset te synthetiseren uit de vergiftigde data.
• Veerkracht: Het biedt sterke beveiligingsgaranties, zelfs onder imperfecte omstandigheden (zwakke of gecompromitteerde CLIP-modellen), wat het een robuuste keuze maakt voor het beveiligen van Deep Neural Networks in omgevingen met onbetrouwbare data.

De auteurs concluderen dat CGD een belangrijke stap voorwaarts is in het betrouwbaarder maken van deep learning toepassingen door een verdediging te bieden die zowel effectief tegen geavanceerde aanvallen als haalbaar is voor real-world deployment.