BackdoorIDS: Zero-shot Backdoor Detection for Pretrained Vision Encoder

Probleemstelling

Zelftoezichtende (self-supervised) en multimodale visuele encoders hebben sterke visuele representaties geleerd die breed worden ingezet voor downstream-taken en grote visueel-taalmodellen (LVLMs). Echter, gebruikers vertrouwen vaak op third-party voorgetrainde encoders met een onzekere oorsprong. Dit maakt hen kwetsbaar voor backdoor-aanvallen.

Bij deze aanvallen wordt een model zo gepoisoned dat het normaal gedraagt op schone invoer, maar specifiek reageert op invoer met een "trigger" (bijv. een onopvallend patroon of pixelverandering). De uitdagingen zijn:

1. Onbekende oorsprong: Gebruikers hebben geen toegang tot de originele trainingsdata om de encoder te auditen.
2. Geavanceerde aanvallen: Moderne triggers zijn adaptief, geoptimaliseerd en soms over het hele beeld verspreid (geblende triggers), waardoor ze moeilijk te onderscheiden zijn van schone beelden.
3. Beperkingen van bestaande verdedigingen: Bestaande methoden vereisen vaak toegang tot de trainingsdata of een hulpmiddel (auxiliary dataset) dat statistisch overeenkomt met de trainingsdata, wat in de praktijk vaak onmogelijk is.

Er is dus een dringende behoefte aan een zero-shot detectiemethode die werkt tijdens de inferentie (inference-time), zonder extra data of hertraining, en die compatibel is met diverse architecturen (CNN, ViT, CLIP, LLaVA).

---

Methodologie: BackdoorIDS

BackdoorIDS is een eenvoudige maar effectieve methode die gebruikmaakt van twee kernobservaties over hoe backdoor-beelden reageren op progressieve masking (verduistering) van beeldpatches: Attention Hijacking en Attention Restoration.

1. Kernconcepten

• Attention Hijacking: Bij een backdoor-beeld is de aandacht (attention) van het model volledig geconcentreerd op de trigger-features. De "schone" delen van het beeld dragen nauwelijks bij aan de embedding. Zolang de trigger actief is, hebben kleine verstoringen (zoals het maskeren van een paar patches) weinig invloed op de embedding van het beeld.
• Attention Restoration: Zodra de masking-ratio de robuustheidsthereshold van de trigger overschrijdt (de trigger wordt gedeeltelijk of volledig verwijderd), schakelt de trigger uit. De aandacht verschuift plotseling naar de schone beeldinhoud. Dit veroorzaakt een abrupte, grote sprong in de embedding.

In tegenstelling hieraan vertonen schone beelden een gladde, geleidelijke evolutie van hun embeddings tijdens het masking-proces, omdat de aandacht al over de hele inhoud is verdeeld.

2. Het Algorithmische Proces

BackdoorIDS werkt als volgt:

1. Progressieve Masking: De invoerafbeelding wordt opgedeeld in patches (bijv. 16x16). Er wordt een sequentie van afbeeldingen gegenereerd waarbij steeds meer patches willekeurig worden gemaskeerd ($x_0$ tot $x_n$).
2. Embedding Traject: Deze sequentie wordt door de verdachte visuele encoder gevoerd om een sequentie van embeddings te verkrijgen ($e_0$ tot $e_n$).
3. Lokale Dichtheid Berekening: Voor de eerste $k$ embeddings (bijv. $k=5$) wordt de lokale dichtheid berekend op basis van de cosine-afstanden tussen de embeddings.
   • Bij backdoor-beelden is deze dichtheid zeer hoog (embeddings zijn dicht bij elkaar) door Attention Hijacking.
4. Clustering (DBSCAN): De volledige sequentie van embeddings wordt geklaust met een dichtheidsgebaseerde clustering-algoritme (DBSCAN). De straal voor clustering wordt bepaald door de geschaalde gemiddelde lokale dichtheid van de top-$k$ embeddings.
   • Schone beelden: Vormen één enkele cluster (gladde evolutie).
   • Backdoor-beelden: Vormen meerdere clusters. Er is een eerste cluster (tijdens Hijacking) en een tweede cluster (na de abrupte sprong door Restoration).
5. Classificatie: Als het aantal unieke clusters > 1 is, wordt het beeld geclassificeerd als een backdoor. Anders is het schoon.

Het systeem vereist geen training, geen extra datasets en werkt volledig "plug-and-play".

---

Belangrijkste Bijdragen

1. Ontdekking van Dynamische Patronen: De auteurs identificeren en formaliseren de fenomenen Attention Hijacking en Attention Restoration. Dit biedt een nieuw inzicht: backdoor- en schone beelden vertonen fundamenteel verschillende dynamieken in hun embedding-ruimte onder progressieve masking, ongeacht het type trigger (patch of geblende).
2. BackdoorIDS Framework: Een zero-shot, inferentie-tijd detector die geen toegang vereist tot trainingsdata of hulpmiddelen. Het is compatibel met diverse architecturen, waaronder CNNs, ViTs, CLIP en LVLMs (zoals LLaVA-1.5).
3. Superieure Prestaties: Uitgebreide experimenten tonen aan dat de methode consistent beter presteert dan bestaande state-of-the-art (SOTA) verdedigingen over diverse datasets, aanvalstypen en modellen.

---

Resultaten

De evaluatie omvatte vier datasets (SVHN, GTSRB, ImageNet-1K, COCO Caption) en vier aanvalsmethoden (BadEncoder, Drupe, BadCLIP, BadVision).

• Detectieprestaties:
  • BackdoorIDS behaalde de hoogste True Positive Rate (TPR) en een lage False Positive Rate (FPR) in vergelijking met methoden zoals PatchProc en DeDe.
  • Bijvoorbeeld: TPR van 97.00% voor BadVision (LLaVA-1.5) met een FPR van 23.78%, terwijl andere methoden hier veel slechter scoorden (bijv. DeDe had slechts 7% TPR).
  • Het systeem is robuust tegen complexe, geoptimaliseerde triggers (zoals bij BadCLIP en BadVision).
• Veiligheid (ASR vs. CA):
  • Door verdachte beelden te filteren, daalde de Attack Success Rate (ASR) drastisch (bijv. naar 4.53% voor BadEncoder en 3.00% voor BadVision).
  • Er is een kleine afname in Clean Accuracy (CA) (omdat soms schone beelden ten onrechte worden gefilterd), maar dit wordt gerechtvaardigd door de enorme verbetering in beveiliging.
• Robuustheid:
  • De methode is robuust tegen ruis (Gaussian noise) en JPEG-compressie.
  • De prestaties blijven stabiel bij verschillende schaalparameters ($s$) en $k$-waarden, wat aangeeft dat de methode niet extreem gevoelig is voor parameter-tuning.
• Efficiëntie:
  • De runtime is acceptabel (bijv. ~3.2s voor complexe LVLM-taken), wat een kleine overhead is ten opzichte van de inferentie-tijd zelf, maar cruciaal voor beveiliging.

---

Betekenis en Impact

BackdoorIDS lost een kritiek probleem op in het ecosysteem van foundation models: de beveiliging van third-party voorgetrainde visuele encoders.

• Praktische Toepasbaarheid: Omdat het geen trainingsdata vereist, kan het direct worden ingezet door ontwikkelaars die modellen van externe bronnen gebruiken (zoals CLIP of LLaVA).
• Architectuur-onafhankelijkheid: Het werkt even goed voor CNN's als voor transformer-gebaseerde modellen en multimodale systemen.
• Paradigmaverschuiving: In plaats van te proberen de trigger te verwijderen of het model te hertrainen, detecteert BackdoorIDS de aanwezigheid van de backdoor op basis van het fundamentele gedrag van het model tijdens de inferentie. Dit maakt het een krachtige, onafhankelijke verdedigingslaag tegen geavanceerde backdoor-aanvallen.

Samenvattend biedt BackdoorIDS een robuuste, zero-shot oplossing om de integriteit van visuele encoders te waarborgen in een wereld waar vertrouwen in externe modellen essentieel maar riskant is.