CLIP-Inspector: Model-Level Backdoor Detection for Prompt-Tuned CLIP via OOD Trigger Inversion

1. Probleemstelling

Met de opkomst van Machine Learning as a Service (MLaaS) outsourcen organisaties met beperkte data en rekenkracht steeds vaker het trainen van Vision-Language Models (zoals CLIP) naar externe providers. Deze providers passen vaak prompt-tuning (bijv. via CoCoOp) toe in plaats van het model vanaf nul te trainen. Dit creëert een veiligheidsrisico: een kwaadaardige provider kan het prompt-tuning-protocol volgen en een hoogpresterend model leveren, maar stiekem een backdoor inplanten.

De specifieke uitdagingen voor deze setting zijn:

• Verborgenheid: De backdoor werkt via het meta-netwerk (dat context-tokens genereert) terwijl de beeld- en tekst-encoders van CLIP bevroren blijven. Bestaande detectiemethoden die zich richten op encoder-corruptie of sparsere triggers (kleine vlekjes) falen hier.
• OOD-gevoeligheid: De backdoor is ontworpen om ook te werken op Out-of-Distribution (OOD) data, wat betekent dat een trigger een willekeurige afbeelding naar een aanvalsklasse kan leiden, zelfs als die afbeelding niet tot de trainingsdomeinen behoort.
• Gebrek aan validatie: Bestaande methoden kunnen niet bepalen of een geleverd model "zuiver" of "gebackdoord" is zonder toegang tot de trainingsdata of specifieke triggers.

2. Methodologie: CLIP-Inspector (CI)

CLIP-Inspector is een model-level detectiemethode die geen toegang vereist tot gelabelde data of de oorspronkelijke trigger. Het werkt als volgt:

• Aannames: De verdediger heeft white-box toegang tot het geleverde model en een kleine pool van ongelabelde OOD-afbeeldingen (ongeveer 1000 stuks).
• Trigger Inversie: Voor elke kandidaat-klasse $c$ probeert CI een imperceptibele perturbatie (trigger) $\delta_c$ te reconstrueren. Dit wordt gedaan door een geconstrueerd optimalisatieprobleem op te lossen op de OOD-afbeeldingen.
  • Doel: De trigger moet ervoor zorgen dat alle OOD-afbeeldingen worden geclassificeerd als klasse $c$.
  • Objectief: CI minimaliseert een margin-based loss (logit-marge). Dit maximaliseert de logit voor de doelklasse terwijl de logit voor de sterkste concurrent wordt onderdrukt. Dit zorgt voor snellere convergentie dan standaard cross-entropy.
  • Beperking: De perturbatie is gebonden aan een $\ell_\infty$-norm (bijv. $\epsilon = 4/255$) om onzichtbaarheid te garanderen.
• Anomalie Score: Na het reconstrueren van de trigger voor elke klasse, worden twee metrics berekend:
  1. Attack Success Rate (ASR): Hoe vaak faalt de trigger de doelklasse te bereiken?
  2. Optimalisatie Loss: Hoe makkelijk convergeren de gradients?
     Een gebackdoorde klasse vertoont een hoge ASR en een lage loss. Deze scores worden genormaliseerd tot een anomalie-score. Als de hoogste score een bepaalde drempel overschrijdt, wordt het model als gebackdoord gemarkeerd en de bijbehorende klasse als doelwit geïdentificeerd.
• Herstel (Purification): De gereconstrueerde trigger kan worden gebruikt om het model te fine-tunen op correct gelabelde, getriggerte data. Dit "heraligneert" het model en verwijdert de backdoor-effectiviteit zonder de schone nauwkeurigheid te schaden.

3. Belangrijkste Bijdragen

1. Probleemformulering: Het paper definieert en analyseert model-level backdoor-detectie specifiek voor prompt-getuned CLIP-modellen in een semi-eerlijke, uitbesteedde setting.
2. CLIP-Inspector (CI): Een nieuwe detector die gebruikmaakt van OOD-trigger-inversie. Het kan backdoors detecteren en het doelwit identificeren zonder in-distribution data.
3. Uitgebreide Evaluatie: Testen op 10 datasets en 4 verschillende aanvalstypen (BadCLIP, Blended, WaNet, SIBA).
4. Post-hoc Herstel: Het aantonen dat de gereconstrueerde triggers functioneel gelijk zijn aan de originele aanvalstriggers en effectief kunnen worden gebruikt om backdoors te verwijderen via lichte fine-tuning.

4. Resultaten

De experimenten tonen aan dat CLIP-Inspector aanzienlijk beter presteert dan bestaande methoden (zoals Neural Cleanse en Pixel Backdoor), die zijn aangepast voor deze setting maar falen vanwege hun aannames over sparsiteit of encoder-corruptie.

• Detectie Nauwkeurigheid: CI bereikt een 94% detectienauwkeurigheid (47 van de 50 modellen) met een AUROC van 0.973.
  • Ter vergelijking: Neural Cleanse (AUROC 0.495) en Pixel Backdoor (AUROC 0.687) presteren nauwelijks beter dan een willekeurige gok.
• Efficiëntie: CI convergeert in slechts één epoch (ongeveer 32 gradient-stappen) met 1000 OOD-afbeeldingen. Andere methoden vereisen meerdere epochen en veel meer tijd.
• Herstel: Na fine-tuning met de gereconstrueerde trigger daalt de Attack Success Rate (ASR) naar **< 10%** (van vaak >90%), terwijl de schone nauwkeurigheid (ACC) binnen 1% van het origineel blijft.
• Robuustheid: CI blijft effectief tegen adaptieve aanvallen (waarbij de aanvaller de trigger specifiek maakt) en werkt zelfs voor backdoors die direct in de encoder zijn ingeplant (zonder meta-netwerk).
• Kwaliteit van Triggers: De gereconstrueerde triggers zijn visueel imperceptibel (SSIM-score ~0.93), vergelijkbaar met de originele BadCLIP-triggers (SSIM ~0.96), terwijl baselines veel lagere SSIM-scores hebben.

5. Betekenis en Conclusie

Dit paper biedt een cruciale oplossing voor de beveiliging van Vision-Language Modellen in een MLaaS-omgeving. Het toont aan dat prompt-tuning kwetsbaar is voor subtiele, imperceptibele backdoors die onzichtbaar zijn voor traditionele detectiemethoden.

CLIP-Inspector stelt organisaties in staat om geleverde modellen te auditeren voordat ze worden ingezet in kritieke systemen (zoals toegangscontrole of wildmonitoring). De methode is niet alleen een detector, maar biedt ook een praktische route tot herstel, waardoor het een complete oplossing vormt voor het "vetten" en repareren van prompt-getuned modellen. De studie benadrukt dat de combinatie van OOD-data en gedragsgedreven anomalie-detectie de sleutel is tot het opsporen van deze nieuwe generatie backdoors.