Technische Samenvatting: CBV – Clean-label Backdoor-aanvallen op Vision Language Models via Diffusiemodellen

1. Probleemstelling

Vision-Language Models (VLM's) hebben aanzienlijk succes geboekt in multimodale taken zoals beeldbeschrijving en Visuele Vraagbeantwoording (VQA). Echter, recente studies geven aan dat VLM's kwetsbaar zijn voor backdoor-aanvallen via datavergiftiging. Bestaande backdoor-aanvallen op VLM's vertrouwen doorgaans op "dirty-label"-strategieën, waarbij aanvallers de tekstlabels van vergiftigde samples wijzigen om een mismatch tussen afbeelding en tekst te creëren (bijvoorbeeld het labelen van een afbeelding van een hond als "mensen"). Deze mismatch maakt vergiftigde samples relatief eenvoudig te detecteren via standaard data-inspectie.

Het artikel adresseert de uitdaging van het uitvoeren van clean-label backdoor-aanvallen op VLM's. In deze setting moet de aanvaler vergiftigde samples construeren die exact dezelfde tekstlabels behouden als schone samples, waarbij alleen de afbeeldingsinhoud wordt gewijzigd. Het doel is het inplanten van een backdoor zodat het model normaal gedraagt op schone invoer, maar door de aanvaler gespecificeerde output produceert (bijvoorbeeld het vervangen van "mensen" door "hond") wanneer het wordt geconfronteerd met een getriggereerde afbeelding. Dit is bijzonder uitdagend voor VLM's, omdat ze, in tegenstelling tot traditionele beeldclassificatietaken die alleen class-niveau alignement vereisen, rijke semantische consistentie eisen tussen complexe beeldkenmerken en gedetailleerde tekstuele beschrijvingen. Eerdere clean-label-methoden, die vaak vertrouwen op surrogate-modellen om kenruimtes te benaderen, worstelen met het coderen van de nodige complexe semantische informatie voor VLM's, wat leidt tot inefficiënte aanvallen of onnatuurlijke artefacten.

2. Methodologie: CBV

De auteurs stellen CBV (Clean-label Backdoor-aanvallen op Vision Language Models via Diffusiemodellen) voor, een raamwerk dat diffusiemodellen en score-matching benut om natuurlijk ogende vergiftigde afbeeldingen te genereren die trigger-kenmerken bevatten terwijl het oorspronkelijke label behouden blijft. De pijplijn bestaat uit drie hoofdfasen:

A. Generatie van een Universele Adversariële Perturbatie (UAP) als Trigger

In plaats van eenvoudig ruis of vaste afbeeldingspatches te gebruiken, genereert CBV een herbruikbare Universele Adversariële Perturbatie (UAP) om als trigger te dienen.

• Proces: Met behulp van een surrogate-model (CLIP) maximaliseert de methode iteratief het verlies van afbeelding-tekst alignement op een set van onschuldige afbeeldingen.
• Doel: De resulterende UAP ($\delta$) veroorzaakt consistente afwijkingen in de kenruimte over diverse invoer, waardoor de backdoor gemakkelijker te leren is voor het slachtoffermodel en betrouwbaar te activeren. De UAP wordt toegepast op een doelafbeelding om een "getriggereerd sample" te creëren.

B. Generatie van een GradCAM-geleide Masker (GM)

Om de sluierachtigheid te vergroten en onnatuurlijke artefacten in achtergrondgebieden te vermijden, beperkt CBV de wijzigingen tot semantisch belangrijke gebieden.

• Proces: Een surrogate-afbeeldingsclassificatiemodel berekent een GradCAM-heatmaps voor de doelklasse. Deze heatmap wordt gethresholdd om een binaire masker ($M$) te creëren.
• Toepassing: Wijzigingen worden alleen binnen het gemaskerde gebied toegepast, waardoor de rest van de afbeelding onaangetast blijft. Deze strategie beoogt visueel natuurlijke samples te genereren in plaats van strikt de pixel-voor-pixel afstand te minimaliseren.

C. Generatie op Basis van Score-matching via Diffusiemodellen

De kerninnovatie is het gebruik van een diffusiemodel om de vergiftigde afbeelding te genereren door de denoising-scorefunctie te wijzigen.

• Mechanisme: De methode behandelt de generatie van de vergiftigde afbeelding als een conditioneel omgekeerd diffusieproces. Het wijzigt de standaard scorefunctie ($s_\theta$) door multimodale geleiding op te nemen van zowel de getriggereerde afbeelding ($x_{trig}$) als de bijbehorende tekst ($y_{trig}$).
• Geleide Score: De bijgewerkte scorefunctie wordt gedefinieerd als:
  $$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$$
  Waar $S_I$ en $S_T$ afbeeldings- en tekstgelijkheidsfuncties zijn (geïmplementeerd via CLIP-embeddings), en $\lambda_I, \lambda_T$ wegingscoëfficiënten zijn.
• Resultaat: Dit leidt de denoising-trajectorie naar het produceren van een afbeelding die visueel vergelijkbaar is met de originele schone afbeelding (het label behoudend) maar de semantische kenmerken van de trigger bevat, waardoor de backdoor effectief wordt ingebed.

3. Belangrijkste Bijdragen

1. Eerste Clean-label Backdoor voor VLM's: Het artikel introduceert een methode om clean-label backdoor-aanvallen uit te voeren op VLM's, waardoor de beperking van eerdere methoden die labelmanipulatie vereisten, wordt overwonnen.
2. Generatie op Basis van Diffusie: Het stelt een nieuwe aanpak voor die diffusiemodellen en score-matching gebruikt om vergiftigde samples te genereren die semantisch rijk en visueel natuurlijk zijn, waardoor het falen van surrogate-modelgebaseerde benadering in complexe VLM-taken wordt aangepakt.
3. Multimodale Geleiding: De methode integreert zowel afbeeldings- als tekstgeleiding tijdens het generatieproces om latentruimte-kenmerken te aligneren, wat de overdraagbaarheid en effectiviteit van de aanval aanzienlijk verbetert.
4. Sluierachtigheid via GM: De introductie van een GradCAM-geleid masker zorgt ervoor dat wijzigingen gelokaliseerd zijn tot semantisch belangrijke gebieden, waardoor het zichtbare ruis en artefacten die gebruikelijk zijn bij eerdere clean-label-aanvallen, worden vermeden.
5. Universele Trigger: Het gebruik van UAP's als triggers biedt sterkere kenruimte-afwijkingen in vergelijking met eenvoudige ruis, waardoor de betrouwbaarheid van de backdoor-activatie wordt versterkt.

4. Experimentele Resultaten

De auteurs hebben CBV geëvalueerd op de MSCOCO (beeldbeschrijving) en VQA v2 (Visuele Vraagbeantwoording) datasets met behulp van vier representatieve VLM's: LLaVA-v1.5-7B, MiniGPT-v2, InstructBLIP-7B en Qwen-2.5-VL-7B.

• Aanvalseffectiviteit: CBV bereikte een Attack Success Rate (ASR) van meer dan 80% over alle modellen en taken heen. Deze prestatie is vergelijkbaar met state-of-the-art dirty-label-aanvallen (bijvoorbeeld TrojVLM, BadToken) en presteert aanzienlijk beter dan bestaande clean-label-methoden (bijvoorbeeld Narcissus, HTBA), die doorgaans ASR's onder de 15% behaalden.
• Behoud van Functionaliteit: De methode behield de normale modelprestaties op schone invoer. Metrieken zoals BLEU@4 en CIDEr voor beschrijvingen, en VQA Accuracy, bleven bijna identiek aan die van normaal getrainde modellen, wat aangeeft dat er geen degradatie in bruikbaarheid optreedt.
• Sluierachtigheid: Visuele vergelijkingen toonden aan dat door CBV gegenereerde vergiftigde samples natuurlijk leken en het opvallende ruis of artefacten misten die aanwezig waren in samples gegenereerd door andere clean-label-methoden.
• Robuustheid: De aanval toonde veerkracht tegen verdedigingsmechanismen, waaronder Fine-pruning en TIJO (Trigger Inversion met Joint Optimization). De complexe aard van de UAP-trigger en de semantische integratie van de vergiftiging maakten het voor deze verdedigingen moeilijk om de backdoor te detecteren of te reconstrueren.
• Efficiëntie: CBV vereiste aanzienlijk minder rekentijd (ongeveer 28,7 seconden per sample) in vergelijking met optimalisatiegebaseerde clean-label-methoden (die 185–218 seconden nodig hadden), omdat het vertrouwt op een enkele forward-reverse diffusiepass in plaats van meerdere iteratieve optimalisatiestappen.

5. Betekenis en Claims

Het artikel beweert dat CBV een kritieke beveiligingskwetsbaarheid in multimodale foundation-modellen blootlegt: het vermogen om effectieve backdoors in te planten zonder data-labels te wijzigen. Door natuurlijk ogende vergiftigde samples te genereren die semantisch krachtig zijn, omzeilt de aanval standaard data-inspectie en anomaliedetectiemethoden.

De auteurs benadrukken dat hoewel hun primaire intentie is om deze kwetsbaarheid bloot te leggen en onderzoek naar verdedigingen te stimuleren, het bestaan van dergelijke aanvallen een risico vormt voor VLM-toepassingen met hoge stakes (bijvoorbeeld medische beeldvorming, autonome voertuigen). Zij concluderen dat huidige verdedigingsstrategieën ontoereikend zijn tegen clean-label backdoors die generatieve modellen benutten voor sluierachtigheid, en dringen er bij de gemeenschap op aan robuuste detectie- en mitigeringsstrategieën te ontwikkelen die specifiek zijn ontworpen voor deze bedreigingsklasse.