Technische Samenvatting: BADBONE

Probleemstelling

Prompt learning is een efficiënt paradigma geworden voor het aanpassen van grootschalige voorgetrainde backbone-modellen (bijv. ViT, CLIP, ResNet) aan downstream-taken zonder de parameters van de backbone te finetunen. In plaats daarvan wordt een lichtgewicht input-perturbatie (een "prompt") geleerd om de inputdistributie te verschuiven. Hoewel deze aanpak computationele middelen bespaart en flexibiliteit biedt, blijven de beveiligingskwetsbaarheden ervan onderbelicht.

Bestaande backdoor-aanvallen op prompt learning injecteren de backdoor doorgaans direct in de prompt zelf. Deze aanvallen zijn beperkt omdat ze alleen een specifieke visuele prompt beïnvloeden; als het slachtoffer een ander prompt-ontwerp kiest, faalt de aanval. Daarentegen compromitteren traditionele backdoor-aanvallen op backbone-modellen vaak de bruikbaarheid van het model of zijn ze gemakkelijk te detecteren omdat de trigger de backdoor activeert, onafhankelijk van het downstream-adaptatieproces.

Het artikel identificeert een gat: er is geen effectieve methode om een backdoor in het backbone-model te implanteren zodanig dat de kwetsbaarheid wordt overgeërfd door elke downstream-taak die gebruikmaakt van prompt learning, terwijl de bruikbaarheid en stealthiness (onopvallendheid) hoog blijven.

Methodologie: BADBONE

De auteurs stellen BADBONE voor, de eerste backdoor-aanval gericht op het backbone-model in visual prompt learning. De kerninnovatie is een bi-level optimalisatie framework dat simultaan het proces van prompt-generatie en het proces van backbone-vergiftiging optimaliseert.

1. Dreigingsmodel

• Aanvaller: Een kwaadwillige modelprovider die een vergiftigd backbone-model ($f'$) aan een slachtoffer levert.
• Slachtoffer: Een gebruiker met beperkte ML-expertise die het geleverde backbone gebruikt om zijn eigen visuele prompt ($g'$) te genereren voor een specifieke downstream-taak.
• Capaciteiten: De aanvaller heeft toegang tot een schaduwdataset ($D$) die vergelijkbaar is met de downstream-data van het slachtoffer en de originele pre-training dataset. De aanvaller kan het prompt-generatieproces van het slachtoffer niet beïnvloeden, maar kan wel de gewichten van de backbone controleren.
• Doel:
  • Bruikbaarheid (Utility): Het vergiftigde backbone moet competitief presteren op zowel pre-training als downstream-taken (met een schone prompt).
  • Effectiviteit: Het model moet getriggerde samples foutief classificeren (targeted of untargeted).
  • Stealthiness: De backdoor moet latent blijven, tenzij zowel een geleerde downstream prompt als een specifieke trigger aanwezig zijn.

2. Bi-Level Optimalisatie Framework

De aanval wordt geformuleerd als een geneste optimalisatieprobleem waarbij de prompt-parameters ($\phi$) de upper-level variabelen zijn en de backbone-parameters ($\theta$) de lower-level variabelen zijn:
$$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$$
$$\text{onder de voorwaarde dat } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$$

De oplossing wordt benaderd via een iteratief proces dat afwisselt tussen twee fasen:

• Fase A: Prompt Learning (Upper Level):
  De aanvaller bevriest het backbone-model ($f_\theta$) en optimaliseert een prompt ($g_\phi$) met behulp van een schaduwdataset ($D$). Deze fase simuleert het gedrag van het slachtoffer om ervoor te zorgen dat de geleerde prompt compatibel is met de vergiftigde backbone. De loss is een standaard categorical cross-entropy ($\ell_{prompt}$).

• Fase B: Poisoning Phase (Lower Level):
  De aanvaller bevriest de geleerde prompt ($g_\phi$) en finetunet het backbone-model ($f_\theta$) met behulp van een samengestelde poisoning-dataset ($D_{poisoning}$). Deze dataset bestaat uit drie deelverzamelingen:

  1. Getriggerde Dataset ($D_t$): Afbeeldingen met een toegevoegde trigger en labels die zijn omgedraaid naar een target class (voor targeted attacks) of willekeurig/sequentieel zijn omgedraaid (voor untargeted attacks).
  2. Schone Dataset ($D_c$): Schone afbeeldingen uit de schaduwdataset om de bruikbaarheid van de downstream-taak te behouden.
  3. Pre-training Dataset ($D_p$): Afbeeldingen uit de originele pre-training set om de pre-training bruikbaarheid te behouden.

De poisoning loss ($\ell_{poisoning}$) is een gewogen som:
$$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$$
waarbij $\gamma, \beta, \alpha$ respectievelijk de balans bewaken tussen aanvalseffectiviteit, downstream bruikbaarheid en pre-training bruikbaarheid.

3. Activatiemechanisme

De backdoor maakt gebruik van een "prompt-and-trigger co-activation" mechanisme.

• Trigger alleen: Als een trigger op de backbone wordt toegepast zonder een geleerde prompt (bijv. op de pre-training taak), blijft de backdoor latent en gedraagt het model zich normaal.
• Prompt alleen: Als een geleerde prompt wordt gebruikt zonder een trigger, behoudt het model een hoge nauwkeurigheid op schone inputs.
• Co-activatie: Het kwaadwillige gedrag wordt alleen vertoond wanneer het slachtoffer de vergiftigde backbone gebruikt om een prompt te genereren voor een downstream-taak en de input-afbeelding de trigger bevat.

Belangrijkste Bijdragen

1. Eerste Backbone-Level Aanval: BADBONE is het eerste werk dat een targeted/untargeted backdoor-aanval voorstelt tegen het backbone-model in visual prompt learning, in plaats van tegen de prompt zelf.
2. Bi-Level Optimalisatie: De auteurs introduceren een bi-level optimalisatiestrategie om de interactie tussen backbone-vergiftiging en downstream prompt-adaptatie te behandelen, waardoor de backdoor wordt overgeërfd door de geleerde prompt van het slachtoffer.
3. Stealthiness: De aanval beschikt over een co-activatiemechanisme dat de backdoor moeilijk detecteerbaar maakt door standaard defensies, omdat de backdoor niet actief wordt in scenario's met slechts één conditie (alleen trigger of alleen prompt).
4. Transferability: De aanval demonstreert een hoge transfereerbaarheid over verschillende backbone-architecturen (ResNet18, ResNet50, BiT-M-RN50), datasets (CIFAR-10, SVHN, EuroSAT) en prompt-ontwerpen (padding, patches).

Experimentele Resultaten

De auteurs evalueerden BADBONE op drie backbone-modellen en drie downstream-datasets.

• Effectiviteit:
  • Targeted Attacks: Behaalde een hoge Attack Success Rate (ASR). Bijvoorbeeld, op CIFAR-10 met ResNet50 bereikte de ASR 98,66% (baseline: 12,44%).
  • Untargeted Attacks: Behaalde een hoge Misclassification Rate (MR). Bijvoorbeeld, op EuroSAT met ResNet18 bereikte de MR 93,16% (baseline: 26,68%).
• Bruikbaarheid (Utility):
  • De vergiftigde modellen behielden competitieve prestaties op pre-training taken ($Acc_{pre}$) en downstream-taken met schone prompts ($Acc_{target}$). In veel gevallen was de bruikbaarheid vergelijkbaar met of zelfs iets beter dan de schone baselines vanwege de inclusie van schone data tijdens de poisoning-fase.
• Stealthiness Evaluatie:
  • Trigger-alleen: Wanneer getest op de pre-training taak met triggers maar zonder prompt, was de ASR verwaarloosbaar (bijv. 0,10%), ononderscheidbaar van schone modellen.
  • Prompt-alleen: De modellen behielden een hoge nauwkeurigheid op schone testsets.
• Defensie-evasie:
  • De auteurs evalueerden zes state-of-the-art defensies: Neural Cleanse, ABS, MNTD, NAD, CLP, en D-BR.
  • Detectie: Neural Cleanse, ABS en MNTD faalden grotendeels in het detecteren van de backdoors en voorspelden de modellen als schoon.
  • Verwijdering: NAD, CLP en D-BR faalden in het verwijderen van de backdoor zonder de modelbruikbaarheid ernstig te schaden. Specifiek verwijderde CLP de backdoor maar vernietigde de bruikbaarheid, terwijl D-BR faalde in het verwijderen van de backdoor en ook de bruikbaarheid schaadde.

Betekenis en Claims

Het artikel claimt dat BADBONE een kritieke, voorheen onverkende kwetsbaarheid in het prompt learning paradigma blootlegt. Door het backbone-model aan te vallen in plaats van de prompt, zorgt de aanval ervoor dat de kwetsbaarheid wordt overgeërfd door elke downstream-taak die de vergiftigde backbone gebruikt, ongeacht het specifieke prompt-ontwerp dat het slachtoffer kiest.

De auteurs benadrukken dat het co-activatiemechanisme de sleutel is tot de stealthiness van de aanval, wat bestaande detectiemethoden (die vaak vertrouwen op trigger-alleen of globale perturbatie-analyse) ineffectief maakt. Het werk concludeert dat huidige defensiemechanismen onvoldoende zijn voor deze nieuwe aanvalsvector en benadrukt de dringende noodzaak voor geavanceerde defensies die specifief zijn afgestemd op de interactie tussen backbone-modellen en prompt learning. De auteurs stellen hun code beschikbaar om reproduceerbaarheid en defensief onderzoek te faciliteren.