Transferable Backdoor Attacks for Code Models via Sharpness-Aware Adversarial Perturbation

Probleemstelling

Code-modellen (zoals PLBART en CodeT5) worden steeds belangrijker in de softwareontwikkeling, maar ze zijn kwetsbaar voor backdoor-aanvallen via vergiftigde trainingsdata. Bestaande methoden voor backdoor-aanvallen op code-modellen staan voor een fundamenteel dilemma tussen overdraagbaarheid (transferability) en stille uitvoering (stealthiness):

1. Statische aanvalsmethoden: Gebruiken vaste patronen (bijv. dode code). Deze zijn goed overdraagbaar tussen verschillende datasets en modellen, maar worden eenvoudig gedetecteerd door specifieke code-verdedigingen vanwege hun voorspelbare structuur.
2. Dynamische aanvalsmethoden: Genereren contextbewuste triggers om detectie te ontlopen. Echter, deze methoden (zoals AFRAIDOOR) gaan vaak uit van de onrealistische aanname dat de vergiftigde data en de data van het slachtoffer identieke verdelingen hebben. In een realistisch scenario (waarbij aanvallen op openbare repositories worden geplaatst en slachtoffers data uit diverse bronnen halen) falen deze dynamische methoden vaak bij het overdragen naar andere datasets. Ze exploiteren "scherpe minima" in het verlieslandschap die specifiek zijn voor de trainingsdataset en niet generaliseren.

Het doel is een aanval te ontwikkelen die zowel overdraagbaar is over verschillende datasets als onopgemerkt blijft door geavanceerde verdedigingen, zonder dat de aanvaller volledige toegang heeft tot de trainingsdata van het slachtoffer.

Methodologie: STAB

De auteurs stellen STAB (Sharpness-aware Transferable Adversarial Backdoor) voor, een drie-staps pipeline die gebruikmaakt van een schatmodel (surrogate model) om overdraagbare triggers te genereren.

1. Sharpness-Aware Surrogate Model Training

In plaats van een standaard model te trainen, gebruikt STAB Sharpness-Aware Minimization (SAM).

• Principe: Adversariele perturbaties die worden gevonden in "vlotte" (flat) gebieden van het verlieslandschap generaliseren beter dan die in "scherpe" minima. Vlotte minima corresponderen met universele codepatronen, terwijl scherpe minima dataset-specifieke artefacten zijn.
• Implementatie: De trainingsdoelstelling wordt herschreven als een min-max probleem: $\min_{\theta} \max_{\|\delta\| \leq \rho} L(\theta + \delta, D)$. Hierbij wordt het model getraind om robuust te zijn tegen gewichtsperturbaties ($\delta$), waardoor het convergeert naar een vlot verlieslandschap. Dit zorgt ervoor dat de gevonden backdoor-patronen niet afhankelijk zijn van specifieke dataset-eigenschappen.

2. Adversarial Trigger Optimization

Deze stap genereert de daadwerkelijke triggers door identificatoren in de code te hernoemen.

• Differentieerbare Optimalisatie: In plaats van een "greedy" zoektocht (die vaak in lokale minima blijft steken), gebruikt STAB Gumbel-Softmax. Dit maakt het mogelijk om de selectie van discrete tokens (identificatoren) te modelleren als een differentieerbaar probleem, waardoor alle trigger-tokens gezamenlijk kunnen worden geoptimaliseerd.
• Doelfunctie: De loss-functie bestaat uit drie componenten:
  • Attack Loss ($L_a$): Zorgt ervoor dat het model het gewenste kwaadaardige output genereert bij aanwezigheid van de trigger.
  • Consistency Loss ($L_c$): Gebruikt Maximum Mean Discrepancy (MMD) om te garanderen dat dezelfde identificator in de hele codefragment consistent wordt vervangen door dezelfde trigger.
  • Diversity Loss ($L_d$): Gebruikt MMD om te zorgen dat verschillende identificatoren verschillende triggers krijgen, wat de natuurlijke uitstraling van de code verbetert en detectie bemoeilijkt.
• Syntactische Validiteit: De methode garandeert dat de gegenereerde code syntactisch correct blijft.

3. Trigger Generation and Deployment

Na optimalisatie worden discrete tokens gesampled uit de geoptimaliseerde verdelingen om de daadwerkelijke vergiftigde code te genereren. Deze code wordt vervolgens in openbare repositories (bijv. GitHub) geplaatst. Wanneer een slachtoffer deze code onbewust in zijn trainingsset opneemt, wordt de backdoor in het model verankerd.

Belangrijkste Bijdragen

1. STAB Framework: Een nieuwe aanvalsmethode die zowel overdraagbaarheid als stilte combineert zonder volledige toegang tot de data van het slachtoffer te vereisen.
2. Sharpness-Aware Training: Het introduceren van SAM om het schatmodel naar vlotte verliesregio's te leiden, wat essentieel is voor het vinden van universele, overdraagbare backdoor-patronen.
3. Gumbel-Softmax Optimalisatie met MMD: Een innovatieve aanpak voor het gezamenlijk optimaliseren van discrete trigger-tokens, waarbij syntactische correctheid en contextuele aanpassing worden gewaarborgd.
4. Empirisch Bewijs: Uitgebreide experimenten die aantonen dat STAB superieur is aan bestaande methoden in realistische, cross-dataset scenario's.

Resultaten

De auteurs hebben STAB getest op drie datasets (Py150, CodeSearchNet, PyTorch) en twee code-modellen (PLBART, CodeT5).

• Overdraagbaarheid (Cross-Dataset): STAB presteert significant beter dan de state-of-the-art dynamische aanval (AFRAIDOOR).
  • STAB bereikte een gemiddelde aanvalssuccesratio (ASR) van 80,1% over verschillende datasets, wat 12,4% hoger is dan de beste dynamische concurrent.
  • De prestaties blijven stabiel zelfs wanneer de verdelingen van de schat- en slachtofferdatasets sterk verschillen.
• Resistentie tegen Verdediging:
  • Na toepassing van geavanceerde verdedigingen (zoals KillBadCode, ONION en Spectral Signature) behaalde STAB een ASR van 73,2%.
  • Statische aanvalsmethoden faalden volledig onder deze verdedigingen (ASR daalde naar bijna 0%).
  • AFRAIDOOR vertoonde een grote variabiliteit en lagere succespercentages onder verdediging.
• Stilte (Stealthiness): STAB behield hoge BLEU-scores op schone invoer en had de laagste detectiepercentages (Recall en F1-score) door alle verdedigingsmechanismen, wat aantoont dat de gegenereerde triggers zeer natuurlijk lijken.

Betekenis en Conclusie

Dit paper toont aan dat de huidige verdedigingen tegen backdoor-aanvallen op code-modellen kwetsbaar zijn voor slimme, overdraagbare methoden. De kerninzicht is dat het trainen van modellen in "vlotte" gebieden van het verlieslandschap leidt tot robuustere en generaliseerbaardere kwetsbaarheden.

De implicaties zijn tweeledig:

1. Beveiligingsrisico: Zelfs als ontwikkelaars verdedigingen implementeren, kunnen slimme aanvallen die gebruikmaken van SAM en differentieerbare optimalisatie deze omzeilen.
2. Toekomstig Onderzoek: Het paper roept op tot het ontwikkelen van verdedigingsstrategieën die rekening houden met de geometrie van het verlieslandschap en de aard van overdraagbare perturbaties, in plaats van alleen te vertrouwen op statistische anomalieën in de data.

De auteurs benadrukken dat hun werk ethisch verantwoord is uitgevoerd om de kwetsbaarheden bloot te leggen en zo de ontwikkeling van robuustere AI-gestuurde softwareontwikkeling te stimuleren.