Silent Until Sparse: Backdoor Attacks on Semi-Structured Sparsity

Titel: Silent Until Sparse: Backdoor-aanvallen op semi-gestructureerde sparsiteit

Auteurs: Wei Guo, Fabio Brau, Maura Pintor, Ambra Demontis, Battista Biggio (Universiteit van Cagliari, Italië)

---

1. Het Probleem

Moderne diepe neurale netwerken worden vaak geoptimaliseerd voor inferentie op hardwareversnellers (zoals NVIDIA GPUs) door semi-gestructureerde sparsiteit (2:4 patroon) toe te passen. Bij dit patroon worden twee van elke vier opeenvolgende gewichten verwijderd, wat zorgt voor een 50% reductie in parameters en tot 2x snellere inferentie met minimale nauwkeurigheidsverlies.

Om de prestaties te maximaliseren, wordt vaak een gewicht-permutatie (permutatie van kolommen) toegepast voordat de pruning plaatsvindt. Dit zorgt ervoor dat de twee grootste gewichten in elke groep van vier behouden blijven, ongeacht hun oorspronkelijke positie.

De kwetsbaarheid:
De auteurs tonen aan dat het deterministische en voorspelbare karakter van dit 2:4-pruningproces (met of zonder permutatie) kan worden uitgebuit om een backdoor-aanval te ontwerpen. Het probleem is dat bestaande backdoor-verdedigingen vaak falen omdat ze alleen kijken naar het dichte (niet-geprunte) model. Een aanval kan zo worden ontworpen dat deze onzichtbaar is in het dichte model, maar pas activeert nadat de gebruiker het model comprimeert (prunt) voor gebruik.

2. Methodologie: Silent Until Sparse (SUS)

De auteurs introduceren SUS, een compressie-geactiveerde backdoor-aanval die specifiek is afgestemd op het 2:4-sparsiteitsregime. De aanval volgt een tweefasig trainingsproces:

Fase 1: Backdoor-training (Embedding)

• Doel: De backdoor inbedden in de gewichten die behouden blijven na pruning.
• Methode: De aanval traint het model zodat het de gewenste kwaadaardige gedrag vertoont (bijv. verkeerd classificeren van een getriggerde input naar een doelklasse) wanneer het masker van de 2:4-pruning wordt toegepast.
• Resultaat: Het dichte model (voordat het wordt geprunt) vertoont echter nog geen duidelijke backdoor-gedrag, wat de stealth (schuilkwaliteit) waarborgt.

Fase 2: Backdoor-verberging (Hiding)

• Doel: Het dichte model "schonen" zodat het normaal lijkt voor de gebruiker, terwijl de backdoor intact blijft in de te behouden gewichten.
• Methode: De gewichten die weggegooid gaan worden (de te prunen gewichten) worden fijn afgestemd (fine-tuned) om het effect van de backdoor in het dichte model te neutraliseren. De behouden gewichten worden hierbij "bevroren".
• Garantie: De aanval zorgt ervoor dat, ongeacht of de gebruiker permutatie toepast of niet, het uiteindelijke sparsiteitspatroon identiek blijft aan het vooraf gedefinieerde masker dat de backdoor bevat.

De auteurs presenteren twee strategieën om dit te bereiken:

1. SUS-F (Four): Veronderstelt geen permutatie. Het imposeert blokgewijze beperkingen (per groep van 4) zodat de te prunen gewichten nooit groter zijn dan de behouden gewichten binnen dat blok.
2. SUS-R (Row): Een sterkere strategie die rijgewijze beperkingen imposeert. Hierbij moeten de te prunen gewichten kleiner zijn dan de mediaan van de rij. Dit garandeert formeel dat zelfs met permutatie (2:4+P) hetzelfde masker wordt gegenereerd, waardoor de backdoor altijd activeert.

3. Belangrijkste Bijdragen

• Nieuwe Aanvalspost: Eerste aanval die specifiek semi-gestructureerde 2:4-sparsiteit (met permutatie) target.
• Formele Garanties: Het paper biedt wiskundige bewijzen dat de aanval succesvol activeert na sparsificatie, ongeacht of de gebruiker gewicht-permutatie toepast om de nauwkeurigheid te maximaliseren.
• Tweefasig Trainingsproces: Een innovatieve methode om de backdoor te verbergen in het dichte model en te activeren in het geprunte model.
• Robuustheid: De aanval is ontworpen om te weerstaan tegen bestaande verdedigingen en gebruikerskant-finetuning.

4. Resultaten

De experimenten zijn uitgevoerd op diverse datasets (MNIST, CIFAR-10, TinyImageNet) en architecturen (MLP, ResNet, VGG, DenseNet, ViT).

• Stealth (Verborgenheid): Het vrijgegeven dichte model gedraagt zich als een normaal model. De Attack Success Rate (ASR) voor getriggerde inputs is extreem laag (< 5% in de meeste gevallen, vaak < 1%), wat betekent dat bestaande detectiemethoden de backdoor niet zien.
• Effectiviteit na Pruning: Zodra het model 2:4-sparsiteit ondergaat, schiet de ASR omhoog naar > 95% (vaak 99-100%).
• Vergelijking met bestaande methoden: Bestaande compressie-bewuste aanvallen (zoals die van Tian et al., 2022) falen vaak wanneer gewicht-permutatie wordt toegepast (hun ASR daalt naar ~68%). SUS-R behoudt echter een ASR van ~99,9% zelfs met permutatie.
• Omzeilen van Verdedigingen: SUS omzeilt succesvol drie standaard backdoor-verdedigingen:
  • Neural Cleanse (NC): Detecteert geen afwijkende triggers.
  • Artificial Brain Stimulation (ABS): De doelklasse wordt niet gemarkeerd als verdacht.
  • Channel Lipschitzness-based Pruning (CLP): De backdoor activeert opnieuw na het toepassen van CLP en vervolgens sparsificatie.
• Robuustheid tegen Finetuning: Zelfs als de gebruiker het geprunte model finetunt op een klein deel van de data, blijft de backdoor actief.

5. Betekenis en Conclusie

Dit onderzoek onthult een kritieke kwetsbaarheid in de moderne AI-supply chain. Omdat semi-gestructureerde sparsiteit (2:4) steeds vaker wordt gebruikt voor hardware-efficiëntie (o.a. in NVIDIA Tensor Cores), creëren aanvallers een "stille" dreiging die pas zichtbaar wordt op het moment van implementatie.

• Impact: Het toont aan dat het vertrouwen op alleen het testen van dichte modellen onvoldoende is. Verdedigers moeten ook de geprunte versies van modellen controleren.
• Toekomst: De auteurs suggereren dat deze kwetsbaarheid kan worden uitgebreid naar andere N:M-sparsiteitspatronen naarmate hardware deze ondersteunt. Het paper pleit voor nieuwe verdedigingsstrategieën die specifiek zijn gericht op compressie-geactiveerde backdoors.

Kernboodschap: Een model kan veilig lijken in zijn dichte vorm, maar door de deterministische aard van 2:4-pruning kan een aanval zo worden ontworpen dat het model pas "waanzinnig" wordt nadat het is geoptimaliseerd voor snellere inferentie.