Technische Samenvatting: DRL-CLBA

Probleemstelling

Deep learning-modellen die worden ingezet voor spraakclassificatietaken, zoals Keyword Spotting (KWS) en Speaker Verification (SV), zijn kwetsbaar voor backdoor-aanvallen. Hoewel traditionele "poisoned label"-aanvallen (waarbij triggers worden geïnjecteerd en labels worden gewijzigd) effectief zijn, zijn ze steeds vaker detecteerbaar via handmatige data-auditing of geautomatiseerde defensies die inconsistenties tussen label en inhoud identificeren.

Daartegenover staan "clean label" backdoor-aanvallen, die trainingsvoorbeelden manipuleren zonder de grondwaarheid-labels te wijzigen, wat een grotere stealth biedt. Bestaande clean label-methoden kampen echter met significante beperkingen:

1. Gradiëntafhankelijkheid: Veel benaderingen (bijv. CSSBA) vereisen toegang tot de volledige gradiëntinformatie van het doelmodel, wat in real-world black-box scenario's vaak niet beschikbaar is.
2. Vaste Triggers: Sommige methoden vertrouwen op statische, vaste patronen van triggers die door defensieve mechanismen kunnen worden weggefilterd.
3. Optimalisatieuitdagingen: Het bereiken van een hoge Attack Success Rate (ASR) terwijl semantische consistentie en onmerkbaarheid in de complexe feature-ruimte van spraakmodellen behouden blijven, is moeilijk met standaard gradiëntgebaseerde optimalisatie (bijv. PGD).

Methodologie: DRL-CLBA

Het paper stelt DRL-CLBA voor (Deep Deterministic Policy Gradient-based Clean Label Backdoor Attack), een framework dat diepe audio-steganografie combineert met reinforcement learning om sample-specifieke, clean-label backdoors te genereren.

1. Kerncomponenten

• Deep Audio Steganography (Anchor Generatie):
  • Een encoder-decoder steganografie-model wordt gebruikt om een trigger in de audio van de bronklasse te embedden.
  • In tegen tegenstelling tot vaste triggers, genereert dit sample-specifieke triggers die variëren per backdoor-sample.
  • De output dient als een "anker" in de diepe latente feature-ruimte. Het doel is om het model te dwingen een semantische gelijkenis te leren tussen deze getriggereerde bron-samples en specifieke doelklasse-samples.
• Reinforcement Learning Framework (DDPG):
  • De aanval wordt geformuleerd als een Markov Decision Process (MDP) om poisoned samples te optimaliseren zonder dat volledige gradiënttoegang tot het doelmodel vereist is.
  • State ($S$): Bestaat uit de diepe feature-representaties van het huidige poisoned sample, de anchor-feature, de afstand tussen hen en de perturbatie-magnitude.
  • Action ($A$): Een continue perturbatie-increment ($\Delta x_t$) toegepast op het doel-sample.
  • Reward ($R$): Een multi-objective functie die een balans vindt tussen:
    1. Feature Collision: Het minimaliseren van de afstand tussen de features van het poisoned sample en de anchor-features.
    2. Onmerkbaarheid: Het beperken van de perturbatie-magnitude ($\|x_{t+1} - x_{tar}\|_2$).
    3. Semantische Consistentie: Ervoor zorgen dat het poisoned sample nog steeds door het model als de oorspronkelijke doelklasse (clean label) wordt voorspeld.
  • Netwerken: Een Actor-netwerk ($\mu$) genereert acties op basis van de state, terwijl een Critic-netwerk ($Q$) de verwachte cumulatieve beloning evalueert. Target-netwerken ($\mu', Q'$) worden gebruikt voor stabiliteit via soft updates.

2. Attack Pipeline

1. Initialisatie: Genereer anchor-vectoren met het steganografie-model en initialiseer de DDPG-netwerken.
2. Training: De DDPG-agent optimaliseert iteratief de poisoned samples om de afstand tot de anchors te minimaliseren terwijl aan de reward-constraints wordt voldaan.
3. Generatie van de Poisoned Dataset: Het getrainde beleid wordt bevroren en gebruikt om poisoned samples te genereren uit de doelklasse-dataset. Cruciaal is dat de oorspronkelijke labels behouden blijven.
4. Implantatie van de Backdoor: De poisoned samples worden samengevoegd met de benign trainingsset. Het victim-model wordt getraind op deze gemengde dataset met behulp van standaard cross-entropy loss.

Belangrijkste Bijdragen

1. Nieuw Aanvalsparadigma: Introductie van een clean label, sample-specifieke backdoor-aanval voor spraakclassificatie die geen volledige gradiënttoegang tot het doelmodel vereist.
2. Steganografische Anchors: Gebruik van diepe audio-steganografie om dynamische, sample-specifieke triggers te creëren die dienen als robuuste anchors in de feature-ruimte, waardoor de detecteerbaarheid van statische patronen wordt vermeden.
3. RL-gestuurde Optimalisatie: Integratie van DDPG om door het complexe optimalisatielandschap van feature collision te navigeren, waarbij een effectieve balans wordt gevonden tussen attack success, stealth en semantische consistentie.
4. Uitgebreide Validatie: Rigoureuze evaluatie over drie datasets (KWS, SV, SER) en vier diverse DNN-architecturen (ERes2Net, KWS-ViT, EAT-S, CAM++).

Experimentele Resultaten

De auteurs evalueerden DRL-CLBA tegen vijf baseline-methoden (inclusief Ultra, OneSpec, CBA, CSSBA en TUAPBA) over drie taken:

• Keyword Spotting (KWS): DRL-CLBA behaalde gemiddelde ASRs van 88,09% (SCD), 89,76% (AudioMNIST) en 90,12% (LibriKWS-20), waarmee het alle baselines (die ongeveer tussen de 30% en 80% lagen) aanzienlijk versloeg.
• Speaker Verification (SV): Behaalde gemiddelde ASRs van 88,77% (AISHELL3-50) en 87,45% (VoxCeleb1-50), eveneens superieur aan alle baselines.
• Speech Emotion Recognition (SER): Behaalde gemiddelde ASRs van 77,44% (ESD-CN) en 79,18% (ESD-EN). Hoewel lager dan KWS/SV (toe te schrijven aan de verspreide aard van emotionele features), presteerde het nog steeds beter dan de baselines.
• Benign Accuracy (BA): In alle scenario's behield de aanval een hoge benign accuracy (meestal >90%), wat aantoont dat het backdoored model normaal presteert op schone data.
• Robuustheid:
  • Fine-tuning: De aanval behield ~60-65% ASR na 40 epochs van fine-tuning.
  • Model Pruning: Hoge pruning-percentages degradeerden zowel ASR als BA vergelijkbaar, wat aangeeft dat de backdoor diep ingebed is maar niet gemakkelijk te verwijderen is zonder de bruikbaarheid van het model te vernietigen.
  • STRIP Defensie: Analyse van de entropie-distributie toonde aan dat poisoned en schone samples bijna ononderscheidbaar waren, waardoor de STRIP-detectie succesvol werd omzeild.
• Transfereerbaarheid: De methode demonstreerde sterke generalisatie in black-box settings (cross-model transfer), waarbij een ASR van 77-84% werd behouden wanneer het surrogate-model verschilde van het doel-inferentiemodel.

Betekenis en Claims

Het paper claimt dat DRL-CLBA de kritieke kwetsbaarheden van spraakgestuurde systemen blootlegt door aan te tonen dat:

1. Clean label-aanvallen zeer effectief zijn in het domein van spraak wanneer ze worden gecombineerd met reinforcement learning en steganografie, waardoor defensies die vertrouwen op labelinspectie of vaste triggerdetectie worden omzeild.
2. Reinforcement Learning superieur is aan traditionele gradiëntgebaseerde optimalisatie voor deze taak, omdat het effectief langetermijn-afhankelijkheden kan vatten en lokale optima kan vermijden in het sequentiële besluitvormingsproces van het genereren van poisoned samples.
3. Sample-specifieke triggers gegenereerd via steganografie een niveau van stealth en robuustheid bieden dat statische triggers niet kunnen evenaren.

De auteurs concluderen dat huidige stemgestuurde mens-computerinteractiesystemen een aanzienlijk risico lopen, aangezijnde hun modellen met een hoge succesratio kunnen worden gecompromitteerd terwijl ze functioneel normaal blijven en moeilijk te detecteren zijn via standaard auditing of defensiemechanismen.