On the Vulnerability of Deep Automatic Modulation Classifiers to Explainable Backdoor Threats

Probleemstelling

Automatische Modulatiedetectie (AMC) is een cruciaal proces in moderne draadloze communicatiesystemen om onbekende radiosignalen te identificeren. Deep Learning (DL) modellen, zoals Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN) en Deep Neural Networks (DNN), presteren uitstekend in deze taak. Echter, deze modellen zijn kwetsbaar voor Adversarial Machine Learning (AML) bedreigingen.

De meeste bestaande studies over backdoor-aanvallen (ook wel Trojan-aanvallen genoemd) zijn afkomstig uit domeinen zoals computer vision en focussen op digitale data-manipulatie na ontvangst. Er is een gebrek aan onderzoek naar fysieke backdoor-aanvallen die specifiek zijn ontworpen voor draadloze signalen voordat deze worden verzonden. Bovendien missen bestaande methoden vaak de gebruik van Explainable AI (XAI) om de meest kwetsbare delen van het signaal te identificeren voor het plaatsen van triggers. Dit paper onderzoekt de kwetsbaarheid van DL-gebaseerde AMC-systemen voor een dergelijke geavanceerde, fysieke backdoor-aanval.

Methodologie

De auteurs presenteren een transferable position-aware backdoor attack in een "black-box" scenario, waarbij de aanvallende partij alleen toegang heeft tot het trainingsdataset ($D_{train}$) en geen kennis heeft van de modelarchitectuur, parameters of gradiënten. De aanval bestaat uit twee hoofdfasen:

1. Selectie van de Triggerpositie (XAI-geleid):

   • De aanval vindt plaats in het fysieke domein (tijd-domein van OFDM-signalen) voordat transmissie plaatsvindt.
   • Er wordt een aangepaste SamplingSHAP-methode gebruikt om feature attributies te berekenen op gegroepeerde IQ-tijdreeks-samples.
   • Om fase-bias te voorkomen (door modulatie-mapping of pilot-structuren), wordt elke tijdsvenster eerst lokaal genormaliseerd in fase.
   • De aanvallende partij identificeert het tijdsvenster ($W^*$) waarin het model het meest gevoelig is voor manipulatie (hoge SHAP-waarden). Dit venster wordt geselecteerd op basis van de gemiddelde SHAP-waarde over alle signalen.

2. Generatie van de Triggerwaarde:

   • Zodra de positie bekend is, wordt de waarde van de trigger gegenereerd met een hybride methode genaamd Prototype-PCA.
   • Er wordt een complex prototype ($\mu_{tar}$) berekend als het mediaan van de genormaliseerde vensters van de doelklasse.
   • Er wordt een Primaire Componenten Analyse (PCA) uitgevoerd op de reële en imaginaire componenten van deze vensters om de belangrijkste variatierichting ($p_{tar}$) te vinden.
   • De uiteindelijke trigger ($t$) is een gewogen som van het prototype en de PCA-richting, geschaald met een energieparameter ($\alpha$):
     $$t = \alpha \cdot \frac{\lambda \mu_{tar} + (1 - \lambda) p_{tar}}{\|\lambda \mu_{tar} + (1 - \lambda) p_{tar}\|_2}$$
   • Hierbij controleert $\lambda$ de mix tussen prototype en PCA, en $\alpha$ de energie van de trigger.

3. Causatieve Fase (Backdoor Invoeging):

   • Een klein deel van de trainingsdata wordt "vergiftigd" (poisoned). De samples in het geselecteerde venster $W^*$ worden vervangen door $s^* = s + t$.
   • Deze vergiftigde samples krijgen het label van de doelklasse ($y_{tar}$), ongeacht hun oorspronkelijke modulatietype.
   • Het model wordt getraind op dit vergiftigde dataset, waardoor het leert om bij aanwezigheid van de trigger altijd de doelklasse te voorspellen, terwijl het op schone data correct blijft werken.

Belangrijkste Bijdragen

• Eerste fysieke, XAI-geleide backdoor voor AMC: Dit is het eerste werk dat XAI-technieken toepast om triggers te plaatsen in de meest kwetsbare fysieke delen van een draadloos signaal, specifiek voor AMC-taken.
• Black-box transferabiliteit: De aanval is ontworpen voor een black-box scenario en toont aan dat de gegenereerde triggers overdraagbaar zijn naar verschillende DL-architecturen (DNN, RNN, CNN) zonder kennis van het doelmodel.
• Fysieke realisme: In tegenstelling tot digitale aanvalsmethoden, wordt de trigger toegepast op het baseband-signaal voordat het de zender verlaat, wat de aanval relevanter maakt voor echte fysieke wereldscenario's.
• Hybride triggergeneratie: De combinatie van class-prototypes en PCA zorgt voor robuuste triggers die goed presteren zelfs bij lage signaal-ruisverhoudingen (SNR).

Resultaten

De simulaties zijn uitgevoerd met 11 modulatietypes, 512 subcarriers en een Rayleigh-vervalkanaal. De resultaten tonen het volgende aan:

• Succesratio (ASR - Attack Success Rate): De XAI-geleide aanval bereikt een zeer hoge ASR (tot ~80% bij 16 dB SNR) over alle geteste modellen (CNN, DNN, RNN).
• Prestatie bij lage SNR: De aanval presteert aanzienlijk beter dan bestaande referentie-aanvallen (Ref1 en Ref2) bij lage SNR-waarden (bijv. -16 dB), waar de XAI-aanval 68,7% bereikt tegenover 22,7% en 41,4% voor de referenties. Dit komt omdat de XAI-methode de kwetsbare signaaldelen target die zelfs onder ruis effectief blijven.
• Stilheid (Stealthiness):
  • De Benign Accuracy (ABC) van het vergiftigde model blijft bijna gelijk aan de Clean Accuracy (ALC) op schone data, wat aantoont dat de aanval de normale werking niet verstoort.
  • De aanval is zeer moeilijk te detecteren. Bij testen tegen verdedigingsmechanismen zoals Neural Cleanse, STRIP en Activation Clustering scoort de XAI-aanval significant beter (minder detecteerbaar) dan de referentie-aanvallen. Bijvoorbeeld, bij Activation Clustering wordt slechts 8,15% gedetecteerd, vergeleken met 72,2% voor Ref2.
• Transferabiliteit: De aanval werkt consistent hoog over verschillende modelarchitecturen, wat bevestigt dat de gevonden kwetsbaarheden fundamenteel zijn voor de AMC-taak en niet specifiek voor één modeltype.

Betekenis

Dit paper benadrukt een ernstige beveiligingskloof in moderne draadloze AI-systemen. Het toont aan dat DL-gebaseerde AMC-systemen kwetsbaar zijn voor zeer stilzame, fysieke backdoor-aanvallen die zelfs bij slechte kanaalcondities (lage SNR) effectief zijn.

De studie heeft belangrijke implicaties voor de veiligheid van 5G en toekomstige communicatienetwerken, aangezien deze afhankelijk zijn van sterke kanaalcodering en vaak opereren in ruisrijke omgevingen. Het feit dat de aanval XAI gebruikt om de zwakke plekken te vinden, suggereert dat toekomstige verdedigingen niet alleen moeten focussen op het detecteren van anomalieën in de data, maar ook op het begrijpen van welke signaalcomponenten het model het meest beïnvloeden. De auteurs concluderen dat deze dreiging een solide adversarial aanval vormt die de betrouwbaarheid van AI-gedreven draadloze communicatie in gevaar brengt.