Robustness Analysis of Machine Learning Models for IoT Intrusion Detection Under Data Poisoning Attacks

Titel: Robuustheidsanalyse van Machine Learning-modellen voor IoT-intrusiedetectie onder Data Poisoning-aanvallen

1. Probleemstelling

De integriteit van machine learning (ML)-gebaseerde Intrusion Detection Systems (IDS) in Internet of Things (IoT)-omgevingen is een kritieke uitdaging. IoT-netwerken worden gekenmerkt door heterogene apparaten, beperkte firmware en diverse communicatiepatronen, wat ze kwetsbaar maakt voor data poisoning-aanvallen.

• De dreiging: Aanvallers injecteren gemanipuleerde trainingsdata of veranderen feature-verdelingen om de beslissingsgrenzen van het model te vervormen. Dit leidt tot een verzwakte detectie van bedreigingen, persistente misclassificaties of het inbedden van "backdoors".
• Het gat in de literatuur: Hoewel er veel onderzoek is gedaan naar ML voor IDS en naar adversarial learning, ontbreekt er een systematische, vergelijkende evaluatie van hoe verschillende veelgebruikte ML-architecturen (van lineaire modellen tot diepe neurale netwerken) reageren op diverse poisoning-strategieën binnen specifieke IoT-datasets.

2. Methodologie

De studie hanteert een gestructureerd raamwerk om de kwetsbaarheid van vier veelgebruikte classifiers te evalueren onder invloed van vier specifieke poisoning-technieken.

• Gebruikte Datasets: Drie real-world IoT-cybersecuritydatasets werden gebruikt om een breed spectrum aan scenario's te dekken:
  1. CICIoT2023: Meer dan 1 miljoen records, 105 apparaten, 33 aanvalstypen (consumenten-IoT).
  2. Edge-IIoTset: 2,2 miljoen records met 63 variabelen, gericht op industriële IoT (IIoT) en systeemniveau.
  3. N-BaIoT: 7+ miljoen tijdreeks-records van apparaten geïnfecteerd met Mirai- en Bashlite-botnets.
• Geselecteerde Modellen:
  • Random Forest (RF): Een ensemble-model, gebruikt als robuuste baseline.
  • Gradient Boosting Machine (GBM): Voor sequentiële foutcorrectie.
  • Logistic Regression (LR): Een lichtgewicht model, vaak gebruikt in randapparatuur.
  • Deep Neural Networks (DNN): Hoge capaciteit modellen voor complexe patronen.
• Poisoning-Strategieën: Vier aanvalsmethoden werden toegepast op de trainingsdata:
  1. Label Flipping: Ground-truth labels worden onjuist toegewezen (bijv. "aanval" wordt "normaal").
  2. Outlier Injection: Injectie van extreme of ruisachtige waarden.
  3. Feature Impersonation: Aanvallers passen feature-waarden aan om kwaadaardig verkeer te laten lijken op normaal verkeer.
  4. Generic Synthetic Outliers: Kunstmatig gegenereerde afwijkende samples die de verdeling van de dataset verstoren.
• Evaluatiemetrics: Prestaties werden gemeten aan de hand van Accuracy, Precision, Recall en F1-score, zowel op schone data als op vergiftigde data.

3. Belangrijkste Bijdragen

• Unificatie van Evaluatie: Dit is een van de eerste studies die een uniforme robuustheidsevaluatie uitvoert van vier verschillende ML-architecturen tegen vier verschillende poisoning-technieken over drie grote, representatieve IoT-datasets.
• Gedetailleerde Vergelijking: Het biedt inzicht in de specifieke kwetsbaarheden van lineaire modellen (LR) versus ensemble- en diepe modellen (RF, GBM, DNN) in de context van IoT.
• Empirische Basis voor Verdediging: De studie identificeert gedragspatronen die essentieel zijn voor het ontwerpen van hybride, poison-resistente IDS-architecturen.

4. Resultaten en Analyse

De experimentele resultaten tonen duidelijke verschillen in robuustheid tussen de modellen:

• Algemene Prestaties (Schone Data):
  • Ensemble-modellen (RF en GBM) presteerden consistent het beste op alle datasets (vaak >99% nauwkeurigheid).
  • DNN en LR presteerden goed op sommige datasets, maar waren over het algemeen minder robuust dan de ensemble-methoden, vooral bij complexe verdelingen.
• Impact van Poisoning:
  • Label Flipping: Dit bleek de meest destructieve aanval. De nauwkeurigheid daalde met tot 40%. LR en DNN leden de zwaarste verliezen, aangezien hun beslissingsgrenzen direct worden gemanipuleerd door verkeerde supervisie. RF en GBM vertoonden meer stabiliteit, maar leden ook aanzienlijke prestatieverliezen.
  • Outlier Injection & Feature Impersonation: Deze aanvallen hadden een gemengd effect. RF en GBM behielden hun hoge prestaties in Edge-IIoTset en N-BaIoT, terwijl LR en DNN aanzienlijke degradaties vertoonden, vooral op de CICIoT-dataset. Feature impersonation was het meest effectief tegen LR en DNN in complexe datasets.
  • Synthetic Outliers: Deze veroorzaakten mildere verstoringen dan gerichte aanvallen. Modellen tolereerden willekeurige ruis beter dan gerichte manipulatie, hoewel LR nog steeds kwetsbaar bleef.
• Conclusie over Robuustheid:
  • RF en GBM zijn over het algemeen het meest weerbestendig tegen data poisoning.
  • LR is het minst robuust en het meest kwetsbaar voor zowel label-manipulatie als feature-veranderingen.
  • DNN is gevoelig voor label-flipping en feature-impersonation, ondanks hun vermogen om complexe patronen te leren.

5. Betekenis en Toekomstperspectief

De studie benadrukt dat de afhankelijkheid van ML voor IoT-beveiliging zonder adequate verdediging tegen data poisoning een groot risico vormt.

• Operationele Implicaties: Het is noodzakelijk om adversariaal robuuste training, continue monitoring van anomalieën en validatie op feature-niveau te integreren in operationele NIDS.
• Beleid en Compliance: De auteurs pleiten voor het opnemen van robuustheidstests in regelgevende kaders voor AI-gedreven IoT-beveiliging.
• Toekomstige Richtingen: Verdere ontwikkelingen moeten zich richten op:
  • Real-time detectie van adversariale aanvallen.
  • Adaptieve leerstrategieën die modellen kunnen herstellen na blootstelling aan vergiftigde input.
  • Hybride benaderingen die ensemble learning combineren met federated learning.
  • Gebruik van technieken zoals differentieel privacy en blockchain voor data-integriteit.

Kortom, deze paper levert een empirisch fundament voor het bouwen van veerkrachtige intrusion detection pipelines en waarschuwt dat niet alle ML-modellen even geschikt zijn voor de onveilige realiteit van IoT-netwerken.