Lightweight Anomaly-Based Intrusion Detection for IoT Networks Using Dispersion-Based Majority Class Reduction and Sparse Autoencoder Feature Extraction

Technische Samenvatting: Lichtgewicht Anomalie-gebaseerde Intrusion Detection voor IoT-netwerken

Probleemstelling
De snelle proliferatie van Internet of Things (IoT) apparaten heeft een significante kwetsbaarheid gecreëerd voor netwerkgebaseerde aanvallen, wat robuuste Intrusion Detection Systems (IDS) noodzakelijk maakt. Het implementeren van effectieve IDS aan de rand van het netwerk (gateways, routers) wordt echter gehinderd door twee primaire beperkingen:

1. Extreme klasse-onbalans: Real-world IoT-verkeercaptures vertonen vaak enorme verschillen tussen legitiem en kwaadaardig verkeer. In de BoT-IoT dataset die in deze studie wordt gebruikt, domineert aanvalverkeer het normale verkeer met een ratio van ongeveer 7.690:1. Standaard classifiers die op dergelijke data zijn getraind, hebben de neiging de meerderheidsklasse te bevoordelen, waardoor ze er niet in slagen de minderheidsklasse (de aanval) te detecteren.
2. Resourcebeperkingen: Edge-hardware beschikt over beperkte rekenkracht en geheugen vergeleken met datacenteromgevingen. Deep learning-modellen die goed presteren in benchmarks zijn vaak te groot of te traag voor praktische implementatie aan de edge.

Bestaande oplossingen vertrouwen vaak op synthetische minderheidsoversampling (bijv. SMOTE) om datasets in balans te brengen, wat miljoenen synthetische punten kan genereren, de trainingskosten verhoogt en potentieel artefacten introduceert. Omgekeerd is reductie van de meerderheidsklasse (undersampling) vaak beperkt tot niet-IoT settings of mist tractabele formuleringen voor grootschalige kandidaat-pools. Bovendien maskeren veel studies vaak geaggregeerde foutmetrieken (zoals de F1-score), wat kritieke instabiliteiten in False Positive (FP) en False Negative (FN) ratio's kan verhullen.

Methodologie
De voorgestelde pipeline pakt deze uitdagingen aan via een tweeledige aanpak: Dispersion-Based Majority Class Reduction (DMCR) voor het balanceren en Sparse Autoencoder (SAE) feature extractie gevolgd door lichtgewicht classifier heads.

1. Dispersion-Based Majority Class Reduction (DMCR):

   • In plaats van het genereren van synthetische minderheidssamples, reduceert DMCR de meerderheidsklasse (aanvallen) door een diverse subset van echte meerderheidssamples te behouden.
   • Mechanisme: Het scoort meerheidskandidaten op basis van hun gemiddelde $\ell_1$ (Manhattan) afstand tot alle andere leden van een kandidaat-pool. Punten in dichte, repetitieve regio's (lage dispersie) worden weggegooid, terwijl geïsoleerde, informatie-rijke punten worden behouden.
   • Efficiëntie: Om de computationele onhandelbaarheid van het berekenen van alle-paren afstanden ($O(n^2)$) voor grote pools aan te pakken, maken de auteurs gebruik van een orde-statistiek identiteit. Dit maakt exacte scoring mogelijk in $O(nd \log n)$ tijd en $O(n)$ geheugen, wat het haalbaar maakt voor pools van 100.000+ samples.
   • Proces: Een kandidaat-pool van 100.000 aanvallen wordt getrokken uit de trainingsset. De top 50.000 meest gedispergeerde samples worden behouden en gecombineerd met alle beschikbare normale samples (382 in de trainingssplit) om een gebalanceerde trainingsset van ~50.382 samples te vormen.

2. Feature Extractie (Sparse Autoencoder):

   • Een Sparse Autoencoder (SAE) wordt ongesuperviseerd getraind op de gebalanceerde data om een compacte feature-representatie te leren.
   • De encoder brengt 27 gestandaardiseerde input features in kaart naar een 100-dimensionale verborgen laag met behulp van ReLU-activatie.
   • De training minimaliseert de reconstructiefout plus een Kullback-Leibler (KL) sparsity penalty om een ijle (sparse) representatie af te dwingen. De encoder wordt vervolgens bevroren en gebruikt als een vaste feature extractor voor downstream classifiers.

3. Classifier Heads:
   Drie verschillende classifier-architecturen werden geëvalueerd bovenop de bevroren SAE-encoder:

   • CNN: Een convolutionele baseline (77.848 parameters in totaal).
   • MLP: Een single-hidden-layer Multi-Layer Perceptron (8.792 parameters).
   • MLP2: Een diepere, batch-genormaliseerde MLP (14.296 parameters).

Belangrijkste Bijdragen

• DMCR Algoritme: Een nieuw balanceringsschema dat redundante meerderheidsklasse-samples verwijdert terwijl elke echte minderheidssample wordt behouden, wat resulteert in een trainingsset die ongeveer 116× kleiner is dan synthetische oversampling en geen gefabriceerde data bevat.
• Efficiënte Scoring: Een orde-statistiek formulering die exacte dispersie-scoring mogelijk maakt in $O(nd \log n)$ tijd, waarmee de $O(n^2)$ barrière voor grootschalige IoT-datasets wordt overwonnen.
• Uitgebreide Evaluatie: Een rigoureuze vergelijking van DMCR met vijf andere balanceringsstrategieën (Random Undersampling, SMOTE, ADASYN, Borderline-SMOTE en Cosine Similarity-gebaseerde Majority Class Reduction) over meerdere random seeds om statistische robuustheid vast te stellen.
• Error Profile Analyse: Een demonstratie dat het uitsluitend vertrouwen op geaggregeerde metrieken (zoals F1) kritieke instabiliteiten in FP en FN ratio's kan verhullen. De studie rapporteert FP en FN apart om duidelijke operationele trade-offs te onthullen.
• Lichtgewicht Operationele Punten: Identificatie van twee verschillende, lichtgewicht configuraties afgeleid van een enkele pipeline:
  • MLP: Bereikt nul False Negatives (kritiek voor passieve monitoring) met ~90% minder parameters dan de CNN-baseline (ongeveer één negende van het aantal parameters).
  • MLP2: Bereikt nul False Positives (kritiek voor actieve respons) met ongeveer 82% minder parameters dan de CNN-baseline (specifiek minder dan één vijfde van het aantal parameters).

Resultaten

• Balancing Performance: DMCR, CSMCR en SMOTE behaalden statistisch ononderscheidbare prestaties in ROC-AUC en F1-scores (allemaal >0,9999). Echter, Random Undersampling (het reduceren van de meerderheid tot de exacte grootte van de minderheid) resulteerde in een significante mislukking, waarbij gemiddeld duizenden aanvallen werden gemist.
• Efficiëntie: DMCR verminderde de totale trainingstijd met ongeveer 88,6× vergeleken met SMOTE (42,97s vs. 3.804,92s) terwijl de detectiekwaliteit behouden bleef.
• Stabiliteitsanalyse: Een sensitiviteitsanalyse toonde aan dat de stabiliteit van DMCR afhankelijk is van het behouden van een voldoende gefilterde subset. Wanneer de kandidaat-pool grootte en het retentiedoel werden samengevoegd naar dezelfde grootte (100.000), kon het dispersiecriterium niet functioneren, wat leidde tot een volledige detectiefout op de minderheidsklasse in één van de drie random seeds—een fout die onzichtbaar was in de geaggregeerde F1-score.
• Classifier Vergelijking:
  • De MLP verminderde de parameters met bijna 90% vergeleken met de CNN (8.792 vs. 77.848, ongeveer één negende) en bereikte nul False Negatives, hoewel het 10 False Positives introduceerde en een lichte daling in ROC-AUC (0,9559) veroorzaakte.
  • De MLP2 (met batch normalisatie) herstelde de ROC-AUC naar 0,999999 en elimineerde False Positives volledig, ten koste van 33 False Negatives, met slechts 14.296 parameters (ongeveer één vijfde van de CNN's parameter count).

Significantie en Claims
Het artikel betoogt dat DMCR een praktisch, computationeel efficiënt alternatief biedt voor synthetische oversampling voor IoT-intrusiedetectie, met name in scenario's met extreme klasse-onbalans. Door het niet genereren van synthetische data te vermijden, behoudt de methode de integriteit van real-world verkeerspatronen terwijl de trainingsset grootte en tijd drastisch worden verminderd.

Cruciaal is dat de studie benadrukt dat een enkele pipeline verschillende deployment-houdingen kan ondersteunen. Door de juiste classifier head te selecteren (MLP vs. MLP2), kunnen operators kiezen tussen een "zero false negative" modus (geschikt voor passieve monitoring waar het missen van een aanval kostbaar is) of een "zero false positive" modus (geschikt voor actieve respons waar valse alarmen kostbaar zijn), zonder de feature extractor opnieuw te hoeven trainen.

De auteurs hanteren een bescheiden standpunt door op te merken dat de resultaten gebaseerd zijn op de BoT-IoT dataset, die gestandaardiseerd, in een lab gegenereerd verkeer bevat. Ze geven expliciet aan dat de specifieke bijdrage van de dispersie-ranking versus eenvoudige sample-grootte reductie verdere ablatiestudies vereist (vergelijking van DMCR tegenover een even grote willekeurige subsample), en dat toekomstig werk de pipeline op daadwerkelijke low-power hardware en meer diverse datasets moet valideren voordat deze als volledig inzetbaar kan worden beschouwd.