Comparative Analysis of Machine Learning based Intrusion Detection in Realistic IoT Networks

Stel je het Internet of Things (IoT) voor als een enorme, bruisende stad waar alles, van je slimme koelkast tot je zelfrijdende auto, met elkaar verbonden is. Net als een echte stad heeft deze digitale metropool beveiligingsbewakers nodig om dieven en vandalen tegen te houden. Echter, deze "apparaten" zijn vaak klein, zwak en hebben heel weinig geheugen of batterijcapaciteit, waardoor ze gemakkelijke doelwitten zijn voor hackers.

Dit artikel is als een rapportcijfer voor vijf verschillende soorten beveiligingsbewakers (Machine Learning-algoritmen) die proberen deze digitale stad te beschermen. De onderzoekers hebben niet zomaar wat gegokt; ze hebben een realistische simulatie gebouwd genaamd de Gotham2025 testbed. Denk aan dit als een gigantische, hoogtechnologische trainingsgrond met 78 verschillende soorten "robots" (IoT-apparaten) die met elkaar communiceren via diverse talen (protocollen zoals MQTT en CoAP). Ze lieten deze robots onder aanvallen van hackers ondergaan in een gecontroleerde omgeving om een enorme dataset te creëren van wat "normaal" gedrag is versus wat "slecht" gedrag is.

Hier is hoe de vijf beveiligingsbewakers presteerden tijdens deze trainingsoefening:

De Pretendenten (De Algoritmen)

1. Random Forest (De Ervaren Detective):
   Stel je een team van 100 detectives voor die samenwerken. In plaats van dat één persoon een beslissing neemt, bekijken zij allemaal het bewijs, stemmen, en gaan met de meerderheidsmening akkoord. Deze aanpak wordt "bagging" genoemd.

   • Het Resultaat: Dit was de kampioen. Het kreeg het bijna 100% van de tijd goed. Het was zo goed in het opsporen van de slechteriken (aanvallen) dat het nauwelijks fouten maakte, zelfs niet wanneer de slechteriken probeerden zich te verstoppen in een menigte goede mensen. Het behaalde een "F1-score" (een maatstaf voor algemene nauwkeurigheid) van 0,99.

2. XGBoost (De Seriële Leerling):
   Denk hierbij aan een student die leert door een fout te maken, deze te corrigeren, en vervolgens weer te leren van die correctie, keer op keer. Het is zeer intelligent en snel.

   • Het Resultaat: Het kwam op de tweede plaats. Het was uitstekend en behaalde een score van 0,97, maar maakte iets meer fouten dan de Ervaren Detective, vooral bij het proberen te ontdekken van specifieke soorten scanningsaanvallen.

3. Deep Neural Network (Het Complexe Brein):
   Dit is als een supercomplex menselijk brein met vele lagen neuronen. Het is geweldig in het vinden van patronen, maar kan zwaar en traag zijn.

   • Het Resultaat: Het deed het goed en scoorde 0,91. Het was erg goed in het opsporen van de meest voorkomende aanvallen (zoals Denial of Service), maar had wat meer moeite met de zeldzamere, lastigere aanvallen.

4. Logistic Regression (De Simpele Rekenmachine):
   Stel je een bewaker voor die een simpele wiskundige formule gebruikt om te beslissen of iets verdacht is. Het is snel en gemakkelijk te begrijpen.

   • Het Resultaat: Het had moeite. Hoewel het de "grote" aanvallen goed kreeg, raakte het in de war door de kleinere, minder voorkomende aanvallen. Het behaalde een score van 0,72. Het was als een bewaker die alleen weet hoe hij een vrachtwagen moet stoppen, maar een sluwe dief op een fiets mist.

5. Naive Bayes (Het Gokspel):
   Deze bewaker gaat ervan uit dat elke aanwijzing onafhankelijk is van de andere. Het is alsoals het weer voorspellen op basis van één enkele wolk zonder naar de wind of temperatuur te kijken.

   • Het Resultaat: Dit was de slechtste presteerder. Het kreeg slechts ongeveer 56% van het verkeer goed. Het was zo verward dat het vaak een massale aanval aanzag voor normaal verkeer, of andersom. De score was een lage 0,43.

De Grote Uitdaging: Het "Drukke Kamer" Probleem

De onderzoekers werden geconfronteerd met een lastige situatie: de dataset was ongebalanceerd. Stel je een kamer voor met 10.000 mensen, waarbij 9.900 onschuldige burgers zijn en slechts 100 criminelen. Als een beveiligingsbewaker alleen maar roept "Iedereen is onschuldig!", dan zal hij in 99% van de gevallen gelijk hebben, maar hij zal elke crimineel missen.

Het artikel benadrukt dat Nauwkeurigheid (Accuracy) alleen een slechte manier is om deze bewakers in dit scenario te beoordelen. Je moet kijken naar de F1-score, die een balans vindt tussen het vangen van de slechteriken (Recall) en het niet onterecht beschuldigen van de goede mensen (Precision). De Random Forest-bewaker was de enige die erin slaagde bijna alle criminelen te vangen zonder in de war te raken door de menigte.

De Catch: Snelheid vs. Hersens

Het artikel wijst ook op een groot probleem in de echte wereld. De beste bewaker (Random Forest) is slim, maar vereist veel hersencapaciteit (rekenkracht).

• Het Probleem: De meeste IoT-apparaten (zoals een slimme thermostaat of een sensor) zijn als kleine hamsters met heel weinig energie. Ze kunnen de zware, complexe beveiligingssoftware die de beste modellen nodig hebben, niet draaien.
• De Afweging: De onderzoekers probeerden een model genaamd SVM (Support Vector Machine) te draaien, maar dat was zo zwaar dat het hun computers deed oververhitten en dagen in beslag nam om te voltooien. Het was alsoam een marathon te lopen terwijl je een piano draagt.
• De Conclusie: Hoewel de "Simpele Rekenmachine" (Logistic Regression) en het "Gokspel" (Naive Bayes) snel en licht genoeg zijn om een hamster te dragen, zijn ze te dom om de slechteriken effectief te vangen. Het artikel concludeert dat we een middenweg moeten vinden: een bewaker die slim genoeg is om de dieven te vangen, maar licht genoeg is om in een klein apparaat te passen.

Samenvatting

Het artikel testte vijf beveiligingsbewakers op een realistische, moderne IoT-trainingsgrond. Het Random Forest-algoritme was de duidelijke winnaar; het fungeerde als een zeer effectief team van detectives dat bijna elke aanval betrapte. Echter, het artikel waarschuwt dat de beste algoritmen vaak te zwaar zijn voor de kleine, zwakke apparaten die ze juist moeten beschermen. De toekomstige uitdaging is niet alleen het vinden van de slimste bewaker, maar het vinden van een bewaker die zowel slim als licht genoeg is om te dragen.