A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data

Stel je het internet voor als een enorme, bruisende stad waar data stroomt als verkeer op eindeloze snelwegen. In deze stad staan beveiligers (firewalls en antivirussoftware) bij elk controlepunt om ID-bewijzen te controleren en er zeker van te zijn dat er niemand binnensluipt. Meestal hebben deze bewakers een "Gezocht"-boek vol foto's van bekende criminelen. Als een vreemde op iemand in de lijst lijkt, wordt hij tegengehouden. Maar wat gebeurt er als er een gloednieuwe crimineel opduikt, iemand die nog nooit eerder is gezien, met een gezicht dat niet overeenkomt met een enkele foto in het boek? Dit is de nachtmerrie van een "zero-day" aanval: een digitale indringer die een gloednieuw trucje gebruikt dat beveiligingssystemen nog nooit eerder zijn tegengekomen.

Om deze onzichtbare dieven te vangen, richten wetenschappers zich op een speciaal soort detective genaamd Machine Learning. Denk aan deze detectives als studenten die duizenden voorbeelden van "goed verkeer" en "slecht verkeer" bestuderen om patronen te leren herkennen. Er is echter een lastig probleem in hun klaslokaal: de leraar (de data) geeft ze veel te veel voorbeelden van goed verkeer en maar heel weinig voorbeelden van slecht verkeer. Het is alsof je probeert te leren hoe je een zeldzaam, verlegen dier in een bos herkent waar 99% van de wezens gewoon eekhoorns zijn. De student kan heel goed worden in het herkennen van eekhoorns, maar de zeldzame verschijning volledig missen omdat hij er tijdens zijn training nauwelijks van heeft gezien. Dit artikel duikt in hoe je deze digitale detectives kunt leren om die gloednieuwe, zeldzame dreigingen op te sporen zonder in de war te raken door het overweldigende aantal normale eekhoorns.

---

De Grote Digitale Detective Race

In dit onderzoek hebben onderzoekers Zahra Lotfi en Mostafa Lotfi een enorme trainingsgrond opgezet om te zien welk machine learning-model de ultieme zero-day aanval-detector zou kunnen worden. Ze wilden niet alleen weten welk model het slimst was; ze wilden ook weten welk model het snelst was. Want in de echte wereld is een beveiligingsbewaker die een uur nodig heeft om één ID-bewijs te controleren nutteloos, zelfs als hij nooit een crimineel mist.

De onderzoekers gebruikten een enorme dataset genaamd UNSW-NB15, die meer dan 1,4 miljoen records van netwerkverkeer bevat. Om de test realistisch te maken, creëerden ze een scenario waarin de modellen werden getraind op een mix van normaal verkeer en bekende aanvallen, maar daarna werden getest op een "zero-day" aanval die ze nog nooit eerder hadden gezien. Om het nog moeilijker te maken, gebruikten ze een dataset die sterk scheef verdeeld was, waarbij normaal verkeer de aanvallen ver overtrof, precies zoals in het echte leven.

Ze testten vijf verschillende "detectives" (machine learning-modellen):

1. Decision Tree (DT): Een model dat een reeks ja-of-nee-vragen stelt om een beslissing te nemen.
2. Logistic Regression (LR): Een statistisch model dat de waarschijnlijkheid berekent dat iets een aanval is.
3. Random Forest (RF): Een team van vele Decision Trees die over het antwoord stemmen.
4. XG Boost (XGB): Een krachtig team dat voortbouwt op zijn fouten om slimmer te worden, bekend om zijn snelheid.
5. MLP (Multilayer Perceptron): Een deep learning-model dat de lagen van neuronen in een menselijk brein nabootst.

De Magie van het Balanceren van de Schalen

Een van de grootste hindernissen waar de onderzoekers tegenaan liepen, was het "class imbalance problem" (probleem van de klassenonbalans). Omdat er zo weinig voorbeelden van aanvallen waren vergeleken met de normale gevallen, hadden de modellen moeite om te leren hoe een aanval er eigenlijk uitzag. Om dit op te lossen, gebruikte het team een techniek genaamd SMOTE (Synthetic Minority Over-sampling Technique).

Stel je voor dat je een kind probeert te leren hoe het een zeldzame blauwe vogel herkent, maar je hebt slechts één foto van die vogel. Het kind zal de vogel waarschijnlijk snel vergeten. SMOTE is als een magische fotokopieermachine die nieuwe, licht afwijkende foto's van die blauwe vogel maakt door de originele foto te mengen met de buren. Dit geeft het kind genoeg voorbeelden om echt te begrijpen hoe de vogel eruitziet, zonder dat er meer echte vogels in het wild gevonden hoeven te worden. De onderzoekers pasten dit toe op hun data, waardoor ze synthetische aanvalvoorbeelden creëerden om de trainingsset in balans te brengen.

De Resultaten: Wie Won de Race?

De resultaten waren een mix van "slimste" en "snelste", en de winnaar hing af van wat je belangrijker vond.

Wanneer de modellen werden getest zonder de balancerende truc (SMOTE), hadden ze moeite om de zeldzame aanvallen op te sporen. Zo ving het Random Forest-model bijvoorbeeld slechts ongeveer 83,11% van de aanvallen, terwijl het MLP-model zelfs slechter presteerde en slechts 25,35% van de aanvallen onderschepte.

Echter, toen ze SMOTE gebruikten om de data te balanceren, schoot de prestatie omhoog.

• De Slimste Detective: Het Random Forest (RF) model was de duidelijke kampioen wat betreft nauwkeurigheid. Met de gebalanceerde data slaagde het erin om maar liefst 94,38% van de zero-day aanvallen (Recall) te vangen met een nauwkeurigheid van 98,91%. Het was het meest betrouwbaar in het niet missen van de boeven.
• De Snelheidsduivel: Maar hier zit de adder onder het gras. Random Forest was ongelooflijk traag. Het had 1.379,10 seconden (meer dan 22 minuten) nodig om de testdata te verwerken. In een echte cyberaanval is wachten op 22 minuten om een hacker te stoppen hetzelfde als wachten tot een brand het hele gebouw heeft afgebrand voordat je de brandweer belt.
• De Beste All-rounder: Komt XG Boost (XGB) in beeld. Hoewel het niet zoveel aanvallen ving als Random Forest (het ving 81,40%), was het razendsnel. Het voltooide dezelfde taak in slechts 5,08 seconden. Het behield ook een hoge nauwkeurigheid van 98,21%.

Het Eindoordeel

De onderzoekers concludeerden dat hoewel Random Forest technisch gezien het meest nauwkeurige model is voor het vinden van deze onzichtbare zero-day aanvallen, het te traag is voor praktische toepassing in real-time beveiligingssystemen. Als je een bewaker nodig hebt die nooit slaapt en nooit een beat mist, maar er eeuwen over doet om na te denken, dan heb je een probleem.

In plaats daarvan kroonden ze XG Boost tot de beste keuze voor gebruik in de echte wereld. Het bood de beste balans, zijnde "extreem snel en precies". Het bewees dat je niet altijd de absoluut perfecte detector nodig hebt; je hebt er een nodig die snel genoeg is om de aanval te stoppen voordat deze schade aanricht.

De studie bevestigde ook dat de "magische fotokopieermachine" (SMOTE) essentieel was. Zonder deze techniek waren de modellen blind voor de zeldzame aanvallen. Met deze techniek verbeterden zelfs de tragere modellen aanzienlijk, hoewel de snelheid van het model de doorslaggevende factor bleef voor de keuze welke in de echte wereld gebruikt moest worden.

Uiteindelijk laat dit onderzoek zien dat in de race om digitale criminelen vangen, slim zijn alleen niet genoeg is; je moet ook snel zijn. En soms is de op één na slimste detective die een mijl in enkele seconden kan rennen, degene die daadwerkelijk de dag redt.