A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data

Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der Daten wie der Verkehr auf endlosen Autobahnen fließen. In dieser Stadt stehen an jedem Kontrollpunkt Sicherheitskräfte (Firewalls und Antivirensoftware), die Ausweise kontrollieren, um sicherzustellen, dass niemand hineinschleicht. Normalerweise besitzen diese Wachen ein „Fahndungsbuch“ voller Bilder bekannter Krimineller. Wenn ein Fremder wie jemand auf der Liste aussieht, wird er gestoppt. Aber was passiert, wenn ein brandneuer Krimineller auftaucht, einer, der noch nie zuvor gesehen wurde und dessen Gesicht keinem Bild im Buch entspricht? Dies ist der Albtraum eines „Zero-Day“-Angriffs: ein digitaler Eindringling, der einen brandneuen Trick anwendet, den Sicherheitssysteme noch nie zuvor erlebt haben.

Um diese unsichtbaren Diebe zu fangen, wenden Wissenschaftler eine spezielle Art von Detektiv an, das maschinelle Lernen. Stellen Sie sich diese Detektive wie Schüler vor, die tausende Beispiele für „guten Verkehr“ und „schlechten Verkehr“ studieren, um die Muster zu lernen. Es gibt jedoch ein kniffliges Problem in ihrem Klassenzimmer: Der Lehrer (die Daten) gibt ihnen viel zu viele Beispiele für guten Verkehr und sehr wenige Beispiele für schlechten Verkehr. Es ist, als würde man versuchen zu lernen, ein seltenes, scheues Tier im Wald zu erkennen, in dem 99 % der Kreaturen einfach nur Eichhörnchen sind. Der Schüler könnte sehr gut darin werden, Eichhörnchen zu erkennen, aber das seltene Tier komplett übersehen, weil er während seines Trainings kaum eines gesehen hat. Diese Arbeit untersucht, wie man diese digitalen Detektive lehrt, diese brandneuen, seltenen Bedrohungen zu erkennen, ohne durch die überwältigende Anzahl an normalen Eichhörnchen verwirrt zu werden.

---

Das große digitale Detektiv-Rennen

In dieser Studie setzten die Forscher Zahra Lotfi und Mostafa Lotfi einen riesigen Trainingsplatz ein, um zu sehen, welches Modell des maschinellen Lernens der ultimative Zero-Day-Angriff-Detektor werden könnte. Sie wollten nicht nur wissen, welches Modell das klügste war; sie wollten auch wissen, welches am schnellsten ist. Schließlich ist ein Sicherheitswächter, der eine Stunde braucht, um den Ausweis einer einzigen Person zu prüfen, nutzlos, selbst wenn er nie einen Kriminellen übersieht.

Die Forscher verwendeten einen riesigen Datensatz namens UNSW-NB15, der über 1,4 Millionen Datensätze des Netzwerkverkehrs enthält. Um den Test realistisch zu gestalten, kreierten sie ein Szenario, in dem die Modelle auf einer Mischung aus normalem Verkehr und bekannten Angriffen trainiert wurden, aber dann auf einen „Zero-Day“-Angriff getestet wurden, den sie noch nie zuvor gesehen hatten. Um es noch schwieriger zu machen, verwendeten sie einen Datensatz, der stark verzerrt war, wobei der normale Verkehr die Angriffe massiv übertraf, genau wie im echten Leben.

Sie testeten fünf verschiedene „Detektive“ (Modelle des maschinellen Lernens):

1. Decision Tree (DT): Ein Modell, das eine Serie von Ja-oder-Nein-Fragen stellt, um eine Entscheidung zu treffen.
2. Logistic Regression (LR): Ein statistisches Modell, das die Wahrscheinlichkeit berechnet, dass etwas ein Angriff ist.
3. Random Forest (RF): Ein Team aus vielen Decision Trees, die über die Antwort abstimmen.
4. XGBoost (XGB): Ein leistungsstarkes Team, das auf seinen Fehlern aufbaut, um klüger zu werden, bekannt dafür, sehr schnell zu sein.
5. MLP (Multilayer Perceptron): Ein Deep-Learning-Modell, das die Schichten von Neuronen im menschlichen Gehirn nachahmt.

Die Magie des Ausgleichens der Waagschalen

Eine der größten Hürden, mit denen die Forscher konfrontiert waren, war das „Problem der Klassenimbalance“. Da es im Vergleich zum normalen Verkehr viel zu wenige Angriffsbeispiele gab, hatten die Modelle Schwierigkeiten zu lernen, wie ein Angriff tatsächlich aussieht. Um dies zu beheben, nutzte das Team eine Technik namens SMOTE (Synthetic Minority Over-sampling Technique).

Stellen Sie sich vor, Sie versuchen einem Kind beizubringen, einen seltenen blauen Vogel zu erkennen, aber Sie haben nur ein einziges Foto von ihm. Das Kind wird wahrscheinlich vergessen, wie er aussieht. SMOTE ist wie ein magischer Fotokopierer, der neue, leicht unterschiedliche Fotos dieses blauen Vogels erstellt, indem er das Originalfoto mit seinen Nachbarn vermischt. Dies gibt dem Kind genug Beispiele, um wirklich zu verstehen, wie der Vogel aussieht, ohne dass es mehr echte Vögel in der Wildnis finden muss. Die Forscher wandten dies auf ihre Daten an und erstellten synthetische Angriffsbeispiele, um den Trainingsdatensatz auszugleichen.

Die Ergebnisse: Wer gewann das Rennen?

Die Ergebnisse waren eine Mischung aus „klügster“ und „schnellster“, und der Gewinner hing davon ab, was man mehr schätzte.

Als die Modelle ohne den Ausgleichstrick (SMOTE) getestet wurden, hatten sie Schwierigkeiten, die seltenen Angriffe zu entdecken. Beispielsweise entdeckte das Random Forest-Modell nur etwa 83,11 % der Angriffe, während das MLP-Modell sogar noch schlechter abschnitt und lediglich 25,35 % der Angriffe erkannte.

Als sie jedoch SMOTE verwendeten, um die Daten auszugleichen, schoss die Leistung in die Höhe.

• Der klügste Detektiv: Das Random Forest (RF)-Modell war der klare Champion in Bezug auf die Genauigkeit. Mit den ausbalancierten Daten gelang es ihm, massive 94,38 % der Zero-Day-Angriffe (Recall) mit einer Genauigkeit von 98,91 % zu fangen. Es war am zuverlässigsten darin, die Bösen nicht zu übersehen.
• Der Sprinter: Aber hier ist der Haken. Random Forest war unglaublich langsam. Es brauchte 1.379,10 Sekunden (über 22 Minuten), um die Testdaten zu verarbeiten. In einem echten Cyberangriff ist das Warten 22 Minuten, um einen Hacker zu stoppen, so, als würde man warten, bis das Feuer das ganze Gebäude niederbrennt, bevor man die Feuerwehr ruft.
• Der beste Allrounder: Hier kommt XGBoost (XGB) ins Spiel. Obwohl es nicht ganz so viele Angriffe wie Random Forest fangen konnte (es fängt 81,40 %), war es blitzschnell. Es erledigte dieselbe Aufgabe in nur 5,08 Sekunden. Es behielt zudem eine hohe Genauigkeit von 98,21 % bei.

Das Urteil

Die Forscher kamen zu dem Schluss, dass, obwohl Random Forest technisch gesehen das genaueste Modell für das Finden dieser unsichtbaren Zero-Day-Angriffe ist, es für Echtzeit-Sicherheitssysteme zu langsam ist. Wenn Sie einen Wächter brauchen, der niemals schläft und keinen Schlag verpasst, aber ewig zum Denken braucht, könnten Sie ein Problem haben.

Stattdessen krönten sie XGBoost zum besten Modell für den praktischen Einsatz. Es bot die beste Balance, indem es „extrem schnell und präzise“ war. Es bewies, dass man nicht immer den absolut perfekten Detektor braucht; man braucht einen, der schnell genug ist, um den Angriff zu stoppen, bevor er Schaden anrichtet.

Die Studie bestätigte auch, dass der „magische Fotokopierer“ (SMOTE) essenziell war. Ohne ihn wären die Modelle blind für die seltenen Angriffe gewesen. Mit ihm verbesserten sich selbst die langsameren Modelle signifikant, obwohl die Geschwindigkeit des Modells der entscheidende Faktor dafür blieb, welches man in der realen Welt verwenden sollte.

Am Ende zeigt diese Forschung, dass es im Wettlauf gegen digitale Kriminelle nicht ausreicht, nur der Klügste zu sein; man muss auch schnell sein. Und manchmal ist der zweitklügste Detektiv, der eine Meile in Sekunden rennen kann, derjenige, der tatsächlich den Tag rettet.