Comparative Analysis of Machine Learning based Intrusion Detection in Realistic IoT Networks

Stellen Sie sich das Internet der Dinge (IoT) als eine riesige, geschäftige Stadt vor, in der alles – von Ihrem smarten Kühlschrank bis hin zu Ihrem selbstfahrenden Auto – miteinander vernetzt ist. Genau wie eine echte Stadt benötigt diese digitale Metropole Sicherheitskräfte, um Diebe und Vandalen aufzuhalten. Diese „Geräte“ sind jedoch oft klein, schwach und verfügen über nur sehr wenig Speicher oder Akkuleistung, was sie zu leichten Zielen für Hacker macht.

Dieses Papier ist wie ein Zeugnis für fünf verschiedene Arten von Sicherheitskräften (Maschinelle Lernalgorithmen), die versuchen, diese digitale Stadt zu schützen. Die Forscher haben nicht einfach nur geraten; sie haben eine realistische Simulation namens Gotham2025 Testbed gebaut. Denken Sie an diesen Teststand als einen riesigen, hochtechnologischen Trainingsplatz mit 78 verschiedenen Arten von „Robotern“ (IoT-Geräten), die miteinander kommunizieren und dabei verschiedene Sprachen (Protokolle wie MQTT und CoAP) verwenden. Sie ließen diese Roboter in einer kontrollierten Umgebung von Hackern angreifen, um einen massiven Datensatz zu erstellen, der zeigt, wie „normales“ Verhalten im Gegensatz zu „schlechtem“ Verhalten aussieht.

Hier ist die Leistungsbilanz dieser fünf Sicherheitskräfte in dieser Trainingsübung:

Die Kontrahenten (Die Algorithmen)

1. Random Forest (Der erfahrene Detektiv):
   Stellen Sie sich ein Team von 100 Detektiven vor, die zusammenarbeiten. Anstatt dass eine einzelne Person eine Entscheidung trifft, betrachten alle die Beweise, stimmen ab und entscheiden sich für die Mehrheitsmeinung. Dieser Ansatz wird „Bagging“ genannt.

   • Das Ergebnis: Dies war der Champion. Er hatte fast zu 100 % recht. Er war so gut darin, die Bösewichte (Angriffe) zu entdecken, dass er kaum Fehler machte, selbst wenn die Bösewichte versuchten, sich in einer Menge von Guten zu verstecken. Er erreichte einen „F1-Score“ (ein Maß für die Gesamtgenauigkeit) von 0,99.

2. XGBoost (Der Serien-Lerner):
   Stellen Sie sich dies als einen Schüler vor, der lernt, indem er einen Fehler macht, ihn korrigiert und dann immer wieder aus dieser Korrektur lernt. Er ist sehr intelligent und schnell.

   • Das Ergebnis: Er belegte den zweiten Platz. Er war exzellent und erreichte einen Wert von 0,97, aber er machte etwas mehr Fehler als der erfahrene Detektiv, insbesondere beim Versuch, spezifische Arten von Scanning-Angriffen zu entdecken.

3. Deep Neural Network (Das komplexe Gehirn):
   Dies ist wie ein superkomplexes menschliches Gehirn mit vielen Schichten von Neuronen. Es ist großartig darin, Muster zu finden, kann aber schwerfällig und langsam sein.

   • Das Ergebnis: Es schnitt gut ab und erreichte 0,91. Es war sehr gut darin, die häufigsten Angriffe (wie Denial of Service) zu entdecken, hatte aber etwas mehr Mühe mit den selteneren, trickreicheren Angriffen.

4. Logistic Regression (Der einfache Taschenrechner):
   Stellen Sie sich einen Wachmann vor, der eine einfache mathematische Formel verwendet, um zu entscheiden, ob etwas verdächtig ist. Er ist schnell und leicht zu verstehen.

   • Das Ergebnis: Er hatte Schwierigkeiten. Während er die „großen“ Angriffe richtig erkannte, wurde er von den kleineren, weniger häufigen Angriffen verwirrt. Er erreichte einen Wert von 0,72. Er war wie ein Wachmann, der nur weiß, wie man einen Lastwagen stoppt, aber einen heimlichen Dieb auf einem Fahrrad übersieht.

5. Naive Bayes (Das Ratespiel):
   Dieser Wachmann geht davon aus, dass jedes Indiz unabhängig von den anderen ist. Es ist, als würde man das Wetter basierend auf einer einzigen Wolke vorhersagen, ohne Wind oder Temperatur zu berücksichtigen.

   • Das Ergebnis: Dies war der schlechteste Performer. Er erfasste nur etwa 56 % des Verkehrs korrekt. Er war so verwirrt, dass er oft einen massiven Angriff mit normalem Verkehr oder umgekehrt verwechselte. Sein Wert lag bei einem niedrigen 0,43.

Die große Herausforderung: Das „Überfülltes Zimmer“-Problem

Die Forscher sahen sich mit einer kniffligen Situation konfrontiert: Der Datensatz war unausgewogen (unbalanced). Stellen Sie sich einen Raum mit 10.000 Menschen vor, in dem 9.900 unschuldige Bürger und nur 100 Kriminelle sind. Wenn ein Sicherheitswachmann einfach nur ruft: „Alle sind unschuldig!“, hätte er zu 99 % recht, aber er würde jeden einzelnen Kriminellen übersehen.

Das Papier hebt hervor, dass die Genauigkeit (Accuracy) allein ein schlechter Weg ist, um diese Wachleute in diesem Szenario zu beurteilen. Man muss den F1-Score betrachten, der das Erraten der Bösen (Recall) mit dem Nicht-fälschlichen-Beschuldigen der Guten (Precision) abwägt. Der Random Forest-Wächter war der einzige, der es schaffte, fast alle Kriminellen zu fangen, ohne von der Menge verwirrt zu werden.

Der Haken: Geschwindigkeit vs. Gehirnschmalz

Das Papier weist auch auf ein großes reales Problem hin. Der beste Wächter (Random Forest) ist intelligent, benötigt aber viel Gehirnschmalz (Rechenleistung).

• Das Problem: Die meisten IoT-Geräte (wie ein smarter Thermostat oder ein Sensor) sind wie winzige Hamster mit sehr wenig Energie. Sie können die schwere, komplexe Sicherheitssoftware, die die besten Modelle benötigen, nicht ausführen.
• Der Kompromm: Die Forscher versuchten, ein Modell namens SVM (Support Vector Machine) laufen zu lassen, aber es war so schwerfällig, dass es ihre Computer überhitzte und Tage dauerte, um fertig zu werden. Es war, als würde man versuchen, einen Marathon zu laufen, während man ein Klavier trägt.
• Das Fazit: Während der „Einfache Taschenrechner“ (Logistic Regression) und das „Ratespiel“ (Naive Bayes) schnell und leicht genug sind, um von einem Hamster getragen zu werden, sind sie zu dumm, um die Bösewichte effektiv zu fangen. Das Papier kommt zu dem Schluss, dass wir einen Mittelweg finden müssen: einen Wächter, der klug genug ist, um die Diebe zu fangen, aber leicht genug, um in ein kleines Gerät zu passen.

Zusammenfassung

Das Papier testete fünf Sicherheitswächter auf einem realistischen, modernen IoT-Trainingsgelände. Der Random Forest-Algorithmus war der klare Gewinner und agierte wie ein hocheffektives Team von Detektiven, das fast jeden Angriff entdeckte. Das Papier warnt jedoch, dass die besten Algorithmen oft zu schwerfällig für die winzigen, schwachen Geräte sind, die sie eigentlich schützen sollen. Die zukünftige Herausforderung besteht nicht nur darin, den klügsten Wächter zu finden, sondern einen zu finden, der sowohl klug als auch leicht genug ist, um getragen zu werden.