🤖 machine learning

Categorical Robustness Assessment for Machine Learning based Network Intrusion Detection Systems

Diese Arbeit bewertet die adversarielle Robustheit von CNN-, LSTM- und Random-Forest-Klassifikatoren auf dem ACI-IoT-2023-Datensatz und zeigt auf, dass Random Forest zwar eine überlegene Baseline-Genauigkeit erreicht, unter minimalen Perturbationen jedoch zusammenbricht, während CNNs eine signifikant größere Resilienz und einen graduellen Leistungsabfall aufweisen, was zu einer Empfehlung für CNN-basierte Architekturen in adversariellen Netzwerk-Intrusionserkennungsumgebungen führt.

Ursprüngliche Autoren: Mayank Raj, Nathaniel D. Bastian, Lance Fiondella, Gokhan Kul

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mayank Raj, Nathaniel D. Bastian, Lance Fiondella, Gokhan Kul

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Sicherheitswachmann ein, um einen belebten Flughafen zu bewachen. Sie haben drei Kandidaten:

Der „perfekte“ Punktezähler (Random Forest): Dieser Wachmann hat eine perfekte Bilanz in der Ausbildung. Er erkennt einen gefälschten Ausweis oder eine verdächtige Tasche zu 99,98 % der Fälle. Er scheint die offensichtliche Wahl zu sein.
Der „glatte Redner“ (CNN): Dieser Wachmann ist ebenfalls sehr gut und erreichte in der Ausbildung etwa 99 %. Er ist dafür bekannt, anpassungsfähig zu sein und das „große Ganze“ zu sehen.
Der „Gedächtnis“-Wachmann (LSTM): Dieser Wachmann ist ebenfalls exzellent und erzielte in der Ausbildung etwa 99,3 %. Er ist gut darin, Abfolgen von Ereignissen zu behalten.

Das Paper stellt eine einfache Frage: Was passiert, wenn ein cleverer Dieb versucht, diese Wachmänner auszutricksen?

Die Forscher haben die Wachmänner nicht nur nach normalen Taschen gefragt; sie gaben ihnen „Zaubertricks“ (genannt Adversarial Attacks). Dies sind winzige, fast unsichtbare Veränderungen der Daten – wie ein Dieb, der einen Hut trägt, der für das Auge normal aussieht, aber das Gehirn des Wachmanns verwirrt.

Hier ist das, was geschah, als die „Diebe“ auftauchten:

1. Der „perfekte“ Wachmann brach zusammen

Der Punktezähler (Random Forest) war der Schockmoment. Obwohl er den höchsten Wert in der Ausbildung hatte, brach seine Leistung in dem Moment zusammen, als ein winziger Trick angewendet wurde (eine sehr kleine Änderung der Daten).

Die Analogie: Stellen Sie sich ein Haus vor, das aus einer starren, blockartigen Wand gebaut ist. Wenn man es nur ein winziges Stück an der genau richtigen Stelle drückt, stürzt das Ganze ein. Die Entscheidungsfindung des Punktezählers ist wie diese starre Wand. Ein kleiner Stoß lässt ihn glauben, dass eine „benigne“ (harmlose) Tasche eine „Bombe“ ist, oder umgekehrt. Seine Genauigkeit sank von 99,98 % auf nur noch 26,8 % mit dem kleinsten Trick.
Die Lektion: Nur weil jemand eine perfekte Testleistung erbracht hat, bedeutet das nicht, dass er mit einem echten Trick umgehen kann.

2. Der „glatte Redner“ hielt stand

Das CNN (Convolutional Neural Network) war der Held der Geschichte. Als dieselben winzigen Tricks angewendet wurden, verlor es nur ein wenig an Genauigkeit.

Die Analogie: Stellen Sie sich vor, der CNN-Wachmann ist wie ein flexibles Gummiblatt. Wenn man es ansticht, biegt und wackelt es, aber es bricht nicht. Es absorbiert die kleinen Veränderungen und erledigt weiterhin seinen Job. Selbst als die Tricks größer und aggressiver wurden, nahm die Genauigkeit des CNN-Wachmanns langsam und kontrolliert ab, anstatt sofort in sich zusammenzufallen.
Das Ergebnis: Das CNN behielt eine Genauigkeit von 95,5 % bei kleinen Tricks, während der Punktezähler sofort versagte.

3. Der „Gedächtnis“-Wachmann lag in der Mitte

Der LSTM-Wachmann machte einen ordentlichen Job. Er war flexibler als der starre Punktezähler, aber nicht ganz so beständig wie das CNN. Er hielt besser stand als der Punktezähler, kämpfte aber schließlich mit den Tricks, wenn diese sehr stark wurden.

Die große Überraschungsbotschaft: Das „False Champion“-Problem

Das Paper führt ein Konzept namens „False Champion Problem“ (Das Problem des falschen Champions) ein.
Früher galt: Wenn man das beste Sicherheitssystem wollte, wählte man dasjenin mit der höchsten Genauigkeitsrate. Dieses Paper sagt: Das ist gefährlich.

Der „Champion“ (Random Forest) sah aufgrund seines hohen Scores wie die beste Wahl aus.
Aber in einem echten Kampf gegen einen cleveren Angreifer war er der schwächste.
Der „Runner-up“ (CNN) war tatsächlich der stärkere Kämpfer.

Warum einige Wachmänner bei spezifischen Aufgaben scheiterten

Die Forscher untersuchten auch spezifische Arten von „Dieben“ (Angriffstypen):

Die seltenen Diebe: Einige Angriffe, wie zum Beispiel „ARP Spoofing“, waren so selten in den Trainingsdaten, dass keiner der Wachmänner sie von vornherein gut erkennen konnte. Es ist, als würde man versuchen, einem Wachmann beizubringen, ein Einhorn zu erkennen, obwohl man ihm nur Pferde gezeigt hat.
Die häufigen Diebe: Angriffe wie „Port Scans“ waren sehr häufig. Die Wachmänner waren großartig darin, diese zu entdecken, bis die „Zaubertricks“ angewendet wurden.
Die „Reconnaissance“-Diebe (Aufklärungsdiebe): Das sind die Spione, die vor einem Angriff erst einmal die Lage sondieren. Das Paper fand heraus, dass alle Wachmänner erheblich Schwierigkeiten hatten, wenn diese spezifischen Spione mit Tricks getarnt wurden.

Das endgültige Urteil für Sicherheitsteams

Wenn Sie ein Sicherheitssystem für die reale Welt bauen (wie zum Beispiel zum Schutz von IoT-Geräten), gibt das Paper diesen Rat:

Schauen Sie nicht nur auf die Testergebnisse. Ein hoher Score kann eine Lüge sein, wenn das System instabil (brittle) ist.
Wählen Sie das „Gummiblatt“ (CNN). Auch wenn es in einer perfekten Welt vielleicht einen etwas niedrigeren Score hat, ist es viel schwerer zu täuschen. Es hält dem Druck besser stand und bricht nicht sofort zusammen.
Seien Sie vorsichtig bei seltenen Angriffen. Wenn eine Angriffsart sehr selten ist, wird keine Menge an Training das System perfekt darin machen können, sie zu entdecken – besonders wenn ein Dieb versucht, sich zu tarnen.

Kurz gesagt: Das Paper beweist, dass in der Welt der Computersicherheit Flexibilität wichtiger ist als ein perfekter Score. Das Modell, das auf dem Papier perfekt aussieht, könnte das erste sein, das zerbricht, wenn der echte Ernstfall eintritt.

Technisches Resümee: Bewertung der kategorialen Robustheit für auf maschinellem Lernen basierende Netzwerk-Intrusion-Detection-Systeme

Problemstellung

Auf maschinellem Lernen (ML) basierende Netzwerk-Intrusion-Detection-Systeme (NIDS) haben auf Benchmark-Datensätzen nahezu perfekte Klassifizierungsgenauigkeiten erreicht, bergen jedoch eine kritische Schwachstelle: katastrophales Versagen unter adversariellen Perturbationen. Während vorangegangene Arbeiten etabliert haben, dass ML-Modelle durch sorgfältig gestaltete Perturbationen von Netzwerkverkehr manipuliert werden können, mangelt es an einem systematischen, architekturbasierten Vergleich unter kontrollierten Bedingungen. Insbesondere bleibt der Zusammenhang zwischen der Baseline-Genauigkeit und der adversariellen Robustheit unzureichend verstanden, was Praktiker ohne klare Anleitung zurücklässt, welche Modelle in umkämpften Umgebungen einzusetzen sind. Dieses Paper führt das „False Champion Problem“ ein, bei dem Modelle mit der höchsten Baseline-Genauigkeit unter adversariellen Angriffen am stärksten degradieren können, was konventionelle Evaluierungsparadigmen für sicherheitskritische Anwendungen irreführend macht.

Methodik

Die Studie verwendet ein multidimensionales Framework zur Bewertung der adversariellen Robustheit, um drei grundlegend verschiedene ML-Architekturen zu untersuchen:

Convolutional Neural Network (CNN): Eine tiefe, vollvernetzte Architektur mit konvolutionaler Regularisierung (Batch-Normalisierung, Dropout).
Long Short-Term Memory (LSTM) Network: Ein sequenzielles Modell, das Netzwerkflüsse als Single-Timestep-Sequenzen behandelt, um Gating-Mechanismen zur Merkmalsinteraktion zu nutzen.
Random Forest (RF): Ein gradientenfreies Ensemble aus Entscheidungsbäumen, das eine achsenparallele rekursive Merkmalspartitionierung nutzt.

Datensatz:
Die Evaluierung nutzt den ACI-IoT-2023-Datensatz, bestehend aus über 1,23 Millionen gelabelten Netzwerkfluss-Proben über 12 Angriffsklassen (gruppiert in 5 Kategorien: Benign, Reconnaissance, DoS, Brute Force, Spoofing). Der Datensatz spiegelt die reale Klassenimbalance wider, wobei Port Scan 35,8 % der Proben ausmacht und ARP Spoofing weniger als 0,01 % repräsentiert.

Angriffsmodelle:

White-Box-Angriffe: Fast Gradient Sign Method (FGSM) und Projected Gradient Descent (PGD) wurden auf die differenzierbaren neuronalen Netze (CNN, LSTM) mit Perturbationsbudgets ( $\epsilon$ ) von 0,01, 0,05 und 0,1 angewendet.
Transfer-Angriffe: Gegen das CNN generierte adversarielle Beispiele wurden verwendet, um den nicht-differenzierbaren Random Forest anzugreifen, was ein Gray-Box-Szenario simuliert.
Zusätzliche Bewertungen: Das Framework umfasst die Berechnung des CLEVER-Scores (zertifizierte Robustheit), die Analyse der Perturbierbarkeit, die Analyse von Verteilungsverschiebungen (Covariate Shift und Label Shift) sowie die Rekonstruktion mittels Diffusion zur Prüfung der Generalisierung.

Zentrale Beiträge

Definition und Validierung des „False Champion Problems“: Das Paper definiert und validiert empirisch die inverse Beziehung zwischen Baseline-Genauigkeit und adversarieller Robustheit in NIDS. Es zeigt auf, dass eine hohe Genauigkeit bei sauberen Daten kein zuverlässiger Indikator für die Sicherheitsresilienz ist.
Architektonische Analyse der Robustheit: Die Studie verknüpft spezifische architektonische Eigenschaften mit Robustheitsergebnissen. Sie identifiziert, dass die achsenparallelen, schwellenwertbasierten Entscheidungsgrenzen von baumbasierten Ensembles (RF) diskontinuierliche Oberflächen erzeugen, die leicht durch minimale Perturbationen ausnutzt werden können. Im Gegensatz dazu lernen neuronale Architekturen (CNN, LSTM) distribuierte, kontinuierliche Repräsentationen mit glatteren Entscheidungsgrenzen, was eine inhärente Regularisierung und größere Robustheit verleiht.
Kategoriale Schwachstellen-Kartierung: Die Forschung zeigt, dass die adversarielle Vulnerabilität nicht gleichmäßig verteilt ist; sie variiert stark zwischen den Angriffskategorien. Reconnaissance-Angriffe (z. B. Ping Sweep, OS Scan) weisen eine universelle Vulnerabilität über alle Architekturen hinweg auf, während Brute-Force-Angriffe relativ stabil bleiben.
Umfassendes Evaluierungsframework: Die Autoren führen ein multidimensionales Bewertungsprotokoll ein, das gradientenbasierte Angriffe, zertifizierte Metriken (CLEVER), Perturbierbarkeits-Scoring und Verteilungsverschiebung-Analysen integriert und damit einen neuen Standard für die Evaluierung sicherheitskritischer ML-Systeme etabliert.

Experimentelle Ergebnisse

Baseline-Performance: Random Forest erreichte die höchste Baseline-Genauigkeit (99,98 %), gefolgt von LSTM (99,36 %) und CNN (99,06 %).
Adversarielle Degradation:
- Random Forest: Erlitt einen katastrophalen Kollaps. Unter der minimalen FGSM-Perturbation ( $\epsilon = 0,01$ ) sank die Genauigkeit um 73 Prozentpunkte (von 99,98 % auf 26,8 %), und der F1-Score sank um 88 %. Die Performance blieb bei steigender Perturbation flach, was auf brüchige Entscheidungsgrenzen hindeutet.
- CNN: Zeigte eine graduelle Degradation. Bei $\epsilon = 0,01$ behielt es 95,5 % Genauigkeit bei. Selbst bei $\epsilon = 0,1$ (PGD) hielt es 28,7 % Genauigkeit und übertraf damit die Stabilität des RF signifikant.
- LSTM: Performte intermediär, behielt 85,0 % Genauigkeit bei $\epsilon = 0,01$ (FGSM) bei, degradierte aber unter höheren Perturbationen stärker als das CNN.
Klassenspezifische Erkenntnisse: Minderheitenklassen (z. B. ARP Spoofing, UDP Flood) waren bereits bei der Baseline aufgrund von Datenknappheit schwach und wurden unter Angriff völlig unentdeckbar. Reconnaissance-Angriffe zeigten die niedrigsten CLEVER-Scores (< 1,5), was auf eine hohe Vulnerabilität hindeutet, während Brute-Force-Klassen eine höhere Robustheit aufwiesen.
Transferierbarkeit: Gegen das CNN generierte adversarielle Beispiele transferierten erfolgreich auf den Random Forest, was bestätigt, dass die paradi-gmenübergreifende Transferierbarkeit ein signifikantes Risiko darstellt.

Bedeutung und Ansprüche

Das Paper behauptet, dass die konventionelle Weisheit, NIDS-Modelle allein basierend auf der Baseline-Genauigkeit auszuwählen, in adversariellen Umgebungen grundlegend falsch ist. Die primäre Bedeutung dieser Arbeit liegt in der Verschiebung des Fokus von der „Maximierung der Genauigkeit“ hin zur „robustheitsbewussten Architekturwahl“.

Die Autoren kommen zu dem Schluss, dass CNN-basierte Architekturen aufgrund ihrer glatten, kontinuierlichen Entscheidungsoberflächen und ihrer vorhersehbaren, proportionalen Degradation unter Angriff am besten für den produktiven Einsatz von NIDS in adversariellen Bedrohungsumgebungen geeignet sind. Sie raten davon ab, Random Forests in solchen Settings einzusetzen, trotz deren überlegener Leistung bei sauberen Daten, da deren schwellenwertbasierte Entscheidungsgrenzen sie katastrophal anfällig für minimale Perturbationen machen. Die Studie bietet szenariospezifische Deployment-Leitlinien und legt nahe, CNNs für die Früherkennung und den Produktionseinsatz zu verwenden, weist jedoch darauf hin, dass die Erkennung von Reconnaissance-Angriffen zusätzliche Härtung (z. B. adversarielles Training) erfordert, unabhängig von der gewählten Architektur.