Robust Unsupervised Network Intrusion Detection via Federated Learning with Selective Aggregation under Anomalous Sample Contamination

Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der Milliarden winziger Geräte – intelligente Kühlschränke, Überwachungskameras und Fabriksensoren – jede Sekunde miteinander chatten. Dies ist das Internet der Dinge (IoT). Während diese Konnektivität das Leben erleichtert, macht sie jedes Gerät auch zu einer potenziellen Eingangstür für digitale Einbrecher. Um die Stadt sicher zu halten, scannen Sicherheitswächter namens Network Intrusion Detection Systems (NIDS) ständig den Datenverkehr nach verdächtigem Verhalten. Traditionell lernen diese Wächter, was „normal“ ist, indem sie eine Bibliothek mit beschrifteten Beispielen studieren, wie eine Polizeiakademie mit einer Akte über jeden bekannten Kriminellen. Aber in der realen Welt erscheinen neue Arten von Malware schneller, als man sie beschriften kann, und nach einer perfekten, sauberen Liste von „gutem“ Datenverkehr zu fragen, ist so, als würde man nach einer Bibliothek ohne Tippfehler fragen.

Hier kommt das „unüberwachte Lernen“ ins Spiel. Anstatt einen Lehrer zu brauchen, der auf die Bösewichte zeigt, versuchen diese Systeme, die Form des normalen Verhaltens von selbst zu erlernen und alles zu melden, was merkwürdig aussieht. Es gibt jedoch einen Haken: Was ist, wenn die Bibliothek selbst bereits kontaminiert ist? Was, wenn der „normale“ Datenverkehr, den das System studiert, heimlich einige infizierte Geräte enthält? Wenn das System aus diesen schmutzigen Daten lernt, könnte es anfangen zu denken, dass die Malware tatsächlich normal ist, wodurch die Stadt weit offen steht. Das Papier, das Sie gleich lesen werden, befasst sich genau mit diesem Problem: Wie man einen Sicherheitswächter baut, der auch dann scharf bleibt, wenn die Trainingsdaten heimlich von einigen wenigen böswilligen Akteuren vergiftet wurden, indem man einen cleveren Trick nutzt, der auf Teamarbeit und ein wenig mathematischer Detektivarbeit basiert.

---

Der vergiftete Brunnen und die Teamwork-Lösung

In der Welt der Cybersicherheit stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Falschmünze zu erkennen. Sie geben ihm einen Eimer voller Münzen zum Studieren, in der Hoffnung, dass sie alle echt sind. Aber ohne Ihr Wissen sind ein paar schlechte Münzen hineingeschlüpft. Wenn der Roboter zu viele dieser Fälschungen studiert, könnte er anfangen zu denken: „Oh, diese seltsame Form ist eigentlich normal!“ und später echte Fälschungen nicht mehr erkennen. Dies ist das Problem der „anomalen Stichprobenkontamination“. In der realen Welt, wenn wir Netzwerkverkehr von tausenden IoT-Geräten sammeln, um unser Sicherheits-KI zu trainieren, könnten einige dieser Geräte bereits infiziert sein. Wir können nicht leicht sagen, welche das sind, sodass die „sauberen“ Trainingsdaten, von denen wir glauben, sie zu haben, in Wirklichkeit eine Mischung aus Gut und Böse sind.

Die Autoren dieses Papiers, Shohei Kamiguchi und Takayuki Nishio, schlagen eine Lösung namens FLANDRE (Federated Learning-assisted Anomalous Node Detection & REmoval) vor. Ihre große Idee ist es, nicht mehr zu versuchen, alle Daten in einen einzigen riesigen Eimer zu mischen, sondern stattdiet Geräte ihre eigenen kleinen Modelle lokal trainieren zu lassen und dann nur ihre „gelernten Lektionen“ (mathematische Updates) mit einem zentralen Server zu teilen. Dieser Ansatz wird Federated Learning genannt.

Normalerweise denken die Leute, dass Federated Learning nur etwas über Privatsphäre ist – also darüber, Daten von einem zentralen Server fernzuhalten. Aber die Autoren fanden eine geheime Superkraft darin. Sie erkannten, dass in einem Team von 100 Geräten, wenn nur wenige (sagen wir 10 %) infiziert sind, die „schlechten“ Daten eine winzige Minderheit darstellen. Beim Standard-Federated-Learning mittelt der zentrale Server die Updates aller Teilnehmer. Da die infizierten Geräte so wenige sind, werden ihre seltsamen, „vergifteten“ Lektionen von den hunderten „guten“ Geräten übertönt. Es ist, als würde man versuchen, den Geschmack eines riesigen Topfs Suppe zu ändern, indem man einen einzigen Tropfen scharfe Sauce hinzufügt; die Suppe bleibt größtenteils mild. Die Autoren entschieden sich dafür, diese Schwäche des „Ignoriertwerdens der Minderheit“ als Stärke zu nutzen.

Das Detektivspiel: Die schlechten Äpfel finden

Das Mitteln der Updates allein reicht jedoch nicht aus, wenn die bösen Geräte sehr laut sind oder die Kontamination hoch ist. Deshalb fügt FLANDRE eine zweite Verteidigungsebene hinzu: einen Mechanismus zur Selektiven Aggregation. Stellen Sie sich den zentralen Server als einen Detektiv vor, der eine Karte hält, auf der steht, wo jeder steht.

So arbeitet der Detektiv:

1. Das Aufwärmen: Zuer Sie lässt der Server erst einmal alle für eine Weile trainieren.
2. Der Distanzcheck: Der Server schaut sich an, wie stark sich das neue Modell eines Geräts im Vergleich zum „Durchschnittsmodell“ der Gruppe verändert hat.
3. Das Clustering: Unter Verwendung eines mathematischen Werkzeugs namens Expectation-Maximization (EM)-Algorithmus gruppiert der Server die Geräte in zwei Cluster basierend darauf, wie weit ihre Modelle vom Zentrum entfernt sind.
   • Cluster A: Die „Guten“. Ihre Modelle liegen nah am Durchschnitt, weil sie alle aus normalem Verkehr lernen.
   • Cluster B: Die „Bösen“. Ihre Modelle sind weit weg abgedriftet, weil sie versuchen, aus infiziertem, seltsamem Daten zu lernen.
4. Der Schnitt: Der Server ignoriert die „Bösen“ (Cluster B) einfach und verwendet nur die Updates der „Guten“, um das globale Hauptmodell zu aktualisieren.

Es ist wie ein Lehrer, der bemerkt, dass einige Schüler versuchen, eine Matheaufgabe mit einer völlig anderen (und falschen) Methode zu lösen. Anstatt diese wenigen Schüler die ganze Klasse verwirren zu lassen, bittet der Lehrer sie leise, sich aus der Gruppendiskussion zurückzuziehen, um sicherzustellen, dass die endgültige Antwort nur auf der korrekten Logik basiert.

Was sie im Labor fanden

Die Autoren testeten diese Idee an drei berühmten Cybersicherheits-Datensätzen: ToN IoT, CSE-CIC-IDS2018 und NF-UQ-NIDS-v2. Sie simulierten ein Szenario, in dem 10 % bis 40 % der gesamten Trainingsdaten tatsächlich bösartig waren, versteckt innerhalb der Datensätze einiger kompromittierter Geräte.

Die Ergebnisse waren beeindruckend. Als sie FLANDRE mit anderen Methoden verglichen:

• Standardmäßiges zentralisiertes Training: Als sie alle Daten zusammenmischten (selbst die schlechten Teile) und ein großes Modell trainierten, sank die Leistung erheblich. Beispielsweise sank beim IDS2018-Datensatz der F1-Score (ein Maß für die Genauigkeit) auf 0,590.
• State-of-the-Art-Wettbewerber: Sie testeten gegen eine erstklassige Methode namens LOE-S, die versucht, gute und schlechte Daten mathematisch zu trennen. LOE-S erreichte auf demselben Datensatz 0,586, was kaum besser als der Standardansatz war.
• FLANDRE: Ihre neue Methode erreichte 0,823 auf IDS2018, 0,969 auf ToN IoT und 0,838 auf NF-UQ-NIDS.

Entscheidend ist, dass die Werte von FLANDRE fast identisch mit dem „idealen“ Szenario waren – einer perfekten Welt, in der die Trainingsdaten von vornherein zu 100 % sauber waren. Auf dem ToN IoT-Datensatz lag FLANDRE nur 0,004 Punkte vom Idealscore entfernt, während die anderen Methoden weit zurücklagen. Dies deutet darauf hin, dass FLANDRE durch das Filtern der verdächtigen Clients den Trainingsprozess im Wesentlichen „entgiften“ kann.

Sie testeten auch, wie das System mit verschiedenen Infektionsstufen umgeht. Selbst wenn der Anteil der schlechten Daten im Netzwerk zunahm, blieb FLANDRE stabil. Interessanterweise stellten sie fest, dass das System immer noch gut funktionierte, wenn die infizierten Geräte einen sehr hohen Anteil an schlechten Daten hatten (wie 80 % ihrer lokalen Dateien Malware waren), aber wenn die Infektion sehr subtil war, hatte eine spezifische Variante ihres Verfahrens (genannt FLANDRE-R, die eine andere Messung verwendet) etwas mehr Mühe. Das Hauptverfahren FLANDRE blieb jedoch über alle Bereiche hinweg robust.

Das Fazit

Dieses Papier behauptet nicht, jedes Cybersicherheitsproblem gelöst zu haben, aber es bietet einen cleveren, praktischen Weg, um mit einem sehr realen Problem umzugehen: das Training von KI auf Daten, die heimlich korrumpiert sein könnten. Indem sie Federated Learning nicht nur für die Privatsphäre, sondern auch nutzen, um den Einfluss einiger weniger böswilliger Akteure natürlich zu unterdrücken, und indem sie dann einen „Detektiv“-Schritt hinzufügen, um Ausreißer herauszukicken, haben die Autoren ein System geschaffen, das lernt, was „normal“ wirklich ist, selbst wenn das Klassenzimmer voller Trickbetrüger ist.

In ihren Simulationen bewies FLANDRE, dass man nicht genau wissen muss, welche Geräte infiziert sind, um das Netzwerk zu schützen. Man muss nur die Mehrheit abstimmen lassen und dann den Mut haben, die laute Minderheit zu ignorieren. Es ist eine Erinnerung daran, dass manchmal der beste Weg, die Wahrheit zu finden, darin besteht, aufzuhören, den Menschen zuzuhören, die versuchen, einen zu verwirren.