Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

Technische Zusammenfassung: Federated Learning in der Praxis: Eine vergleichende Studie für Cybersicherheit unter Non-IID- und unbalancierten Bedingungen

Problemstellung
Maschinelles Lernen (ML) hat ein erhebliches Potenzial für die Netzwerkverkehrsanalyse und Intrusion Detection gezeigt. Seine Wirksamkeit wird jedoch oft durch die Notwendigkeit repräsentativer, aktueller Datensätze eingeschränkt, deren Aggregation aufgrund von Datenschutzbestimmungen und Beschränkungen beim Datenaustausch schwierig ist. Federated Learning (FL) bietet eine Lösung, indem es das kollaborative Modelltraining ermöglicht, während sensible Daten lokal verbleiben. Trotz dieses Versprechens weist der kanonische FL-Algorithmus, Federated Averaging (FedAvg), eine schlechte Konvergenz und Leistung in heterogenen Umgebungen auf, die durch nicht-unabhängige und nicht-identisch verteilte (non-i.i.d.) Daten sowie unbalancierte Datensatzgrößen gekennzeichnet sind. Diese Bedingungen sind in der Cybersicherheit weit verbreitet, wo verschiedene Clients (z. B. Netzwerkknoten) unterschiedliche Angriffsmuster und variierende Verkehrsaufkommen erleben. Die bestehende Literatur lässt oft eine umfassende Evaluierung alternativer FL-Algorithmen speziell im Kontext von Netzwerk-Intrusion-Detection-Systemen (NIDS) unter solchen „pathologischen“ Szenarien vermissen.

Methodik
Diese Studie präsentiert eine systematische vergleichende Evaluierung von sieben FL-Algorithmen, die auf die Erkennung von Distributed-Denial-of-Service-Angriffen (DDoS) im Bereich der Netzwerk-Intrusion-Detection angewendet werden. Die Evaluierung erfolgt unter einer schweren Non-IID- und unbalancierten Einstellung, die als „pathologisches“ Szenario beschrieben wird. In diesem Setup:

• Datenverteilung: Es werden 15 Clients verwendet, wobei jeder Client einen Datensatz besitzt, der aus benignem Verkehr und genau einem spezifischen Typ eines DDoS-Angriffs besteht.
• Imbalance: Das Datenvolumen über die Clients hinweg variiert um mehr als vier Größenordnungen. Während die individuellen Client-Datensätze lokal zwischen benignen und bösartigen Stichproben ausgewogen sind, ist die Föderation als Ganzes hinsichtlich der Datensatzgröße und der Repräsentation der Angriffsarten hochgradig unbalanciert.
• Evaluierte Algorithmen: Die Studie vergleicht den Baseline-Algorithmus FedAvg mit sechs fortgeschrittenen Methoden:
  • Allgemeiner Zweck: FedProx (Regularisierung), SCAFFOLD (Kontrollvariaten) und FedALA (adaptive lokale Aggregation).
  • Cybersicherheitsspezifisch: DAFL (disparitätsbewusst), FedSBS (gierige Client-Selektion) und FLAD (adaptiver Ansatz zu DDoS).
• Experimentelles Setup: Die Experimente nutzen aktuelle Benchmark-Datensätze (CIC-IDS2017, CIC-IDS2018 und CIC-DDoS2019), die 15 verschiedene DDoS-Angriffstypen abdecken. Das globale Modell ist ein Multi-Layer Perceptron (MLP), das unter Verwendung des Flower-Frameworks auf reinen CPU-Ressourcen trainiert wird, um leichte Hardware-Beschränkungen widerzuspiegeln.
• Metriken: Die Leistung wird basierend auf der Erkennungsgenauigkeit (F1-Score), der Trainingsdauer, dem Kommunikationsaufwand und den Client-Selektionsmustern bewertet. Zehn unabhängige Durchläufe mit unterschiedlichen Random Seeds gewährleisten die Zuverlässigkeit der Ergebnisse.

Wesentliche Beiträge

1. Adaption und Review: Die Autoren prüfen und adaptieren modernste FL-Algorithmen, einschließlich jener, die ursprünglich für Computer Vision entwickelt wurden, an die spezifischen Anforderungen von NIDS für die DDoS-Erkennung.
2. Mehrdimensionale Evaluierung: Im Gegensatz zu Studien, die sich rein auf die endgültige Genauigkeit konzentrieren, bietet diese Arbeit einen umfassenden Vergleich über die Erkennungsleistung, die Modell-Generalisierung, die Trainingszeit und den Kommunikationsaufwand hinweg.
3. Analyse unter pathologischen Bedingungen: Die Studie untersucht das algorithmische Verhalten unter extremer Heterogenität, bei der jeder Client ein einzigartiges Angriffsprofil beobachtet, und hebt die Stärken und Grenzen verschiedener Strategien zur Client-Selektion, Aggregation und zum lokalen Training hervor.
4. Reproduzierbarkeit: Eine Open-Source-Implementierung der evaluierten Algorithmen und des experimentellen Setups (einschließlich der Datensatzkonfiguration) wird bereitgestellt, um die Reproduzierbarkeit zu ermöglichen.

Ergebnisse
Die vergleichende Analyse liefert mehrere kritische Erkenntnisse:

• Genauigkeit und Generalisierung: Die meisten Algorithmen haben Schwierigkeiten, effektiv über alle Angriffstypen hinweg zu generalisieren, insbesondere bei WebDDoS-, LDAP- und LOIC-Angriffen, die unterrepräsentiert sind oder distinkte Merkmalsverteilungen aufweisen. FedAvg, FedProx, SCAFFOLD und FedSBS erreichen für diese spezifischen Angriffe im Allgemeinen F1-Scores unter 0,8. FedALA schneidet bei TCP-basierten Angriffen schlecht ab. Im Gegensatz dazu zeigt FLAD eine überlegene Robustheit und erreicht hohe F1-Scores (Mittelwert 0,97) über alle Angriffstypen hinweg, indem es das Training basierend auf der Client-Leistung dynamisch anpasst.
• Trainingszeit und Effizienz:
  • DAFL verursacht die längste Trainingsdauer, da es erfordert, dass alle 15 Clients in jeder Runde ein lokales Training durchführen, was den Prozess durch den langsamsten Client ausbremst.
  • FLAD reduziert die Gesamttrainingszeit signifikant (trotz hohem Kommunikationsaufwand), indem es adaptiv weniger Clients pro Runde auswählt und mehr Trainingsschritte nur jenen zuweist, die eine geringere Genauigkeit aufweisen, wodurch bereits konvergierte Clients effektiv ausgeschlossen werden.
  • Standardmethoden (FedAvg, FedProx, SCAFFOLD, FedALA) zeigen vergleichbare Trainingszeiten, wobei lokale Operationen etwa 60 % der Gesamtdauer ausmachen.
• Kommunikationsaufwand:
  • FedAvg, FedProx, FedALA und FedSBS weisen einen geringen Kommunikationsaufwand auf, der ähnlich wie bei der Baseline ist.
  • SCAFFOLD, DAFL und FLAD führen einen höheren Overhead ein. SCAFFOLD tauscht Kontrollvariaten aus; DAFL erfordert, dass alle Clients das globale Modell zur Validierung herunterladen; FLAD erfordert die Übertragung von Genauigkeitswerten und adaptiven Trainingsparametern.
• Client-Selektion: Algorithmen, die eine informierte Client-Selektion (DAFL, FLAD) oder eine adaptive Arbeitslastverteilung verwenden, übertreffen jene, die auf zufälliger Selektion basieren (FedAvg, FedProx, SCAFFOLD, FedALA), im Hinblick auf die endgültige Modellgenauigkeit unter Non-IID-Bedingungen.

Bedeutung und Behauptungen
Das Paper behauptet, dass für Cyberszenarien, die durch hochgradig heterogene und unbalancierte Datenverteilungen charakterisiert sind, informierte Client-Selektion und adaptive Arbeitslastverteilung effektivere Mechanismen zur Verbesserung der Erkennungsleistung sind als Modifikationen des lokalen Trainings oder der globalen Aggregation allein.

Die Autoren argumentieren, dass die Gleichbehandlung aller Clients (durch feste Auswahlwahrscheinlichkeiten oder einheitliche Arbeitslast) nicht ausreicht, um sicherzustellen, dass seltene oder schwierige Angriffsmuster ausreichend zum globalen Modell beitragen. Stattdessen ermöglichen Strategien, die Clients basierend auf ihrem aktuellen Beitrag zum Lernprozess dynamisch priorisieren (wie bei FLAD und DAFL), der Föderation, heterogene Informationen effektiver zu nutzen. Obwohl diese adaptiven Ansätze zusätzliche Kommunikations- und Koordinationskosten verursachen, kommt die Studie zu dem Schluss, dass für die Netzwerk-Intrusion-Detection, in der zeitnahe Updates zur Abwehr sich entwickelnder Bedrohungen entscheidend sind, der Vorteil zugunsten der Adaptivität gegenüber der strikten Kommunikationseffizienz liegt. Die Ergebnisse legen nahe, dass zukünftige FL-Lösungen für die Cybersicherheit Mechanismen priorisieren sollten, die die Client-seitige Heterogenität direkt durch Selektion und Arbeitslastmanagement adressieren.