Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

Technische Samenvatting: Federated Learning in the Wild: Een Vergelijkende Studie voor Cybersecurity onder Non-IID en Ongebalanceerde Omstandigheden

Probleemstelling
Machine Learning (ML) heeft een aanzienlijk potentieel aangetoond voor netwerkverkeersanalyse en detectie van indringers. De effectiviteit ervan wordt echter vaak beperkt door de noodzaak van representatieve, actuele datasets, die moeilijk te aggregeren zijn vanwege privacyregelgeving en beperkingen op het delen van gegevens. Federated Learning (FL) biedt een oplossing door gezamenlijke modeltraining mogelijk te maken terwijl gevoelige gegevens lokaal blijven. Ondanks deze belofte vertoont het canonieke FL-algoritme, Federated Averaging (FedAvg), een slechte convergentie en prestaties in heterogene omgevingen die worden gekenmerkt door non-independent and identically distributed (non-i.i.d.) data en ongebalanceerde datasetgroottes. Deze condities komen veel voor in cybersecurity, waar verschillende cliënten (bijv. netwerknodes) verschillende aanvalspatronen en variërende verkeersvolumes tegenkomen. Bestaande literatuur mist vaak een uitgebreide evaluatie van alternatieve FL-algoritmen specifiek binnen de context van netwerkintrusiendetectiesystemen (NIDS) onder dergelijke "pathologische" settings.

Methodologie
Deze studie presenteert een systematische vergelijkende evaluatie van zeven FL-algoritmen toegepast op netwerkintrusiedetectie voor Distributed Denial of Service (DDoS) aanvallen. De evaluatie wordt uitgevoerd onder een ernstige non-i.i.d. en ongebalanceerde setting, beschreven als een "pathologisch" scenario. In deze opzet:

• Datadistributie: 15 cliënten worden gebruikt, waarbij elke cliënt een dataset bezit die een legitiem verkeer en exact één specifiek type DDoS-aanval bevat.
• Imbalans: Het volume van de data over de cliënten varieert met meer dan vier ordes van grootte. Hoewel individuele cliëntdatasets lokaal gebalanceerd zijn tussen legitieme en kwaadaardige samples, is de federatie als geheel sterk ongebalanceerd met betrekking tot zowel de datasetgrootte als de representatie van aanvalstypes.
• Geëvalueerde Algoritmen: De studie vergelijkt het baseline FedAvg met zes geavanceerde methoden:
  • Algemeen doel: FedProx (regularisatie), SCAFFOLD (control variates), en FedALA (adaptieve lokale aggregatie).
  • Cybersecurity-specifiek: DAFL (disparity-aware), FedSBS (greedy client selection), en FLAD (adaptieve aanpak voor DDoS).
• Experimentele Opstelling: De experimenten maken gebruik van recente benchmark-datasets (CIC-IDS2017, CIC-IDS2018 en CIC-DDoS2019), die 15 verschillende DDoS-aanvalstypes dekken. Het globale model is een Multi-Layer Perceptron (MLP) die getraind wordt met het Flower-framework op CPU-only resources om lichtgewicht beperkingen te reflecteren.
• Metrieken: Prestaties worden beoordeeld op basis van detectienauwkeurigheid (F1-score), trainingsduur, communicatie-overhead en cliëntselectiepatronen. Tien onafhankelijke runs met verschillende random seeds waarborgen de betrouwbaarheid van de resultaten.

Belangrijkste Bijdragen

1. Adaptatie en Review: De auteurs beoordelen en adapteren state-of-the-art FL-algoritmen, inclusclusief die oorspronkelijk ontworpen voor computer vision, aan de specifieke vereisten van NIDS voor DDoS-detectie.
2. Meerdimensionale Evaluatie: In tegen tegenstelling tot studies die zich uitsluitend richten op de uiteindelijke nauwkeurigheid, biedt dit werk een uitgebreide vergelijking over detectieprestaties, modelgeneralisatie, trainingstijd en communicatie-overhead.
3. Analyse onder Pathologische Condities: De studie onderzoekt algoritmisch gedrag onder extreme heterogeniteit waarbij elke cliënt een uniek aanvalsprofiel observeert, wat de sterktes en beperkingen van diverse cliëntselectie-, aggregatie- en lokale trainingsstrategieën belicht.
4. Reproduceerbaarheid: Een open-source implementatie van de geëvalueerde algoritmen en de experimentele opstelling (inclusief de datasetconfiguratie) wordt verstrekt om reproduceerbaarheid mogelijk te maken.

Resultaten
De vergelijkende analyse levert verschillende cruciale bevindingen op:

• Nauwkeurigheid en Generalisatie: De meeste algoritmen worstelen met het effectief generaliseren over alle aanvalstypes, met name voor WebDDoS, LDAP en LOIC-aanvallen, die ondervertegenwoordigd zijn of een afwijkende featuredistributie hebben. FedAvg, FedProx, SCAFFOLD en FedSBS behalen over het algemeen F1-scores onder de 0,8 voor deze specifieke aanvallen. FedALA presteert slecht op TCP-gebaseerde aanvallen. In contrast hiermee demonstreert FLAD superieure robuustheid, waarbij hoge F1-scores (gemiddeld 0,97) worden behaald over alle aanvalstypes door het trainen dynamisch aan te passen op basis van de prestaties van de cliënt.
• Trainingstijd en Efficiëntie:
  • DAFL kent de langste trainingsduur omdat het vereist dat alle 15 cliënten in elke ronde lokale training uitvoeren, waardoor het proces wordt gehinderd door de traagste cliënt.
  • FLAD vermindert de totale trainingstijd aanzienlijk (ondanks de hoge communicatie-overhead) door adaptief minder cliënten per ronde te selecteren en meer trainingsstappen toe te wijzen aan die cliënten met een lagere nauwkeurigheid, waardoor cliënten die al geconvergeerd zijn effectief worden uitgesloten.
  • Standaardmethoden (FedAvg, FedProx, SCAFFOLD, FedALA) vertonen vergelijkbare trainingstijden, waarbij lokale operaties ongeveer 60% van de totale duur beslaan.
• Communicatie-overhead:
  • FedAvg, FedProx, FedALA en FedSBS behouden een lage communicatie-overhead vergelijkbaar met de baseline.
  • SCAFFOLD, DAFL en FLAD introduceren een hogere overhead. SCAFFOLD wisselt control variates uit; DAFL vereist dat alle cliënten het globale model downloaden voor validatie; FLAD vereist de transmissie van nauwkeurigheidsscores en adaptieve trainingsparameters.
• Cliëntselectie: Algoritmen die gebruikmaken van geïnformeerde cliëntselectie (DAFL, FLAD) of adaptieve workloadverdeling presteren beter dan algoritmen die vertrouwen op willekeurige selectie (FedAvg, FedProx, SCAFFOLD, FedALA) wat betreft de uiteindelijke modelnauwkeurigheid onder non-i.i.d. condities.

Betekenis en Claims
Het artikel claimt dat voor cybersecurity-scenario's die worden gekenmerkt door zeer heterogene en ongebalanceerde datadistributies, geïnformeerde cliëntselectie en adaptieve workloadverdeling effectievere mechanismen zijn voor het verbeteren van detectieprestaties dan modificaties aan lokale training of globale aggregatie alleen.

De auteurs stellen dat het gelijk behandelen van alle cliënten (via vaste waarschijnlijkheidsselectie of uniforme workload) er niet toe leidt dat zeldzame of moeilijke aanvalspatronen voldoende bijdragen aan het globale model. In plaats daarvan zorgen strategieën die cliënten dynamisch prioriteren op basis van hun huidige bijdrage aan het leerproces (zoals bij FLAD en DAFL) ervoor dat de federatie heterogene informatie effectiever kan benutten. Hoewel deze adaptieve benaderingen extra communicatie- en coördinatiekosten met zich meebrengen, concludeert de studie dat voor netwerkintrusiedetectie, waar tijdige updates cruciaal zijn voor het mitigeren van evoluerende dreigingen, de afweging de voorkeur geeft aan adaptiviteit boven strikte communicatie-efficiëntie. De bevindingen suggereren dat toekomstige FL-oplossingen voor cybersecurity prioriteit moeten geven aan mechanismen die cliënt-niveau heterogeniteit direct aanpakken via selectie en workloadbeheer.