Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

Sintesi Tecnica: Federated Learning in the Wild: Uno Studio Comparativo per la Cybersecurity in Ambienti Non-IID e Sbilanciati

Problematica
L'Apprendimento Automatico (ML) ha dimostrato un potenziale significativo per l'analisi del traffico di rete e il rilevamento delle intrusioni. Tuttavia, la sua efficacia è spesso limitata dalla necessità di dataset rappresentativi e aggiornati, difficili da aggregare a causa delle normative sulla privacy e delle restrizioni sulla condivisione dei dati. Il Federated Learning (FL) offre una soluzione consentendo l'addestramento collaborativo di modelli mantenendo i dati sensibili in locale. Nonostante questa promessa, l'algoritmo canonico di FL, il Federated Averaging (FedAvg), mostra una scarsa convergenza e prestazioni limitate in ambienti eterogenei caratterizzati da dati non indipendenti e identicamente distribuiti (non-i.i.d.) e dataset sbilanciati. Queste condizioni sono comuni nella cybersecurity, dove diversi client (ad esempio, nodi di rete) incontrano pattern di attacco distinti e volumi di traffico variabili. La letteratura esistente spesso manca di una valutazione esaustiva di algoritmi FL alternativi specificamente nel contesto dei sistemi di rilevamento delle intrusioni di rete (NIDS) sotto tali scenari "patologici".

Metodologia
Questo studio presenta una valutazione comparativa sistematica di sette algoritmi di FL applicati al rilevamento di intrusioni di rete per attacchi Distributed Denial of Service (DDoS). La valutazione è condotta in un setting non-i.i.d. severo e sbilanciato, descritto come uno scenario "patologico". In questa configurazione:

• Distribuzione dei Dati: Vengono utilizzati 15 client, dove ogni client possiede un dataset contenente traffico benigno e esattamente un tipo specifico di attacco DDoS.
• Sbilanciamento: Il volume dei dati tra i client varia di oltre quattro ordini di grandezza. Sebbene i dataset dei singoli client siano localmente bilanciati tra campioni benigni e malevoli, la federazione nel suo complesso è altamente sbilanciata sia riguardo alla dimensione del dataset che alla rappresentazione dei tipi di attacco.
• Algoritmi Valutati: Lo studio confronta l'algoritmo base FedAvg con sei metodi avanzati:
  • Scopo generale: FedProx (regolarizzazione), SCAFFOLD (variabili di controllo) e FedALA (aggregazione locale adattiva).
  • Specifici per la Cybersecurity: DAFL (consapevole della disparità), FedSBS (selezione greedy del client) e FLAD (approccio adattivo al DDoS).
• Configurazione Sperimentale: Gli esperimenti utilizzano dataset benchmark recenti (CIC-IDS2017, CIC-IDS2018 e CIC-DDoS2019), che coprono 15 tipi distinti di attacchi DDoS. Il modello globale è un Multi-Layer Perceptron (MLP) addestrato utilizzando il framework Flower su risorse solo CPU per riflettere vincoli di leggerezza.
• Metriche: Le prestazioni sono valutate in base all'accuratezza del rilevamento (F1 score), durata dell'addestramento, overhead di comunicazione e pattern di selezione dei client. Dieci esecuzioni indipendenti con diversi seed casuali garantiscono l'affidabilità dei risultati.

Contributi Chiave

1. Adattamento e Revisione: Gli autori esaminano e adattano algoritmi di FL allo stato dell'arte, inclusi quelli originariamente progettati per la computer vision, alle specifiche esigenze dei NIDS per il rilevamento DDoS.
2. Valutazione Multidimensionale: Diversamente dagli studi focalizzati esclusivamente sull'accuratezza finale, questo lavoro fornisce un confronto completo tra prestazioni di rilevamento, generalizzazione del modello, tempo di addestramento e overhead di comunicazione.
3. Analisi in Condizioni Patologiche: Lo studio investiga il comportamento algoritmico sotto estrema eterogeneità, dove ogni client osserva un profilo di attacco unico, evidenziando i punti di forza e i limiti di varie strategie di selezione dei client, aggregazione e addestramento locale.
4. Riproducibilità: Viene fornita un'implementazione open-source degli algoritmi valutati e della configurazione sperimentale (incluso il setup del dataset) per consentire la riproducibilità.

Risultati
L'analisi comparativa produce diverse scoperte critiche:

• Accuratezza e Generalizzazione: La maggior parte degli algoritmi fatica a generalizzare efficacemente su tutti i tipi di attacco, in particolare per gli attacchi WebDDoS, LDAP e LOIC, che sono sottorappresentati o presentano distribuzioni di feature distinte. FedAvg, FedProx, SCAFFOLD e FedSBS ottengono generalmente F1 score inferiori a 0,8 per questi attacchi specifici. FedALA offre scarse prestazioni sugli attacchi basati su TCP. Al contrario, FLAD dimostra una robustezza superiore, raggiungendo elevati F1 score (media di 0,97) in tutti i tipi di attacco grazie all'aggiustamento dinamico dell'addestramento basato sulle prestazioni del client.
• Tempo di Addestramento ed Efficienza:
  • DAFL comporta la durata di addestramento più lunga perché richiede che tutti i 15 client eseguano l'addestramento locale in ogni round, rendendo il processo limitato dal client più lento.
  • FLAD riduce significativamente il tempo totale di addestramento (nonostante l'alto overhead di comunicazione) selezionando adattivamente meno client per round e assegnando più step di addestramento solo a quelli con accuratezza inferiore, escludendo efficacemente i client che hanno già raggiunto la convergenza.
  • I metodi standard (FedAvg, FedProx, SCAFFOLD, FedALA) mostrano tempi di addestramento comparabili, con le operazioni locali che rappresentano circa il 60% della durata totale.
• Overhead di Comunicazione:
  • FedAvg, FedProx, FedALA e FedSBS mantengono un basso overhead di comunicazione simile al baseline.
  • SCAFFOLD, DAFL e FLAD introducono un overhead maggiore. SCAFFOLD scambia variabili di controllo; DAFL richiede che tutti i client scarichino il modello globale per la validazione; FLAD richiede la trasmissione di punteggi di accuratezza e parametri di addestramento adattivi.
• Selezione dei Client: Gli algoritmi che impiegano una selezione informata dei client (DAFL, FLAD) o una distribuzione del carico di lavoro adattiva superano quelli che si affidano alla selezione casuale (FedAvg, FedProx, SCAFFOLD, FedALA) in termini di accuratezza finale del modello in condizioni non-i.i.d.

Significatività e Rivendicazioni
Il paper sostiene che, per gli scenari di cybersecurity caratterizzati da distribuzioni di dati altamente eterogenee e sbilanciate, la selezione informata dei client e la distribuzione adattiva del carico di lavoro sono meccanismi più efficaci per migliorare le prestazioni di rilevamento rispetto alle sole modifiche all'addestramento locale o all'aggregazione globale.

Gli autori sostengono che trattare tutti i client allo stesso modo (tramite selezione a probabilità fissa o carico di lavoro uniforme) non riesce a garantire che i pattern di attacco rari o difficili contribuiscano sufficientemente al modello globale. Al contrario, le strategie che selezionano dinamicamente i client in base al loro contributo attuale al processo di apprendimento (come visto in FLAD e DAFL) permettono alla federazione di utilizzare le informazioni eterogenee in modo più efficace. Sebbene questi approcci adattivi comportino costi aggiuntivi di comunicazione e coordinamento, lo studio conclude che per il rilevamento delle intrusioni di rete, dove gli aggiornamenti tempestivi sono critici per mitigare le minacce in evoluzione, il compromesso favorisce l'adattività rispetto alla stretta efficienza di comunicazione. I risultati suggeriscono che le future soluzioni di FL per la cybersecurity dovrebbero dare priorità ai meccanismi che affrontano direttamente l'eterogeneità a livello di client attraverso la gestione della selezione e del carico di lavoro.