Robust Unsupervised Network Intrusion Detection via Federated Learning with Selective Aggregation under Anomalous Sample Contamination

Immaginate l'internet come una città enorme e frenetica dove miliardi di piccoli dispositivi — frigoriferi intelligenti, telecamere di sicurezza e sensori di fabbrica — chiacchierano tra loro ogni secondo. Questo è l'Internet of Things (IoT). Sebbene questa connettività renda la vita più facile, trasforma ogni dispositivo in una potenziale porta d'ingresso per i ladri digitali. Per mantenere la città sicura, guardie giurate chiamate Network Intrusion Detection Systems (NIDS) scansionano costantemente il traffico alla ricerca di comportamenti sospetti. Tradizionalmente, queste guardie imparano cosa sia "normale" studiando una biblioteca di esempi etichettati, come un'accademia di polizia che possiede un fascicolo per ogni noto criminale. Ma nel mondo reale, nuovi tipi di malware appaiono più velocemente di quanto chiunque possa etichettarli, e chiedere una lista perfetta e pulita di traffico "buono" è come chiedere una biblioteca con zero refusi.

È qui che entra in gioco l' "apprendimento non supervisionato" (unsupervised learning). Invece di aver bisogno di un insegnante che indichi i cattivi, questi sistemi cercano di imparare da soli la forma del comportamento normale e segnalano tutto ciò che sembra strano. Tuttavia, c'è un problema: e se la biblioteca stessa fosse già contaminata? E se il traffico "normale" che il sistema sta studiando includesse segretamente alcuni dispositivi infetti? Se il sistema impara da questi dati sporchi, potrebbe iniziare a pensare che il malware sia in realtà normale, lasciando la città completamente scoperta. Il documento che state per leggere affronta esattamente questo problema: come costruire una guardia giurata che rimanga attenta anche quando i dati di addestramento sono segretamente avvelenati da alcuni malintenzionati, usando un trucco intelligente che coinvolge il lavoro di squadra e un pizzico di investigazione matematica.

---

Il Pozzo Avvelenato e la Soluzione del Lavoro di Squadra

Nel mondo della cybersicurezza, immaginate di cercare di insegnare a un robot come riconoscere una moneta falsa. Gli date un secchio di monete da studiare, sperando che siano tutte vere. Ma, a vostra insaputa, si sono infilate alcune monete cattive. Se il robot studia troppe di queste monete false, potrebbe iniziare a pensare: "Oh, questa forma strana è in realtà normale!" e non riuscire a scovare le vere monete false in seguito. Questo è il problema della "contaminazione da campioni anomali". Nel mondo reale, quando raccogliamo il traffico di rete da migliaia di dispositivi IoT per addestrare la nostra IA di sicurezza, alcuni di quei dispositivi potrebbero essere già infetti. Non possiamo dire facilmente quali siano, quindi i dati di addestramento "puliti" che pensiamo di avere sono in realtà un mix di buoni e cattivi.

Gli autori di questo articolo, Shohei Kamiguchi e Takayuki Nishio, propongono una soluzione chiamata FLANDRE (Federated Learning-assisted Anomalous Node Detection & REmoval). La loro grande idea è di smettere di cercare di mescolare tutti i dati in un unico grande secchio e, invece, lasciare che i dispositivi addestrino i propri piccoli modelli localmente, condividendo poi solo le loro "lezioni apprese" (aggiornamenti matematici) con un server centrale. Questo approccio è chiamato Federated Learning (Apprendimento Federato).

Di solito, si pensa che il Federated Learning riguardi solo la privacy — ovvero mantenere i dati fuori da un server centrale. Ma gli autori hanno scoperto un superpotere segreto in esso. Si sono resi conto che in una squadra di 100 dispositivi, se solo pochi (diciamo il 10%) sono infetti, i dati "cattivi" sono una piccola minoranza. Nel Federated Learning standard, il server centrale media tutti gli aggiornamenti. Poiché i dispositivi infetti sono così pochi, le loro lezioni strane e "avvelenate" vengono sommerse dai centinaia di dispositivi "buoni". È come cercare di cambiare il sapore di una grande pentola di zuppa aggiungendo una singola goccia di salsa piccante; la zuppa rimane per lo più delicata. Gli autori hanno deciso di sfruttare questo punto debole del "minoranza ignorata" e trasformarlo in un punto di forza.

Il Gioco Investigativo: Trovare le Mele Marce

Tuttavia, fare solo la media degli aggiornamenti non è sufficiente se i dispositivi cattivi sono molto rumorosi o se la contaminazione è elevata. Così, FLANDRE aggiunge un secondo strato di difesa: un meccanismo di Selezione dell'Aggregazione (Selective Aggregation). Pensate al server centrale come a un detective che tiene in mano una mappa di dove si trova ognuno.

Ecco come funziona il detective:

1. Il Riscaldamento (Warm-up): Per prima cosa, il server lascia che tutti si addestrino per un po'.
2. Il Controllo della Distanza: Il server osserva quanto è cambiato il nuovo modello di ciascun dispositivo rispetto al modello "medio" del gruppo.
3. Il Clustering: Usando uno strumento matematico chiamato algoritmo Expectation-Maximization (EM), il server raggruppa i dispositivi in due cluster basandosi su quanto i loro modelli sono lontani dal centro.
   • Cluster A: I "Buoni". I loro modelli sono vicini alla media perché stanno tutti imparando dal traffico normale.
   • Cluster B: I "Cattivi". I loro modelli si sono allontanati perché stanno cercando di imparare da dati infetti e strani.
4. Il Taglio: Il server semplicemente ignora i "Cattivi" (Cluster B) e utilizza solo gli aggiornamenti dei "Buoni" per aggiornare il modello globale principale.

È come un insegnante che nota che alcuni studenti stanno cercando di risolvere un problema di matematica usando un metodo completamente diverso (e sbagliato). Invece di lasciare che quei pochi studenti confondano l'intera classe, l'insegnante chiede loro silenziosamente di stare fuori dalla discussione di gruppo, assicurando che la risposta finale si basi solo sulla logica corretta.

Cosa Hanno Trovato nel Laboratorio

Gli autori hanno testato questa idea su tre famosi dataset di cybersicurezza: ToN IoT, CSE-CIC-IDS2018 e NF-UQ-NIDS-v2. Hanno simulato uno scenario in cui dal 10% al 40% del totale dei dati di addestramento era in realtà malevolo, nascosto all'interno dei dataset di alcuni dispositivi compromessi.

I risultati sono stati impressionanti. Quando hanno confrontato FLANDRE con altri metodi:

• Addestramento Centralizzato Standard: Quando hanno mescolato tutti i dati insieme (compresi i parti cattivi) e addestrato un unico grande modello, le prestazioni sono scese significativamente. Ad esempio, sul dataset IDS2018, il punteggio F1 (una misura di accuratezza) è sceso a 0.590.
• Competitor allo Stato dell'Arte: Hanno testato contro un metodo di alto livello chiamato LOE-S, che cerca di separare matematicamente i dati buoni e quelli cattivi. LOE-S ha ottenuto 0.586 sullo stesso dataset, appena meglio dell'approccio standard.
• FLANDRE: Il loro nuovo metodo ha ottenuto 0.823 su IDS2018, 0.969 su ToN IoT e 0.838 su NF-UQ-NIDS.

Fondamentalmente, i punteggi di FLANDRE erano quasi identici allo scenario "Ideale" — un mondo perfetto in cui i dati di addestramento erano già al 100% puliti fin dall'inizio. Sul dataset ToN IoT, FLANDRE era a soli 0.004 punti dallo score ideale, mentre gli altri metodi erano molto indietro. Ciò suggerisce che, filtrando i client sospetti, FLANDRE può essenzialmente "de-avvelenare" il processo di addestramento.

Hanno anche testato come il sistema gestisce diversi livelli di infezione. Anche quando la quantità di dati cattivi nella rete aumentava, FLANDRE rimaneva stabile. Interessante è stato scoprire che se i dispositivi infetti avevano una quantità molto alta di dati cattivi (come l'80% dei loro file locali erano malware), il sistema funzionava ancora bene, ma se l'infezione era molto sottile, una specifica variante del loro metodo (chiamata FLANDRE-R, che usa una misurazione diversa) faticava un po' di più. Tuttavia, il metodo principale FLANDRE è rimasto robusto in generale.

In Conclusione

Questo articolo non sostiene di aver risolto ogni problema di cybersicurezza, ma offre un modo intelligente e pratico per gestire un problema molto reale: addestrare un'IA su dati che potrebbero essere segretamente corrotti. Usando il Federated Learning non solo per la privacy, ma per sopprimere naturalmente l'influenza di pochi attori malintenzionati, e aggiungendo poi un passaggio di "detective" per espellere gli outlier, gli autori hanno creato un sistema che impara cosa sia davvero "normale", anche quando l'aula è piena di imbroglioni.

Nelle loro simulazioni, FLANDRE ha dimostrato che non è necessario sapere esattamente quali dispositivi siano infetti per proteggere la rete. Basta lasciare che la maggioranza voti, e poi avere il coraggio di ignorare la rumorosa minoranza. È un promemoria del fatto che, a volte, il modo migliore per trovare la verità è smettere di ascoltare le persone che stanno cercando di confonderti.