A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data

Immaginate Internet come una città enorme e frenetica, dove i dati scorrono come il traffico su autostrade infinite. In questa città, guardie di sicurezza (firewall e software antivirus) si trovano a ogni posto di blocco, controllando i documenti per assicurarsi che nessuno si intreni clandestinamente. Di solito, queste guardie hanno un libro di "Poster dei Ricercati" pieno di foto di criminali noti. Se uno sconosciuto somiglia a qualcuno presente nella lista, viene fermato. Ma cosa succede quando si presenta un criminale del tutto nuovo, uno che non è mai stato visto prima, con un volto che non corrisponde a nessuna foto nel libro? Questo è l'incubo di un attacco "zero-day": un intruso digitale che utilizza un trucco inedito che i sistemi di sicurezza non hanno mai incontrato prima.

Per catturare questi ladri invisibili, gli scienziati si stanno rivolgendo a un tipo speciale di detective chiamato Machine Learning. Pensate a questi detective come a studenti che studiano migliaia di esempi di "traffico buono" e "traffico cattivo" per imparare i modelli. Tuttavia, c'è un problema complicato nella loro classe: l'insegnante (i dati) fornisce loro troppi esempi di traffico buono e pochissimi esempi di traffico cattivo. È come cercare di imparare a riconoscere un animale raro e timido in una foresta dove il 99% delle creature sono solo scoiattoli. Lo studente potrebbe diventare bravissimo a scovare gli scoiattoli, ma potrebbe mancare completamente l'animale raro perché ne ha visto pochissimi durante l'addestramento. Questo articolo approfondisce come insegnare a questi detective digitali come individuare queste minacce nuove e rare senza confondersi con l'eccessiva quantità di normali scoiattoli.

---

La Grande Corsa dei Detective Digitali

In questo studio, i ricercatori Zahra Lotfi e Mostafa Lotfi hanno allestito un enorme campo di addestramento per vedere quale modello di machine learning potesse diventare l'ultimo rilevatore di attacchi zero-day. Non volevano solo sapere quale modello fosse il più intelligente; volevano sapere anche quale fosse il più veloce. Dopotutto, nel mondo reale, una guardia di sicurezza che impiega un'ora per controllare il documento di una singola persona è inutile, anche se non sbaglia mai un criminale.

I ricercatori hanno utilizzato un enorme dataset chiamato UNSW-NB15, che contiene oltre 1,4 milioni di record di traffico di rete. Per rendere il test realistico, hanno creato uno scenario in cui i modelli venivano addestrati su un mix di traffico normale e attacchi noti, ma venivano poi testati su un attacco "zero-day" che non avevano mai visto prima. Per rendere la sfida ancora più difficile, hanno utilizzato un dataset fortemente sbilanciato, con il traffico normale che superava di gran lunga quello degli attacchi, proprio come nella vita reale.

Hanno testato cinque diversi "detective" (modelli di machine learning):

1. Decision Tree (DT): Un modello che pone una serie di domande sì/no per prendere una decisione.
2. Logistic Regression (LR): Un modello statistico che calcola la probabilità che qualcosa sia un attacco.
3. Random Forest (RF): Un team di molti Decision Tree che votano sulla risposta.
4. XG Boost (XGB): Un team potente che impara dai propri errori per diventare più intelligente, noto per essere molto veloce.
5. MLP (Multilayer Perceptron): Un modello di deep learning che imita gli strati di neuroni nel cervello umano.

La Magia del Bilanciamento della Bilancia

Uno degli ostacoli più grandi affrontati dai ricercatori è stato il "problema dello sbilanciamento delle classi". Poiché c'erano così pochi esempi di attacco rispetto a quelli normali, i modelli faticavano a imparare come apparisse effettivamente un attacco. Per risolvere il problema, il team ha utilizzato una tecnica chiamata SMOTE (Synthetic Minority Over-sampling Technique).

Immaginate di cercare di insegnare a un bambino a riconoscere un raro uccello blu, ma avete a disposizione solo una foto. Il bambino probabilmente dimenticherà come appare. SMOTE è come una fotocopiatrice magica che crea nuove foto, leggermente diverse, di quell'uccello blu fondendo la foto originale con i suoi vicini. Questo dà al bambino abbastanza esempi per capire davvero come sia l'uccello senza dover trovare altri uccelli reali nel bosco. I ricercatori hanno applicato questo ai loro dati, creando esempi di attacco sintetici per bilanciare l'insieme di addestramento.

I Risultati: Chi ha vinto la corsa?

I risultati sono stati un mix di "più intelligente" e "più veloce", e il vincitore dipendeva da ciò che si valorizzava di più.

Quando i modelli sono stati testati senza il trucco del bilanciamento (SMOTE), hanno avuto difficoltà a individuare gli attacchi rari. Ad esempio, il modello Random Forest ha intercettato solo circa l'83,11% degli attacchi, mentre il modello MLP è stato ancora peggio, intercettandone solo il 25,35%.

Tuttavia, quando hanno usato SMOTE per bilanciare i dati, le prestazioni sono decollate.

• Il Detective più Intelligente: Il modello Random Forest (RF) è stato il chiaro campione in termini di accuratezza. Con i dati bilanciati, è riuscito a intercettare un massiccio 94,38% degli attacchi zero-day (Recall) con un'accuratezza del 98,91%. Era il più affidabile nel non far sfuggire i cattivi.
• Il Velocista: Ma ecco il problema. Random Forest era incredibilmente lento. Ha impiegato 1.379,10 secondi (oltre 22 minuti) per elaborare i dati di test. In un vero cyberattacco, aspettare 22 minuti per fermare un hacker è come aspettare che un incendio distrugga l'intero edificio prima di chiamare i vigili del fuoco.
• Il Miglior Tuttofare: Entra in scena XG Boost (XGB). Sebbene non abbia intercettato gli attacchi quanto il Random Forest (ne ha intercettati l'81,40%), era fulmineo. Ha completato lo stesso compito in soli 5,08 secondi. Manteneva inoltre un'alta accuratezza del 98,21%.

Il Verdetto

I ricercatori hanno concluso che, sebbene il Random Forest sia tecnicamente il modello più accurato per trovare questi invisibili attacchi zero-day, è troppo lento per essere pratico per i sistemi di sicurezza in tempo reale. Se hai bisogno di una guardia che non dorme mai e non perde un colpo, ma che ci mette una eternità a riflettere, potresti avere un problema.

Invece, hanno incoronato XG Boost come la scelta migliore per l'uso nel mondo reale. Offriva il miglior equilibrio, essendo "estremamente veloce e preciso". Ha dimostrato che non serve sempre il detector assolutamente perfetto; serve uno che sia abbastanza veloce da fermare l'attacco prima che causi danni.

Lo studio ha anche confermato che la "fotocopiatrice magica" (SMOTE) era essenziale. Senza di essa, i modelli erano ciechi rispetto agli attacchi rari. Con essa, anche i modelli più lenti sono migliorati significativamente, sebbene la velocità del modello sia rimasta il fattore decisivo per stabilire quale dovesse essere utilizzato nel mondo reale.

In definitiva, questa ricerca dimostra che nella corsa per catturare i criminali digitali, essere i più intelligenti non basta; bisogna essere veloci anche. E a volte, il secondo detective più intelligente che riesce a correre un miglio in pochi secondi è quello che effettivamente salva la situazione.