Evaluation of AutoML Frameworks for IDS under Imbalanced Data Conditions of the NSL-KDD Dataset

Sintesi Tecnica: Valutazione di Framework AutoML per IDS in Condizioni di Dati Sbilanciati del Dataset NSL-KDD

Definizione del Problema
I Sistemi di Rilevamento delle Intruzioni di Rete (NIDS) si affidano sempre più all'apprendimento automatico (ML) per identificare attività malevole. Tuttavia, una sfida critica persiste: il grave sbilanciamento delle classi inerente ai dataset di traffico di rete reali, come NSL-KDD. In questi dataset, le categorie di attacco minoritarie (specificamente Remote-to-Local [R2L] e User-to-Root [U2R]) sono significativamente sottorappresentate rispetto alle classi maggioritarie (Normal e Denial of Service). Questo sbilanciamento biasa i processi di apprendimento standard verso le classi maggioritarie, risultando in una scarsa performance di rilevamento per gli attacchi rari. Sebbene i framework di Automated Machine Learning (AutoML) offrano la possibilità di snellire la pipeline di ML attraverso il pre-processing automatizzato, la selezione degli algoritmi e l'ottimizzazione degli iperparametri, la loro efficacia nel gestire un grave sbilanciamento multiclasse all'interno del dominio NIDS rimane poco esplorata. Studi precedenti spesso semplificano questo problema convertendolo in una classificazione binaria o rimuovendo le classi minoritarie, fallendo così nel fornire una valutazione realistica dei comportamenti di apprendimento sensibili allo sbilanciamento.

Metodologia
Questo lavoro conduce un'analisi comparativa di nove framework AutoML open-source applicati al dataset NSL-KDD sotto un protocollo sperimentale unificato e riproducibile. Lo studio preserva la distribuzione originale a cinque classi (Normal, DoS, Probe, R2L, U2R) per mantenere la gravità dello sbilanciamento, invece di semplificare il compito.

I framework valutati includono:

• AutoGluon, PyCaret, TPOT, H2O AutoML, Auto-Sklearn, FLAML, LazyPredict, Auto-PyTorch e AutoKeras.

Il design sperimentale si concentra sulle architetture interne di questi framework, analizzando specificamente:

1. Costruzione della Pipeline: Come ogni framework gestisce il caricamento dei dati, la divisione (splitting) e la valutazione iterativa.
2. Strategie di Ottimizzazione: L'uso di programmazione genetica (TPOT), ottimizzazione bayesiana (Auto-Sklearn, Auto-PyTorch, AutoKeras), ottimizzazione a costo frugale (FLAML) e ricerca dell'architettura neurale (AutoKeras, Auto-PyTorch).
3. Meccanismi di Gestione dello Sbilanciamento: La presenza e l'attivazione di campionamento nativo (es. SMOTE), pesatura delle classi e strategie di ensemble.

Lo studio utilizza il subset KDDTest+ per la valutazione. La performance è misurata utilizzando il macro-F1 score, weighted-F1, accuratezza, precisione e recall. Fondamentalmente, la metrica macro-F1 è prioritaria per garantire che la discriminazione delle classi minoritarie non sia mascherata da un'elevata accuratezza complessiva. I risultati sono messi a confronto con lavori correlati che impiegano pipeline manuali e ottimizzate artigianalmente.

Risultati Chiave
La valutazione rivela disparità di performance significative tra i framework, direttamente correlate alla loro capacità di gestire lo sbilanciamento delle classi:

• Top Performer: PyCaret ha ottenuto la migliore performance complessiva con un macro-F1 score del 66%, seguito da AutoGluon con il 55%. Il successo di PyCaret è attribuito al suo design modulare che utilizza stacking, ensemble e un'ottimizzazione raffinata degli iperparametri (tramite Optuna). La performance di AutoGluon deriva dalla sua strategia di ensemble pesata, che combina gerarchicamente i modelli (NeuralNetFastAI, Extra Trees e LGBM) per mitigare la dominanza della classe maggioritaria.
• Underperformer: I framework privi di supporto nativo per il bilanciamento o quelli che danno priorità all'efficienza computazionale rispetto a spazi di ricerca complessi hanno mostrato un degrado significativo. TPOT e FLAML hanno ottenuto macro-F1 score rispettivamente del 49% e del 48%. LazyPredict, che non offre ottimizzazione degli iperparametri né supporto al bilanciamento, ha performato altrettanto male.
• Confronto con Modelli Handcrafted: Lo studio nota che le architetture handcrafted (ad esempio, Random Forest specializzate, Gradient Boosting e Voting Ensembles della letteratura precedente) hanno generalmente superato i framework AutoML configurati di default, raggiungendo macro-F1 score compresi tra il 68,99% e il 71,10%. Ciò suggerisce che, sebbene l'AutoML fornisca baseline robuste, attualmente manca dell'adattamento specifico per il dataset (selezione delle feature, pesatura adattiva, sottocampionamento) presente nelle soluzioni ottimizzate manualmente.
• Sensibilità della Metrica: I risultati dimostrano che l'ottimizzazione orientata all'accuratezza è insufficiente per scenari IDS sbilanciati. I framework che ottimizzano per l'accuratezza spesso coesistono con una scarsa generalizzazione sulle categorie di attacco rare.

Contributi e Significato
L'articolo stabilisce un benchmark standardizzato per valutare l'intrusion detection basata su AutoML sotto un grave sbilanciamento multiclasse. I suoi principali contributi includono:

1. Valutazione Realistica: Preservando la distribuzione originale a cinque classi di NSL-KDD, il lavoro evita le trappole della semplificazione binaria, offrendo un test più rigoroso dell'apprendimento consapevole dello sbilanciamento.
2. Analisi Architetturale: Lo studio identifica che i framework che incorporano l'apprendimento ensemble e l'ottimizzazione consapevole dello sbilanciamento (come il campionamento esplicito o la pesatura delle classi) superano significativamente quelli che non lo fanno.
3. Identificazione dei Limiti: Il lavoro evidenzia come le attuali pipeline AutoML si affidino spesso a spazi di ricerca generalizzati senza adattamento specifico per il dataset, limitando la loro efficacia nel rilevare attacchi rari come R2L e U2R rispetto alle soluzioni handcrafted.
4. Riproducibilità: Gli autori forniscono un repository di codice sorgente pubblicamente disponibile per garantire la riproducibilità del protocollo sperimentale.

Conclusione
L'articolo conclude che, sebbene i framework AutoML come PyCaret e AutoGluon possano fornire baseline competitive per i NIDS, essi affrontano attualmente limitazioni nel gestire lo sbilanciamento estremo delle classi senza intervento manuale o configurazioni specifiche. Gli autori sostengono la necessità di una futura integrazione di strategie di bilanciamento native — come l'oversampling automatizzato, la pesatura delle classi e la validazione stratificata — direttamente nei processi di ricerca e ottimizzazione dell'AutoML per migliorare l'adattabilità e la robustezza nelle applicazioni di cybersecurity.