Machine Learning for Network Attacks Classification and Statistical Evaluation of Machine Learning for Network Attacks Classification and Adversarial Learning Methodologies for Synthetic Data Generation

1. Il Problema

L'articolo affronta due sfide critiche nel campo della sicurezza informatica e dell'intelligenza artificiale:

• Rilevamento degli Attacchi di Rete: La necessità di sistemi di rilevamento delle intrusioni (NIDS) robusti, stabili e affidabili, capaci di gestire attacchi sofisticati che utilizzano tecniche avanzate come l'IA generativa (GenAI) e l'apprendimento per rinforzo.
• Generazione e Valutazione di Dati Sintetici: La scarsità di dati reali etichettati per gli attacchi di rete e la difficoltà nel generare dataset sintetici che preservino le proprietà statistiche, la privacy e l'utilità dei dati originali. L'obiettivo è creare dati sintetici di alta qualità per addestrare modelli NIDS senza esporre dati sensibili reali.

2. Metodologia

La ricerca è strutturata in due compiti principali, utilizzando un dataset unificato multimodale chiamato UMNIDS (creato elaborando i dataset CIC-IDS-2017, CIC-IoT-2023, UNSW-NB15 e CIC-DDoS-2019).

A. Classificazione degli Attacchi (NIDS)

• Pre-elaborazione: Rimozione di duplicati, codifica delle etichette, analisi statistica approfondita (test di normalità, rilevamento di outlier tramite IQR, Z-score, DBSCAN). È stato scelto di mantenere gli outlier utilizzando uno Robust Scaler per il ridimensionamento.
• Gestione dello Squilibrio: Applicazione di tecniche di sovracampionamento (SMOTE, ADASYN) solo sul set di addestramento per evitare la "data leakage".
• Modelli ML: Confronto tra modelli baseline (Regressione Logistica, SVM) e modelli avanzati (Decision Tree, Ensemble come XGBoost, Random Forest, Extra Trees, Gradient Boosting).
• Validazione: Utilizzo di validazione incrociata stratificata a 10-fold con calibrazione delle probabilità per garantire stabilità.

B. Generazione di Dati Sintetici

• Architetture Testate: È stata valutata una vasta gamma di modelli generativi, inclusi:
  • GAN classiche e condizionali (Vanilla-GAN, WGAN, WGAN-GP, CTGAN, PATE-CTGAN).
  • Modelli basati su divergenze f-GAN (KLD-GAN, H2D-GAN).
  • Autoencoder Variazionali (TVAE).
  • Modelli basati su Diffusione (XGB-DF - Diffusion Forest).
  • Modelli Linguistici (LLM - DistilGPT2).
• Framework di Valutazione: Utilizzo del framework Synthetic Data Vault (SDV) per valutare fedeltà, utilità e privacy.
• Test Statistici Avanzati:
  • TRTS e TSTR: Per valutare l'utilità dei dati sintetici nell'addestramento e nel test di modelli reali.
  • Test di Distinguibilità: Verifica se un classificatore binario può distinguere tra dati reali e sintetici.
  • Divergenze f: Misura della distanza tra distribuzioni (Jensen-Shannon, Hellinger, Wasserstein).
  • Test Statistici Non Parametrici: Test di Hotelling's T² (medie multivariate), Test della Norma di Frobenius (matrici di covarianza) e Maximum Mean Discrepancy (MMD) per le distribuzioni congiunte.
  • Privacy: Valutazione tramite punteggio NNDR (Nearest Neighbor Distance Record) per rilevare l'overfitting e la copia dei dati reali.

3. Risultati Chiave

Performance di Classificazione (NIDS)

• I modelli basati su alberi e ensemble (in particolare XGBoost, XGBoost-RF, Random Forest e Extra Trees) hanno dimostrato prestazioni eccezionali.
• XGBoost ha raggiunto un'accuratezza (Precision/Recall) superiore al 96% sia in training che in test, con un F1-score del 96.33% e un ROC-AUC del 98.11%.
• I modelli baseline come SVM e Regressione Logistica hanno fallito miseramente (F1 < 5%), evidenziando la complessità non lineare dei dati di rete.

Performance di Generazione Sintetica

• Modelli Migliori: CTGAN-2 (Conditional GAN con Mixture Bayesiana), XGB-DF (Diffusion Forest) e DistilGPT2 (LLM) hanno ottenuto i punteggi più alti nei report SDV (Qualità >98%, Diagnostica 100%).
• Fedeltà Statistica:
  • CTGAN-2, XGB-DF e DistilGPT2 hanno mostrato distribuzioni multivariate quasi indistinguibili dai dati reali (p-value > 0.05 nei test di Hotelling e MMD).
  • XGB-DF e DistilGPT2 hanno ottenuto divergenze estremamente basse (es. Jensen-Shannon ~3.5e-10).
• Utilità (TRTS/TSTR): I modelli migliori hanno mantenuto prestazioni di classificazione (Precision/Recall >95%) quando usati per addestrare/testare modelli reali, confermando l'assenza di "mode collapse".
• Eccezioni:
  • PATE-CTGAN: Sebbene offra la massima privacy (punteggi NNDR >0.96), i dati generati sono facilmente distinguibili dai reali (F1 100% nel test di distinguibilità) e mostrano scarsa utilità per compiti ML (Recall <4% in TSTR), a causa delle forti restrizioni sulla privacy differenziale.
  • CTGAN-2: Ha mostrato una differenza statisticamente significativa nelle matrici di covarianza (p-value 0.0019 nel test di Frobenius), suggerendo una leggera discrepanza nella struttura delle correlazioni rispetto ai dati reali, nonostante l'alta fedeltà complessiva.

4. Contributi Principali

1. Dataset Unificato: Creazione e utilizzo di UMNIDS, un dataset multimodale che integra dati a livello di flusso, payload e contesto temporale da diverse fonti.
2. Framework di Valutazione Olistico: Prima applicazione combinata del framework SDV con test statistici non parametrici rigorosi (Hotelling, Frobenius, MMD) e misure di divergenza f per valutare dati sintetici di rete.
3. Confronto Ampio: Analisi comparativa di architetture generative eterogenee, inclusi modelli basati su Diffusione e LLM, nel contesto della sicurezza di rete.
4. Analisi Trade-off Privacy-Utilità: Dimostrazione empirica che l'aggiunta di privacy differenziale (PATE) degrada significativamente l'utilità dei dati sintetici per compiti di rilevamento intrusioni.

5. Significato e Implicazioni

Il lavoro dimostra che è possibile generare dataset sintetici di rete di alta qualità che preservano le proprietà statistiche e l'utilità per l'addestramento di modelli NIDS, riducendo la dipendenza da dati reali sensibili.

• Per la Ricerca: Fornisce un protocollo standardizzato per valutare la qualità dei dati sintetici, andando oltre le semplici metriche di generazione per includere test statistici multivariati.
• Per la Pratica: Suggerisce l'uso di modelli come CTGAN-2 o Diffusion Forests per creare dataset di addestramento robusti. Tuttavia, avverte che l'uso di tecniche di privacy differenziale estrema può rendere i dati inutili per compiti di classificazione complessi.
• Futuro: Il paper apre la strada a validazioni incrociate su altri dataset IDS e all'uso di attacchi avversariali per testare la resilienza di questi modelli generativi.

In sintesi, l'articolo stabilisce che l'approccio combinato di modelli ensemble per la rilevazione e modelli generativi avanzati (Diffusione/LLM/CTGAN) per la sintesi dei dati offre una soluzione promettente e statisticamente valida per il futuro dei sistemi di difesa di rete.