Forensic-Oriented Intrusion Detection Using Synthetic Network Traffic Data and Explainable Artificial Intelligence

Sintesi Tecnica: Rilevamento delle Intruzioni Orientato alla Digital Forensics Utilizzando Dati di Traffico di Rete Sintetici e Intelligenza Artificiale Spiegabile

Problematica
Le indagini forensi digitali sulle intrusioni di rete affrontano due barriere strutturali che impediscono l'adozione diffusa delle pipeline di machine learning (ML): la disponibilità dei dati e la trasparenza. In primo luogo, le vere catture di rete spesso contengono informazioni sensibili e identificabili degli utenti che non possono essere utilizzate per l'addestramento ai sensi delle normative sulla protezione dei dati (ad es. GDPR) o dei requisiti di catena di custodia che proibiscono l'elaborazione dell'evidenza originale. In secondo luogo, i modelli di ML ad alte prestazioni (ad es. deep learning, metodi ensemble) operano spesso come "black box", mancando di giustificazioni a livello di istanza richieste per una rendicontazione difendibile in tribunale. La ricerca esistente affronta questi problemi indipendentemente, ma nessun framework precedente integra la generazione di dati sintetici, il rilevamento delle intrusioni e la spiegabilità all'interno di una singola pipeline governata da standard forensi stabiliti (ISO/IEC 27037, 27041, 27042 e NIST SP 800-86).

Metodologia
Gli autori propongono un framework orientato alla digital forensics che operazionalizza la stretta separazione tra l'evidenza digitale originale e gli artefatti analitici derivati. La metodologia segue un processo in sei fasi:

1. Gestione dell'Evidenza: I dataset originali (CICIDS2017, UNSW-NB15, Kitsune) sono trattati come artefatti immutabili e di sola lettura con hash di integrità SHA-256. Tutta l'elaborazione avviene su "copie pulite" o derivati sintetici.
2. Generazione di Dati Sintetici: Una pipeline parametrizzata utilizzando il framework Synthetic Data Vault (SDV) con CTGAN (Conditional Generative Adversarial Networks) genera traffico di rete sintetico. Questo approccio affronta lo sbilanciamento delle classi senza gli artefatti del sovracampionamento post-hoc, consentendo una sperimentazione riproducibile senza esporre l'evidenza originale.
3. Classificazione: Viene impiegato un classificatore binario XGBoost per il rilevamento delle intrusioni. XGBoost è stato selezionato per le sue alte prestazioni sui dati tabulari e per la sua compatibilità con lo SHAP (SHapley Additive exPlanations) TreeExplainer, che fornisce attribuzioni di feature esatte a livello di istanza piuttosto che approssimazioni.
4. Spiegabilità: Il framework integra SHAP per generare sia riepiloghi globali (classifica l'importanza delle feature) sia grafici waterfall locali (decomposizione delle singole predizioni). Ciò mappa le predizioni statistiche su comportamenti di rete osservabili (ad es. durata del flusso, tassi di pacchetti) adatti alla rendicontazione forense.
5. Protocollo di Valutazione: Lo studio utilizza un protocollo Train-on-Synthetic, Test-on-Real (TSTR) per simulare scenari legalmente vincolati in cui l'evidenza originale non può essere utilizzata per l'addestramento. Vengono confrontati tre scenari: Real-to-Real (R→R), Synthetic-to-Real (S→R) e Mixed-to-Real (M→R).
6. Validazione: La fedeltà statistica è valutata tramite il test di Kolmogorov–Smirnov (KS) per garantire la preservazione della privacy (distinguibilità dai dati originali) pur mantenendo l'utilità operativa.

Contributi Chiave

• Pipeline di Separazione tra Evidenza Forense e Artefatto: La prima integrazione di dati sintetici, rilevamento basato su ML e spiegabilità all'interno di un workflow esplicitamente governato da ISO/IEC 27037, 27041, 27042 e NIST SP 800-86. Questo operazionalizza il requisito per cui l'evidenza originale rimanga non modificata mentre gli artefatti analitici sono derivati da dati sintetici o copie controllate.
• Validazione Empirica TSTR: Dimostra che i modelli addestrati interamente su dati sintetici possono raggiungere alte prestazioni di rilevamento sul traffico reale. Su CICIDS2017, lo scenario S→R ha raggiunto un F1-macro di 0,96, entro la varianza della cross-validazione rispetto al baseline R→R (0,97).
• Livello di Interpretazione Forense: Lo studio mappa le attribuzioni SHAP su specifici indicatori forensi per attacchi di Brute Force, Port Scan e Denial-of-Service (DoS). Conferma che l'addestramento sintetico preserva le "impronte digitali dell'attacco" necessarie per la testimonianza di un esperto.
• Approfondimento Metodologico sulla Miscelazione dei Dati: Il documento identifica che miscelare dati reali e sintetici senza un controllo rigoroso sulla distribuzione delle classi (M→R) porta a un degrado delle prestazioni (F1-macro 0,87) a causa del bias di classe, rafforzando la necessità di un controllo parametrizzato nell'augmentation dei dati.
• Condizioni Limite Operative: La validazione cross-dataset rivela che l'efficacia dell'addestramento basato solo su dati sintetici dipende fortemente dalla dimensionalità dello spazio delle feature. L'approccio è efficace con dati ad alta dimensionalità (ad es. CICIDS2017 con 78 feature), ma degrada significativamente con dataset a bassa dimensionalità (ad es. Kitsune con 7 feature), stabilendo un limite pratico di circa 30 feature numeriche a livello di flusso per l'addestramento basato solo su dati sintetici.

Risultati

• Prestazioni: Su CICIDS2017, il modello S→R ha ottenuto un F1-macro di 0,96, rispetto allo 0,97 di R→R e allo 0,87 di M→R. XGBoost ha superato Random Forest (0,95) e SVM (0,92) nello scenario R→R.
• Fedeltà Statistica: Il test KS ha confermato che i dati sintetici sono statisticamente distinguibili dai dati originali (media |KS| = 0,38 per CICIDS2017), soddisfacendo i requisiti di preservazione della privacy pur mantenendo le caratteristiche distributive necessarie per la classificazione binaria.
• Consistenza della Spiegabilità: Le attribuzioni SHAP per gli attacchi Brute Force, Port Scan e DoS sono state coerenti tra istanze reali e sintetiche, convalidando che i dati sintetici preservano i pattern comportamentali necessari per l'analisi forense.
• Impatto della Dimensionalità: Su UNSW-NB15 (45 feature), le prestazioni S→R sono scese a un F1-macro di 0,52. Su Kitsune (7 feature), sono scese a 0,24. Tuttavia, lo scenario M→R ha recuperato le prestazioni portandole vicino ai livelli di base (rispettivamente 0,98 e 0,96) in questi casi a bassa dimensionalità.

Significato
Il documento afferma che la sua importanza primaria non risiede semplicemente nell'accuratezza del rilevamento, ma nella creazione di un workflow difendibile, riproducibile e verificabile per la digital forensics assistita dall'IA. Separando rigorosamente l'evidenza originale dagli artefatti analitici e utilizzando modelli spiegabili, il framework affronta la "barriera della trasparenza" che ha storicamente ostacolato l'ammissibilità legale del ML nelle indagini forensi. Il lavoro dimostra che i dati sintetici possono servire come sostituto funzionale del traffico reale negli scenari di addestramento in cui vincoli di privacy o di catena di custodia proibiscono l'uso dell'evidenza originale, a condizione che lo spazio delle feature sia sufficientemente ricco e il processo di generazione sia rigorosamente parametrizzato. Gli autori sottolineano che il framework posiziona gli output del ML come indicatori analitici per supportare il giudizio dell'esperto piuttosto che come prove indipendenti di intento malevolo, allineandosi ai limiti epistemologici dell'attribuzione statistica.