Forensic-Oriented Intrusion Detection Using Synthetic Network Traffic Data and Explainable Artificial Intelligence

Technische Samenvatting: Forensisch Georiënteerde Intrusiendetectie met Synthetische Netwerkverkeersgegevens en Uitlegbare Kunstmatige Intelligentie

Probleemstelling
Digitale forensische onderzoeken naar netwerkinbraken worden geconfronteerd met twee structurele barrières die de brede adoptie van machine learning (ML)-pipelines in de weg staan: beschikbaarheid van gegevens en transparantie. Ten eerste bevatten echte netwerkopnames vaak gevoelige, gebruikersidentificeerbare informatie die onder databeschermingsregels (bijv. AVG/GDPR) of eisen met betrekking tot de keten van bewijs (chain-of-custody) die verwerking van origineel bewijsmateriaal verbieden, niet gebruikt kan worden voor training. Ten tweede opereren hoogwaardige ML-modellen (bijv. deep learning, ensemble-methoden) vaak als "black boxes", die een gebrek hebben aan verklaringen op instantieniveau die vereist zijn voor rechtbankverdedigbare rapportage. Bestaand onderzoek behandelt deze problemen onafhankelijk, maar geen enkel voorafgaand framework integreert synthetische datageneratie, intrusiendetectie en uitlegbaarheid binnen één enkele pipeline die wordt beheerst door gevestigde forensische standaarden (ISO/IEC 27037, 27041, 27042 en NIST SP 800-86).

Methodologie
De auteurs stellen een forensisch georiënteerd framework voor dat de strikte scheiding tussen origineel digitaal bewijsmateriaal en afgeleide analytische artefacten operationaliseert. De methodologie volgt een zesstaps-proces:

1. Bewijsvoering (Evidence Handling): Originele datasets (CICIDS2017, UNSW-NB15, Kitsune) worden behandeld als onveranderlijke, alleen-lezen artefacten met SHA-256 integriteitscontroles (hashes). Alle verwerking vindt plaats op "schone kopieën" of synthetische derivaten.
2. Synthetische Datageneratie: Een geparametriseerde pipeline gebruikmakend van het Synthetic Data Vault (SDV) framework met CTGAN (Conditional Generative Adversarial Networks) genereert synthetisch netwerkverkeer. Deze aanpak adresseert klassenimbalans zonder post-hoc oversampling-artefacten, wat reproduceerbare experimentatie mogelijk maakt zonder het originele bewijsmateriaal bloot te stellen.
3. Classificatie: Een XGBoost binaire classifier wordt ingezet voor intrusiendetectie. XGBoost is gekozen vanwege de hoge prestaties op tabelvormige gegevens en de compatibiliteit met SHAP (SHapley Additive exPlanations) TreeExplainer, die exacte, instantieniveau feature-attributies biedt in plaats van benaderingen.
4. Uitlegbaarheid (Explainability): Het framework integreert SHAP om zowel globale samenvattingen (rangschikking van feature-belangrijkheid) als lokale waterfall-plots (decompositie van individuele voorspellingen) te genereren. Dit koppelt statistische voorspellingen aan observeerbaar netwerkgedrag (bijv. flow-duur, pakketfrequenties) dat geschikt is voor forensische rapportage.
5. Evaluatieprotocol: De studie maakt gebruik van een Train-on-Synthetic, Test-on-Real (TSTR) protocol om juridisch beperkte scenario's te simuleren waarin origineel bewijsmateriaal niet gebruikt mag worden voor training. Drie scenario's worden vergeleken: Real-to-Real (R→R), Synthetic-to-Real (S→R) en Mixed-to-Real (M→R).
6. Validatie: Statistische getrouwheid wordt beoordeeld met behulp van Kolmogorov–Smirnov (KS) testen om te waarborgen dat privacybehoud (onderscheidbaarheid van originele data) gewaarborgd is terwijl de operationele bruikbaarheid behouden blijft.

Belangrijkste Bijdragen

• Forensische Bewijs-Artefact Scheidingspipeline: De eerste integratie van synthetische data, ML-gebaseerde detectie en uitlegbaarheid binnen een workflow die expliciet wordt beheerst door ISO/IEC 27037, 27041, 27042 en NIST SP 800-86. Dit operationaliseert de vereiste dat origineel bewijsmateriaal ongewijzigd blijft terwijl analytische artefacten worden afgeleid van synthetische of gecontroleerde kopieën.
• Empirische TSTR-validatie: Demonstreert dat modellen die volledig op synthetische data zijn getraind, een hoge detectieprestatie kunnen bereiken op echt verkeer. Op CICIDS2017 bereikte het S→R scenario een F1-macro van 0,96, wat binnen de cross-validatie variantie ligt van de R→R baseline (0,97).
• Forensische Interpretatielaag: De studie koppelt SHAP-attributies aan specifieke forensische indicatoren voor Brute Force, Port Scan en Denial-of-Service (DoS) aanvallen. Het bevestigt dat synthetische training de "aanvalsvingerafdrukken" (attack fingerprints) behoudt die nodig zijn voor deskundigengetuigenis.
• Methodologische Inzicht in Datamenging: Het papier identificeert dat het mengen van echte en synthetische data zonder strikte controle over de klassenverdeling (M→R) leidt tot prestatievermindering (F1-macro 0,87) door klassebias, wat de noodzaak van geparametriseerde controle bij data-augmentatie onderstreept.
• Operationele Grenscondities: Cross-dataset validatie laat zien dat de effectiviteit van louter synthetische training sterk afhankelijk is van de dimensionaliteit van de feature space. De aanpak is effectief bij hoog-dimensionale data (bijv. CICIDS2017 met 78 features), maar verslechtert aanzienlijk bij laag-dimensionale datasets (bijv. Kitsune met 7 features), wat een praktische grens vaststelt van ongeveer 30 numerieke flow-level features voor louter synthetische training.

Resultaten

• Prestaties: Op CICIDS2017 bereikte het S→R model een F1-macro van 0,96, vergeleken met 0,97 voor R→R en 0,87 voor M→R. XGBoost presteerde beter dan Random Forest (0,95) en SVM (0,92) in het R→R scenario.
• Statistische Getrouwheid: KS-testen bevestigden dat synthetische data statistisch onderscheidbaar is van de originele data (gemiddelde |KS| = 0,38 voor CICIDS2017), wat voldoet aan de privacyvereisten terwijl de distributieve kenmerken die nodig zijn voor binaire classificatie behouden blijven.
• Consistentie van Uitlegbaarheid: SHAP-attributies voor Brute Force, Port Scan en DoS-aanvallen waren consistent tussen echte en synthetische instanties, wat valideert dat synthetische data de gedragspatronen behoudt die nodig zijn voor forensische analyse.
• Impact van Dimensionaliteit: Op UNSW-NB15 (45 features) daalde de S→R prestatie naar een F1-macro van 0,52. Op Kitsune (7 features) daalde dit naar 0,24. Echter, het M→R scenario herstelde de prestaties naar bijna-baseline niveaus (respectievelijk 0,98 en 0,96) in deze lagere-dimensionale gevallen.

Betekenis
Het artikel stelt dat de primaire betekenis niet louter ligt in detectienauwkeurigheid, maar in de creatie van een verdedigbare, reproduceerbare en controleerbare workflow voor AI-ondersteunde digitale forensica. Door het originele bewijsmateriaal strikt te scheiden van analytische artefacten en gebruik te maken van uitlegbare modellen, adresseert het framework de "transparantiebarrière" die de juridische toelaatbaarheid van ML in forensische onderzoeken historisch gezien heeft gehinderd. Het werk demonstreert dat synthetische data als een functioneel substituut kan dienen voor echt verkeer in trainingsscenario's waar privacy- of keten-van-bewijsbeperkingen het gebruik van originele data verbieden, mits de feature space voldoende rijk is en het generatieproces strikt geparametriseerd is. De auteurs benadrukken dat het framework ML-outputs positioneert als analytische indicatoren om het deskundig oordeel te ondersteunen, in plaats van als onafhankelijk bewijs van kwaadwillende opzet, wat aansluit bij de epistemologische grenzen van statistische attributie.