NetSecBed: A Container-Native Testbed for Reproducible Cybersecurity Experimentation

Probleemstelling

Cybersecurityonderzoek is steeds meer afhankelijk van reproduceerbare bewijslast, zoals verkeerssporen (traffic traces), logs en gelabelde datasets. Echter, de huidige staat van de techniek kampt met ernstige tekortkomingen:

• Statische datasets: Bestaande publieke datasets zijn vaak statisch, verouderd en bieden geen ondersteuning voor gecontroleerde heruitvoering of traceerbaarheid, vooral in heterogene multi-protocolomgevingen (zoals IoT, IIoT en traditionele netwerken).
• Gebrek aan reproduceerbaarheid: Kleine variaties in softwareversies, timing of configuratie kunnen de resultaten aanzienlijk beïnvloeden, wat vergelijkingen tussen experimenten onmogelijk maakt.
• Fragmentatie: Bestaande testbeds optimaliseren vaak slechts één dimensie (bijv. fysieke realisme of specifieke protocollen) ten koste van schaalbaarheid, aanvalsdekking en de mogelijkheid tot systematische herhaling.
• Operational Bias: Veel benaderingen vertrouwen op statische collecties of semi-handmatige pipelines, wat de objectiviteit en auditbaarheid van experimenten ondermijnt.

Het centrale probleem is niet langer het krijgen van data, maar het systematisch genereren van experimenteel bewijs op een reproduceerbare, auditbare en uitbreidbare manier.

Methodologie: NetSecBed Architectuur

NetSecBed is een container-native, scenario-georiënteerd testbed dat experimenten formaliseert als een gecontroleerde, observeerbare en herhaalbare pijplijn. De architectuur rust op vier methodologische principes: strikte componentisolatie, gestandaardiseerde uitvoering, declaratieve uitbreidbaarheid en end-to-end traceerbaarheid.

De architectuur bestaat uit vier subsystemen:

1. Containerized Artifact Repository:
   • Aanvallen, doelwitdiensten en "benign" (onschuldig) verkeer worden geïsoleerd in single-purpose containers.
   • Elke aanval is een onafhankelijke container, wat de uitvoering isoleert en ambiguïteit elimineert.
   • De repository bevat 60 aanvalsscenario's, 9 doelwitdiensten (o.a. Web, MySQL, SSH, MQTT, CoAP, Zenoh, XRCE-DDS) en parameteriseerbare verkeersgeneratoren.
   • Scenarios worden beschreven via gestructureerde metadata (YAML) die koppelen aan de MITRE ATT&CK-taxonomie, wat zorgt voor consistentie en traceerbaarheid.
2. Orchestration Engine:
   • Zet abstracte specificaties om in een uitvoerbare workflow.
   • Volgt een expliciete levenscyclus: Warmup (stabilisatie) -> Attack (adversariale interferentie) -> Cooldown (herstel).
   • Voert continu beschikbaarheids- en latentieprobes uit om elke steekproef te labelen met de bijbehorende fase.
3. Data Processing & Artifact Generation:
   • Converteert ruwe signalen (pcaps, logs) naar analyseerbare bewijsstukken.
   • Gebruikt meerdere onafhankelijke extractoren (TShark, Scapy, NTLFlowLyzer) om bias te minimaliseren en robuustheid te verifiëren.
   • Genereert gestructureerde datasets, visuele rapporten en samenvattingen die direct gekoppeld zijn aan de uitvoeringsmetadata.
4. Experimentele Formalisatie:
   • Elk experiment wordt gemodelleerd als een tuple $E = (C, P, B, I, R)$, waarbij $C$ het scenario is, $P$ de parameterruimte, $B$ de benigne baseline, $I$ het instrumentatieplan en $R$ het herhalingsplan.
   • Dit zorgt voor volledige traceerbaarheid tussen configuratie en resultaten.

Belangrijkste Bijdragen

1. Container-Native Architectuur: Een observabele infrastructuur die reproduceerbaarheid garandeert door strikte isolatie van componenten.
2. Gestructureerde Aanvalscatalogus: Een uitbreidbare catalogus van 60 aanvallen met ondersteuning voor diverse protocollen (traditioneel en IoT/IIoT), expliciet gekoppeld aan MITRE ATT&CK.
3. Geautomatiseerde Pijplijn: Een volledig geautomatiseerd proces voor het genereren van artefacten, inclusief packet capture, logcollectie, feature extraction en datasetconsolidatie.
4. Methodologisch Kader: Een aanpak die operationele bias reduceert en vergelijkingen tussen heterogene experimenten mogelijk maakt door het scheiden van declaratieve specificatie en uitvoering.

Resultaten

Het paper presenteert een evaluatie met een DoS SYN Flood-aanval op een HTTP-dienst om de effectiviteit van het testbed te demonstreren. Twee intensiteitsniveaus werden getest:

• L0 (Lage intensiteit, tot 100 pps): De dienst bleef stabiel met 100% succes en lage latentie (p50 ≈ 3 ms) tijdens alle fasen.
• L3 (Hoge intensiteit, onbeperkt):
  • Tijdens de aanval daalde het succespercentage naar 55,6%.
  • De mediane latentie (p50) steeg van enkele milliseconden naar 1275,74 ms.
  • De 95e en 99e percentielen (p95/p99) bereikten 2002,2 ms, wat aangeeft dat de meeste succesvolle verzoeken dicht bij de time-outgrens lagen.
  • Herstel: Na de aanval (cooldown-fase) herstelde de dienst volledig naar 100% succes en normale latentie, wat aantoont dat de degradatie tijdelijk en direct aan de aanval te wijten was.
  • Resource Usage: CPU-gebruik en systeemload reageerden direct op de aanval, terwijl het geheugengebruik toenam van ~76% naar ~90% en niet direct terugkeerde naar het basisniveau, wat inzicht geeft in de herstelmechanismen.

De resultaten bevestigen dat NetSecBed in staat is om gecontroleerde, fase-bewuste en kwantitatief reproduceerbare bewijslast te genereren.

Significantie

NetSecBed vormt een doorbraak in cybersecurityonderzoek door de overgang van statische datasets naar dynamische, reproduceerbare experimentele omgevingen.

• Schaalbaarheid en Uitbreidbaarheid: Door het gebruik van containers en declaratieve YAML-bestanden kunnen nieuwe aanvallen en protocollen eenvoudig worden toegevoegd zonder de kern van het systeem aan te passen.
• Toepasbaarheid: Het is bijzonder geschikt voor complexe omgevingen zoals IoT, IIoT en cyber-fysische systemen, waar heterogeniteit en continu evoluerend verkeer de norm zijn.
• Wetenschappelijke Integriteit: Het framework verhoogt de externe validiteit van onderzoeksresultaten door volledige traceerbaarheid, auditbaarheid en de mogelijkheid tot continue datasetgeneratie. Dit stelt onderzoekers in staat om detectiemodellen te trainen op actuele data en incidentresponsmechanismen te testen onder gecontroleerde, reproduceerbare omstandigheden.

Kortom, NetSecBed biedt een robuust fundament voor de volgende generatie cybersecurityexperimenten, waarbij reproduceerbaarheid en uitbreidbaarheid centraal staan.