🤖 machine learning

Multi-Level Distributional Entropy for Explainable Network Intrusion Detection

Dit artikel introduceert Multi-Level Distributional Entropy (MDE), een interpreteerbaar framework dat entropie-gebaseerde kenmerken direct afleidt uit statistieken op flow-niveau om effectieve en reproduceerbare detectie van netwerkinbraus mogelijk te maken zonder dat ruwe pakketgegevens of training vereist zijn, terwijl het tegelijkertijd kritieke prestatiefouten onthult die verborgen blijven door geaggregeerde metrieken.

Oorspronkelijke auteurs: Mohamed Aly Bouke, Md Shohel Sayeed, Swee-Huay Heng, Azizol Abdullah, Mohamed Othman

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Aly Bouke, Md Shohel Sayeed, Swee-Huay Heng, Azizol Abdullah, Mohamed Othman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Blinde" Beveiliger

Stel je een beveiligingsbeambte voor op een druk vliegveld. Hun taak is om terroristen (hackers) te onderscheiden tussen duizenden gewone reizigers (normaal internetverkeer).

Jarenlang heeft deze beambte een checklist gebruikt van totalen: "Hoeveel tassen droeg deze persoon?" "Hoe lang waren ze in de rij?" "Hoe zwaar was de bagage?" Dit zijn de standaard statistieken die worden gebruikt in computerbeveiliging (pakket-aantallen, datavolume).

Het probleem is dat deze totalen het patroon missen. Een terrorist kan precies hetzelfde aantal tassen dragen als een toerist, maar hij kan ze misschien op een zeer rigide, robotachtige manier dragen, terwijl de toerist natuurlijk beweegt. De oude checklist negeert deze subtiele gedragsverschillen.

Dit papier introduceert een nieuw hulpmiddel genaamd MDE (Multi-Level Distributional Entropy). In plaats van alleen tassen te tellen, analyseert MDE het ritme en de variatie van het verkeer om te zien of het er "menselijk" of "robotachtig" uitziet.

Deel 1: Hoe MDE werkt (De drie niveaus)

De onderzoekers hebben een manier ontwikkeld om "entropie" (een maatstaf voor willekeur of chaos) te berekenen zonder dat ze elk afzonderlijk stukje data hoeven te zien. Dit doen ze op drie creatieve manieren:

Niveau 1: De "Ritmecheck" (Gaussian Differential Entropy)
- De Analogie: Stel je voor dat je naar een drummer luistert. Een menselijke drummer heeft natuurlijke variaties; soms slaat hij iets harder op de snaredrum, soms iets zachter. Een robotdrummer slaat elke keer met exact dezelfde kracht.
- De Wetenschap: MDE kijkt naar de grootte van datapakketten. Als ze allemaal exact dezelfde grootte hebben (zoals een robot), is de "entropie" laag. Als ze natuurlijk variëren (zoals een mens), is de entropie hoog. MDE berekent dit wiskundig door enkel naar het gemiddelde en de spreiding van de grootte te kijken, zonder de individuele pakketten zelf te hoeven zien.
Niveau 2: De "Eenrichtingsverkeer" Check (Jensen-Shannon Divergence)
- De Analogie: Een normaal gesprek is een tweerichtingsweg: jij praat, ik praat terug. Een schreeuwpartij of een megafoonblast is eenrichtingsverkeer: ik schreeuw tegen jou, jij zegt niets terug.
- De Wetenschap: Veel cyberaanvallen (zoals DDoS-floods) sturen een enorme hoeveelheid data in één richting en krijgen bijna niets terug. MDE meet hoe "scheef" het verkeer is. Als het verkeer perfect in balans is, is het waarschijnlijk menselijk. Als het eenrichtingsverkeer is, is het waarschijnlijk een aanval.
Niveau 3: De "Uniformiteit Check" (Flag-Pattern Entropy)
- De Analogie: Denk aan verkeerslichten. Een normale dag heeft een mix van rode, gele en groene lichten. Een defect systeem kan urenlang vastzitten op alleen "Rood" of alleen "Groen".
- De Wetenschap: Internetverkeer gebruikt "flags" (kleine besturingssignalen) om verbindingen te beheren. Normaal verkeer gebruikt een diverse mix van deze flags. Aanvalstools blijven vaak hangen in het gebruik van slechts één type (zoals alleen "SYN" flags voor een flood). MDE controleert of het verkeer een diverse "taal" gebruikt of een repetitieve, gebrekkige taal.

Deel 2: Het "Black Box" Probleem (Verklaarbaarheid)

In het verleden waren geavanceerde computermodellen als black boxes. Ze zeiden: "Dit is een aanval," maar niemand wist waarom. Beveiligingsanalisten konden een systeem niet vertrouwen dat ze niet konden begrijpen.

Dit papier gebruikt een tool genaamd SHAP (een "vertaler" voor AI).

De Analogie: Als de AI zegt "Arresteer deze persoon," print SHAP een bonnetje uit dat precies laat zien welke aanwijzingen tot die beslissing hebben geleid. "We hebben hen gearresteerd omdat hun ritme robotachtig was (Niveau 1) en ze slechts één kant op schreeuwden (Niveau 2)."
Het Resultaat: De onderzoekers ontdekten dat MDE-kenmerken zeer consistent zijn. De AI gebruikt betrouwbaar deze "ritme" en "eenrichtingsverkeer" aanwijzingen om beslissingen te nemen, en doet dit op een manier die logisch is voor menselijke experts.

Deel 3: De Realiteitscheck (Waarom "Gemiddelde" scores liegen)

De belangrijkste bevinding van dit papier gaat niet alleen over het nieuwe hulpmiddel; het gaat over hoe we beveiligingssystemen testen.

De onderzoekers stellen dat kijken naar een enkele "gemiddelde score" (zoals een F1-score) is als kijken naar een gemiddelde cijfer van een klas zonder de individuele toetsresultaten te zien.

De Analogie: Stel je een klas voor waar 99% van de leerlingen een 10 haalt voor een toets, en 1% een 0 haalt. Het klassengemiddelde is een 9,9. Dat ziet eruit als een perfecte klas! Maar als die 1% die een 0 haalde, degenen waren die een kritiek veiligheidsexamen hadden gefaald, dan is het "gemiddelde van 9,9" een leugen.

Wat het papier vond:

Op een dataset (CICIDS-2018) zag het systeem er goed uit met een score van 0,74. Maar toen ze dieper keken, realiseerden ze zich dat het systeem 52% van de werkelijke aanvallen miste. De "gemiddelde" score verborg het feit dat het systeem de helft van de tijd faalde.
In een andere test werd het systeem getraind op verkeer van maandag t/m donderdag en getest op vrijdag. Toen het "vrijdag" verkeer licht veranderde (een nieuw type aanval), zag de "gemiddelde" score van het systeem er nog steeds goed uit, maar in werkelijkheid detecteerde het systeem helemaal geen aanvallen meer (0% detectiegraad). De wiskunde zei dat het systeem de aanvallen nog steeds correct "rangschikte", maar het alarm ging niet af omdat de drempelwaarde fout was.

Deel 4: De Conclusie

Wat MDE eigenlijk doet:
Het maakt de computer niet noodzakelijkerwijs "slimmer" in het vinden van aanvallen dan de oude methoden (de scores zijn vaak hetzelfde). In plaats daarvan geeft het de computer een betere, meer logische manier om naar de data te kijken.

Het werkt zonder dat er ruwe, rommelige data nodig is (het gebruikt samenvattingen).
Het legt uit waarom het een beslissing heeft genomen.
Het onthult wanneer een systeem daadwerkelijk faalt, zelfs als de "gemiddelde score" er goed uitziet.

De Beperkingen:
Het papier geeft toe dat als de "robot" zijn gedrag volledig verandert (een nieuw type aanval die nog nooit eerder is gezien), het systeem zal falen, net als elk ander beveiligingssysteem. Ook gaat de wiskunde ervan uit dat verkeer zich enigszins als een klokcurve (Gaussiaans) gedraagt, wat niet altijd waar is voor versleuteld of complex verkeer.

Kortom: Het papier bouwt een betere "ritmedetector" voor internetverkeer die transparant is, gemakkelijk te begrijpen is en eerlijk is over wanneer het faalt, in plaats van zich te verschuilen achter één misleidend getal.

Technische Samenvatting: Multi-Level Distributionele Entropie voor Verklaarbare Netwerkintrusiendetectie

Probleemstelling
Huidige op Machine Learning gebaseerde Network Intrusion Detection Systems (IDS) vertrouwen zwaar op geaggregeerde flow-statistieken (bijv. pakketcounts, bytevolumes, verbindingsduur) die worden geëxtraheerd door tools zoals CICFlowMeter. Hoewel effectief voor detectie op basis van grootte, verwerpen deze geaggregeerde beschrijvers de distributionele en sequentiële structuur van verkeer, die vaak systematisch verschilt tussen legitieme sessies en aanvallen. Traditionele informatie-theoretische maten (bijv. Shannon-entropie, Approximate Entropy) zijn er bekend om dergelijke structurele verschillen te vangen, maar vereisen geordende sequenties van ruwe pakketgegevens. Omdat de meeste IDS-benchmarks en operationele pipelines echter gebruikmaken van vooraf geaggregeerde flow-datasets waar ruwe pakketten niet meer beschikbaar zijn, bestaat er een praktische barrière voor het integreren van entropie-gebaseerde kenmerken. Bovendien zijn bestaande hoogpresterende ensemble-classifiers vaak opaak, wat leidt tot nalevings- en audituitdagingen in gereguleerde omgevingen. Ten slotte vertrouwen gangbare evaluatieprotocollen vaak op enkelvoudige dataset-gebaseerde, geaggregeerde F1-scores, wat kritieke operationele faalmodi kan verbergen, zoals lage detectiegroottes (DR) of slechte generalisatie onder temporele verschuivingen.

Methodologie: Het MDE-framework
De auteurs stellen Multi-Level Distributionele Entropie (MDE) voor, een analytisch framework dat interpreteerbare entropie-kenmerken direct afleidt uit vooraf geaggregeerde flow-samenvattingsstatistieken zonder toegang tot ruwe pakketgegevens of trainingsdata te vereisen. MDE opereert op drie complementaire niveaus:

Niveau 1 (Binnen-flow Gaussian Differential Entropy - ADE): Veronderstelt dat pakketgroottes en inter-arrival tijden een Gaussische verdeling volgen. Het berekent differentiële entropie ( $h(X) = \frac{1}{2}\ln(2\pi e\sigma^2)$ ) met behulp van het gemiddelde en de standaarddeviatie die beschikbaar zijn in flow-records. Dit vangt de complexiteit binnen de flow op; aanvalstools produceren vaak verkeer met een lage variantie (regelmatigheid), wat resulteert in een lagere entropie vergeleken met variabel legitiem verkeer.
Niveau 2 (Cross-Directional Jensen-Shannon Divergentie - JSD): Meet de distributionele asymmetrie tussen voorwaarts (bron-naar-bestemming) en achterwaarts (bestemming-naar-bron) verkeer. Het benadert de JSD tussen twee Gaussische verdelingen geparametriseerd door flow-statistieken. Dit vangt directionele onbalansen op die veel voorkomen bij aanvallen (bijv. DDoS-floods of poortscans) versus de bidirectionele symmetrie van legitieme sessies.
N Nivau 3 (TCP Flag-Pattern Shannon Entropie): Berekent de Shannon-entropie over de distributie van TCP-control flags (FIN, SYN, RST, etc.) binnen een flow. Lage entropie duidt op flows die gedomineerd worden door één enkel type flag (bijv. SYN-floods), een signatuur van specifieke aanvalspatronen.

Belangrijkste Bijdragen

Analytische Kenmerkconstructie: MDE construeert 7–12 interpreteerbare entropie-kenmerken analytisch uit standaard flow-statistieken (gemiddelden, standaarddeviaties, counts). Het vereist geen ruwe pakketgegevens, geen trainingsdata voor kenmerkextractie en geen hertraining wanneer het wordt toegepast op verschillende datasets met variërende schema's.
Lekvrij Operationeel Evaluatieprotocol: De auteurs introduceren een rigoureus evaluatieframework dat datalekken voorkomt (door gebruik van fold-lokale preprocessing) en een volledig pakket aan operationele metrieken rapporteert (Detection Rate, False Alarm Rate, MCC, PR-AUC) naast F1. Dit protocol is ontworpen om faalmodi bloot te leggen die geaggregeerde scores verbergen, inclusief temporele verschuivingen en ongeziene aanvalsfamilies.
Uitlegbaarheid en Stabiliteitsanalyse: De studie past SHapley Additive exPlanations (SHAP) toe op MDE-geaugmenteerde classifiers. Het kwantificeert de fold-stabiliteit en domein-coherentie van entropie-attributies, en demonstreert dat entropie-kenmerken reproduceerbare en theoretisch gefundeerde verklaringen bieden over heterogene omgevingen heen.

Resultaten

Prestaties: Over vier benchmarks (NSL-KDD, CICIDS-2017, CICIDS-2018, UNSW-NB15) bereiken alleen entropie-kenmerken gewogen F1-scores variërend van 0,708 tot 0,989. Wanneer ze worden gecombineerd met conventionele kenmerken, verslechtert MDE de prestaties niet; in-distributie F1-scores blijven statistisch ononderscheidbaar van conventionele baselines.
Operationele Faalmodi: De volledige rapportage van metrieken onthulde significante hiaten die verborgen bleven door de geaggregeerde F1:
- Op CICIDS-2018 maskeerde een F1 van ~0,74 een Detection Rate (DR) van slechts 0,48, wat betekent dat minder dan de helft van de aanvallen werd gedetecteerd.
- Op CICIDS-2017 onder temporele verschuiving (trainen op Ma–Do, testen op Vr), stortte de DR in tot 0,082 ondanks een AUC van 0,87, wat aangeeft dat hoewel het model aanvallen hoger kon rangschikken dan legitiem verkeer, vaste drempelwaarden volledig faalden.
- In ongeziene aanvalsfamilie-testen (Infiltration en Bot families uitgesloten tijdens training), daalde de DR naar 0,000 voor alle modellen, terwijl de F1 boven de 0,998 bleef uitsluitend door de legitieme meerderheidsklasse.
Robuustheid en Transfer: MDE-kenmerken vertoonden een geleidelijke degradatie onder additieve Gaussische ruis. Echter, zero-shot cross-dataset transfer (bijv. trainen op CICIDS-2017, testen op CICIDS-2018) resulteerde in significante prestatiedalingen (F1 van 0,955 naar 0,591), wat bevestigt dat entropie-signaturen aanvalsfamilie-specifiek zijn en domeinadaptatie vereisen.
Interpreteerbaarheid: SHAP-analyse bevestigde dat entropie-kenmerken (met name JSD en ADE) consistent tot de topbijdragers aan voorspellingen behoren. Fold-stabiliteitsanalyse toonde hoge Spearman-rangcorrelaties (0,80–0,95) voor alle-kenmerken-attributies, wat bevestigt dat het model vertrouwt op domein-coherente entropie-signalen.

Betekenis en Claims
De paper claimt dat de primaire bijdrage van MDE niet een drastische toename is in de geaggregeerde classificatienauwkeurigheid ten opzichte van conventionele kenmerken, maar een verschuiving in representatie en evaluatiemethodologie.

Representatie: MDE biedt compacte, theoretisch gefundeerde kenmerken die de distributionele structuur (regelmatigheid, asymmetrie, protocoldiversiteit) vangen die geaggregeerde statistieken verwerpen. Deze kenmerken zijn inherent interpreteerbaar via SHAP, wat het "black box"-probleem van ensemble-classifiers aanpakt.
Evaluatie: De studie demonstreert dat standaard geaggregeerde F1-scores onvoldoende zijn voor operationele beveiligingsbeoordeling. Door de divergentie tussen drempelwaarde-ranking (waar AUC hoog blijft maar DR instort) en het falen bij het detecteren van ongeziene aanvalsfamilies bloot te leggen, pleit de paper voor evaluatieprotocollen die prioriteit geven aan volledige operationele metrieken en temporele/ongeziene-familie testen.
Toepasbaarheid: MDE biedt een praktische oplossing voor omgevingen waar ruwe pakketgegevens niet beschikbaar zijn, waardoor de integratie van informatie-theoretische inzichten in standaard flow-gebaseerde IDS-pipelines mogelijk is zonder de overhead van deep learning of ruwe dataopslag.

De auteurs concluderen dat hoewel entropie-kenmerken het fundamentele probleem van het generaliseren naar ongeziene aanvalstaxonomieën zonder hertraining niet oplossen, ze een robuuste, interpreteerbare en computationeel efficiënte analytische laag bieden die conventionele statistieken aanvult en operationele risico's onthult die vaak door standaard metrieken worden gemaskeerd.