Individual Packet Features are a Risk to Model Generalisation in ML-Based Intrusion Detection

Titel: Individuele Pakketkenmerken vormen een Risico voor Modelgeneralisatie in ML-gebaseerde Inbraakdetectie

Auteurs: Kahraman Kostas, Mike Just, en Michael A. Lones (Heriot-Watt University, UK)

---

1. Het Probleem

Met de explosieve groei van het Internet of Things (IoT) en de heterogeniteit van hardware en software, worden netwerkbeveiligingssystemen onder grote druk gezet. Machine Learning (ML) wordt steeds vaker ingezet voor inbraakdetectie (Intrusion Detection Systems - IDS).

De kern van dit paper is een kritische analyse van een specifieke aanpak: het gebruik van Individuele Pakketkenmerken (Individual Packet Features - IPF). IPF zijn attributen die uit één enkel netwerkpakket worden gehaald, zoals tijdstip, grootte, en source/destination informatie, zonder rekening te houden met interacties tussen pakketten (zoals flows of sessies).

Hoewel eerdere studies vaak hoge detectiepercentages rapporteren met IPF, stelt dit paper dat deze resultaten misleidend zijn. De modellen generaliseren niet naar andere datasets of omgevingen, waardoor ze in de praktijk onbetrouwbaar zijn.

2. Methodologie

De auteurs combineren een uitgebreide literatuuranalyse met experimentele case studies om hun stelling te onderbouwen:

• Literatuuranalyse: Er werden 10 studies (uit 68 onderzochte werken tussen 2019-2023) geïdentificeerd die IPF gebruiken. De auteurs analyseerden de gebruikte datasets (vaak vooraf verwerkte CSV-bestanden) en de rapportage van resultaten.
• Experimentele Case Studies:
  • Dataset: Gebruik van de IoT-NID dataset, die unieke sessies voor elke aanval bevat, en de Kitsune dataset.
  • Validatie van Datalekken (Information Leakage): De auteurs simuleerden een train/test-verdeling waarbij sessies werden gesplitst. Ze toonden aan dat als pakketten uit dezelfde sessie in zowel de trainings- als testset voorkomen, kenmerken zoals IP-adressen, poorten of sequentienummers als "identificerende kenmerken" fungeren. Dit leidt tot datalekken waarbij het model de testdata "kent" in plaats van patronen te leren.
  • Complexiteitsanalyse: Er werd gekeken naar de complexiteit van de data (op basis van tijds- en groottekenmerken) en de relatie met overfitting.
  • Isolatiestests: Modellen getraind op één sessie werden getest op een andere, volledig onafhankelijke sessie om generalisatievermogen te meten.

3. Belangrijkste Bijdragen en Bevindingen

A. Het Gevaar van Identificerende Kenmerken (Information Leakage)

De auteurs tonen aan dat veel studies met IPF hoge nauwkeurigheid bereiken omdat ze per ongeluk identificerende kenmerken gebruiken (zoals IP-adressen, MAC-adressen, of sessie-specifieke ID's).

• In veel openbare datasets zijn aanvalspakketten opgeslagen in één bestand zonder duidelijke sessiegrenzen.
• Bij een willekeurige train/test-split (bijv. 80/20) komen pakketten van dezelfde sessie (en dus dezelfde IP-adressen of poorten) vaak in zowel de trainings- als testset voor.
• Het model leert dan niet "wat een aanval is", maar "welke IP-adressen in deze dataset een aanval zijn". Dit verklaart de schijnbaar perfecte resultaten (bijv. 100% nauwkeurigheid) die in de literatuur worden gerapporteerd.

B. Laag Data-complexiteit (Low Data Complexity)

Zelfs zonder identificerende kenmerken kunnen IPF misleidend zijn door de uniformiteit van aanvalspakketten.

• Veel aanvallen (zoals UDP Floods of Mirai) genereren pakketten met een zeer constante grootte of tijdsinterval.
• In datasets met lage complexiteit kan een simpele feature (bijv. "pakketgrootte = X") een perfecte scheiding maken binnen de dataset.
• Echter, in een realistische omgeving variëren aanvalspakketten. Een model dat leert op basis van een vaste grootte zal falen zodra de aanval een andere grootte heeft, of het zal normaal verkeer van die specifieke grootte ten onrechte als aanval markeren.

C. Experimentele Resultaten

• Cross-Validation vs. Geïsoleerde Sessies: In cross-validatie (waar sessies door elkaar worden gehaald) behalen IPF-modellen vaak hoge scores (F1-score > 0.9). Zodra echter getest wordt op een volledig geïsoleerde sessie (waar de trainingsdata geen enkele overlap heeft in sessie-ID's), stort de prestatie in (bijv. F1-score daalt naar 0.03 of 0.50).
• Complexiteitsscore: Er is een duidelijke inverse correlatie gevonden tussen datacomplexiteit en modelsucces. Bij een complexiteitsscore onder de 45 (op een schaal van 0-100) lijken IPF-modellen perfect te werken, maar dit is een artefact van overfitting op eenvoudige patronen.

4. Conclusie en Significantie

Conclusie:
Het vertrouwen op Individuele Pakketkenmerken (IPF) voor ML-gebaseerde inbraakdetectie is fundamenteel gebrekkig. De hoge rapportage van succes in de literatuur is grotendeels het gevolg van datalekken (door het niet correct splitsen van sessies) en overfitting op lage datacomplexiteit. Deze modellen zijn niet robuust en generaliseren niet naar nieuwe, diverse IoT-omgevingen.

Significantie:

1. Waarschuwing voor de Gemeenschap: Dit is het eerste empirische bewijs dat IPF-risico's systematisch blootlegt. Het verklaart waarom veel bestaande studies onrealistische resultaten rapporteren.
2. Aanbeveling voor Praktijk: Onderzoekers en practitioners moeten overstappen op contextuele kenmerken en pakketinteracties.
   • Gebruik Flow-based features (statistieken over een reeks pakketten).
   • Gebruik Window-based features (variaties binnen een tijdsvenster).
3. Toekomstige Richting: Om robuuste IDS-systemen te bouwen die bestand zijn tegen evoluerende cyberdreigingen in IoT-netwerken, moeten modellen leren van de dynamiek van communicatie (sessies, flows) in plaats van statische eigenschappen van losse pakketten.

Kortom: IPF is een "shortcut" die werkt binnen gesloten, slecht opgezette datasets, maar faalt in de echte wereld. Robuuste beveiliging vereist een holistische benadering van netwerkverkeer.