💻 computer science

Assessing Generalisation Capability of Machine Learning Models for Intrusion Detection

Deze studie toont aan dat, hoewel supervised machine learning-modellen zoals Random Forest hoge nauwkeurigheid bereiken op specifieke datasets voor detectie van indringers, ze lijden onder een aanzienlijk generalisatiekloof wanneer ze worden toegepast op onbekende netwerkomgevingen, wat de dringende behoefte onderstreept aan adaptieve, contextgevoelige modellen om de evoluerende cyberveiligheidsbedreigingen aan te pakken.

Oorspronkelijke auteurs: Md Zakir Hossain, Md Ayshik Rahman Khan, Md Rafiqul Islam, Syed Mohammed Shamsul Islam, Tom Gedeon

Gepubliceerd 2026-05-07

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Md Zakir Hossain, Md Ayshik Rahman Khan, Md Rafiqul Islam, Syed Mohammed Shamsul Islam, Tom Gedeon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiliger traint om indringers in een gebouw op te sporen.

De Opzet: Twee Heel Verschillende Gebouwen
In deze studie trainden de onderzoekers hun "beveiligers" (wat computerprogramma's zijn die Machine Learning-modellen worden genoemd) met data uit twee zeer verschillende gebouwen:

Gebouw A (UNSW-NB15): Een standaard kantoornetwerk met typisch computerverkeer.
Gebouw B (TON_IoT): Een slim huis vol met internetverbonden apparaten zoals camera's, thermostaten en koelkasten.

De onderzoekers wilden zien of een beveiliger die in het ene gebouw was getraind, succesvol slechteriken in het andere gebouw zou kunnen opsporen.

De Trainingsfase: Het Gaan Geweldig Thuis
Eerst testten ze de beveiligers in hetzelfde gebouw waar ze waren getraind.

Ze gebruikten drie soorten beveiligers: een Random Forest (een team van veel besluitvormers), een Logistieke Regressie (een simpele regelvolger) en een Naive Bayes (een kansschatter).
Het Resultaat: Toen de beveiligers in hun thuisgebouw bleven, waren ze ongelooflijk scherp. Het "Random Forest"-team was een ster, die 95% van de indringers in het kantoor en bijna 100% in het slimme huis opving. Het leek alsof ze de baan onder de knie hadden.

De Echte Test: De "Gebouw-Overstijgende" Uitdaging
Vervolgens probeerden de onderzoekers iets lastigs. Ze namen de beveiliger die in het Kantoor was getraind en stuurden hem naar het Slimme Huis om te werken. Daarna namen ze de beveiliger uit het Slimme Huis en stuurden hem naar het Kantoor.

Het Resultaat: De prestaties crashten.
- De ster-beveiliger "Random Forest", die perfect was in zijn thuisgebouw, raakte plotseling in de war en ving slechts ongeveer 38% van de indringers in het nieuwe gebouw op.
- De andere beveiligers deden het nog slechter, waarbij sommige minder dan 10% van de slechteriken opvingen.

Waarom Gebeurde Dit?
Het artikel legt uit dat de twee gebouwen te verschillend waren.

Verschillende "Uniformen": Het kantoornetwerk en het slimme huisnetwerk spraken verschillende "talen" (ze hadden verschillende data-kenmerken). Toen de onderzoekers de beveiligers dwongen om alleen de paar woorden te gebruiken die ze gemeen hadden (zoals hoe lang een verbinding duurde of hoeveel datapakketten er werden verzonden), verloren de beveiligers de specifieke aanwijzingen waarop ze vertrouwden om hun werk te doen.
Verschillende Patronen: Het kantoor had een breed scala aan verkeerpatronen, terwijl het verkeer in het slimme huis anders geclusterd was. De beveiligers hadden geleerd om de specifieke patronen van hun thuisgebouw te herkennen, niet het universele concept van "inbraak".

De Grote Les
De belangrijkste conclusie is een waarschuwing: Het feit dat een beveiligingssysteem er perfect uitziet in een testlaboratorium, betekent niet dat het in de echte wereld zal werken.

De auteurs vergelijken dit met Affectieve Computing (een vakgebied waar computers proberen menselijke emoties te begrijpen). Net zoals een computer moeite kan hebben met het lezen van de stemming van een mens als het licht of de achtergrond verandert, worstelen deze beveiligingsmodellen met het lezen van netwerkattacks wanneer de netwerkomgeving verandert.

Conclusie
Het artikel concludeert dat we moeten stoppen met alleen proberen de hoogste score te behalen in een enkele, gecontroleerde test. In plaats daarvan moeten we "adaptieve" beveiligingssystemen bouwen die kunnen leren slecht gedrag te herkennen, zelfs wanneer de omgeving verandert, net zoals een menselijke beveiliger die een dief kan opsporen, of hij nu in een donker steegje of in een fel verlicht winkelcentrum is.

Opmerking: De auteurs vermelden dat ze een AI-tool (ChatGPT) alleen hebben gebruikt om de grammatica te corrigeren en zinnen duidelijker te maken, maar dat de daadwerkelijke experimenten en resultaten door de menselijke onderzoekers zijn uitgevoerd.

Technische Samenvatting: Beoordeling van Generalisatievermogen van Machine Learning-modellen voor Inbraakdetectie

Probleemstelling
De snelle uitbreiding van netwerksystemen en IoT-systemen heeft cyberbeveiligingsdreigingen versterkt, waardoor de beperkingen van traditionele signatuur-gebaseerde inbraakdetectiesystemen (IDS) aan het licht zijn gekomen. Hoewel machine learning (ML)-modellen vaak hoge nauwkeurigheid rapporteren op specifieke benchmarkdatasets, identificeert deze studie een kritieke kloof: hoge prestaties binnen een enkele dataset garanderen geen betrouwbaarheid in onbekende netwerkomgevingen. Bestaande evaluaties houden vaak geen rekening met datasetdiversiteit, verschillen in verkeersgeneratie en verschuivingen in feature-verdeling, wat leidt tot modellen die mogelijk niet generaliseren naar realistische scenario's.

Methodologie
De studie evalueert het generalisatievermogen van supervised ML-modellen met behulp van twee publiek beschikbare datasets voor inbraakdetectie: UNSW-NB15 (algemeen netwerkverkeer) en TON_IoT (IoT/IIoT-verkeer).

Modellen: Drie supervised classifiers werden geselecteerd om verschillende leerparadigma's te vertegenwoordigen: Random Forest (ensemble), Logistische Regressie (lineair) en Naive Bayes (probabilistisch).
Experimentele Instellingen:
1. Zelfde-dataset Evaluatie: Modellen werden getraind en getest op dezelfde dataset met een 70/30 train-test splitsing.
2. Cross-dataset Evaluatie: Modellen getraind op de ene dataset werden getest op de andere om generalisatie over verschillende netwerkomgevingen te beoordelen.
Feature Engineering: Voor cross-dataset experimenten werden alleen de zeven gemeenschappelijke features die door beide datasets worden gedeeld, behouden: duration, proto, service, src_bytes, dst_bytes, src_pkts en dst_pkts. Dit was noodzakelijk vanwege structurele verschillen tussen de datasets.
Preprocessing: Data onderging reiniging (verwijderen van duplicaten, omgaan met oneindige/ontbrekende waarden), normalisatie (Min-Max) en label encoding. Feature correlatieanalyse werd uitgevoerd om redundantie te identificeren.

Belangrijkste Resultaten

Prestaties op Zelfde Dataset: Alle modellen behaalden sterke prestaties wanneer getraind en getest op dezelfde data.
- Random Forest bleek de beste performer, met 95,08% nauwkeurigheid op UNSW-NB15 en 99,79% nauwkeurigheid op TON_IoT.
- Logistische Regressie en Naive Bayes toonden ook concurrerende resultaten, vooral in recall, hoewel met een lagere algehele nauwkeurigheid dan Random Forest.
Prestaties op Cross-dataset: Er werd een aanzienlijke "generalisatiekloof" waargenomen. Wanneer modellen op de ene dataset werden getraind en op de andere werden getest, daalden de prestaties drastisch.
- Random Forest: Daalde naar 38,07% nauwkeurigheid (UNSW-NB15 $\to$ TON_IoT) en 39,54% nauwkeurigheid (TON_IoT $\to$ UNSW-NB15).
- Logistische Regressie: Presteerde relatief beter in de richting UNSW-NB15 $\to$ TON_IoT (77,79% nauwkeurigheid), maar daalde naar 38,24% in de omgekeerde richting.
- Naive Bayes: Toonde de zwakste generalisatie, met nauwkeurigheden zo laag als 25,85% en 36,58%, en extreem lage recall in sommige configuraties.
Feature Analyse: Correlatiewarmtekaarten onthulden redundante verkeersvolume-features. Feature importance analyse op de TON_IoT dataset gaf aan dat byte/pakket volumes aan de bronkant en DNS-gerelateerde features kritiek waren voor het Random Forest-model, wat suggereert dat het model dataset-specifieke patronen leerde in plaats van universele aanvalssignaturen.

Belangrijkste Bijdragen

Empirisch Bewijs van Generalisatiefalen: De studie levert concreet bewijs dat hoge benchmarknauwkeurigheid op individuele datasets (UNSW-NB15, TON_IoT) niet vertaalt naar cross-dataset levensvatbaarheid.
Cross-dataset Benchmarking: Door systematisch modellen te evalueren over twee verschillende datasets met een beperkte set gemeenschappelijke features, onderstreept het artikel de broosheid van huidige IDS-modellen wanneer ze geconfronteerd worden met domeinverschuivingen.
Vergelijkende Analyse: De resultaten worden vergeleken met bestaande literatuur, waarbij wordt aangetoond dat hoewel de resultaten op dezelfde dataset concurrerend of superieur zijn aan eerdere werken, de ineenstorting bij cross-dataset een onderscheidende bevinding is die vaak over het hoofd wordt gezien in standaard evaluaties.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage niet slechts een vergelijking van classifiers is, maar de blootlegging van een opmerkelijk generalisatieprobleem in machine learning voor cyberbeveiliging. De auteurs stellen dat de scherpe daling in prestaties tijdens cross-dataset evaluatie bewijst dat hoge benchmarkscores vaak een falen maskeren om zich aan te passen aan diverse netwerkverkeersstromen.

De studie plaatst deze uitdaging in de context van affectieve computing en mensgerichte AI. Er wordt een parallel getrokken tussen de moeilijkheid om latente toestanden af te leiden uit ruige, contextafhankelijke gedragsignalen in affectieve computing en de uitdaging om kwaadaardige activiteit te identificeren op basis van verschuivend netwerkgedrag. De auteurs suggereren dat technieken uit deze velden—zoals gedragsanalyse, domeinadaptatie en onzekerheidsbewuste modellering—kunnen worden ingezet om robuustere, adaptieve en generaliseerbare inbraakdetectiesystemen te ontwikkelen die kunnen opereren in evoluerende IoT- en enterprise-omgevingen.

Beperkingen
De auteurs erkennen dat de slechte cross-dataset prestaties deels kunnen worden toegeschreven aan het beperkte aantal gemeenschappelijke features (slechts zeven) dat voor evaluatie werd gebruikt, wat dataset-specifieke informatie verwijderde die beschikbaar was in tests op dezelfde dataset. Daarnaast droegen verschillen in verkeersgeneratie-omgevingen en aanvalsgedrag tussen de twee datasets bij aan de domeinverschuiving.

Technische Samenvatting: Beoordeling van Generalisatievermogen van Machine Learning-modellen voor Inbraakdetectie

Meer zoals dit