💻 computer science

An Explainable AI Audit of Temporal Signatures in Botnetand Multi-Vector Cyber-Attacks

Dit artikel toont aan dat hoewel machine learning-intrusiedetectoren met een hoge nauwkeurigheid een zwakke cross-domein transfereerbaarheid vertonen vanwege onderscheidende temporele signaturen voor botnet- en multi-vectoraanvallen, het toepassen van een multi-methode uitlegbare AI-framework succesvol een robuuste, consensusset van temporele kenmerken identificeert die black-boxmodellen transformeert tot controleerbaar en overdraagbaar bewijs voor betrouwbare intrusiedetectie.

Oorspronkelijke auteurs: Gizachew Teshome Habtamu, Shahzad Ahmed

Gepubliceerd 2026-08-13

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gizachew Teshome Habtamu, Shahzad Ahmed

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingsbeambte bent bij een enorm, druk vliegveld. Je taak is om onruststokers op te sporen tussen miljoenen reizigers. In het verleden keken beveiligers naar gezichten of controleerden ze specifieke voorwerpen in tassen. Maar tegenwoordig zijn de "slechteriken" zo goed in het verbergen van hun gezicht en het inpakken van hun tassen dat de beveiligers superintelligente robots (Machine Learning) zijn gaan gebruiken om ze op te sporen. Deze robots zijn ongelooflijk nauwkeurig en vangen vaak 99% van de slechteriken. Maar er is een addertje onder het gras: deze robots zijn "black boxes". Ze schreeuwen "ALARM!", maar vertellen niet waarom. Heeft de robot een dief betrapt omdat hij rende? Omdat hij een zware koffer droeg? Of raakte de robot gewoon in de war omdat hij een rode hoed droeg? Als de robot zichzelf niet kan uitleggen, kunnen beveiligingsteams hem niet vertrouwen en kunnen ze hem ook niet leren om nieuwe soorten problemen te herkennen.

Hier komt een veld genaamd "Explainable AI" (XAI) kijken. Denk aan XAI als een vertaler die de robot dwingt om zijn werk te laten zien, zoals een wiskundestudent die zijn stappen opschrijft tijdens een toets. De grote vraag waar onderzoekers zich mee bezighouden is: werken de aanwijzingen die de robot gebruikt om één type crimineel te vangen (zoals een groep hackers die samenwerkt) ook voor het vangen van een ander type (zoals een enorme vloedgolf aan nepverkeer)? Of heeft de robot gewoon de specifieke "uniformen" van de criminelen die hij tijdens zijn training heeft gezien, uit het hoofd geleerd? Als de robot alleen de rode hoed kent, zal hij de blauwe-hoed-criminelen missen. Dit artikel duikt in dat mysterie en test of de "aanwijzingen" die een robot leert universeel zijn of slechts specifiek voor het trainingskamp.

De Grote Detective Wissel: Botnets vs. Floods

In deze studie besloten twee onderzoekers, Gizachew en Shahzad, zeven verschillende "robotdetectives" (machine learning-modellen) door een strenge test te halen. Ze wilden zien of deze robots twee zeer verschillende soorten cybercriminelen konden opsporen met behulp van slechts een kleine checklist van negen "temporele" aanwijzingen.

De Twee Schurken:

De Botnet: Stel je een zwerm van duizenden kleine, hersenloze drones (geïnfecteerde computers) voor die allemaal wachten op een signaal van een meester. Ze bewegen in perfect, saai unisono, als een marsband. Hun "handtekening" is een strikte, ritmische timing.
De Multi-Vector Aanval: Stel je een chaotische menigte van verschillende onruststokers voor. Sommigen gooien met enorme stenen (floods), anderen proberen sloten te kraken (scans) en anderen proberen wachtwoorden te raden (brute force). Ze zijn luidruchtig, rommelig en variëren in grootte en snelheid.

De Negen Aanwijzingen:
In plaats van naar de inhoud van de berichten te kijken (die vaak versleuteld of privé is), dwongen de onderzoekers de robots om alleen naar de timing en vorm van het verkeer te kijken. Ze gaven ze een checklist van neven:

Hoe lang het gesprek duurde.
Hoeveel data er werd verzonden (volume).
Hoe snel het werd verzonden (snelheid).
Welke kant de data op stroomde (richting).
Hoe groot de individuele "pakketjes" data waren (packet size).
En het belangrijkste: de tijd tussen de pakketjes (Inter-Arrival Time of IAT).

De Schokkende Ontdekking: Verschillende Regels voor Verschillende Schurken

De robots werden getraind op deze negen aanwijzingen en presteerden verbazingwekkend goed; ze vingen bijna 100% van de slechteriken in beide scenario's. Maar toen de onderzoekers de robots vroegen om uit te leggen hoe ze hen hadden betrapt, waren de resultaten verbijsterend.

De Botnet Vangst:
Wanneer de robots de Botnet (de marcherende drones) betrapten, vertrouwden ze bijna volledig op timing. Ze keken naar de gaten tussen de berichten. Omdat de drones in een perfect ritme bewegen, waren de tijd tussen de berichten ongelooflijk regelmatig. De robots zeiden: "Aha! De tijd tussen deze berichten is te perfect! Het is een bot!" Sterker nog, voor de botnet-detectoren waren de timing-aanwijzingen zo belangrijk dat als je de timing zou door elkaar husselen, het vermogen van de robot om de slechteriken te vangen naar bijna nul zou dalen.

De Multi-Vector Vangst:
Wanneer de robots de chaotische menigte (de floods en scans) betrapten, negeerden ze de timing bijna volledig. In plaats daarvan keken ze naar grootte en volume. Ze zeiden: "Kijk hiernaar! De pakketjes hebben allemaal dezelfde vreemde grootte," of "Deze persoon stuurt veel te veel data in één richting!" De timing deed er minder toe omdat de chaotische menigte met willekeurige snelheden bewoog.

De "Black Box" Valstrik:
Dit is de meest cruciale bevinding: de onderzoekers probeerden te zien of de aanwijzingen die werden gebruikt voor de Botnet zouden werken voor de Multi-Vector aanval, en vice versa. Ze deden een wiskundige controle om te zien of de "belangrijkheid" van de aanwijzingen overeenkwam tussen de twee groepen. Het resultaat? Ze kwamen totaal niet overeen. De correlatie was praktisch nul (0,01).

Dit betekent dat als je een robot neemt die getraind is om Botnets op te sporen en hem vertelt dat hij naar Floods moet zoeken, hij waarschijnlijk zal falen omdat hij naar de verkeerde aanwijzingen kijkt. Het is alsoer je een hond leert om een bal te halen, en dan verwacht dat hij een frisbee vangt, simpelweg omdat je hetzelfde woord "halen" gebruikte. Het artikel sluit expliciet de mogelijkheid uit dat je een "feature importance"-dashboard van het ene beveiligingssysteem naar het andere kunt kopiëren en plakken en verwachten dat het werkt. De aanwijzingen zijn domeinspecifiek.

De Zilveren Rand: De "Robuuste" Aanwijzingen

Is alle hoop verloren? Hebben we voor elk type aanval een andere robot nodig? Niet helemaal. De onderzoekers gebruikten een slimme truc om de "gemene deler" te vinden. Ze vroegen: "Wat is de minst belangrijke aanwijzing voor beide soorten aanvallen?" Nee, wacht—ze vroegen het tegenovergestelde: "Welke aanwijzingen zijn nog steeds belangrijk, zelfs als we de minimale score over beide werelden nemen?"

Door te zoeken naar de aanwijzingen die de zwaarste test overleefden (belangrijk zijn in zowel de Botnet-wereld als de Flood-wereld), vonden ze een "Consensus Set" van drie super-robuuste kenmerken:

Variabiliteit in Timing: Hoeveel de tijd tussen de berichten verandert (niet alleen de gemiddelde tijd).
Source Byte Ratio: De balans tussen hoeveel data er wordt verzonden versus ontvangen.
Gemiddelde Pakketgrootte: De typische grootte van de datablokken.

Deze drie aanwijzingen zijn de "universele sleutels". Ze zijn moeilijk voor een slechterik om te vervalsen. Als een botnet probeert de timing te manipuleren om zich te verbergen, verpest het zijn eigen ritme. Als een flood-aanvaller probeert de pakketgroottes te veranderen om zich te verbergen, kan hij zijn eigen flood-patroon breken.

Wat dit voor u betekent

Het artikel concludeert dat hoewel de "black box"-robots geweldig zijn in het vangen van slechteriken, we ze niet blindelings kunnen vertrouwen. We moeten Explainable AI (XAI) gebruiken om naar binnen te kijken en te zien waar ze daadwerkelijk naar kijken.

De studie laat zien dat:

Timing is Koning voor Bots: Als je een botnet wilt vangen, houd dan de klok in de gaten.
Grootte is Koning voor Floods: Als je een flood wilt vangen, houd dan het volume in de gaten.
Niet Kopiëren en Plakken: Je kunt er niet vanuit gaan dat een robot die getraind is op het ene type aanval, ook het andere type type kan herkennen, simpelweg omdat hij slim is.
De Veilige Keuze: Als je een beveiligingssysteem wilt dat overal werkt, focus je dan op de drie "Consensus"-aanwijzingen (timingvariabiliteit, databalans en pakketgrootte).

De onderzoekers benadrukken voorzichtig dat deze resultaten gebaseerd zijn op specifieke datasets (CIC-IDS2017 en CTU-13), die fungeren als trainingssimulaties. Hoewel de robots perfect presteerden in deze tests (meer dan 99% nauwkeurigheid), is de echte wereld rommeliger. Echter, de methode die zij gebruikten—het dwingen van de robots om zichzelf uit te leggen en het vinden van de aanwijzingen die de test overleven in verschillende werelden—geeft ons een nieuwe, betrouwbare manier om beveiligingssystemen te bou

Technische Samenvatting: Een XAI-audit van Temporele Signaturen in Botnet en Multi-Vector Cyberaanvallen

Probleemstelling

Hoewel Machine Learning (ML)-gebaseerde Intrusion Detection Systems (IDS) een hoge nauwkeurigheid bereiken op benchmark-datasets, fungeren ze als "black boxes" die weinig inzicht bieden in de bewijsvoering achter hun voorspellingen. Deze ondoorzichtigheid voorkomt dat Security Operations Centre (SOC) analisten modellen kunnen auditen op 'shortcut learning' (bijv. het vertrouwen op specifieke poortnummers) of de redenen voor geautomatiseerde reacties aan belanghebbenden kunnen verantwoorden. Bov�els is een hoge nauwkeurigheid binnen een dataset geen garantie voor generaliseerbaarheid; modellen falen vaak bij overdracht naar andere netwerkomgevingen. Er bestaat een kritieke kloof in het begrip van de vraag of de door Explainable AI (XAI)-technieken geïdentificeerde belangrijke kenmerken robuuste, overdraagbare temporele signaturen vormen tussen verschillende aanvalsdomeinen—specifiek, tussen botnetverkeer (gekenmerkt door periodieke command-and-control) en multi-vector aanvalsverkeer (gekenmerkt door volumetrische floods, scans en brute force).

Methodologie

De auteurs stellen een drielaags XAI-framework voor om zeven diverse classificaties te auditen die getraind zijn op een geharmoniseerde, neendimensionale temporele featureruimte.

1. Datasets en Feature Harmonisatie

Twee heterogene benchmarks werden gebruikt:

CIC-IDS2017: Bevat multi-vector aanvalsverkeer (DoS, DDoS, PortScan, Brute Force, Web Attacks, Bot).
CTU-13: Bevat real-world botnetverkeersscenario's.

Om directe vergelijking mogelijk te maken, hebben de auteurs een identieke neen-feature temporele representatie ontworpen die afgeleid kan worden uit beide datasets, waarbij payload- en poortspecifieke identifiers zijn verwijderd om puur te focussen op gedragsmatige timing en volume:

duration_s, total_bytes, total_packets
bytes_per_s, packets_per_s
src_bytes_ratio (directionaliteit)
avg_packet_size
iat_mean_s (Inter-Arrival Time gemiddelde)
iat_std_s (Inter-Arrival Time standaarddeviatie)

2. Model Training

Zeven classificatiemodellen verspreid over vier leerparadigma's werden getraind op beide datasets met behulp van de geharmoniseerde temporele features:

Tree Ensembles: Random Forest (RF), AdaBoost (ADA), LightGBM.
Deep Learning: Deep Neural Network (DNN), Multilayer Perceptron (MLP).
Distance/Kernel: k-Nearest Neighbors (KNN), RBF-kernel SVM.

3. Explainable AI (XAI) Protocol

Drie onafhankelijke attributiemethoden werden toegepast om de modellen te auditen:

SHAP (SHapley Additive exPlanations): Gebruikt TreeExplainer voor boommodellen en Kernel/GradientExplainer voor de overige modellen.
LIME (Local Interpretable Model-agnostic Explanations): Sparse lokale lineaire surrogaten.
Permutation Importance: Het meten van de daling in ROC-AUC wanneer features worden gehusseld.

4. Robuustheidsanalyse

Om overdraagbare signaturen te identificeren, hanteerden de auteurs een consensus-robustness-floor methodologie. Dit hield in:

Het berekenen van cross-dataset Spearman rangcorrelaties ( $\rho$ ) om te testen of de belangrijkheid van feature-rangschikkingen overdraagbaar is.
Het berekenen van een "robustness floor" voor elke feature door de minimale genormaliseerde belangrijkheid te nemen over beide datasets, alle algoritmen en alle XAI-methoden. Features met hoge minimumscores worden beschouwd als robuuste signaturen.

Belangrijkste Resultaten

1. Detectieprestaties

Gebruikmakend van enkel de negen temporele features, bereikten zes van de zeven classificatiemodellen een ROC-AUC $\ge$ 0.99 op beide datasets.

Tree ensembles (RF, ADA, LightGBM) behaalden bijna perfecte scores (1.000) op CTU-13.
De reductie van circa 78 natuurlijke features naar 9 temporele features resulteerde in een verwaarloosbaar prestatieverlies (<0.005 AUC) voor niet-kernel modellen, wat bewijst dat gedragsmatige timing voldoende is voor detectie zonder payload-inspectie.

2. Divergerende Feature Belangrijkheid

XAI-analyse onthulde een scherp contrast in waar modellen op vertrouwen voor verschillende soorten aanvallen:

Multi-Vector Aanvallen (CIC-IDS2017): Detectie wordt gedomineerd door volumetrische en pakketgrootte-bewijslast (bijv. avg_packet_size, src_bytes_ratio). Deze aanvallen manipuleren pakketgroottes en vertonen asymmetrische verkeersstromen.
Botnets (CTU-13): Detectie wordt bijna volledig blootgesteld door de Inter-Arrival-Time (IAT) regelmaat (iat_mean_s, iat_std_s). Botnet command-and-control beaconing creëert patronen met een lage variantie in de timing.
Cross-Dataset Correlatie: De globale feature belangrijkheid rangschikkingen verteren niet tussen domeinen. De gemiddelde Spearman correlatie ( $\rho$ ) over 21 algoritme-methode paren was +0.01, waarbij 9 paren een negatieve correlatie vertoonden. Een feature-rangschikking die geldig is voor botnets, is vaak misleidend voor multi-vector aanvallen.

3. Consensus Robuuste Signaturen

Door de "robustness-floor" methodologie toe te passen (het nemen van de minimale belangrijkheid over de domeinen), destilleerden de auteurs een set signaturen die in beide contexten informatief blijven:

IAT Standaarddeviatie (iat_std_s): De meest robuuste signature, cruciaal voor botnets en relevant voor slow-rate DoS/brute force in multi-vector aanvallen.
Source-Byte Ratio (src_bytes_ratio): Geeft directionele asymmetrie aan.
Gemiddelde Pakketgrootte (avg_packet_size): Geeft uniformiteit in pakketgeneratie aan.

Deze drie features zijn gedragsmatig moeilijk te omzeilen zonder de functionaliteit van de aanval te degraderen (bijv. het injecteren van jitter om botnets te verbergen degradeert de C&C betrouwbaarheid; het randomiseren van pakketgroottes verstoort de efficiëntie van een flood).

Significantie en Claims

Het artikel claimt dat XAI black-box detectoren kan transformeren tot auditbare, overdraagbare temporele bewijslast. De primaire bijdragen zijn:

Validatie van Temporele Voldoendeheid: Het aantonen dat compacte temporele features alleen al bijna perfecte detectie ondersteunen, wat een privacy-vriendelijke, payload-vrije IDS mogelijk maakt die geschikt is voor versleuteld verkeer en resource-beperkte edge-omgevingen.
Blootlegging van Domeinspecifiteit: Het leveren van empirisch bewijs dat feature-belangrijkheid niet universeel is. Het vertrouwen op feature-belangrijkheid dashboards van één omgeving (bijv. een botnet dataset) voor een andere omgeving (bijv. een multi-vector dataset) is statistisch onjuist.
Methodologie voor Robuuste Signaturen: Het introduceren van een "robustness-floor" benadering om signaturen te extraheren die stabiel zijn over algoritmen, attributiemethoden en aanvalsdomeinen. Dit gaat verder dan eenvoudige feature-ranking en richt zich op het identificeren van gedragsmatige invarianten.
Operationele Bruikbaarheid: De studie suggereert dat XAI geïntegreerd moet worden in MLOps-loops om dataset-artefacten te detecteren (zoals de "Destination Port" shortcut geïdentificeerd in full-feature modellen) en om analisten te voorzien van verifieerbare, gedragsgebaseerde rechtvaardigingen voor alerts, in plaats van op opaque waarschijnlijkheidsscores.

De auteurs concluderen dat hoewel de huidige studie beperkt is tot testbed-data, de geïdentificeerde consensus signaturen een principieel pad bieden naar betrouwbare, transparante en overdraagbare intrusiedetectie.