A Multi-Seed Evaluation of Explanation Faithfulness and Stability under Adversarial Evasion in IoT/IIoT Intrusion Detection

In de verborgen lagen van de moderne wereld praten miljarden slimme apparaten—van fabriekssensoren tot thermostaten in huis—constant met elkaar. Dit enorme netwerk, bekend als het Internet of Things, is het zenuwstelsel van onze digitale infrastructuur. Maar zoals elk zenuwstelsel is het kwetsbaar voor interferentie. Hackers kunnen subtiele, berekende signalen sturen die ontworpen zijn om de beveiligingssoftware die deze apparaten in de gaten houdt, te misleiden, waardoor een gevaarlijke aanval lijkt op onschuldige achtergrondruis. Jarenlang hebben beveiligingsexperts vertrouwd op kunstmatige intelligentie om deze indringers op te sporen. Echter, er is een nieuw probleem ontstaan: wanneer deze AI-systemen een dreiging signaleren, geven ze vaak een uitleg over waarom ze die beslissing hebben genomen. De cruciale vraag is of die uitleg eerlijk blijft wanneer de AI actief wordt misleid. Als een hacker het systeem kan foppen om een aanval te negeren, wordt de uitleg van het systeem dan ook een leugen, of wijst het nog steeds naar de waarheid?

Een team onderzoekers van de Daffodil International University zette zich scharpe om de eerlijkheid en betrouwbaarheid van deze AI-uitleg onder vuur te testen. Ze richtten zich op twee populaire methoden die worden gebruikt om AI-beslissingen uit te leggen, bekend als SHAP en LIME. Deze tools fungeren als een spotlight die benadrukt welke delen van een netwerksignaal—zoals de grootte van een datapakket of de duur van een verbinding—de AI de opdracht gaven om een alarm te slaan. De onderzoekers wilden weten of deze spotlights stabiel en accuraat zouden blijven wanneer de invoergegevens subtiel door een hacker werden gewijzigd, of dat de uitleg zou wankelen en de verkeerde richting op zou wijzen. Om een werkelijk betrouwbaar antwoord te krijgen, vermeden ze de veelvoorkomende fout om slechts één versie van een AI-model te testen. In plaats daarvan trainden ze twintig verschillende versies van hetzelfde beveiligingssysteem, waarbij elke versie begon met een iets andere willekeurige opzet, om ervoor te zorgen dat hun bevindingen niet slechts een gelukkig toeval waren van één specifieke trainingssessie.

De onderzoekers onderwierpen deze systemen aan een reeks rigoureuze tests met behulp van real-world data uit twee grote collecties netwerkverkeer. Ze simuleerden drie soorten aanvallen: een brede, onbeperkte aanval die gegevens verandert op manieren die een echt netwerk nooit zou kunnen produceren; een realistischere aanval die alleen getallen verandert die de aanvaller kan controleren; en een zeer beperkte aanval die de fysieke regels van hoe datapakketten zijn opgebouwd respecteert. Ze ontdekten dat de onbeperkte aanvallen, die vaak onmogelijke datawaarden produceren zoals een pakket met een fractie van een byte, grotendeels een vals alarm waren. Wanneer de onderzoekers deze onmogelijke records dwongen om eruit te zien als echte, geldige gegevens, daalde het succespercentage van de aanvallen tegen de neurale netwerkmodellen drastisch. De boomgebaseerde modellen (tree-based models), die anders werken, waren echter kwetsbaarder voor deze geldig lijkende trucs.

De meest opvallende ontdekking betrof de verklaringen zelf. Wanneer de AI-modellen werden aangevallen, bleef de SHAP-methode betrouwbare en stabiele uitleg bieden, die consistent het gedrag van het model reflecteerde, zelfs wanneer de beslissing veranderde. In tegen tegenstelling hiertoe bleek de LIME-methode veel minder betrouwbaar. Onder aanval veranderden de uitleg van LIME vaak evenveel als wanneer het systeem gewoon normaal draaide, wat suggereerde dat de veranderingen vooral willekeurige ruis waren in plaats van een ware reflectie van de aanval. Sterker nog, in elke enkele vergelijking over twintig verschillende trainingssessies presteerde SHAP beter dan LIME op het gebied van nauwkeurigheid en stabiliteit. De onderzoekers ontdekten ook dat de keuze van de "alarmdrempel" van een beveiligingssysteem—het punt waarop het besluit een melding te geven—belangrijker is dan het model zelf. Een systeem dat is afgesteld om zeer gevoelig te zijn, kan bijna elke aanval vangen maar genereert zoveel valse alarmen dat beveiligingsteams worden overweldigd, terwijl een striktere instelling aanvallen kan missen maar de ruis beperkt houdt.

Misschien wel de meest sombere bevinding was dat geen enkel beveiligingssysteem onkwetsbaar is. Op een van de datasets konden zelfs de meest geavanceerde neurale netwerken bijna volledig worden gefopt door een hacker die simpelweg extra data-padding aan een pakket toevoegt, een techniek die zeer weinig kost maar de verdediging volledig omzeilt, waarbij de modellen maximaal 3% van dergelijke aanvallen detecteren. De boomgebaseerde modellen waren robuuster, maar een slimme, gerichte aanval die specifiek is ontworpen voor hun structuur, kon hen nog steeds in een aanzienlijk deel van de gevallen ontwijken. De studie concludeert dat hoewel we AI-systemen kunnen bouwen die hun eigen redenering uitleggen, die uitleg slechts zo betrouwbaar is als het vermogen van het systeem om manipulatie te weerstaan. Het onderzoek biedt een duidelijk stappenplan voor hoe deze systemen in de toekomst te testen, waarbij wordt benadrukt dat we verder moeten kijken dan eenvoudige nauwkeurigheidsscores en moeten onderzoeken hoe uitleg standhoudt wanneer het systeem onder echte druk staat. De instrumenten die we gebruiken om onze digitale verdediging te begrijpen, moeten even veerkrachtig zijn als de verdediging zelf.