Bridging Explanation and Operations: A Systematic Review and Taxonomy of XAI-Enabled Cybersecurity Detection

In de moderne wereld van digitale verdediging vertrouwen beveiligingsteams niet langer uitsluitend op een statische lijst van bekende kwaadaardige gedragingen om aanvallers te vangen. In plaats daarvan hebben ze zich gericht op kunstmatige intelligentie, systemen die leren van enorme hoeveelheden netwerkverkeer om patronen te herkennen die op een inbraak wijzen. Deze systemen zijn ongelooflijk goed in het vinden van dreigingen en identificeren vaak complexe aanvallen die menselijke experts zouden kunnen missen. Deze kracht gaat echter gepaard met een prijs: de meest geavanceerde leersystemen werken als 'black boxes'. Ze kunnen een beveiligingsanalist vertellen dat een gebeurtenis gevaarlijk is, maar ze kunnen niet gemakkelijk uitleggen waarom. In een vakgebied waar een vals alarm kostbare tijd verspilt en een gemiste dreiging een ramp kan veroorzaken, is weten wat de reden achter een beslissing is, even belangrijk als de beslissing zelf. Deze behoefte aan helderheid heeft geleid tot een veld genaamd 'explainable artificial intelligence' (uitlegbare kunstmatige intelligentie), dat probeert de black box te openen en de logica achter de keuzes van de machine te tonen.

Een team van onderzoekers van universiteiten uit Cyprus, Noorwegen en Griekenland heeft zich onlangs gericht op het in kaart brengen van de huidige staat van dit veld, specifiek voor cybersecurity. Ze hebben een enorme, systematische review uitgevoerd van honderden studies gepubliceerd tussen 2020 en 2026, waarbij ze keken naar hoe deze uitleg-instrumenten worden gebruikt om netwerken, apparaten en industriële systemen te beschermen. Hun werk, getiteld "Bridging Explanation and Operations", somt niet alleen nieuwe technieken op; het ontleedt hoe deze instrumenten daadwerkelijk worden gebouwd, getest en gebruikt in de echte wereld. De onderzoekers ontdekten dat hoewel de technologie aanzienlijk is gevorderd, er een kritieke kloof blijft bestaan tussen het vermogen om een uitleg te genereren en het vermogen om die uitleg genoeg te vertrouwen om er in een live beveiligingscentrum actie op te ondernemen.

De onderzoekers onderzochten studies die een breed scala aan digitale slagvelden beslaan, van de intrusiedetectiesystemen die bedrijfsnetwerken bewaken tot de sensoren die slimme fabrieken en de apparaten in het Internet of Things beschermen. Ze organiseerden hun bevindingen in een duidelijk kader, waarbij ze keken naar vier hoofdzaken: het specifieke type beveiligingsprobleem dat wordt opgelost, de gebruikte leerarchitectuur, de gekozen methode om de beslissing uit te leggen en de manier waarop de resultaten werden geëvalueerd. Wat naar voren kwam, was een landschap dat gedomineerd wordt door een specifieke aanpak. De meeste onderzoekers nemen een zeer nauwkeurig, complex machine learning-model en voegen nadat het zijn werk heeft voltooid een apart hulpmiddel toe om de beslissingen uit te leggen. Dit staat bekend als een 'post-hoc' methode, waarbij de uitleg wordt toegevoegd als een laag verf nadat het huis is gebouwd. De meest gebruikte instrumenten voor deze taak zijn twee specifieke technieken die berekenen welke datapunten het belangrijkst waren voor de uiteindelijke beslissing. Hoewel deze aanpak een hoge nauwkeurigheid mogelijk maakt, merkten de onderzoekers op dat het de uitleg vaak behandelt als een bijzaak in plaats van als een integraal onderdeel van het systeemontwerp.

De review belichtte ook een aanzienlijke onbalans in de manier waarop deze systemen worden getest. In het overgrote deel van de geanalyseerde studies richtten de onderzoekers zich bijna volledig op hoe goed het systeem aanvallen detecteert, gebruikmakend van standaardscores zoals nauwkeurigheid en foutmarges. Zeer weinig studies gingen verder om de kwaliteit van de uitleg zelf te testen. De onderzoekers wezen erop dat een uitleg overtuigend kan lijken, maar fundamenteel onjuist, instabiel of gemakkelijk te misleiden kan zijn door een slimme aanvaller. Ze vonden dat eigenschappen zoals de stabiliteit van een uitleg — of deze dezelfde reden geeft voor vergelijkbare aanvallen — en de weerstand tegen manipulatie zelden werden gemeten. In de risicovolle omgeving van cybersecurity, waar tegenstanders actief proberen detectiesystemen te misleiden, is een uitleg die gemanipuleerd kan worden een gevaarlijke aanslag op de veiligheid. Het artikel suggereert dat het veld momenteel te veel gefocust is op het bewijzen dat de detector werkt en niet genoeg op het bewijzen dat de uitleg betrouwbaar is.

Een ander belangrijke bevinding betrof het praktische gebruik van deze instrumenten door menselijke beveiligingsanalisten. De review toonde aan dat hoewel veel papers kleurrijke grafieken en diagrammen produceren om te laten zien waarom een melding werd afgegeven, er zeer weinig daadwerkelijk is getest of deze visuele weergaven een menselijke analist hielpen om een betere of snellere beslissing te nemen. De onderzoekers merkten op dat analisten in echte security operations centers overspoeld worden met meldingen en snelle oordelen moeten vellen. Een uitleg die technisch correct is, maar te complex of te traag om te verwerken, voegt aan de last toe in plaats van deze te verlichten. De studie stelde vast dat huidig onderzoek er vaak niet in slaagt rekening te houden met de cognitieve belasting van de menselijke gebruiker of de tijd die nodig is om de uitleg te generen, wat cruciaal kan zijn wanneer een dreiging zich in realtime ontvouwt.

De auteurs merkten ook op dat het veld zwaar leunt op een kleine set standaard datasets om deze systemen te testen. Hoewel deze gedeelde datasets onderzoekers in staat stellen hun resultaten te vergelijken, suggereert de review dat deze praktijk een vals gevoel van veiligheid kan creëren. Systemen die perfect presteren op deze specifieke, bekende datasets, worstelen vaak wanneer ze geconfronteerd worden met de rommelige, onvoorspelbare realiteit van een live netwerk. De onderzoekers argumenteerden dat voor deze instrumenten echt nuttig te zijn, ze getest moeten worden onder realistische omstandigheden, inclusief scenario's waarin de data imperfect is of de omgeving constant verandert. Ze riepen ook op tot meer onderzoek naar systemen waarbij het vermogen om uit te leggen vanaf het begin in het model is ingebouwd, in plaats van later toegevoegd, omdat dit kan leiden tot meer betrouwbare en robuuste beveiligingsinstrumenten.

Uiteindelijk dient deze uitgebreide review als een roadmap voor de toekomst van digitale verdediging. Het bevestigt dat we grote vooruitgang hebben geboekt in het leren van machines om dreigingen te vinden, maar dat we nog niet volledig het probleem hebben opgelost om hen te leren zichzelf uit te leggen op een manier die mensen kunnen vertrouwen en effectief kunnen gebruiken. De onderzoekers concluderen dat de volgende stap niet alleen het bouwen van slimmere detectoren is, maar het bouwen van systemen waarbij de uitleg even veilig, stabiel en betrouwbaar is als de detectie zelf. Door de focus te verschuiven van het simpelweg genereren van uitleg naar het rigoureus valideren ervan tegen reële dreigingen en menselijke behoeften, kan het veld bewegen naar een toekomst waarin kunstmatige intelligentie een werkelijk transparante en betrouwbare partner wordt bij het beschermen van onze digitale wereld.