Structural Leakage in Host Intrusion Alert Corpora: An Evaluation Framework for ATT&CK Technique and Tactic Mapping
Dit artikel introduceert een lekgevoelig evaluatiekader voor het mappen van Wazuh host-intrusie-alerts naar MITRE ATT&CK-tactieken en -technieken, waarbij wordt aangetoond dat standaard evaluatiemethoden de prestaties overschatten door structurele datalekken vanuit regelidentificatoren en alerttemplates, terwijl wordt aangetoond dat voorspelling op tactiek-niveau robuust blijft wanneer deze biases worden gecontroleerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale wereld laat elke computer en server een spoor van digitale voetafdrukken achter wanneer iemand ermee interacteert. Deze voetafdrukken worden alerts genoemd, en ze zijn de primaire manier waarop beveiligingsteams weten dat er iets ongebruels aan de hand is. Stel je een gebouw voor met honderden beveiligingscamera's; elke keer dat een deur opengaat of een licht flikkert, stuurt een camera een bericht naar een centraal monitor. In de cyberwereld worden deze berichten gegenereerd door software die let op verdachte activiteiten, zoals iemand die probeert een wachtwoord te raden of bestanden verplaatst waar hij niet bij mag komen. Om zin te geven aan deze vloedgolf aan informatie, gebruiken beveiligingsexperts een gedeelde taal genaamd MITRE ATT&CK. Dit is geen software, maar een enorme catalogus van bekende criminele gedragingen, georganiseerd als een bibliotheek waar elke vermelding een specifieke tactiek beschrijft die een aanvaller zou kunnen gebruiken en de techniek die zij hanteren om dat te bereiken. Het doel is om ruwe, verwarrende computermeldingen te vertalen naar duidelijke verhalen over wat een aanvaller probeert te doen, zodat verdedigers de dreiging kunnen begrijpen en stoppen.
Echter, een nieuwe studie suggereert dat de manier waarop onderzoekers hun vermogen hebben getest om deze berichten te vertalen, fundamenteel gebrekkig kan zijn. Emad Sherif, een onderzoeker aan de De Montfort University, onderzocht of computerprogramma's er succesvol in slaagden om deze ruwe beveiligingsalerts te koppelen aan de catalogus van criminele gedragingen. De studie werd uitgevoerd in een "Cyber Range", een gecontroleerde digitale omgeving die een echt bedrijfsnetwerk nabootst, maar geïsoleerd is van de buitenwereld. Binnen deze digitale zandbak richtte de onderzoeker een simulatie in waarbij een aanvaller zich door het netwerk bewoog en acties uitvoerde zoals het scannen naar kwetsbaarheden, het stelen van wachtwoorden en het wissen van hun sporen. De beveiligingssoftware, bekend als Wazuh, registreerde elke gegenereerde alert tijdens deze aanval, wat een dataset opleverde van meer dan tweeduizend berichten. De uitdaging was om te zien of een kunstmatige intelligentie naar deze berichten kon kijken en correct kon identificeren welk gedrag uit de catalogus ze vertegenwoordigden.
De onderzoeker ontdekte dat eerdere pogingen om dit probleem op te lossen waarschijnlijk vertrouwden op onbedoelde sluiproutes, hoewel onbedoeld. In veel computerexperimenten wordt data willekeurig gesplitst in een trainingsgroep en een testgroep. De computer leert van de trainingsgroep en wordt vervolgens getest op de onbekende testgroep om te zien hoe goed het generaliseert. In dit specifieke type beveiligingsdata zijn de alerts echter geen unieke zinnen geschreven door mensen; ze worden gegenereerd door vaste regels. Als een regel zegt "waarschuwen wanneer een wachtwoord mislukt", zal deze exact dezelfde tekst produceren elke keer dat dit evenement plaatsvindt. De studie vond dat de tekst van de alert en de regel die het creëerde zo perfect verbonden waren aan het specifieke criminele gedrag, dat een computer simpelweg de regel kon onthouden en het antwoord met een hoge nauwkeurigheid kon raden. Het was alsof een student een toets aflegde waarbij de vraag zelf het antwoord bevatte. Als dezelfde regel zowel in de trainingsgroep als in de testgroep voorkwam, leerde de computer niet het gedrag te herkennen, maar herkende hij simpelweg het regelsjabloon.
Om dit op te lossen, veranderde de onderzoeker de regels van het experiment. In plaats van de data willekeurig te splitsen, groepeerde hij de alerts op basis van de specifieke regel die ze genereerde. Dit betekende dat als een bepaalde regel werd gebruikt om de computer te trainen, diezelfde regel volledig verboden was tijdens de testfase. De computer moest de onderliggende betekenis van het gedrag leren zonder dat hij kon vertrouwen op de sluiproute van het herkennen van de regel zelf. Toen deze strengere test werd toegepast, daalde de prestatie van de computer aanzienlijk, wat onthulde dat de eerdere hoge scores inderdaad opgeblazen waren. De resultaten toonden aan dat hoewel de computer brede categorieën van aanvallen kon identificeren, zoals "het stelen van inloggegevens" of "het wissen van bewijsmateriaal", hij moeite had om de specifieke, fijnmazige technieken te pinpointen wanneer hij niet kon vertrouwen op het onthouden van de regelsjablonen.
De studie concludeerde dat het vertalen van ruwe beveiligingsalerts naar een duidelijk beeld van crimineel gedrag mogelijk is, maar alleen als de evaluatie met uiterste zorg gebeurt om deze structurele sluiproutes te voorkomen. De computer presteerde beter bij het identificeren van het algemene doel van een aanval, zoals of de aanvaller probeerde gegevens te stelen of diensten te verstoren, dan bij het identificeren van de precieze methode die werd gebruikt. Dit suggereert dat deze alerts voor beveiligingsteams het meest nuttig zijn voor het begrijpen van de brede intentie van een indringer, in plaats van de minuscule details van hun tools. Het onderzoek dient als een cruciale waarschuwing voor het vakgebied: zonder de controle over deze verborgen patronen in de data, kunnen de tools die bedoeld zijn om netwerken te beschermen, veel veelzijdiger lijken dan ze in werkelijkheid zijn. De weg vooruit houdt in dat er systemen gebouwd moeten worden die de context van een alert kunnen begrijpen voorbij de repetitieve tekst, om ervoor te zorgen dat wanneer een beveiligingsteam een waarschuwing ziet, deze gebaseerd is op echt bewijs van een dreiging in plaats van op een statistisch artefact van hoe de data is verzameld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.