Automated Root Cause Analysis of Security Incidents Using Causal Machine Learning

Wanneer een beveiligingssysteem een alarm doet afgaan, is de onmiddellijke uitdaging niet simpelweg opmerken dat er iets mis is, maar begrijpen waar precies de problemen zijn begonnen. Moderne netwerken genereren een constante stroom aan gegevens: wie er inlogde, welke programma's draaiden, welke bestanden werden geopend en hoe de machtigingen veranderden. Vaak kan één kleine fout aan het begin van een kettingreactie een cascade van vreemde gebeurtenissen ontketenen die er even verdacht uitzien. Als een onderzoeker alleen naar het luidste of meest ongebruikelijke signaal kij wilt kijken, kan hij een symptoom voor een oorzaak kunnen aanzien, waarbij hij een gevolg stroomafwaarts achtervolgt terwijl het echte probleem verborgen blijft stroomopwaarts. Om dit op te lossen, wenden onderzoekers zich tot een manier van denken die causale redenering wordt genoemd. In plaats van alleen te vragen welke gebeurtenissen samen plaatsvinden, vraagt deze benadering welke gebeurtenissen daadwerkelijk andere gebeurtenissen teweegbrengen. Het behandelt het systeem als een reeks verbonden tandwielen: als één tandwiel draait, duwt het het volgende aan, wat weer het volgende aanstuurt. Het doel is om het eerste tandwiel te vinden dat werd aangestoten, in plaats van alleen degene die het snelst ronddraaide.

Een onderzoeker genaamd Rehana Devani heeft een specifieke methode getest om dat eerste tandwiel te vinden in een gecontroleerde, gesimuleerde omgeving. De studie analyseert geen echte hackpogingen of live bedrijfsnetwerken. In plaats daarvan bouwt het een digitaal model van een beveiligingssysteem met zes afzonderlijke onderdelen, die zaken vertegenwoordigen zoals toegang, beleid en uitvoering. In dit model weten de onderzoekers precies hoe de onderdelen met elkaar verbonden zijn en hoe ze elkaar beïnvloeden. Vervolgens introduceren ze een specifieke, kunstmatige verstoring—een plotselinge verschuiving van vier eenheden in het gedrag van een van de startonderdelen—en kijken hoe de rimpeling door de rest van het systeem verspreidt. Het experiment stelt een eenvoudige maar moeilijke vraag: als je ziet dat het hele systeem vreemd handelt, kan een computerprogramma dan correct identificeren welk enkel startonderdeel degene was die veranderd is, of zal het worden afgeleid door de ruis van de onderdelen die op de verandering reageerden?

De onderzoekers vergeleken twee manieren om naar de gegevens te kijken. De eerste methode, die ze marginale scoring noemen, is als het bekijken van elk onderdeel in isolatie en vragen: "Hoe ongebruikelijk is dit onderdeel vergeleken met normaal?" Deze benadering faalt vaak omdat een onderdeel dat slechts reageert op een probleem, net zo vreemd kan lijken als het onderdeel dat de oorzaak ervan is. De tweede methode, bekend als residu-scoring, is geavanceerder. Het gebruikt een kaart van de verbindingen om te vragen: "Gezien wat de onderdelen die dit onderdeel voeden doen, gedraagt dit onderdeel zich vreemd?" Als een onderdeel vreemd handelt alleen omdat zijn buren vreemd handelen, herkent deze methode dat het onderdeel zelf niet de bron is. Echter, als een onderdeel vreemd handelt zelfs wanneer zijn buren normaal gedrag vertonen, wordt het gemarkeerd als de waarschijnlijke boosdoener.

In de schoonste versie van het experiment, waarbij de gegevens perfect duidelijk en vrij van enige achtergrondruis waren, werkte de geavanceerde methode opmerkelijk goed. Het identificeerde de startpunt van de verstoring in bijna 98 procent van de gevallen correct. De eenvoudigere methode, die de verbindingen tussen de onderdelen negeerde, was slechts in ongeveer 87 procent van de gevallen correct. Dit gat laat zien dat het begrijpen van de structuur van het systeem helpt om de ware oorzaak te scheiden van de symptomen. De studie testte echter ook hoe deze methode standhoudt wanneer de gegevens rommelig zijn, wat is hoe echte systemen zich vaak gedragen. De onderzoekers voegden willekeurige statische elektriciteit, of sensoruis, toe aan de metingen om imperfecte gegevensverzameling te simuleren. Naarmate de ruis toenam, daalde de nauwkeurigheid van de geavanceerde methode, tot ongeveer 81 procent wanneer het ruisniveau matig was. De eenvoudigere methode worstelde nog meer, met een daling naar ongeveer 62 procent. Dit resultaat bevestigt dat hoewel het kennen van de verbindingen helpt, de kwaliteit van de gegevens even cruciaal is. Als de metingen te wazig zijn, kan zelfs de beste kaart de onderzoeker niet naar het juiste antwoord leiden.

De studie verkende ook wat er gebeurt als de kaart zelf iets fout is. In één test verwijderden de onderzoekers doelbewust een bekende verbinding uit het model, waarbij ze deden alsof ze niet wisten dat het ene onderdeel het andere beïnvloedde. De methode presteerde nog steeds goed en identificeerde de oorzaak in ongeveer 94 procent van de gevallen correct in de schone data, maar de nauwkeurigheid daalde naarmate de ruis toenam. Dit suggereert dat de benadering enigszins vergevingsgezind is voor ontbrekende informatie, maar niet perfect is. De onderzoekers controleerden ook of het vinden van de juiste oorzaak daadwerkelijk zou helpen het probleem op te lossen. Ze simuleerden een reparatie door de verandering die ze in het systeem hadden geïnjecteerd, om te keren. Wanneer ze het juiste startpunt aanpakten, verdween het vreemde gedrag in het systeem bijna volledig. Wanneer ze het verkeerde punt aanpakten, bleef het systeem verstoord. Dit bevestigde dat de methode niet alleen gokt; het identificeert de specifieke hendel die, als men deze terugtrekt, de kettingreactie zou stoppen.

Ondanks deze veelbelovende resultaten is het artikel voorzichtig om te vermelden wat het niet heeft gedaan. Het gehele experiment vond plaats binnen een computersimulatie met een klein, zesdelig model. De onderzoekers hebben dit niet getest op echte bedrijfsnetwerken, echte hackers of echte beveiligingslogs. Ze beweerden niet dat hun methode nieuwe soorten aanvallen kan ontdekken of dat het werkt zonder een vooraf gedefinieerde kaart van het systeem. De studie bewijst dat als u al weet hoe een systeem verbonden is, u een specifieke berekening kunt gebruiken om een enkel, geïnjecteerd probleem nauwkeuriger te vinden dan door alleen naar de vreemdste getallen te kijken. Het bewijst niet dat dit zal werken in de chaotische, lawaaierige en complexe realiteit van een levend bedrijf. De waarde van het werk ligt in de helderheid ervan: het scheidt het idee van het vinden van een oorzaak van het idee van het ontdekken van de kaart, en het laat precies zien hoeveel de kwaliteit van de gegevens ertoe doet. Voordat deze methode kan worden gebruikt om echte organisaties te beschermen, moet deze worden getest in omgevingen waar de verbindingen niet vooraf bekend zijn en de gegevens niet perfect schoon zijn. Voor nu staat het als een precieze, reproduceerbare demonstratie van hoe causale redenering de zoektocht naar de bron van een beveiligingsincident kan verbeteren, mits de spelregels duidelijk zijn begrepen.