A structured event logging framework for language model assisted security event analysis

In de digitale wereld laat elke actie die een computer onderneemt een spoor achter. Wanneer een gebruiker inlogt, wanneer een bestand wordt opgeslagen of wanneer een beveiligingsinstelling wordt gewijzigd, schrijft het systeem een verslag van die gebeurtenis. Deze verslagen, bekend als gebeurtenislogs, zijn de primaire manier waarop beveiligingsteams begrijpen wat er binnen een netwerk gebeurt. Decennialang was de standaardmethode voor het analyseren van deze logs het voeden van de gegevens aan gespecialiseerde software of menselijke analisten die zoeken naar patronen die op een dreiging wijzen. Echter, een nieuwe generatie kunstmatige intelligentie-instrumenten, specifelijk grote taalmodellen, heeft veelbelovende resultaten getoond bij het automatiseren van deze taak. Deze modellen zijn getraind op enorme hoeveelheden tekst en kunnen natuurlijke taal begrijpen, wat hen theoretisch perfect maakt voor het lezen en interpreteren van de verhalen die verborgen liggen in beveiligingslogs. Toch is er een aanzienlijk probleem ontstaan: wanneer deze krachtige AI-instrumenten worden gevraagd om standaard computerlogs te lezen, falen ze vaak. Ze produceren inconsistente antwoorden, missen cruciale details of verzinnen feiten die nooit hebben plaatsgevonden. Deze onbetrouwbaarheid maakt hen gevaarlijk voor de echte wereld, waar een verkeerde gok kan betekenen dat een inbreuk onopgemerkt blijft of een onschuldige actie wordt aangezien voor een aanval.

Onderzoekers aan de Universiteit van Huddersfield en de Manchester Metropolitan University besloten dit probleem op te lossen door een andere vraag te stellen. In plaats van te proberen de kunstmatige intelligentie slimmer te maken, vroegen zij zich af of de logs zelf het probleem waren. Zij hypothetiseerden dat de manier waarop computers deze verslagen momenteel schrijven, simpelweg te rommelig en technisch is voor de AI om te begrijpen. Om dit te testen, ontwikkelde het team een nieuwe manier voor computers om hun activiteiten te registreren, een methode die specifiek is ontworpen om leesbaar te zijn voor taalmodellen. Ze bouwden een instrument dat gebeurtenissen uit verschillende delen van een computersysteem vastlegt, de ruis wegfiltert en de gegevens herschrijft naar een duidelijk, gestructureerd formaat voordat ze ooit worden geanalyseerd. Het resultaat is een systeem waarbij de computer het zware werk doet van het organiseren van de informatie, en de AI een helder, samenhangend verhaal presenteert in plaats van een chaotische stroom van code.

Het team testte hun nieuwe aanpak door twintig verschillende beveiligingsscenario's te simuleren, variërend van eenvoudige wachtwoordwijzigingen tot complexe netwerkinbraken. Ze legden de gebeurtenissen vast met hun nieuwe instrument en vergeleken de resultaten met de standaard loggingmethoden die vandaag de dag in de sector worden gebruikt. Toen ze deze logs in verschillende taalmodellen invoerden, was het verschil treffend. De modellen die het nieuwe formaat gebruikten, identificeerden consequent de juiste problemen en boden relevante oplossingen. In tegenstelling hiertoe, toen dezelfde modellen de traditionele, ongestructureerde logs kregen, daalde hun prestaties aanzienlijk. Ze hadden moeite om normaal gedrag te onderscheiden van potentiële dreigingen en herkenden vaak niet dat een kritieke beveiligingsinstelling was gewijzigd. Het nieuwe formaat elimineerde de noodzaak voor de AI om codes te raden of te interpreteren, wat leidde tot een dramatische verbetering in nauwkeurigheid.

Een van de meest opmerkelijke bevindingen was dat het nieuwe systeem zo goed werkte dat de modellen zelden feiten verzinnen, een fenomeen dat bekend staat als hallucinatie. In dit specifieke experiment was de foutmarge effectief nul over alle tests, inclusief die met traditionele formaten. De onderzoekers merkten echter op dat dit resultaat beïnvloed kan zijn door het relatief kleine aantal gebruikte logs in vergelijking met andere studies, en zij konden niet definitief concluderen dat hallucinaties permanent geëlimineerd waren zonder verdere tests op grotere datasets. Dit suggereert dat de primaire oorzaak van de verwarring van de AI niet een gebrek aan intelligentie was, maar de slechte kwaliteit van de invoergegevens. Door ervoor te zorgen dat de logs gestructureerd, consistent en in gewone taal geschreven waren vanaf het moment dat ze werden gecreëerd, hebben de onderzoekers de barrières weggenomen die de AI lieten struikelen. Het systeem kon ook de taak aan om gerelateerde gebeurtenissen aan elkaar te koppelen. In plaats van te wachten tot een apart programma zou uitzoeken dat twee verschillende logs tegelijkertijd plaatsvonden en deel uitmaakten van dezelfde aanval, verbond het nieuwe instrument deze punten automatisch terwijl de gebeurtenissen plaatsvonden.

De onderzoekers onderzochten ook of het trainen van de AI-modellen op meer data zou helpen om beter te presteren met de oude, rommelige logs. Ze ontdekten dat zelfs met extra training de modellen nog steeds moeite hadden met de traditionele formaten. Echter, bij het gebruik van het nieuwe formaat presteerden de modellen uitzonderlijk goed, zelfs zonder extra training. Dit geeft aan dat de structuur van de data belangrijker is dan de omvang van de trainingsset van het model. Het team mat hoe lang het duurde om de logs te analyseren en stelde vast dat hun nieuwe methode aanzienlijk sneller was dan de meeste traditionele methoden. Terwijl sommige standaardtools zoals Sysmon de analyse in minuten voltooiden, deden anderen er meerdere uren over om dezelfde hoeveelheid informatie te verwerken. Deze snelheid, gecombineerd met de hoge nauwkeurigheid, suggereert dat de nieuwe aanpak AI-gestuurde beveiligingsanalyse praktisch maakt voor dagelijks gebruik.

De studie beweert niet elk probleem in cybersecurity te hebben opgelost, en de onderzoekers erkennen dat hun tests werden uitgevoerd op één type computersysteem. Ze zijn van plan hun werk in de toekomst uit te breiden naar andere besturingssystemen. De kern van de ontdekking is echter duidelijk: de manier waarop we digitale gebeurtenissen registreren moet veranderen als we willen dat kunstmatige intelligentie ze begrijpt. Door het logformaat te behandelen als een communicatiemiddel in plaats van alleen een technisch verslag, hebben de onderzoekers een brug geslagen tussen menselijke machines en kunstmatieve intelligentie. Deze eenvoudige verschuiving in perspectief stelt de AI in staat om te doen waar het goed in is — taal begrijpen en patronen vinden — zonder te verdwalen in de ruis van ruwe data. Het resultaat is een betrouwbaardere, snellere en veiligere manier om computersystemen te beschermen, wat bewijst dat de beste manier om een hulpmiddel te verbeteren soms niet is om het complexer te maken, maar om de informatie die het ontvangt duidelijker te maken.