Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

In de hooggestoken wereld van cybersecurity hebben verdedigers lang in een reactieve modus opereerd, wachtend tot er een alarm afgaat voordat ze kunnen handelen. Tegen de tijd dat een inbraak wordt gedetecteerd, is de schade vaak al aangericht. Om deze dynamiek te veranderen, hebben onderzoekers zich gericht op voorspelling: de poging om te voorspellen wat voor soort aanvallen zullen plaatsvinden, waar ze zullen toeslaan en wie het doelwit zal zijn voordat ze plaatsvinden. Dit veld vertrouwt op enorme collecties historische gegevens, bekend als incidentenrepositories, die de details van voorbije cyberaanvallen vastleggen. Deze records zijn echter vaak verspreid over verschillende databases, die elk hun eigen taal en formaat gebruiken, en veel missen cruciale details. Om een bruikbaar beeld van de toekomst te vormen, moeten wetenschappers deze afzonderlijke archieven samenvoegen tot één compleet verhaal, waarbij ze de ontbrekende gaten opvullen met onderbouwde vermoedens afgeleid van de gegevens die ze wel hebben. De uitdaging ligt in het waarborgen dat deze vermoedens de modellen die bedoeld zijn om van te leren niet per ongeluk misleiden, waardoor er een vals gevoel van veiligheid ontstaat waar die er niet is.

Een team van onderzoekers van de International Islamic University in Islamabad, Seoul National University en de University of Prince Mugrin zette zich af om de betrouwbaarheid van deze gangbare praktijk te testen. Ze combineerden twee enorme databases van cyberincidenten: de VERIS Community Database, die diepe, gestructureerde details biedt over aanvallen maar de registratie in 2017 stopte, en Hackmageddon, dat een continue stroom van recente incidenten biedt maar met minder gedetailleerde informatie. Door deze twee bronnen te harmoniseren, creëerden ze een verenigd record van meer dan 20.000 incidenten die meer dan vijftig jaar beslaan. Om de gegevens bruikbaar te maken, moesten ze ontbrekende velden voor elk incident invullen, zoals de specifieke motivatie van de aanvaller of het type doelwit. Dit deden ze door een computermodel te trainen om de ontbrekende details te voorspellen op basis van de informatie die beschikbaar is in de andere database. Dit proces produceerde een volledige dataset, maar introduceerde ook een subtiele valstrik. Omdat de ontbrekende labels werden gegenereerd door een computermodel dat gebruikmaakte van dezelfde kenmerken die de voorspellende modellen later zouden gebruiken om voorspellingen te doen, werden de voorspellende modellen in feite getest op antwoorden die ze al hadden geleerd te herkennen.

Toen de onderzoekers hun voorspellingsmodellen evalueerden op deze samengevoegde dataset, zagen de resultaten er aanvankelijk veelbelovend uit. De modellen leken het type toekomstige aanval te voorspellen met een nauwkeurigheid die leek de standaard benchmarks te overtreffen. Echter, het team vermoedde dat deze hoge scores een illusie waren veroorzaakt door de manier waarop de data was geconstrueerd. Om dit te onderzoeken, splitsten ze de testdata in twee groepen: records waarbij het type aanval oorspronkelijk door mensen werd waargenomen en geregistreerd, en records waarbij het type aanval door het computermodel was gereconstrueerd tijdens het samenvoegingsproces. Het verschil was groot. Op de records met door mensen geobserveerde labels daalde de prestatie van het model aanzienlijk, wat onthulde dat de hoge scores op de volledige dataset grotendeels werden gedreven door het feit dat het model simpelweg de patronen van de computer die de ontbrekende gegevens had ingevuld, had onthouden. Sterker nog, de kloof tussen de twee groepen was zo groot dat de gemiddelde prestatie op de totale dataset met bijna drieënveertig procent werd opgeblazen, een vervorming die verborgen zou zijn gebleven als de onderzoekers alleen naar de gecombineerde cijfers hadden gekeken.

Om te bevestigen dat deze inflatie specif으로 werd veroorzaakt door de handeling van het invullen van de ontbrekende gegevens, en niet door andere verschillen tussen de twee tijdperioden, voerden de onderzoekers een gecontroleerd experiment uit. Ze namen een enkel tijdsbestek waarin alle gegevens oorspronkelijk door mensen waren waargenomen, en verstopten vervolgens doelbewust een deel van de labels en vulden deze in met hetzelfde computermodel dat ze voor de hoofddataset hadden gebruikt. Wanneer ze hun voorspellingsmodel trainden op deze gemengde data, was de prestatie op de verborgen, gereconstrueerde labels opnieuw veel hoger dan op de geobserveerde labels. Dit bewees dat de handeling van imputatie zelf een circulaire lus creëert waarbij het model leert om de invuller na te bootsen in plaats van het werkelijke fenomeen. De studie onthulde ook een contra-intuïtieve bevinding: hoe slechter het computermodel was in het invullen van de ontbrekende gegevens, hoe groter de prestatie van het voorspellingsmodel kunstmatig werd opgeblazen. Een slechte imputer creëert een uniek, idiosyncratisch patroon in de ontbrekende gegevens dat gemakkelijk te leren is voor een downstream model, terwijl een zeer nauwkeurige imputer zo goed versmelt dat het geen dergelijk duidelijk, leerbaar signaal creëert.

Buiten het probleem van data leakage (gegevenslek) verkenden de onderzoekers ook hoe de informatie binnen deze records het beste gerepresenteerd kan worden. Cyberincidentdata zitten vol met categorieën met een hoge cardinaliteit, zoals de namen van honderden verschillende landen of duizenden specifieke organisaties. Traditionele methoden behandelen deze vaak als eenvoudige getallen, wat de modellen in verwarring kan brengen. Het team testte een techniek genaamd entity embeddings, die een unieke, dichte wiskundige representatie leert voor elke categorie, waardoor het model de relaties tussen hen kan begrijpen. Deze aanpak verbeterde het vermogen van het model om aanvalstypes te voorspellen drastisch, wat de prestaties met bijna negentien procentpunten verbeterde ten opzichte van de traditionele methode. Deze bevinding suggereert dat eerdere studies die beweerden dat deep learning-modellen slecht presteren op dit type data, mogelijk beperkt werden door de manier waarop de data aan hen werd gepresenteerd, in plaats van door de modellen zelf.

De studie onderzocht ook de moeilijkheid van het voorspellen van het specifieke land dat het doelwit is van een aanval. Hoewel de modellen een hoge algemene nauwkeurigheid konden bereiken door simpelweg de meest voorkomende landen te raden, hadden ze enorme moeite om de minder frequente doelwitten correct te identificeren. De prestatie op deze taak was zo laag dat deze nauwelijks boven de baseline uitkwam van altijd de meerderheidsklasse raden. De onderzoekers stelden vast dat dit niet kwam door een gebrek aan data of een onbalans in het aantal aanvallen, maar omdat er simpelweg niet genoeg specifieke informatie beschikbaar is in de huidige records om tussen de honderden verschillende landen te onderscheiden. De aanwezige kenmerken in de data bevatten niet het noodzakelijke geografische signaal om deze fijnmazige voorspellingen betrouwbaar te maken.

Ten slotte testte het team hun modellen onder een strikt chronologische evaluatie, waarbij ze trainden op data uit het verleden en testten op data uit de toekomst, wat de enige manier is om een voorspellingssysteem echt te beoordelen. Onder deze realistische omstandigheden daalde de prestatie verder, en de deep learning-modellen, die eerder achterliepen op simpelere boom-gebaseerde modellen, overtroffen deze uiteindelijk. Deze omkering suggereert dat de diepe modellen, geholpen door de betere representatie van de data, beter in staat waren om te generaliseren naar nieuwe, ongeziene tijdsperioden, terwijl de simpelere modellen slechts patronen specifiek voor het trainingsvenster hadden onthouden. De onderzoekers concludeerden dat hoewel het voorspellen van het algemene type aanval mogelijk is met matig succes, het voorspellen van het specifieke land of het exacte patroon van een aanval met de huidige data en methoden buiten bereik blijft. Hun primaire bijdrage was niet een nieuw voorspellingsalgoritme, maar een rigoureus protocol voor het evalueren van samengevoegde datasets dat deze verborgen gebreken blootlegt, om ervoor te zorgen dat toekomstig onderzoek in cybersecurity en andere velden de artefacten van dataconstructie niet aanziet voor echte voorspellende kracht.