Graph Neural Networks for Provenance-Based APT Detection under a Temporal Transfer Framework: A Review

In de verborgen lagen van computersystemen wordt voortdurend een stille oorlog gevoerd. Aanvallers, bekend als advanced persistent threats, laten servers niet crashen of stelen geen data in één enkele, luidruchtige uitbarsting. In plaats daarvan bewegen ze zich langzaam, als een inbreker die een huis binnenkomt, wacht tot het gezin slaapt, en dan stilletjes van kamer naar kamer beweegt, lades opent en documenten kopieert gedurende dagen of weken. Om een dergelijke geduldige indringer te vangen, kijken beveiligingsexperts naar de geschiedenis van het systeem, ofwel de provenance. Dit is een verslag van elke actie die een computer onderneemt: welk programma welk bestand opende, welk proces een bericht naar een ander stuurde, en wanneer deze gebeurtenissen plaatsvonden. Door deze punten te verbinden, kunnen experts het onzichtbare pad zien dat een aanvaller achterlaat. Jarenlang hebben onderzoekers geprobeerd kunstmatige intelligentie te gebruiken om deze geschiedenissen automatisch te lezen, in de hoop de subtiele patronen van een aanval te ontdekken voordat het te laat is.

Een nieuwe review van dit vakgebied suggereert echter dat de huidige succesverhalen mogelijk een illusie zijn. De onderzoekers onderzochten tientallen studies die beweerden AI-modellen te hebben gebouwd die in staat zijn om deze langdurige indringers met bijna perfecte nauwkeurigheid op te sporen. Ze ontdekten dat hoewel deze modellen briljant presteren in het laboratorium, ze vaak de meest cruciale factor in de echte beveiliging vergeten: tijd. De onderzochte studies testten hun modellen voornamelijk op data die al compleet was, waardoor de kunstmatige intelligentie gebeurtenissen kon zien die nog niet hadden plaatsgevonden op het moment dat er een melding had moeten worden gegenereerd. Het is een beetje alsof je een leerling beoordeelt op een geschiedenisexamen door hem het antwoordenformulier te laten lezen voordat hij gaat zitten schrijven. Wanneer de onderzoekers nauwkeuriger keken, ontdekten ze dat de modellen niet noodzakelijkerwijs leerden om het gedrag van de aanvaller te herkennen; ze waren vaak simpelweg de specifieke details van de testdata aan het onthouden of vertrouwden op informatie die op een gegeven moment in een live, real-time situatie niet beschikbaar zou zijn.

De review, uitgevoerd door een team van computerwetenschappers, synthetiseerde de bevindingen van eenentwintig verschillende detectiestudies gepubliceerd tussen 2020 en 2026. Deze studies gebruikten een type kunstmatige intelligentie genaamd een graph neural network, dat is ontworpen om relaties tussen zaken te begrijpen, vergelijkbaar met een kaart die laat zien hoe steden door wegen met elkaar verbonden zijn. In deze context zijn de "steden" computerprocessen en bestanden, en de "wegen" de acties die hen verbinden. De onderzoekers organiseerden deze studies in een helder kader om te zien hoe zij omgingen met het verstrijken van de tijd. Ze ontdekten dat hoewel negentien van de studies deze geavanceerde grafische netwerken gebruikten, zeer weinig van hen daadwerkelijk testten hoe goed de modellen werkten op data van een latere datum. In de echte wereld wordt een beveiligingssysteem getraind op data van vorige maand en moet het aanvallen detecteren die vandaag plaatsvinden. De review vond dat de meeste studies deze vertraging niet simuleerden. In plaats daarvan trainden en testten ze hun modellen op dezelfde batch data, waarbij ze vaak de tijdlijn door elkaar haalden zodat het model in staat was om naar toekomstige gebeurtenissen te "gluren" om een beslissing te nemen.

Een van de belangrijkste bevindingen was dat de hoge nauwkeurigheidspercentages gerapporteerd in deze studies waarschijnlijk niet vertalen naar prestaties in de echte wereld. De onderzoekers definieerden twee niveaus van testen om dit te bewijzen. Het eerste niveau vraagt of een model, eenmaal getraind en vastgezet, nog steeds aanvallen kan opsporen wanneer het nieuwe data van een latere tijd krijgt voorgeschoteld. Het tweede niveau vraagt of het model kan aanpassen en verbeteren naarmate het nieuwe data ziet. De review ontdekte dat hoewel vijf studies manieren noemden om hun modellen aan te passen, geen van hen deze aanpassingen daadwerkelijk testte op data van een latere periode. Bovendien gebruikten veel studies een methode voor het labelen van aanvallen die een verborgen valstrik creëerde. Als de onderzoekers een bestand als "slecht" markeerden omdat het verbonden was met een bekend slecht bestand, kon de kunstmatige intelligentie simpelweg leren om naar die verbinding te zoeken in plaats van naar het werkelijke aanvalsgedrag. Dit betekende dat het model de test slaagde door de regels van de test te herkennen, en niet door de dreiging te begrijpen.

Het team wees ook op een specifiek gebrek in de voorbereiding van de data. In veel studies kreeg de kunstmatige intelligentie een volledig beeld van de geschiedenis van het systeem, inclusief gebeurtenissen die uren of dagen na het moment plaatsvonden waarop een melding had moeten worden gegenereerd. Dit staat bekend als look-ahead bias. Voor een beveiligingssysteem om nuttig te zijn, moet het een beslissing kunnen nemen op basis van alleen wat er tot dat exacte moment is gebeurd. De review vond dat zeer weinig studies rapporteerden of ze de data op het juiste moment hadden afgekapt. Zonder deze afkap, werden de modellen in essentie getest op een scenario dat in de werkelijkheid niet bestaat. De onderzoekers merkten ook op dat de datasets die voor deze tests werden gebruikt vaak klein en repetitief waren, met slechts enkele weken aan data en een handvol aanvalsscenario's. Dit beperkte de mogelijkheid om te zien hoe de modellen zouden omgaan met de trage, subtiele veranderingen in computergedrag die over maanden of jaren plaatsvinden.

Om deze problemen op te lossen, stelden de auteurs een nieuwe reeks standaarden voor voor hoe deze studies uitgevoerd zouden moeten worden. Ze creëerden een checklist van eenentwintig items die onderzoekers moeten volgen om te bewijzen dat hun modellen in real-time werken. Dit omvat het opbouwen van de datagraaf alleen tot het moment van de beslissing, het vastzetten van de instellingen van het model voordat het op nieuwe data wordt getest, en het rapporteren hoeveel valse alarmen het systeem zou genereren in een echte kantooromgeving. Ze voerden aan dat een model dat te veel valse alarmen genereert, nutteloos is, ongeacht hoe nauwkeurig het is in het opsporen van aanvallen, omdat beveiligingsteams erdoor overweldigd zouden raken. De review concludeerde dat totdat deze nieuwe standaarden worden gevolgd, de claims van bijna perfecte detectie in het veld van provenance-gebaseerde beveiliging met scepsis bekeken moeten worden. De modellen hebben veelbelovend bewezen, maar het bewijs dat ze daadwerkelijk systemen in het wild kunnen beschermen tegen aanvallers die hun tactieken in de loop van de tijd veranderen, is nog niet geleverd. De weg vooruit vereist een verschuiving van het najagen van hoge scores op statische tests naar het bewijzen dat deze systemen de test van de tijd kunnen doorstaan.