🤖 AI

Advanced Persistent Threats (APT) Attribution Using Deep Reinforcement Learning

Dit artikel presenteert een Deep Reinforcement Learning-model voor de attributie van Advanced Persistent Threats dat, door iteratieve architecturale en algoritmische verfijningen, een dramatische verbetering in nauwkeurigheid bereikte van 7% naar bijna 98%, wat zijn robuuste vermogen demonstreert om malware-activiteiten te herkennen en toe te schrijven.

Oorspronkelijke auteurs: Animesh Singh Basnet, Mohamed Chahine Ghanem, Dipo Dunsin, Wiktor Sowinski-Mydlarz

Gepubliceerd 2026-08-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Animesh Singh Basnet, Mohamed Chahine Ghanem, Dipo Dunsin, Wiktor Sowinski-Mydlarz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de digitale wereld voor als een enorme, bruisende stad waar iedereen met elkaar verbonden is. In deze stad zijn er onzichtbare inbrekers genaamd "hackers". Soms zijn dit slechts opportunistische dieven die op zoek zijn naar een makkelijk raam om in te breken. Maar dan zijn er de "Advanced Persistent Threats" (APT's). Denk aan deze als meesterspionnen of een zeer georganiseerde criminele organisatie. Ze breken niet alleen in en rennen weer weg; ze sluipen naar binnen, verstoppen zich jarenlang in de muren, stelen langzaam geheimen en laten geen vingerafdrukken achter. Het uitzoeken van wie deze spionnen zijn—of het nu een rivaliserende natie, een criminele bende of een specifieke groep hackers is—wordt "attributie" genoemd. Het is alsof je probeert een geest te identificeren aan de manier waarop hij door een kamer beweegt. Dit is ongelooflijk moeilijk omdat deze spionnen trucs gebruiken om hun sporen te wissen, zoals het dragen van maskers of het gebruiken van geheime tunnels.

Om dit mysterie op te lossen, zijn wetenschappers begonnen met het gebruik van een speciaal soort computerbrein dat "Deep Reinforcement Learning" (DRL) wordt genoemd. Je kunt DRL zien als een videogame-personage dat leert door keer op keer te spelen. In tegen tegenstelling tot een gewoon computerprogramma dat een strikt regelboek volgt, probeert dit personage verschillende zetten uit, krijgt punten (beloningen) als het goed gaat, en leert van zijn fouten. Na verloop van tijd wordt het zo goed in het spel dat het patronen kan herkennen die mensen misschien missen. De grote vraag die onderzoekers stellen is: Kunnen we deze digitale detective leren om naar het rommelige, verborgen gedrag van een virus te kijken en te zeggen: "Aha! Dit is absoluut gedaan door Groep X"?

Dit artikel neemt dat idee en zet het op de proef. De onderzoekers verzamelden een enorme collectie digitale "vingerafdrukken"—meer dan 3.500 monsters van malware (schadelijke software) van 12 verschillende APT-groepen. Ze keken niet alleen naar hoe de bestanden eruit zagen; ze observeerden wat de bestanden deden in een veilige, geïsoleerde sandbox (een virtuele gevangenis voor virussen). Ze gebruikten een tool genaamd Cuckoo Sandbox om te kijken hoe de virussen bewogen, bestanden veranderden en met andere computers communiceerden.

Vervolgens trainden ze deze DRL "detective" om deze gedragingen te analyseren. Ze zetten een spel op waarbij de AI moest raden welke van de 12 groepen elk virus had gemaakt. Als de AI het goed had, kreeg het een punt. Als de AI het fout had, verloor het een punt. De AI speelde dit spel duizenden keren en leerde de subtiele, unieke gewoonten van elke groep te herkennen. De resultaten waren indrukwekkend: het DRL-model zat in 89,27% van de gevallen goed bij nieuwe, ongeziene virussen.

Om te zien of deze nieuwe detective daadwerkelijk beter was dan de oude, vergeleken de onderzoekers het met vijf andere standaard computermethoden (zoals Decision Trees en Support Vector Classifiers). De oude methoden waren oké en behaalden een nauwkeurigheid tussen de 71% en 82%, maar de DRL-detective presteerde duidelijk beter dan hen allemaal, met een score van 89,27%. Het artikel suggereert dat deze aanpak bijzonder goed is in het omgaan met de lastige, veranderende aard van deze cyberaanvallen, waarbij oude regels vaak falen.

De auteurs zijn echter voorzichtig om dit niet als een wondermiddel te bestempelen. Ze wijzen erop dat deze superintelligente AI hongerig is naar middelen; het heeft veel rekenkracht en een enorme hoeveelheid data nodig om effectief te leren. Ze merken ook op dat hoewel het model geweldig is in het herkennen van patronen in de data die ze het voerden, de echte wereld rommelig is. Het artikel concludeert dat hoewel DRL een krachtig nieuw instrument is om deze digitale spionnen te vangen, we nog steeds efficiënter moeten worden en de ethische vragen moeten behandelen over het gebruik van AI in beveiliging. Het is een veelbelovende stap voorwaarts, die suggereert dat door AI te laten leren van het gedrag van de slechteriken, we hen misschien eindelijk sneller en nauwkeuriger kunnen ontmaskeren dan ooit tevoren.

Technische Samenvatting: Toeschrijving van Advanced Persistent Threats (APT) middels Deep Reinforcement Learning

Probleemstelling
Het artikel behandelt de kritieke uitdaging van het toeschrijven van malware aan specifieke Advanced Persistent Threat (APT) groepen. In tegenstelling tot opportunistische cyberaanvallen zijn APT's complexe, langdurige operaties die vaak worden gesteund door natiestaten, waarbij gebruik wordt gemaakt van geavanceerde evasietechnieken, zero-day exploits en ingewikkelde gedragspatronen om ongedetecteerd te blijven. Traditionele methoden voor toeschrijving leunen zwaar op handmatige feature engineering en statische signatures, die moeite hebben met de dynamische aard van moderne dreigingen, obfuscatietactieken en malwarefamilies die geen duidelijke evolutionaire verbanden vertonen. De auteurs stellen dat er behoefte is aan adaptieve systemen die in staat zijn om gedragspatronen te analyseren om de specifieke APT-groep achter een aanval accuraat te identificeren, een taak die essentieel is voor het ontwikkelen van gerichte defensieve strategieën en het ter verantwoording roepen van daders.

Methodologie
De studie stelt een nieuw framework voor dat gebruikmaakt van Deep Reinforcement Learning (DRL) om malwaremonsters toe te schrijven aan een van de 12 verschillende APT-groepen. De methodologie volgt een gestructureerd experimenteel ontwerp:

Dataverzameling en Voorbereiding:
- Dataset: Het onderzoek maakt gebruik van een dataset van meer dan 3.500 malwaremonsters gecategoriseerd in 12 APT-groepen (bijv. APT1, APT28, Equation Group, Gorgon Group), afkomstig uit vijf landen (China, Rusland, Noord-Korea, VS, Pakistan).
- Bronnen: Gedragsgegevens worden geëxtraheerd met behulp van Cuckoo Sandbox (voor dynamische analyse van bestandsoperaties, registerwijzigingen en netwerkverkeer) en VirusTotal (voor geaggregeerde antivirusdetectieresultaten en metadata).
- Preprocessing: Ruwe rapporten worden opgeschoond, geïntegreerd en getransformeerd. Categorische variabelen (APT-groepen) worden via label encoding verwerkt, en numerieke features worden genormaliseerd met behulp van MinMaxScaler. Om de significante klassenonbalans aan te pakken (variërend van 32 tot 961 monsters per groep), wordt SMOTE (Synthetic Minority Over-sampling Technique) toegepast om synthetische voorbeelden van de minderheidsgroepen te creëren.
Formulering van het Markov Decision Process (MDP):
Het probleem van toeschrijving wordt gemodelleerd als een MDP waarbij:
- State Space ( $S$ ): Vertegenwoordigt het huidige begrip van een malwaremonster, afgeleid van een feature vector inclusief API-calls, bestandsoperaties, registerwijzigingen en netwerkgedragingen.
- Action Space ( $A$ ): Komt overeen met de beslissing om het huidige malwaremonster toe te schrijven aan een specifieke APT-groep (12 mogelijke acties).
- Reward ( $R$ ): Een positieve beloning (+1) wordt toegekend bij correcte toeschrijving, terwijl onjuiste toeschrijvingen een negatieve beloning (-1) opleveren. De agent streeft naar het maximaliseren van de cumulatieve beloningen.
Modelarchitectuur en Training:
- Algoritme: Een Deep Q-Network (DQN) is geïmplementeerd met behulp van de Stable Baselines 3 bibliotheek binnen een Gymnasium omgeving.
- Netwerkontwerp: De policy- en target-netwerken zijn Multi-Layer Perceptrons (MLP) met een netwerkarchitectuur van [1024, 512, 512, 256] neuronen, gebruikmakend van Leaky ReLU activatiefuncties om vanishing gradients te voorkomen.
- Trainingsstrategie: De agent maakt gebruik van een $\epsilon$ -greedy strategie om exploratie en exploitatie in evenwicht te houden. Experience replay wordt gebruikt om transities $(s_t, a_t, r_t, s_{t+1})$ op te slaan. Hyperparameters omvatten een learning rate schedule, een discount factor ( $\gamma$ ) van 0,99 en een batchgrootte van 256.

Belangrijkste Bijdragen

Nieuwe Toepassing van DRL: Dit werk pioniert het gebruik van Deep Reinforcement Learning specifiek voor APT malware-toeschrijving, waarbij de stap wordt gezet van statische classificatie naar een adaptief besluitvormingsframework.
Focus op Gedragsanalyse: Het model vertrouwt op dynamische gedragsfeatures geëxtraheerd uit sandbox-omgevingen in plaats van statische code-signatures, waardoor het geobfusceerde en evoluerende dreigingen kan afhandelen.
Benchmarking: De studie biedt een rigoureuze vergelijking van het voorgestelde DRL-model met traditionele machine learning classifiers, waaronder Stochastic Gradient Descent (SGD), Support Vector Classifier (SVC), K-Nearest Neighbors (KNN), Multi-Layer Perceptron (MLP) en Decision Tree Classifiers.
Open Bronnen: De auteurs hebben de code en de gecureerde APT malware-dataset publiekelijk beschikbaar gesteld om verder onderzoek te faciliteren.

Resultaten
Het DRL-model vertoonde een superieure prestatie vergeleken met alle baseline machine learning modellen:

Testnauwkeurigheid: Het DRL-model behaalde een testnauwkeurigheid van 89,27%.
Vergelijking: Dit presteerde aanzienlijk beter dan het op één na beste model, de Decision Tree Classifier (82,64%), evenals MLP (80,65%), KNN (80,21%), SVC (77,41%) en SGD (71,47%).
Gedetailleerde Metrieken: Op de testset behaalde het model een gemiddelde precisie van 87%, een recall van 85% en een F1-score van 86%.
Groepspecifieke Prestaties: Het model toonde uitzonderlijke bekwaamheid bij groepen zoals de "Equation Group" (perfecte scores tijdens de training) en "APT 19" (95,8% F1-score). Het ondervond echter lichte uitdagingen bij "APT 28" (62,4% precisie) en "APT 21" (93,44% recall), wat wijst op gebieden voor toekomstige verfijning.
Trainingsverloop: De nauwkeurigheid van het model verbeterde drastisch tijdens de training, waarbij het steeg van aanvankelijk lage niveaus naar bijna 98% op de trainingsdata en stabiliseerde op 89,27% op de testset na 20.000 stappen.

Betekenis en Claims
Het artikel beweert dat de integratie van DRL in cybersecurity-frameworks een transformerend potentieel biedt voor malware-toeschrijving. Door gebruik te maken van het vermogen van DRL om te leren van trial-and-error en zich aan te passen aan incomplete of geobfusceerde informatie, biedt het voorgestelde systeem een robuustere en nauwkeurigere methode voor het identificeren van APT-actoren vergeleken met traditionele statische modellen.

De auteurs benadrukken dat hoewel het model een hoge effectiviteit vertoont, de implementatie ervan aanzienlijke computationele middelen en hoogwaardige, diverse datasets vereist. Zij pleiten voor een verantwoorde aanpak van AI-integratie en suggereren dat toekomstig werk zich moet richten op:

Het verbeteren van de computationele efficiëntie door middel van architectuurverfijning en model pruning.
Het uitbreiden van de diversiteit van de dataset om generalisatie te verbeteren.
Het adresseren van ethische zorgen met betrekking tot gegevensprivacy en bias.
Het verkennen van de integratie van Large Language Models (LLMs) om reward-mechanismen te verfijnen en het DRL-framework te optimaliseren.

Uiteindelijk betogen de onderzoekers dat DRL de threat intelligence aanzienlijk kan verbeteren, waardoor organisaties kunnen overgaan van reactieve defensie naar proactieve, accurate toeschrijving van complexe cyberdreigingen.

Technische Samenvatting: Toeschrijving van Advanced Persistent Threats (APT) middels Deep Reinforcement Learning

Meer zoals dit