💻 computer science

SA-DRL: Security-Aware Deep Reinforcement Learning for Ransomware Detection with Asymmetric Reward Design

Dit artikel stelt een Security-Aware Deep Reinforcement Learning (SA-DRL) raamwerk voor dat asymmetrische beloningsvorming en een beveiligingsoptimale modelselectiecriterium gebruikt om de fout-negatieveniveaus van ransomware significant te verlagen in vergelijking met conventionele symmetrische detectiemethoden.

Oorspronkelijke auteurs: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de hoofd van de beveiliging bent van een enorme digitale stad. Je taak is om een specifiek type crimineel op te sporen: Ransomware. Dit zijn digitale bandieten die je bestanden vergrendelen en geld eisen om ze weer te ontgrendelen.

Het probleem is dat deze bandieten snel zijn. Ze kunnen je gegevens in seconden versleutelen. Als je ze mist (een False Negative), wordt de stad op slot gezet en is de schade onomkeerbaar en kostbaar. Als je per ongeluk een onschuldige burger als bandiet aanmerkt (een False Positive), zet je die persoon alleen even in een cel voor een snelle controle. Het is vervelend, maar het is te herstellen.

Lange tijd behandelden computersystemen deze twee fouten als even erg. Het was alsof je zei: "Het is net zo erg om een bankovervaller vrij te laten lopen als om per ongeluk een bakker te arresteren." Dit artikel betoogt dat dit een verschrikkelijke manier is om een beveiligingssysteem te beheren.

Hier is hoe de auteur, Jannatul Ferdous en haar team, dit oploste met een nieuwe aanpak genaamd SA-DRL (Security-Aware Deep Reinforcement Learning).

1. De Oude Manier: Het "Gelijke Straf"-spel

Denk aan traditionele beveiligingssoftware als een student die een toets maakt. Als hij een vraag fout heeft, verliest hij één punt. Het maakt niet uit welke vraag hij fout had.

De Fout: In de echte wereld is het missen van een ransomware-aanval alsof je het eindexamen niet haalt en je diploma verliest. Het vangen van een onschuldig bestand is slechts een kleine aftrek op een huiswerkopdracht. De oude systemen kenden het verschil niet, dus lieten ze vaak de "grote boeven" door om de "kleine fouten" laag te houden.

2. De Nieuwe Manier: De "Security-First" Coach

De auteurs creëerden een nieuwe trainingsmethode met behulp van Deep Reinforcement Learning (DRL). Stel je een videogame voor waarin een AI-agent (de beveiligingsbeambte) leert door miljoenen rondes te spelen.

Het Beloningssysteem: In dit spel geeft de "Coach" (de beloningsfunctie) punten voor het vangen van boeven en trekt punten af voor fouten.
- Oude Coach (Symmetrisch): "Je verliest 1 punt voor het vangen van een bakker. Je verliest 1 punt voor het laten gaan van een bandiet."
- Nieuwe Coach (Asymmetrisch - SA-DRL): "Je verliest 1 punt voor het vangen van een bakker. Maar als je een bandiet laat gaan, verlies je 4 punten!"

Door de straf voor het missen van een ransomware-aanval vier keer zwaarder te maken dan de straf voor een vals alarm, leert de AI een zeer belangrijke les: "Het is beter om veilig dan sorry te zijn." De AI wordt hierdoor iets paranoïder en begint bijna elke bandiet te vangen, zelfs als dat betekent dat er meer onschuldige bakkers gecontroleerd moeten worden.

3. De Trainingsgrond: Het "Geschudde Deck"

Om ervoor te zorgen dat de AI niet simpelweg de volgorde van de bestanden uit het hoofd leert, gebruikten de onderzoekers een slimme truc. Stel je voor dat je kaarten uit een deck deelt.

De Truc: Elke keer dat de AI een nieuwe trainingssessie start, schudden ze het deck met bestanden volledig door elkaar.
Het Resultaat: De AI kan niet gewoon leren: "Bestand #1 is goed, Bestand #2 is slecht." De AI moet het gedrag van de bestanden leren. Omdat de "slechte" bestanden (ransomware) telkens weer met die zware 4-puntenstraf worden geraakt wanneer ze gemist worden, leert de AI extra goed op te letten bij de lastige bestanden. Dit werkt als een automatische "marker" voor de meest gevaarlijke bestanden zonder dat ze handmatig gemarkeerd hoeven te worden.

4. De Race: Wie wint er?

De onderzoekers testten vier verschillende soorten AI-"spelers" (algoritmen) om te zien wie deze "security-first" les het beste kon leren:

DQN
DDQN (Double DQN)
PPO
A2C

Ze testten ook verschillende "discount factors" (verdisconteringsfactoren). Denk hierbij aan hoeveel de AI geeft om de toekomst versus het nu.

Hoge Discount: "Ik denk na over het hele spel."
Lage Discount: "Ik moet nú de juiste zet doen."

De Winnaar: De DDQN-speler, die gebruikmaakte van de Lage Discount (focus op directe actie) en de Asymmetrische Beloning (de zware straf), was de kampioen.

5. De Resultaten: Een Enorme Verbetering

Toen ze de winnende AI aan de test onderwierpen tegenover de oude methoden:

De Oude Beste: Mist ongeveer 2,47% van de ransomware-aanvallen.
De Nieuwe SA-DRL: Mistte slechts 0,80% van de aanvallen.

Dit is een reductie van 67,6% in gemiste ransomware. De AI werd veel beter in het opsporen van de echte dreigingen. Dit deed hij terwijl hij het aantal valse alarmen (het vangen van onschuldige bakkers) zeer laag hield en zelfs sneller trainde dan sommige andere complexe modellen.

6. De "Security-Optimal" Regel

Ten slotte introduceerden de auteurs een nieuwe regel voor het kiezen van het beste model, genaamd SOMS.

Oude Regel: "Kies het model met de hoogste algemene score."
Nieuwe SOMS-Regel: "Kies eerst het model dat de minste bandieten mist. Daarna kijk je naar de score. Daarna kijk je naar hoe snel het is."

Dit zorgt ervoor dat het gekozen model gebouwd is op veiligheid eerst, en niet alleen op het goed lijken op een spreadsheet.

Samenvatting

Het paper laat zien dat door de manier waarop we onze AI "betalen" voor hun fouten te veranderen — door de straf voor het missen van een ransomware-aanval veel zwaarder te maken dan de straf voor een vals alarm — we beveiligingssystemen kunnen bouwen die veel beter zijn in het beschermen van onze gegevens. Het DDQN-model met deze nieuwe "Security-Aware" mindset is het meest effectieve hulpmiddel dat ze hebben gevonden; het vangt aanzienlijk meer ransomware dan eerdere methoden, terwijl het snel en efficiënt blijft.

Technische Samenvatting: SA-DRL voor Ransomware-detectie

Probleemstelling
Ransomware vormt een kritieke bedreiging voor moderne infrastructuur, waarbij de herstelkosten wereldwijd in 2025 oplopen tot 1,53 miljoen dollar en aanvallen elke twee seconden plaatsvinden. Hoewel machine learning (ML) en deep learning (DL) detectoren hoge nauwkeurigheid hebben bereikt (vaak >98%), vertrouwen zij doorgaans op symmetrische verliesfuncties (bijv. binaire cross-entropie) die foutieve negatieven (FN) en foutieve positieven (FP) als even kostbaar behandelen. In de operationele realiteit is deze aanname gebrekkig: een FN staat irreversibele gegevensversleuteling en systeemcompromis toe, terwijl een FP resulteert in een reversibele quarantaine of analyse door een analist. Bovendien hebben bestaande Deep Reinforcement Learning (DRL) toepassingen in ransomware-detectie grotendeels gebruikgemaakt van statische kenmerken (bijv. PE-headers) of symmetrische beloningsstructuren, waardoor ze er niet in zijn geslaagd de operationele kostenasymmetrie direct in het leerdoel te integreren.

Methodologie
De auteurs stellen SA-DRL (Security-Aware Deep Reinforcement Learning) voor, een framework dat ransomware-detectie modelleert als een eindige-horizon Markov-beslissingsproces (MDP) met behulp van gedragsmatige runtime-telemetrie.

Dataset en Omgeving:
- Een gebalanceerde dataset van 2.000 Windows-uitvoerbare bestanden (1.000 ransomware verspreid over 30 families, 1.000 benign/onschadelijk) werd geconstrueerd.
- De monsters werden uitgevoerd in de ANY.RUN sandbox (Windows 11) om 103 gedragsmatige kenmerken (API-aanroepen, registratie-aanpassingen, bestand-operaties, netwerkactiviteit, CryptoAPI-gebruik) te extraheren.
- De omgeving maakt gebruik van episode-niveau willekeurige permutatie, waarbij de volgorde van de monsters aan het begin van elke episode wordt gehusseld om een vaste-volgorde-bias te elimineren en een impliciet adaptief monster-wegings-effect te induceren.
Beloningsontwerp (Reward Design):
- Baseline ( $R_1$ ): Een symmetrische beloning (+1 voor correct, -1 voor incorrect).
- Security-Aware ( $R_2$ ): Een asymmetrische beloningsfunctie ontworpen om operationele kosten te reflecteren. Correcte voorspellingen ontvangen +1. Foutieve positieven ontvangen -0,5, terwijl foutieve negatieven een zwaardere straf krijgen van -2,0 (een kostenratio van 4:1). Deze structuur stuurt de agent expliciet aan om gemiste detecties te minimaliseren.
Agents en Training:
- Vier DRL-agents werden geëvalueerd: DQN, DDQN, PPO en A2C.
- Experimenten omvatten vier kortingsfactoren ( $\gamma \in \{0,1, 0,5, 0,9, 0,99\}$ ), twee beloningsfuncties, vijf-voudige gestratificeerde kruisvalidatie en drie willekeurige seeds, wat resulteerde in 480 gecontroleerde trainingsruns.
- Baseline supervised modellen (MLP, CNN1D, Logistische Regressie) werden getraind met equivalente klasse-weging voor vergelijking.
Modelselectie (SOMS):
- De studie introduceert het Security-Optimal Model Selection (SOMS) criterium. In tegen tegenstelling tot standaard selectie gebaseerd op geaggregeerde nauwkeurigheid, gebruikt SOMS een lexicografische optimalisatie:
  1. Minimaliseer de False Negative Rate (FNR).
  2. Maximaliseer de F1-score.
  3. Minimaliseer de trainingstijd.

Belangrijkste Bijdragen

Integratie van Asymmetrische Beloningen: Het eerste framework dat de FN–FP kostenasymmetrie direct in het DRL-beloningssignaal voor gedragsmatige ransomware-detectie implementeert, bewegend voorbij post-hoc drempelwaarde-aanpassingen.
Uitgebreide Evaluatie: Een gecontroleerde factoriële vergelijking van vier DRL-algoritmen over meerdere beloningsstructuren en hyperparameters (480 runs), wat een robuuste statistische validatie biedt.
SOMS-criterium: Een formeel, security-first modelselectieprotocol dat prioriteit geeft aan het minimaliseren van gemiste aanvallen boven geaggregeerde nauwkeurigheid.
Impliciete Adaptieve Weging: Het gebruik van episode-niveau willekeurige permutatie om moeilijke monsters natuurlijk te benadrukken via asymmetrische beloningsgestuurde temporal-difference updates, zonder expliciete per-monster gewichtsberekening.
Statistische Validatie: Gebruik van Friedman- en Wilcoxon signed-rank tests om te bevestigen dat de prestatieverbeteringen statistisch significant zijn en niet het gevolg zijn van stochastische variantie.

Experimentele Resultaten

Beste Configuratie: De DDQN-agent getraind met de asymmetrische beloning ( $R_2$ ) en een lage kortingsfactor ( $\gamma = 0,1$ ) werd door SOMS geselecteerd als optimaal.
Prestatie-metrieken: Deze configuratie behaalde een FNR van 0,0080 (0,80%), een F1-score van 0,9915 en een AUC van 0,998.
Vergelijkbare Verbetering: Vergeleken met de beste supervised baseline (MLP met FNR = 0,0247), reduceerde de SA-DRL configuratie de gemiste detecties met 67,6%.
Impact van Beloning: Over alle configuraties heen verminderde de asymmetrische beloning ( $R_2$ ) de gemiddelde FNR met 43% ten opzichte van de symmetrische baseline ( $R_1$ ), met een verwaarloosbare toename in de False Positive Rate (0,20 procentpunt).
Algoritmische Gevoeligheid: Waarde-gebaseerde methoden (DDQN, DQN) vertoonden superieure stabiliteit en een lagere FNR vergeleken met policy-gradient methoden (PPO, A2C), vooral bij hogere kortingsfactoren. Lagere kortingsfactoren ( $\gamma=0,1, 0,5$ ) bleken effectiever voor deze beveiligingskritische classificatie taak.

Significantie en Claims
Het artikel beweert dat SA-DRL een paradigmaverschuiving vertegenwoordigt in ransomware-detectie door de leerdoelstelling direct af te stemmen op operationele beveiligingsprioriteiten. De auteurs stellen dat:

Beloningsfunctie-ontwerp een cruciaal mechanisme is voor beveiligingsgevoelige besluitvorming, en niet louter een afstemparameter.
Het voorgestelde framework de eerste is die runtime gedragsmatige kenmerken, asymmetrisch beloningsontwerp en een formeel security-first selectiecriterium (SOMS) combineert met rigoureuze statistische validatie.
De resultaten aantonen dat kostenbewuste reinforcement learning effectief de meest schadelijke foutmarge (gemiste ransomware) kan minimaliseren terwijl de hoge algehele detectieprestaties behouden blijven, wat een robuustere oplossing biedt voor hoog-risico omgevingen dan traditionele symmetrische loss-benaderingen.