Technische Samenvatting: Controleerbaar Machine Unlearning voor Privacy-conforme Ransomware-detectie met behulp van Multi-Shard SISA en Deep Reinforcement Learning

1. Probleemstelling

Ransomware-aanvallen evolueren snel en maken gebruik van obfuscatie en polymorfe varianten, waardoor traditionele signatuurgebaseerde detectie ineffectief wordt. Hoewel gedragsgebaseerde machine learning (ML) en deep learning (DL) detectoren sterke voorspellende capaciteiten hebben getoond, opereren zij doorgaans onder de assumptie van vaste trainingsdata. Dit creëert een cruciaal conflict met moderne privacywetgeving, zoals de AVG (GDPR) en CCPA, die het "recht om vergeten te worden" voorschrijven. In cybersecurity-contexten moeten organisaties mogelijk specifieke gebruikersgegevens, foutief gelabelde monsters of adversariële sporen uit uitgerolde modellen verwijderen. Conventionele benaderingen om aan dergelijke verzoeken te voldoen, vereisen volledige hertraining van het model, wat computationeel duur en onpraktisch is voor continu bijgewerkte systemen. Bovendien hebben bestaande reinforcement learning (RL) gebaseerde detectiesystemen niet adequaat geadresseerd hoe men selectief trainingsmonsters kan verwijderen terwijl de beleidsstabiliteit behouden blijft en wordt geverifieerd dat de verwijdering succesvol was zonder de privacy in gevaar te brengen.

2. Methodologie

De auteurs stellen een verenigd framework voor dat Double Deep Q-Networks (DDQN) integreert met een Multi-Shard SISA (Sharded, Isolated, Sliced, and Aggregated) architectuur om controleerbaar machine unlearning voor ransomware-detectie mogelijk te maken.

2.1. Dataset en Omgeving

• Dataset: Een gebalanceerde gedragsdataset van 2.000 Windows 11 monsters (1.000 ransomware, 1.000 benign) werd geconstrueerd met behulp van 30 verschillende ransomware-families. Kenmerken werden geëxtraheerd uit sandbox-executietracen (ANY.RUN), resulterend in 103-dimensionale gedragsvectoren die bestandssystemen, registers, processen, API's en netwerkactiviteiten dekken.
• RL-formulering: Ransomware-detectie wordt gemodelleerd als een Markov Decision Process (MDP).
  • Toestand (State): De 103-dimensionale gedrags-featurevector.
  • Actie (Action): Binaire classificatie (0: Benign, 1: Ransomware).
  • Beloningsfunctie (Reward Function): Een asymmetrische beloningsstructuur wordt gehanteerd om beveiligingskosten te reflecteren: +1 voor correcte classificatie, -2 voor fout-negatieven (gemiste ransomware), en -0,5 voor fout-positieven. Dit geeft prioriteit aan beveiligingskritische uitkomsten.
  • Discount Factor: Ingesteld op $\gamma=0.1$ om directe classificatienauwkeurigheid boven langetermijnrendementen te benadrukken.

2.2. Het DDQN–SISA Framework

Het framework werkt in vier fasen:

1. Sharding: De dataset wordt verdeeld in $M$ niet-overlappende shards ($M \in \{5, 10, 20\}$) met behulp van gestratificeerde allocatie om de klassebalans te behouden.
2. Geïsoleerde Training: Onafhankelijke DDQN-agents worden op elke shard getraind met afzonderlijke replay buffers en target networks. Dit isoleert de invloed van elk trainingsmonster tot zijn specifieke shard.
3. Sliced Deletion (Unlearning): Bij een verwijderverzoek identificeert het systeem de getroffen shards die de te verwijderen monsters bevatten. Alleen deze specifieke shards worden opnieuw getraind op de resterende data ($\mathcal{D}_r = \mathcal{D} \setminus \mathcal{D}_f$). Ongeïndiceerde shards blijven ongewijzigd.
4. Aggregatie: Finale voorspellingen worden gegenereerd via meerderheidsstemming over alle shard-modellen. De ensemble Q-marge (verschil tussen Q-waarden voor ransomware versus benign) wordt gebruikt voor betrouwbaarheidsscores en privacy-auditing.

2.3. Verificatie- en Auditingprotocollen

Om te waarborgen dat het framework voldoet aan compliance- en beveiligingsstandaarden, worden drie evaluatiemechanismen geïmplementeerd:

• Oracle-Verified Forgetting: Een "oracle"-model wordt vanaf nul opnieuw getraind op de behouden dataset ($\mathcal{D}_r$). De voorspellingen van het unlearned model worden vergeleken met dit oracle om te verifiëren dat het verwijderproces een ideale volledige hertraining benadert.
• Membership Inference Attack (MIA) Auditing: Een proxy MIA wordt uitgevoerd met behulp van de ensemble Q-marges. Het doel is te verifiëren dat vergeten monsters ononderscheidbaar worden van nooit-geobserveerde data (d.w.z. de MIA-succesratio's dalen naar willekeurige gokken, $\approx 0.5$).
• Computationele Efficiëntie: Het systeem meet hertrainingstijd, communicatieoverhead en geheugengebruik, waarbij shard-niveau hertraining wordt vergeleken met volledige hertraining.

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

1. DDQN–SISA Framework: De eerste integratie van een waarde-gebaseerde RL-detector met multi-shard SISA voor ransomware-detectie, wat selectieve shard-niveau hertraining mogelijk maakt om aan privacyvoorschriften te voldoen zonder volledige modelreconstructie.
2. Dual-Mechanism Verification: Een nieuw auditprotocol dat oracle-verified forgetting (om verwijdernauwkeurigheid te bevestigen) combineert met membership-inference auditing (om privacylekken te verifiëren), specifiek afgestemd op RL-gebaseerde beveiligingssystemen.
3. Systematische Deletie-Stress Evaluatie: Een uitgebreide empirische studie over 270 configuraties, waarbij variaties in shard-aantallen, deletiefracties (1%, 5%, 10%) en herhaalde deletierondes (1, 5, 10) worden onderzocht om de trade-offs tussen nut, privacy en efficiëntie te karakteriseren.

4. Experimentele Resultaten

Het framework werd geëvalueerd op een Windows 11 gedragsdataset met behulp van 5-voudige cross-validatie.

• Baseline Performance: De baseline DDQN-detector bereikte een F1-score van 0.9925 en een AUC van 0.9983, wat een hoge detectienauwkeurigheid aantoont die vergelijkbaar is met state-of-the-art methoden.
• Behoud van Nut (Utility Preservation):
  • Single-Shard: Unlearning resulteerde in minimale degradatie van het nut ($\Delta F1 < 0.003$) in alle deletiescenario's.
  • Multi-Shard: Matige shard-aantallen ($M=5, 10$) behielden stabiliteit onder lage tot matige deletiedruk. Echter, hoge granulariteit ($M=20$) gecombineerd met agressieve deletie (10% over 10 rondes) leidde tot ernstige instabiliteit en een ineenstorting van het nut (F1 daalt naar bijna 0), toegeschreven aan datasterventie in kleine shards.
• Oracle Verification: Single-shard hertraining vertoonde een lage discrepantie met het oracle-model. Multi-shard configuraties vertoonden hogere discrepantie onder hoge deletiestress, met name voor $M=10$ en $M=20$, wat aangeeft dat gelokaliseerde hertraining minder accuraat wordt naarmate het aantal getroffen shards toeneemt.
• Privacy (MIA): Membership inference scores bleven dicht bij 0.5 (willekeurige gok) in de meeste configuraties, wat wijst op beperkte privacy-lekken. Zelfs onder agressieve deletie was de toename in onderscheidbaarheid bescheiden.
• Efficiëntie:
  • Hertrainingstijd: Single-shard unlearning nam ongeveer 5–6 seconden. Multi-shard unlearning duurde 20–30 seconden (afhankelijk van het aantal getroffen shards).
  • Vergelijking: Dit is aanzienlijk sneller dan volledige hertraining, die 80–330 seconden vereiste.
  • Communicatieoverhead: Bleef laag (ongeveer 11 ms voor single-shard, 53–55 ms voor multi-shard).

5. Betekenis en Claims

Het artikel positioneert het werk als een praktische oplossing voor het "recht om vergeten te worden" in de context van hoogwaardige cybersecurity.

• Compliance zonder Compromis: Het framework demonstreert dat organisaties aan de AVG/CCPA kunnen voldoen door specifieke trainingsmonsters te verwijderen zonder de prohibitieve computationele kosten van volledige hertraining te dragen.
• Controleerbare Beveiliging: Door de integratie van oracle-verificatie en MIA-auditing biedt het systeem een verifieerbare garantie dat verwijderde gegevens de modellen niet langer beïnvloeden en dat de privacy behouden blijft, waarmee een gat in de bestaande RL-gebaseerde detectieliteratuur wordt gedicht.
• Operationele Trade-offs: De studie concludeert bescheiden dat hoewel het framework zeer effectief is, er een trade-off bestaat tussen stabiliteit en efficiëntie. Het adviseert matige shard-aantallen ($M=5–10$) als het optimale operationele regime, waarbij een balans wordt gevonden tussen hertrainingsefficiëntie en beleidsstabiliteit. Er wordt expliciet vermeld dat zeer hoge shard-granulariteit ($M=20$) ongeschikt is voor aanhoudende deletiedruk vanwege datafragmentatie.
• Nieuwigheid: De auteurs claimen dat dit de eerste ransomware-detectieframework is die waarde-gebaseerde RL, shard-lokale unlearning en dual-channel auditverificatie gezamenlijk combineert binnen een enkele evaluatiepipeline.

Het artikel erkent beperkingen, waaronder het gebruik van een middelgrote dataset (2.000 monsters), de afhankelijkheid van een Q-marge-gebaseerde MIA-proxy in plaats van adaptieve aanvallen, en het gebrek aan evaluatie op streaming data. Toekomstig werk suggereert het verkennen van grotere datasets, sterkere privacy-aanvallen en gedistribueerde implementatiescenario's.