💻 computer science

SA-DRL: Security-Aware Deep Reinforcement Learning for Ransomware Detection with Asymmetric Reward Design

Dieses Paper schlägt ein Security-Aware Deep Reinforcement Learning (SA-DRL) Framework vor, das asymmetrisches Reward Shaping und ein sicherheitsoptimales Modellselektionskriterium nutzt, um die Falsch-Negativ-Raten bei Ransomware im Vergleich zu herkömmlichen symmetrischen Detektionsmethoden signifikant zu reduzieren.

Ursprüngliche Autoren: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Sicherheitschef einer riesigen digitalen Stadt. Ihr Job ist es, eine ganz bestimmte Art von Kriminellen aufzuspüren: Ransomware. Das sind digitale Banditen, die Ihre Dateien verschlüsseln und Geld fordern, um sie wieder freizugeben.

Das Problem ist, dass diese Banditen schnell sind. Sie können Ihre Daten in Sekundenschnelle verschlüsseln. Wenn Sie sie übersehen (ein False Negative), wird die gesamte Stadt gesperrt und der Schaden ist permanent und teuer. Wenn Sie versehentlich einen harmlosen Bürger als Banditen markieren (ein False Positive), bringen Sie ihn nur kurzzeitig in eine vorübergehende Haftzelle zur Überprüfung. Das ist ärgerlich, aber reparabel.

Lange Zeit behandelten Computersicherheitssysteme diese beiden Fehler als gleich schlimm. Es war so, als würde man sagen: „Es ist genauso schlimm, einen Bankräuber laufen zu lassen, wie einen Bäcker versehentlich zu verhaften.“ Das Paper argumentiert, dass dies eine schreckliche Art ist, ein Sicherheitssystem zu betreiben.

Hier ist, wie die Autorin Jannatul Ferdous und ihr Team dies mit einem neuen Ansatz namens SA-DRL (Security-Aware Deep Reinforcement Learning) gelöst haben.

1. Der alte Weg: Das „Gleichwertige Strafe“-Spiel

Stellen Sie sich traditionelle Sicherheitssoftware wie einen Schüler vor, der eine Prüfung schreibt. Wenn er eine Frage falsch beantwortet, verliert er einen Punkt. Es spielt keine Rolle, welche Frage er falsch beantwortet hat.

Der Fehler: In der realen Welt ist das Übersehen eines Ransomware-Angriffs so, als würde man die Abschlussprüfung nicht bestehen und seinen Abschluss verlieren. Das Erwischen einer harmlosen Datei ist nur ein kleiner Punktabzug bei einer Hausaufgabe. Die alten Systeme wussten den Unterschied nicht und ließen deshalb oft die „großen Bösewichte“ entkommen, um die „kleinen Fehler“ gering zu halten.

2. Der neue Weg: Der „Sicherheits-orientierte“ Coach

Die Autoren entwickelten eine neue Trainingsmethode unter Verwendung von Deep Reinforcement Learning (DRL). Stellen Sie sich ein Videospiel vor, in dem ein KI-Agent (der Sicherheitswächter) lernt, indem er Millionen von Runden spielt.

Das Belohnungssystem: In diesem Spiel gibt der „Coach“ (die Belohnungsfunktion) Punkte für das Erwischen von Bösewichten und zieht Punkte ab, wenn Fehler passieren.
- Alter Coach (Symmetrisch): „Du verlierst 1 Punkt, wenn du einen Bäcker erwischst. Du verlust 1 Punkt, wenn du einen Banditen laufen lässt.“
- Neuer Coach (Asymmetrisch - SA-DRL): „Du verlierst 1 Punkt, wenn du einen Bäcker erwischst. Aber wenn du einen Banditen laufen lässt, verlierst du 4 Punkte!“
  Durch die Tatsache, dass die Strafe für das Übersehen eines Ransomware-Angriffs viermal schwerer wiegt als die Strafe für einen Fehlalarm, lernt die KI eine sehr wichtige Lektion: „Es ist besser, auf Nummer sicher zu gehen, als zu riskieren.“ Sie beginnt, etwas paranoider zu sein, fängt fast jeden Banditen ab, selbst wenn das bedeutet, noch ein paar mehr harmlose Bäcker zu überprüfen.

3. Das Trainingsgelände: Das „Gemischte Kartendeck“

Um sicherzustellen, dass die KI nicht einfach nur die Reihenfolge der Dateien auswendig lernt, nutzten die Forscher einen cleveren Trick. Stellen Sie sich vor, man mischt ein Kartendeck.

Der Trick: Jedes Mal, wenn die KI eine neue Trainingssitzung beginnt, mischen die Forscher das Kartendeck der Dateien komplett durch.
Das Ergebnis: Die KI kann nicht einfach lernen: „Datei Nr. 1 ist gut, Datei Nr. 2 ist schlecht.“ Sie muss das Verhalten der Dateien lernen. Da die „schlechten“ Dateien (Ransomware) jedes Mal mit dieser schweren 4-Punkte-Strafe belegt werden, wenn sie übersehen werden, lernt die KI, besonders auf die kniffligen Dateien zu achten. Dies wirkt wie ein automatischer „Textmarker“ für die gefährlichsten Dateien, ohne dass man sie manuell markieren muss.

4. Das Rennen: Wer gewinnt?

Die Forscher testeten vier verschiedene Arten von KI-„Spielern“ (Algorithmen), um zu sehen, wer diese sicherheitsorientierte Lektion am besten lernen konnte:

DQN
DDQN (Double DQN)
PPO
A2C

Sie testeten auch verschiedene „Discount Factors“ (Diskontierungsfaktoren). Denken Sie hierbei an die Frage, wie viel die KI der Zukunft im Vergleich zum Jetzt Bedeutung beimisst.

Hoher Discount: „Ich denke an das gesamte Spiel.“
Niedriger Discount: „Ich muss die richtige Entscheidung jetzt sofort treffen.“

Der Gewinner: Der DDQN-Spieler, der den niedrigen Discount (Fokus auf sofortiges Handeln) und die asymmetrische Belohnung (die schwere Strafe für das Übersehen von Banditen) nutzte, war der Champion.

5. Die Ergebnisse: Eine massive Verbesserung

Als die Forscher ihre gewinnende KI gegen die alten Methoden testen ließen:

Der alte Bestwert: Übersah etwa 2,47 % der Ransomware-Angriffe.
Das neue SA-DRL: Übersah nur 0,80 % der Angriffe.

Dies ist eine Reduktion der übersehenen Ransomware um 67,6 %. Die KI wurde viel besser darin, die echten Bedrohungen zu erkennen. Sie erreichte dies, während sie die Anzahl der Fehlalarme (das Erwischen unschuldiger Bäcker) sehr niedrig hielt und sogar schneller trainierte als einige andere komplexe Modelle.

6. Die „Sicherheits-optimale“ Regel

Schließlich führten die Autoren eine neue Regel zur Auswahl des besten Modells ein, genannt SOMS.

Alte Regel: „Wähle das Modell mit der höchsten Gesamtpunktzahl.“
Neue SOMS-Regel: „Wähle zuerst das Modell, das die wenigsten Banditen übersehen lässt. Danach betrachtest du die Punktzahl. Dann betrachtest du die Geschwindigkeit.“

Dies stellt sicher, dass das gewählte Modell primär auf Sicherheit ausgelegt ist und nicht nur darauf, in einer Tabelle gut auszusehen.

Zusammenfassung

Das Paper zeigt, dass wir durch die Änderung der Art und Weise, wie wir unsere KI für ihre Fehler „bezahlen“ – indem wir die Strafe für das Übersehen eines Ransomware-Angriffs viel schwerer machen als die Strafe für einen Fehlalarm –, wesentlich bessere Sicherheitssysteme bauen können, die unsere Daten besser schützen. Das DDQN-Modell mit dieser neuen „sicherheitsbewussten“ Denkweise ist das effektivste Werkzeug, das sie gefunden haben; es fängt signifikant mehr Ransomware als bisherige Methoden ab und bleibt dabei schnell und effizient.

Technisches Resümee: SA-DRL zur Ransomware-Erkennung

Problemstellung
Ransomware stellt eine kritische Bedrohung für moderne Infrastrukturen dar, wobei die Wiederherstellungskosten im Jahr 2025 weltweit 1,53 Millionen US-Dollar erreichen und Angriffe alle zwei Sekunden stattfinden. Während Machine-Learning- (ML) und Deep-Learning-Detektoren (DL) hohe Genauigkeiten (oft >98 %) erzielt haben, verlassen sie sich typischerweise auf symmetrische Verlustfunktionen (z. B. binäre Kreuzentropie), die False Negatives (FN) und False Positives (FP) als gleichermaßen kostspielig behandeln. In der operativen Realität ist diese Annahme fehlerhaft: Ein FN ermöglicht irreversible Datenverschlüsselung und Systemkompromittierung, während ein FP zu einer reversiblen Quarantäne oder einer Analystenprüfung führt. Darüber hinaus haben bestehende Anwendungen des Deep Reinforcement Learning (DRL) in der Ransomware-Erkennung weitgehend statische Merkmale (z. B. PE-Header) oder symmetrische Belohnungsstrukturen verwendet und es versäumt, die operative Kostenasymmetrie direkt in das Lernziel einzubetten.

Methodik
Die Autoren schlagen SA-DRL (Security-Aware Deep Reinforcement Learning) vor, ein Framework, das die Ransomware-Erkennung als endliches Markov-Entscheidungsproblem (MDP) unter Verwendung von Verhaltens-Runtime-Telemetrie modelliert.

Datensatz und Umgebung:
- Ein ausgewogener Datensatz aus 2.000 Windows-ausführbaren Proben (1.000 Ransomware aus 30 Familien, 1.000 Benign) wurde konstruiert.
- Die Proben wurden in der ANY.RUN-Sandbox (Windows 11) ausgeführt, um 103 Verhaltensmerkmale (API-Aufrufe, Registry-Modifikationen, Dateivorgänge, Netzwerkaktivität, CryptoAPI-Nutzung) zu extrahieren.
- Die Umgebung nutzt episodenbasierte zufällige Permutation, wobei die Reihenfolge der Proben zu Beginn jeder Episode vertauscht wird, um einen Fixed-Order-Bias zu eliminieren und einen impliziten adaptiven Gewichtungseffekt zu induzieren.
Belohnungsdesign:
- Baseline ( $R_1$ ): Eine symmetrische Belohnung (+1 für korrekt, -1 für inkorrekt).
- Security-Aware ( $R_2$ ): Eine asymmetrische Belohnungsfunktion, die darauf ausgelegt ist, die operativen Kosten widerzuspiegeln. Korrekte Vorhersagen erhalten +1. False Positives erhalten -0,5, während False Negatives eine schwerere Strafe von -2,0 erhalten (ein 4:1 Kostenverhältnis). Diese Struktur leitet den Agenten explizit dazu an, die Minimierung verpasster Detektionen zu priorisieren.
Agenten und Training:
- Vier DRL-Agenten wurden evaluiert: DQN, DDQN, PPO und A2C.
- Die Experimente deckten vier Diskontfaktoren ( $\gamma \in \{0,1, 0,5, 0,9, 0,99\}$ ), zwei Belohnungsfunktionen, fünffache stratifizierte Kreuzvalidierung und drei Random Seeds ab, was zu 480 kontrollierten Trainingsläufen führte.
- Basis-Supervised-Modelle (MLP, CNN1D, Logistische Regression) wurden mit äquivalenter Klassengewichtung zum Vergleich trainiert.
Modellauswahl (SOMS):
- Die Studie führt das Security-Optimal Model Selection (SOMS) Kriterium ein. Im Gegensatz zur Standardauswahl basierend auf der aggregierten Genauigkeit nutzt SOMS eine lexikographische Optimierung:
  1. Minimierung der False Negative Rate (FNR).
  2. Maximierung des F1-Scores.
  3. Minimierung der Trainingszeit.

Zentrale Beiträge

Integration asymmetrischer Belohnungen: Das erste Framework, das die FN–FP-Kostenasymmetrie direkt in das DRL-Belohnungssignal für die Verhaltens-basierte Ransomware-Erkennung einbettet und damit über bloße Post-hoc-Schwellenwertanpassungen hinausgeht.
Umfassende Evaluierung: Ein kontrollierter faktorieller Vergleich von vier DRL-Algorithmen über mehrere Belohnungsstrukturen und Hyperparameter hinweg (480 Läufe), was eine robuste statistische Validierung bietet.
SOMS-Kriterium: Ein formales, sicherheitsorientiertes Modellauswahlprotokoll, das die Minimierung verpasster Angriffe gegenüber der aggregierten Genauigkeit priorisiert.
Implizite adaptive Gewichtung: Nutzung der episodenbasierten zufälligen Permutation, um schwierige Proben durch asymmetrische belohnungsgetriebene Temporal-Difference-Updates natürlich zu betonen, ohne explizite Berechnung pro Probe.
Statistische Validierung: Einsatz von Friedman- und Wilcoxon-Rangsummentests, um zu bestätigen, dass die Leistungsverbesserungen statistisch signifikant sind und nicht auf stochastischer Varianz beruhen.

Experimentelle Ergebnisse

Beste Konfiguration: Der DDQN-Agent, trainiert mit der asymmetrischen Belohnung ( $R_2$ ) und einem niedrigen Diskontfaktor ( $\gamma = 0,1$ ), wurde durch SOMS als optimal ausgewählt.
Leistungsmetriken: Diese Konfiguration erreichte eine FNR von 0,0080 (0,80 %), einen F1-Score von 0,9915 und einen AUC von 0,998.
Vergleichende Verbesserung: Im Vergleich zum besten Supervised-Baseline (MLP mit FNR = 0,0247) reduzierte die SA-DRL-Konfiguration die verpassten Detektionen um 67,6 %.
Auswirkung der Belohnung: Über alle Konfigurationen hinweg reduzierte die asymmetrische Belohnung ( $R_2$ ) die mittlere FNR um 43 % im Vergleich zur symmetrischen Baseline ( $R_1$ ), bei einem vernachlässigbaren Anstieg der False Positive Rate (0,20 Prozentpunkte).
Algorithmische Sensitivität: Wertbasierte Methoden (DDQN, DQN) zeigten eine überlegene Stabilität und niedrigere FNR im Vergleich zu Policy-Gradient-Methoden (PPO, A2C), insbesondere bei höheren Diskontfaktoren. Niedrigere Diskontfaktoren ( $\gamma=0,1, 0,5$ ) erwiesen sich als effektiver für diese sicherheitskritische Klassifizierungsaufgabe.

Bedeutung und Ansprüche
Das Paper behauptet, dass SA-DRL einen Paradigmenwechsel in der Ransomware-Erkennung darstellt, indem es das Lernziel direkt an die operativen Sicherheitsprioritäten anpasst. Die Autoren stellen fest, dass:

Das Design der Belohnungsfunktion ein kritischer Mechanismus für sicherheitsrelevante Entscheidungsfindung ist und nicht bloß ein Tuning-Parameter.
Das vorgeschlagene Framework das erste ist, das Runtime-Verhaltensmerkmale, asymmetrisches Belohnungsdesign und ein formales, sicherheitsorientiertes Auswahlkriterium (SOMS) mit strenger statistischer Validierung kombiniert.
Die Ergebnisse zeigen, dass kostenbewusstes Reinforcement Learning effektiv die schädlichste Fehlerart (verpasste Ransomware) minimieren kann, während gleichzeitig eine hohe Gesamtdetektionsleistung aufrechterhalten wird, was eine robustere Lösung für Hochrisikoumgebungen als traditionelle symmetrische Loss-Ansätze bietet.