💻 computer science

SA-DRL: Security-Aware Deep Reinforcement Learning for Ransomware Detection with Asymmetric Reward Design

Questo articolo propone un framework di Deep Reinforcement Learning consapevole della sicurezza (SA-DRL) che utilizza una modellazione asimmetrica delle ricompense e un criterio di selezione del modello ottimale per la sicurezza per ridurre significativamente i tassi di falsi negativi dei ransomware rispetto ai convenzionali metodi di rilevamento simmetrici.

Autori originali: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Pubblicato 2026-07-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il capo della sicurezza di una gigantesca città digitale. Il tuo compito è individuare un tipo specifico di criminale: il Ransomware. Questi sono banditi digitali che bloccano i tuoi file e pretendono denaro per sbloccarli.

Il problema è che questi banditi sono veloci. Possono criptare i tuoi dati in pochi secondi. Se li perdi (un Falso Negativo), la città viene bloccata e il danno è permanente e costoso. Se per errore segnali un cittadino innocente come un bandito (un Falso Positivo), lo metti solo in una cella di custodia per un rapido controllo. È fastidioso, ma è risolvibile.

Per molto tempo, i sistemi di sicurezza informatica hanno trattato questi due errori come ugualmente gravi. Era come dire che è altrettanto grave lasciare che un rapinatore di banche passi indisturbato quanto arrestare un fornaio per errore. Questo articolo sostiene che questo sia un modo terribile di gestire un sistema di sicurezza.

Ecco come gli autori, Jannatul Ferdous e il suo team, hanno risolto il problema utilizzando un nuovo approccio chiamato SA-DRL (Deep Reinforcement Learning orientato alla Sicurezza).

1. Il Vecchio Modo: Il gioco della "Penalità Uguale"

Pensa al software di sicurezza tradizionale come a uno studente che sostiene un esame. Se sbaglia una domanda, perde un punto. Non importa quale domanda abbia sbagliato.

Il Difetto: Nel mondo reale, perdere un attacco ransomware è come fallire l'esame finale e perdere la propria laurea. Catturare un file innocuo è solo una piccola detrazione su un compito a casa. I vecchi sistemi non conoscevano la differenza, quindi spesso lasciavano passare i "grandi cattivi" pur di mantenere bassi gli "errori piccoli".

2. Il Nuovo Modo: L'Allenatore "Sicurezza Prima di Tutto"

Gli autori hanno creato un nuovo metodo di addestramento utilizzando il Deep Reinforcement Learning (DRL). Immagina un videogioco in cui un agente IA (la guardia di sicurezza) impara giocando milioni di round.

Il Sistema di Ricompensa: In questo gioco, l' "Allenatore" (la funzione di ricompensa) assegna punti per aver catturato i cattivi e toglie punti per gli errori.
- Vecchio Allenatore (Simmetrico): "Perdi 1 punto se catturi un fornaio. Perdi 1 punto se lasci andare un bandito."
- Nuovo Allenatore (Asimmetrico - SA-DRL): "Perdi 1 punto se catturi un fornaio. Ma se lasci andare un bandito, perdi 4 punti!"
- Rendendo la penalità per aver mancato un attacco ransomware quattro volte più pesante rispetto alla penalità per un falso allarme, l'IA impara una lezione molto importante: "È meglio essere prudenti che pentiti". Inizia a essere leggermente più paranoica, catturando quasi tutti i banditi, anche se ciò significa controllare qualche fornaio innocente in più.

3. Il Campo di Addestramento: Il "Mazzo Mescolato"

Per assicurarsi che l'IA non memorizzasse semplicemente l'ordine dei file, i ricercatori hanno usato un trucco astuto. Immagina di distribuire le carte da un mazzo.

Il Trucco: Ogni volta che l'IA inizia una nuova sessione di addestramento, loro mescolano completamente il mazzo di file.
Il Risultato: L'IA non può limitarsi a imparare "Il File #1 è buono, il File #2 è cattivo". Deve imparare il comportamento dei file. Poiché i file "cattivi" (ransomware) vengono colpiti ogni volta con quella pesante penalità di 4 punti quando vengono mancati, l'IA impara a prestare extra attenzione ai più difficili. Questo funge da "evidenziatore" automatico per i file più pericolosi senza la necessità di segnarli manualmente.

4. La Corsa: Chi Vince?

I ricercatori hanno testato quattro diversi tipi di "giocatori" IA (algoritmi) per vedere chi riusciva ad apprendere meglio questa lezione di sicurezza prima di tutto:

DQN
DDQN (Double DQN)
PPO
A2C

Hanno anche testato diversi "fattori di sconto" (discount factors). Pensa a questo come a quanto l'IA si preoccupa del futuro rispetto all'adesso.

Alto Sconto: "Sto pensando a tutta la partita."
Basso Sconto: "Devo fare la mossa giusta proprio ora."

Il Vincitore: Il giocatore DDQN, utilizzando il Basso Sconto (concentrandosi sull'azione immediata) e la Ricompensa Asimmetrica (la pesante penalità per aver mancato i banditi), è stato il campione.

5. I Risultati: Un Miglioramento Massiccio

Quando hanno messo la IA vincitrice alla prova contro i vecchi metodi:

Il Vecchio Migliore: Mancava circa il 2,47% degli attacchi ransomware.
Il Nuovo SA-DRL: Ha mancato solo lo 0,80% degli attacchi.

Questo è una riduzione del 67,6% dei ransomware mancati. L'IA è diventata molto più brava a individuare le minacce reali. Ci è riuscita mantenendo molto bassi anche i falsi allarmi (catturare fornai innocenti) e addestrandosi effettivamente più velocemente di altri modelli complessi.

6. La Regola "Security-Optimal"

Infine, gli autori hanno introdotto una nuova regola per scegliere il modello migliore, chiamata SOMS.

Vecchia Regola: "Scegli il modello con il punteggio complessivo più alto."
Nuova Regola SOMS: "Per prima cosa, scegli il modello che manca meno banditi. Poi, guarda il punteggio. Poi, guarda quanto è veloce."

Questo assicura che il modello scelto sia costruito per la sicurezza prima di tutto, non solo per apparire bene su un foglio di calcolo.

Riassunto

Il documento dimostra che cambiando il modo in cui "paghiamo" la nostra IA per i suoi errori — rendendo la penalità per aver mancato un attacco ransomware molto più pesante della penalità per un falso allarme — possiamo costruire sistemi di sicurezza molto più efficaci nel proteggere i nostri dati. Il modello DDDQN con questa nuova mentalità "orientata alla sicurezza" è lo strumento più efficace che abbiano trovato, catturando significativamente più ransomware rispetto ai metodi precedenti, pur rimanendo veloce ed efficiente.

Sintesi Tecnica: SA-DRL per il Rilevamento dei Ransomware

Definizione del Problema
I ransomware rappresentano una minaccia critica per le moderne infrastrutture, con costi di recupero che nel 2025 hanno raggiunto i 1,53 milioni di dollari a livello globale e attacchi che si verificano ogni due secondi. Sebbene i rilevatori basati su machine learning (ML) e deep learning (DL) abbiano raggiunto un'elevata accuratezza (spesso >98%), essi si affidano tipicamente a funzioni di perdita simmetriche (ad es. cross-entropy binaria) che trattano i falsi negativi (FN) e i falsi positivi (FP) come ugualmente costosi. Nella realtà operativa, questa assunzione è errata: un FN consente la cifratura irreversibile dei dati e la compromissione del sistema, mentre un FP comporta una quarantena reversibile o una revisione da parte di un analista. Inoltre, le attuali applicazioni di Deep Reinforcement Learning (DRL) nel rilevamento dei ransomware hanno utilizzato principalmente feature statiche (ad es. header PE) o strutture di ricompensa simmetriche, fallendo nell'incorporare direttamente l'asimmetria dei costi operativi nell'obiettivo di apprendimento.

Metodologia
Gli autori propongono SA-DRL (Security-Aware Deep Reinforcement Learning), un framework che modella il rilevamento dei ransomware come un processo decisionale di Markov (MDP) a orizzonte finito utilizzando la telemetria comportamentale del runtime.

Dataset e Ambiente:
- È stato costruito un dataset bilanciato di 2.000 campioni di eseguibili Windows (1.000 ransomware distribuiti su 30 famiglie, 1.000 benigni).
- I campioni sono stati eseguiti nel sandbox ANY.RUN (Windows 11) per estrarre 103 feature comportamentali (chiamate API, modifiche al registro, operazioni sui file, attività di rete, uso di CryptoAPI).
- L'ambiente impiega la permutazione casuale a livello di episodio, rimescolando l'ordine dei campioni all'inizio di ogni episodio per eliminare il bias di ordine fisso e indurre un effetto implicito di pesatura adattiva dei campioni.
Design della Ricompensa:
- Baseline ( $R_1$ ): Una ricompensa simmetrica (+1 per la correttezza, -1 per l'errore).
- Security-Aware ( $R_2$ ): Una funzione di ricompensa asimmetrica progettata per riflettere i costi operativi. Le predizioni corrette ricevono +1. I Falsi Positivi ricevono -0,5, mentre i Falsi Negativi ricevono una penalità più pesante di -2,0 (un rapporto di costo di 4:1). Questa struttura guida esplicitamente l'agente a dare priorità alla minimizzazione dei rilevamenti mancati.
Agenti e Addestramento:
- Sono stati valutati quattro agenti DRL: DQN, DDQN, PPO e A2C.
- Gli esperimenti hanno coperto quattro fattori di sconto ( $\gamma \in \{0,1, 0,5, 0,9, 0,99\}$ ), due funzioni di ricompensa, validazione incrociata stratificata a cinque pieghe e tre seed casuali, con un totale di 480 sessioni di addestramento controllate.
- Modelli supervisionati baseline (MLP, CNN1D, Regressione Logistica) sono stati addestrati con equivalente pesatura delle classi per il confronto.
Selezione del Modello (SOMS):
- Lo studio introduce il criterio di Security-Optimal Model Selection (SOMS). A differenza della selezione standard basata sull'accuratezza aggregata, SOMS utilizza un'ottimizzazione lessicografica:
  1. Minimizzare il Tasso di Falsi Negativi (FNR).
  2. Massimizzare l'F1-Score.
  3. Minimizzare il Tempo di Addestramento.

Contributi Chiave

Integrazione della Ricompensa Asimmetrica: Il primo framework che incorpora l'asimmetria del costo FN–FP direttamente nel segnale di ricompensa DRL per il rilevamento comportamentale dei ransomware, andando oltre i regolazioni post-hoc delle soglie.
Valutazione Comprensiva: Un confronto fattoriale controllato di quattro algoritmi DRL attraverso molteplici strutture di ricompensa e iperparametri (480 sessioni), fornendo una robusta validazione statistica.
Criterio SOMS: Un protocollo di selezione del modello orientato alla sicurezza (security-first) che dà priorità alla minimizzazione degli attacchi mancati rispetto all'accuratezza aggregata.
Pesatura Adattiva Implicita: Utilizzo della permutazione casuale a livello di episodio per enfatizzare naturalmente i campioni difficili attraverso aggiornamenti della differenza temporale guidati dalla ricompensa asimmetrica, senza computazione esplicita del peso per singolo campione.
Validazione Statistica: Utilizzo dei test di Friedman e Wilcoxon signed-rank per confermare che i miglioramenti delle prestazioni siano statisticamente significativi e non dovuti alla varianza stocastica.

Risultati Sperimentali

Migliore Configurazione: L'agente DDQN addestrato con la ricompessa asimmetrica ( $R_2$ ) e un basso fattore di sconto ( $\gamma = 0,1$ ) è stato selezionato come ottimale da SOMS.
Metriche di Performance: Questa configurazione ha raggiunto un FNR di 0,0080 (0,80%), un F1-score di 0,9915 e un AUC di 0,998.
Miglioramento Comparativo: Rispetto al miglior baseline supervisionato (MLP con FNR = 0,0247), la configurazione SA-DRL ha ridotto i rilevamenti mancati del 67,6%.
Impatto della Ricompensa: In tutte le configurazioni, la ricompensa asimmetrica ( $R_2$ ) ha ridotto il FNR medio del 43% rispetto alla baseline simmetrica ( $R_1$ ), con un aumento trascurabile del Tasso di Falsi Positivi (0,20 punti percentuali).
Sensibilità Algoritmica: I metodi basati sul valore (DDQN, DQN) hanno dimostrato una maggiore stabilità e un FNR inferiore rispetto ai metodi basati sul gradiente della policy (PPO, A2C), in particolare sotto alti fattori di sconto. Fattori di sconto inferiori ( $\gamma=0,1, 0,5$ ) si sono rivelati più efficaci per questo compito di classificazione critico per la sicurezza.

Significato e Rivendicazioni
Il documento sostiene che SA-DRL rappresenti un cambio di paradigma nel rilevamento dei ransomware allineando l'obiettivo di apprendimento direttamente con le priorità operative di sicurezza. Gli autori affermano che:

Il design della funzione di ricompensa è un meccanismo critico per il processo decisionale sensibile alla sicurezza, non un semplice parametro di tuning.
Il framework proposto è il primo a combinare feature comportamentali del runtime, design della ricompensa asimetrica e un formale criterio di selezione orientato alla sicurezza (SOMS) con una rigorosa validazione statistica.
I risultati dimostrano che l'apprendimento per rinforzo consapevole dei costi può efficacemente minimizzare il tipo di errore più dannoso (ransomware mancato) mantenendo al contempo un'elevata performance di rilevamento complessiva, offrendo una soluzione più robusta per gli ambienti ad alto rischio rispetto ai tradizionali approcci di perdita simmetrica.