💻 computer science

SA-DRL: Security-Aware Deep Reinforcement Learning for Ransomware Detection with Asymmetric Reward Design

Este artículo propone un marco de Aprendizaje por Refuerzo Profundo Consciente de la Seguridad (SA-DRL) que utiliza el modelado de recompensas asimétrico y un criterio de selección de modelo óptimo para la seguridad para reducir significativamente las tasas de falsos negativos de ransomware en comparación con los métodos de detección simétricos convencionales.

Autores originales: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Publicado 2026-07-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el jefe de seguridad de una ciudad digital masiva. Tu trabajo es detectar un tipo específico de criminal: el Ransomware. Estos son bandidos digitales que bloquean tus archivos y exigen dinero para desbloquearlos.

El problema es que estos bandidos son rápidos. Pueden cifrar tus datos en segundos. Si los pierdes de vista (un Falso Negativo), la ciudad queda bloqueada y el daño es permanente y costoso. Si accidentalmente señalas a un ciudadano inocente como un bandido (un Falso Positivo), solo lo pones en una celda de detención para una revisión rápida. Es molesto, pero es solucionable.

Durante mucho tiempo, los sistemas de seguridad informática trataron estos dos errores como igualmente malos. Era como decir: "Es tan malo dejar escapar a un ladrón de bancos como arrestar a un panadero por error". El artículo argumenta que esta es una forma terrible de gestionar un sistema de seguridad.

Aquí es como los autores, Jannatul Ferdous y su equipo, lo arreglaron utilizando un nuevo enfoque llamado SA-DRL (Aprendizaje por Refuerzo Profundo Consciente de la Seguridad).

1. La vieja forma: El juego de la "Penalización Igualitaria"

Piensa en el software de seguridad tradicional como un estudiante haciendo un examen. Si responde mal una pregunta, pierde un punto. No importa qué pregunta haya respondido mal.

El Defecto: En el mundo real, perder un ataque de ransomware es como reprobar el examen final y perder tu título universitario. Atrapar un archivo inofensivo es solo una pequeña deducción en una tarea escolar. Los sistemas antiguos no conocían la diferencia, por lo que a menudo dejaban que los "malos de verdad" se escaparan para mantener bajos los "errores pequeños".

2. La nueva forma: El entrenador "Prioridad a la Seguridad"

Los autores crearon un nuevo método de entrenamiento utilizando Aprendizaje por Refuerzo Profundo (DRL). Imagina un videojuego donde un agente de IA (el guardia de seguridad) aprende jugando millones de rondas.

El Sistema de Recompensa: En este juego, el "Entrenador" (la función de recompensa) otorga puntos por atrapar a los malos y resta puntos por los errores.
- Entrenador Viejo (Simétrico): "Pierdes 1 punto por atrapar a un panadero. Pierdes 1 punto por dejar ir a un bandido".
- Nuevo Entrenador (Asimétrico - SA-DRL): "Pierdes 1 punto por atrapar a un panadero. ¡Pero si dejas ir a un bandido, pierdes 4 puntos!".

Al hacer que la penalización por perder un ataque de ransomware fuera cuatro veces más pesada que la penalización por una falsa alarma, la IA aprende una lección muy importante: "Es mejor prevenir que lamentar". Comienza a ser ligeramente más paranoica, atrapando casi todos los bandidos, incluso si eso significa revisar algunos panaderos inocentes adicionales.

3. El campo de entrenamiento: La "Baraja Mezclada"

Para asegurar que la IA no simplemente memorizara el orden de los archivos, los investigadores utilizaron un truco ingenioso. Imagina repartir cartas de una baraja.

El Truco: Cada vez que la IA comienza una nueva sesión de entrenamiento, ellos mezclan la baraja de archivos por completo.
El Resultado: La IA no puede simplemente aprender "El Archivo #1 es bueno, el Archivo #2 es malo". Tiene que aprender el comportamiento de los archivos. Debido a que los archivos "malos" (ransomware) siempre reciben esa pesada penalización de 4 puntos cada vez que se les pasa por alto, la IA aprende a prestar atención extra a los más complicados. Esto actúa como un "resaltador" automático para los archivos más peligrosos sin necesidad de marcarlos manualmente.

4. La carrera: ¿Quién gana?

Los investigadores probaron cuatro tipos diferentes de "jugadores" de IA (algoritmos) para ver quién aprendía mejor esta lección de prioridad a la seguridad:

DQN
DDQN (Double DQN)
PPO
A2C

También probaron diferentes "factores de descuento". Piensa en esto como cuánto le importa a la IA el futuro frente al presente.

Descuento Alto: "Estoy pensando en todo el juego".
Descuento Bajo: "Necesito tomar la decisión correcta ahora mismo".

El Ganador: El jugador DDQN, utilizando el Descuento Bajo (enfocándose en la acción inmediata) y la Recompensa Asimétrica (la penalización pesada por perder bandidos), fue el campeón.

5. Los Resultados: Una mejora masiva

Cuando pusieron a prueba a la IA ganadora contra los métodos antiguos:

Lo mejor de lo viejo: Perdía aproximadamente un 2.47% de los ataques de ransomware.
El nuevo SA-DRL: Perdió solo un 0.80% de los ataques.

Esto es una reducción del 67.6% en los ataques perdidos. La IA se volvió mucho mejor detectando las amenazas reales. Logró esto manteniendo el número de falsas alarmas (atrapar panaderos inocentes) muy bajo y, de hecho, entrenando más rápido que otros modelos complejos.

6. La regla "Óptima para la Seguridad"

Finalmente, los autores introdujeron una nueva regla para elegir el mejor modelo, llamada SOMS.

Regla Antigua: "Elige el modelo con la puntuación general más alta".
Nueva Regla SOMS: "Primero, elige el modelo que pierda menos bandidos. Luego, mira la puntuación. Después, mira qué tan rápido es".

Esto asegura que el modelo elegido esté construido para la seguridad primero, no solo para verse bien en una hoja de cálculo.

Resumen

El artículo muestra que, al cambiar la forma en que "pagamos" a nuestra IA por sus errores —haciendo que la penalización por perder un ataque de ransomware sea mucho más pesada que la penalización por una falsa alarma— podemos construir sistemas de seguridad que son mucho mejores protegiendo nuestros datos. El modelo DDQN con esta nueva mentalidad "Consciente de la Seguridad" es la herramienta más efectiva que encontraron, atrapando significativamente más ransomware que los métodos anteriores mientras se mantiene rápido y eficiente.

Resumen Técnico: SA-DRL para la Detección de Ransomware

Planteamiento del Problema
El ransomware representa una amenaza crítica para la infraestructura moderna, con costos de recuperación que alcanzaron los 1.53 millones de dólares a nivel mundial en 2025 y ataques ocurriendo cada dos segundos. Aunque los detectores de aprendizaje automático (ML) y aprendizaje profundo (DL) han logrado una alta precisión (a menudo >98%), típicamente dependen de funciones de pérdida simétricas (por ejemplo, entropía cruzada binaria) que tratan los falsos negativos (FN) y los falsos positivos (FP) como igualmente costosos. En la realidad operativa, este supuesto es erróneo: un FN permite el cifrado irreversible de datos y el compromiso del sistema, mientras que un FP resulta en una cuarentena reversible o una revisión por parte de un analista. Además, las aplicaciones existentes de Aprendizaje por Refuerzo Profundo (DRL) en la detección de ransomware han utilizado mayoritariamente características estáticas (por ejemplo, cabeceras PE) o estructuras de recompensa simétricas, fallando al no integrar la asimetría del costo operativo directamente en el objetivo de aprendizaje.

Metodología
Los autores proponen SA-DRL (Aprendizaje por Refuerzo Profundo con Conciencia de Seguridad), un marco que modela la detección de ransomware como un Proceso de Decisión de Markov (MDP) de horizonte finito utilizando telemetría de comportamiento en tiempo de ejecución.

Conjunto de Datos y Entorno:
- Se construyó un conjunto de datos equilibrado de 2,000 muestras de ejecutables de Windows (1,000 ransomware a través de 30 familias, 1,000 benignos).
- Las muestras se ejecutaron en el sandbox ANY.RUN (Windows 11) para extraer 103 características de comportamiento (llamadas a la API, modificaciones del registro, operaciones de archivos, actividad de red, uso de CryptoAPI).
- El entorno emplea permutación aleatoria a nivel de episodio, barajando el orden de las muestras al inicio de cada episodio para eliminar el sesgo de orden fijo e inducir un efecto implícito de ponderación adaptativa de muestras.
Diseño de Recompensa:
- Base ( $R_1$ ): Una recompensa simétrica (+1 por acierto, -1 por error).
- Conciencia de Seguridad ( $R_2$ ): Una función de recompensa asimétrica diseñada para reflejar los costos operativos. Las predicciones correctas reciben +1. Los Falsos Positivos reciben -0.5, mientras que los Falsos Negativos reciben una penalización más pesada de -2.0 (una relación de costo de 4:1). Esta estructura guía explícitamente al agente para priorizar la minimización de detecciones perdidas.
Agentes y Entrenamiento:
- Se evaluaron cuatro agentes de DRL: DQN, DDQN, PPO y A2C.
- Los experimentos cubrieron cuatro factores de descuento ( $\gamma \in \{0.1, 0.5, 0.9, 0.99\}$ ), dos funciones de recompensa, validación cruzada estratificada de cinco pliegues y tres semillas aleatorias, resultando en 480 ejecuciones de entrenamiento controladas.
- Se entrenaron modelos supervisados de referencia (MLP, CNN1D, Regresión Logística) con un pesaje de clase equivalente para la comparación.
Selección de Modelo (SOMS):
- El estudio introduce el criterio de Selección de Modelo Óptimo de Seguridad (SOMS). A diferencia de la selección estándar basada en la precisión agregada, SOMS utiliza una optimización lexicográfica:
  1. Minimizar la Tasa de Falsos Negativos (FNR).
  2. Maximizar el F1-Score.
  3. Minimizar el Tiempo de Entrenamiento.

Contribuciones Clave

Integración de Recompensa Asimétrica: El primer marco que integra la asimetría de costo FN–FP directamente en la señal de recompensa de DRL para la detección conductual de ransomware, yendo más allá de los ajustes de umbral post-hoc.
Evaluación Exhaustiva: Una comparación factorial controlada de cuatro algoritmos de DRL a través de múltiples estructuras de recompensa e hiperparámetros (480 ejecuciones), proporcionando una validación estadística robusta.
Criterio SOMS: Un protocolo de selección de modelos formal, con prioridad en la seguridad, que prioriza minimizar los ataques perdidos sobre la precisión agregada.
Ponderación Adaptativa Implícita: Utilización de la permutación aleatoria a nivel de episodio para enfatizar naturalmente las muestras difíciles mediante actualizaciones de diferencia temporal impulsadas por la recompensa asimétrica, sin necesidad de un cálculo explícito de peso por muestra.
Validación Estadística: Uso de las pruebas de Friedman y Wilcoxon para confirmar que las mejoras de rendimiento son estadísticamente significativas y no se deben a la varianza estocástica.

Resultados Experimentales

Mejor Configuración: El agente DDQN entrenado con la recompensa asimétrica ( $R_2$ ) y un bajo factor de descuento ( $\gamma = 0.1$ ) fue seleccionado como óptimo por SOMS.
Métricas de Rendimiento: Esta configuración logró una FNR de 0.0080 (0.80%), un F1-score de 0.9915 y un AUC de 0.998.
Mejora Comparativa: En comparación con el mejor modelo base supervisado (MLP con FNR = 0.0247), la configuración SA-DRL redujo las detecciones perdidas en un 67.6%.
Impacto de la Recompensa: En todas las configuraciones, la recompensa asimétrica ( $R_2$ ) redujo la FNR media en un 43% respecto a la base simétrica ( $R_1$ ), con un aumento insignificante en la Tasa de Falsos Positivos (0.20 puntos porcentuales).
Sensibilidad Algorítmica: Los métodos basados en valor (DDQN, DQN) demostraron una mayor estabilidad y una FNR más baja en comparación con los métodos de gradiente de política (PPO, A2C), particularmente bajo factores de descuento más altos. Se encontró que los factores de descuento más bajos ( $\gamma=0.1, 0.5$ ) eran más efectivos para esta tarea de clasificación crítica de seguridad.

Significancia y Reivindicaciones
El artículo afirma que SA-DRL representa un cambio de paradigma en la detección de ransomware al alinear el objetivo de aprendizaje directamente con las prioridades operativas de seguridad. Los autores sostienen que:

El diseño de la función de recompensa es un mecanismo crítico para la toma de decisiones sensible a la seguridad, no simplemente un parámetro de ajuste.
El marco propuesto es el primero en combinar características conductuales en tiempo de ejecución, diseño de recompensa asimétrica y un criterio de selección formal centrado en la seguridad (SOMS) con una validación estadística rigurosa.
Los resultados demuestran que el aprendizaje por refuerzo consciente del costo puede minimizar eficazmente el tipo de error más dañino (detección de ransomware perdida) manteniendo un alto rendimiento de detección general, ofreciendo una solución más robusta para entornos de alto riesgo que los enfoques tradicionales de pérdida simétrica.