Resumen Técnico: Desaprendizaje de Máquinas Auditable para la Detección de Ransomware con Cumplimiento de Privacidad mediante SISA Multi-Shard y Aprendizaje por Refuerzo Profundo

1. Planteamiento del Problema

Los ataques de ransomware están evolucionando rápidamente, utilizando técnicas de ofuscación y variantes polimórficas que invalidan la eficacia de la detección tradicional basada en firmas. Si bien los detectores basados en comportamiento mediante aprendizaje automático (ML) y aprendizaje profundo (DL) han mostrado capacidades predictivas sólidas, estos operan típicamente bajo el supuesto de datos de entrenamiento fijos. Esto crea un conflicto crítico con las regulaciones de privacidad modernas, como el GDPR y la CCPA, que mandatan el "derecho al olvido". En contextos de ciberseguridad, las organizaciones pueden necesitar eliminar datos de usuarios específicos, muestras mal etiquetadas o rastros adversarios de modelos desplegados. Los enfoques convencionales para satisfacer estas solicitudes implican el reentrenamiento completo del modelo, lo cual es computacionalmente costoso e impracticable para sistemas que se actualizan continuamente. Además, los sistemas de detección existentes basados en aprendizaje por refuerzo (RL) no han abordado adecuadamente cómo eliminar selectivamente muestras de entrenamiento manteniendo la estabilidad de la política y verificando que la eliminación fue exitosa sin comprometer la privacidad.

2. Metodología

Los autores proponen un marco unificado que integra Double Deep Q-Networks (DDQN) con una arquitectura SISA (Sharded, Isolated, Sliced, and Aggregated) multi-shard para permitir un desaprendizaje de máquinas auditable para la detección de ransomware.

2.1. Conjunto de Datos y Entorno

• Conjunto de Datos: Se construyó un conjunto de datos conductual equilibrado de 2,000 muestras de Windows 11 (1,000 ransomware, 1,000 benignas) utilizando 30 familias distintas de ransomware. Las características se extrajeron de trazas de ejecución en sandbox (ANY.RUN), resultando en vectores conductuales de 103 dimensiones que cubren actividades de sistema de archivos, registro, procesos, API y red.
• Formulación de RL: La detección de ransomware se modela como un Proceso de Decisión de Markov (MDP).
  • Estado: El vector de características conductuales de 103 dimensiones.
  • Acción: Clasificación binaria (0: Benigno, 1: Ransomware).
  • Función de Recompensa: Se emplea una estructura de recompensa asimétrica para reflejar los costos de seguridad: +1 por clasificación correcta, -2 por falsos negativos (ransomware omitido) y -0.5 por falsos positivos. Esto prioriza los resultados críticos para la seguridad.
  • Factor de Descuento: Establecido en $\gamma=0.1$ para enfatizar la precisión de la clasificación inmediata sobre los retornos a largo plazo.

2.2. El Marco DDQN–SISA

El marco opera en cuatro fases:

1. Fragmentación (Sharding): El conjunto de datos se particiona en $M$ fragmentos (shards) no superpuestos ($M \in \{5, 10, 20\}$) mediante asignación estratificada para mantener el equilibrio de clases.
2. Entrenamiento Aislado (Isolated Training): Agentes DDQN independientes se entrenan en cada fragmento con buffers de experiencia y redes objetivo separados. Esto aísla la influencia de cualquier muestra de entrenamiento a su fragmento específico.
   la de la influencia de cualquier muestra de entrenamiento a su fragmento específico.
3. Eliminación por Rebanadas (Sliced Deletion/Unlearning): Ante una solicitud de eliminación, el sistema identifica los fragmentos afectados que contienen las muestras a eliminar. Solo estos fragmentos específicos se reentrenan con los datos restantes ($\mathcal{D}_r = \mathcal{D} \setminus \mathcal{D}_f$). Los fragmentos no afectados permanecen sin cambios.
4. Agregación (Aggregation): Las predicciones finales se generan mediante votación por mayoría entre los modelos de los fragmentos. El margen Q del ensamble (diferencia entre los valores Q para ransomware vs. benigno) se utiliza para la puntuación de confianza y la auditoría de privacidad.

2.3. Protocolos de Verificación y Auditoría

Para asegurar que el marco cumple con los estándares de cumplimiento y seguridad, se implementan tres mecanismos de evaluación:

• Olvido Verificado por Oráculo: Un modelo "oráculo" se reentrena desde cero con el conjunto de datos retenido ($\mathcal{D}_r$). Las predicciones del modelo desaprendido se comparan con este oráculo para verificar que el proceso de eliminación se aproxima al reentrenamiento completo ideal.
• Auditoría de Ataque de Inferencia de Membresía (MIA): Se realiza un MIA de proximidad utilizando los márgenes Q del ensamble. El objetivo es verificar que las muestras olvidadas se vuelven indistinguibles de los datos nunca observados (es decir, las tasas de éxito de MIA caen al azar, $\approx 0.5$).
• Eficiencia Computacional: El sistema mide el tiempo de reentrenamiento, la sobrecarga de comunicación y el uso de memoria, comparando el reentrenamiento a nivel de fragmento frente al reentrenamiento completo.

3. Contribuciones Clave

El artículo reclama tres contribuciones primarias:

1. Marco DDQN–SISA: La primera integración de un detector de RL basado en valores con SISA multi-shard para la detección de ransomware, permitiendo el reentrenamiento selectivo a nivel de fragmento para satisfacer mandatos de privacidad sin la reconstrucción completa del modelo.
2. Verificación de Mecanismo Dual: Un protocolo de auditoría novedoso que combina el olvido verificado por oráculo (para confirmar la precisión de la eliminación) y la auditoría de inferencia de membresía (para verificar la fuga de privacidad), específicamente diseñado para sistemas de seguridad basados en RL.
3. Evaluación de Estrés por Eliminación Sistemática: Un estudio empírico exhaustivo a través de 270 configuraciones, variando el número de fragmentos, la fracción de eliminación (1%, 5%, 10%) y rondas de eliminación repetidas (1, 5, 10) para caracterizar las compensaciones entre utilidad, privacidad y eficiencia.

4. Resultados Experimentales

El marco fue evaluado en un conjunto de datos conductual de Windows 11 mediante validación cruzada de 5 pliegues (5-fold cross-validation).

• Desempeño de la Línea Base: El detector DDQN base logró un F1-score de 0.9925 y un AUC de 0.9983, demostrando una alta precisión de detección comparable a métodos de vanguardia.
• Preservación de la Utilidad:
  • Fragmento Único (Single-Shard): El desaprendizaje resultó en una degradación mínima de la utilidad ($\Delta F1 < 0.003$) en todos los escenarios de eliminación.
  • Multi-Fragmento (Multi-Shard): Los recuentos de fragmentos moderados ($M=5, 10$) mantuvieron la estabilidad bajo presión de eliminación baja a moderada. Sin embargo, la alta granularidad ($M=20$) combinada con una eliminación agresiva (10% en 10 rondas) provocó una inestabilidad severa y un colapso de la utilidad (el F1 cayó cerca de 0), atribuido a la inanición de datos en los fragmentos pequeños.
• Verificación del Oráculo: El reentrenamiento de un solo fragmento mostró un bajo desacuerdo con el modelo oráculo. Las configuraciones multi-fragmento exhibieron un mayor desacuerdo bajo alto estrés de eliminación, particularmente para $M=10$ y $M=20$, indicando que el reentrenamiento localizado se vuelve menos preciso a medida que aumenta el número de fragmentos afectados.
• Privacidad (MIA): Las puntuaciones de inferencia de membresía se mantuvieron cerca de 0.5 (azar) en la mayoría de las configuraciones, lo que indica una fuga de privacidad limitada. Incluso bajo una eliminación agresiva, el aumento de la distinguibilidad fue modesto.
• Eficiencia:
  • Tiempo de Reentrenamiento: El desaprendizaje de un solo fragmento tomó aproximadamente 5–6 segundos. El desaprendizaje multi-fragmento tomó 20–30 segundos (dependiendo del número de fragmentos afectados).
  • Comparación: Esto es significativamente más rápido que el reentrenamiento completo, que requirió 80–330 segundos.
  • Sobrecarga de Comunicación: Se mantuvo baja (aprox. 11 ms para un solo fragmento, 53–55 ms para multi-fragmento).

5. Significado y Reclamaciones

El artículo posiciona su trabajo como una solución práctica al "derecho al olvido" en el contexto de la ciberseguridad de alto riesgo.

• Cumplimiento sin Compromiso: El marco demuestra que las organizaciones pueden lograr el cumplimiento de GDPR/CCPA eliminando muestras de entrenamiento específicas sin incurrir en los costos computacionales prohibitivos del reentrenamiento completo.
• Seguridad Auditable: Al integrar la verificación por oráculo y la auditoría de MIA, el sistema proporciona una garantía verificable de que los datos eliminados ya no influyen en el modelo y que la privacidad se preserva, abordando un vacío en la literatura existente de detección basada en RL.
• Compensaciones Operativas: El estudio concluye modestamente que, si bien el marco es altamente efectivo, existe una compensación entre estabilidad y eficiencia. Recomienda recuentos de fragmentos moderados ($M=5–10$) como el régimen operativo óptimo, equilibrando la eficiencia de reentrenamiento con la estabilidad de la política. Indica explícitamente que la granularidad muy alta ($M=20$) no es adecuada para una presión de eliminación sostenida debido a la fragmentación de datos.
• Novedad: Los autores afirman que este es el primer marco de detección de ransomware que combina conjuntamente RL basado en valores, desaprendizaje local por fragmentos y verificación de auditoría de doble canal dentro de un único pipeline de evaluación.

El artículo reconoce las limitaciones, incluyendo el uso de un conjunto de datos de tamaño moderado (2,000 muestras), la dependencia de un proxy MIA basado en el margen Q en lugar de ataques adaptativos, y la falta de evaluación en datos de flujo continuo (streaming). Se sugiere como trabajo futuro explorar conjuntos de datos más grandes, ataques de privacidad más fuertes y escenarios de despliegue distribuido.