Proximal Policy Optimization-Based Intrusion Detection with Deep Latent Feature Learning

Resumen Técnico: Optimización de Política Próxima basada en la Detección de Intrusiones con Aprendizaje de Características Latentes Profundas

Planteamiento del Problema
Los Sistemas de Detección de Intrusiones (IDS) modernos enfrentan desafíos significativos debido a la creciente sofisticación de las ciberamenazas, la proliferación de tecnologías heterogéneas (IoT, nube, 5G) y las limitaciones de los métodos convencionales basados en firmas y anomalías. Los enfoques actuales de aprendizaje automático (ML) a menudo sufren de altas tasas de falsos positivos, ineficiencia computacional al procesar tráfico de alta dimensionalidad y una dependencia de datos históricos que dificulta su capacidad para detectar ataques de día cero (zero-day). Existe una brecha de investigación definida para paradigmas de detección adaptativos, eficientes e inteligentes capaces de aprender políticas de seguridad óptimas en entornos dinámicos.

Metodología
Los autores proponen un nuevo marco híbrido que integra la extracción de características profundas con la toma de decisiones adaptativa. La arquitectura consta de dos componentes primarios:

1. Autoencoder Apilado de Dos Etapas (2S-SAE):

   • Propósito: Realizar la extracción de características no supervisada y la reducción de la dimensionalidad en datos de tráfico de red de alta dimensionalidad, preservando al mismo tiempo las características críticas.
   • Estructura: El sistema emplea un proceso de compresión jerárquico.
     • Etapa 1: Un autoencoder profundo mapea las características de entrada bruta ($R^d$) a un espacio latente de 64 dimensiones utilizando una simetría de codificador-decodificador ($R^d \to 128 \to 64 \to 128 \to R^d$).
     • Etapa 2: Los pesos del codificador de la Etapa 1 se congelan. Un segundo autoencoder, más compacto, refina los vectores latentes de 64 dimensiones en una representación final de 16 dimensiones ($R^{64} \to 32 \to 16 \to 32 \to R^{64}$).
   • Resultado: Este proceso logra una relación de compresión de $d:16$, generando representaciones latentes compactas ($z_{16}$) que sirven como la entrada de estado para el agente de aprendizaje por refuerzo.

2. Agente de Optimización de Política Próxima (PPO):

   • Marco: Las características comprimidas se introducen en un agente de Aprendizaje por Refuerzo Profundo (DRL) que opera bajo un mecanismo de Actor-Crítico (Actor-Critic).
   • Formulación: La tarea de detección se modela como un Proceso de Decisión de Markov (MDP) donde el estado es el vector latente de 16 dimensiones y la acción es una clasificación binaria ($0$: Normal, $1$: Intrusión).
   • Mecanismo de Recompensa: Se diseña una función de recompensa sensible al costo para priorizar detecciones críticas:
     • Verdadero Positivo: $+5$ (o $+1.0$ en los detalles de implementación)
     • Verdadero Negativo: $+1$ (o $+1.0$)
     • Falso Positivo: $-1$(o$-1.5$)
     • Falso Negativo: $-10$(o$-3.0$)
   • Optimización: El agente utiliza el objetivo de recorte PPO (PPO-clip) con Estimación de Ventaja Generalizada (GAE) para asegurar actualizaciones de política estables, permitiendo que el sistema refine iterativamente su estrategia de detección mediante el aprendizaje guiado por recompensa.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

1. Marco Novedoso: Un IDS basado en DRL que combina eficazmente los Autoencoders Apilados para la representación de características con el aprendizaje Actor-Crítico para la clasificación adaptativa.
2. Evaluación Exhaustiva: Validación robusta del rendimiento a través de tres conjuntos de datos de referencia distintos (NSL-KDD, UNSW-NB15 y CIC-IDS2017) que representan diferentes generaciones de amenazas de red.
3. Entorno de Entrenamiento Eficiente: El desarrollo de un pseudo-entorno para el entrenamiento de DRL que supera las limitaciones de dependencia secuencial inherentes al procesamiento estándar de tráfico de red.
4. Optimización para Entornos Restringidos: Estrategias y resultados que demuestran la idoneidad del marco para entornos con recursos limitados, como las redes IoT, mediante la compresión eficiente de características y capacidades de inferencia en tiempo real.

Resultados Experimentales
El marco fue evaluado en NSL-KDD, UNSW-NB15 y CIC-IDS2017 utilizando cinco ejecuciones independientes con diferentes semillas aleatorias. Los hallazgos clave incluyen:

• Superioridad de Rendimiento: El marco propuesto 2S-SAE+PPO superó consistentemente a los modelos de referencia (Random Forest, SVM, XGBoost, MLP, LSTM, AE-DNN) en todas las métricas.
  • En CIC-IDS2017, el modelo logró un 98.9% de precisión (accuracy), 99.0% de precisión (precision), 98.8% de exhaustividad (recall) y un F1-score de 0.989.
  • En NSL-KDD, alcanzó un 98.6% de precisión (accuracy) y un AUC de 0.998.
  • En UNSW-NB15, alcanzó un 96.3% de precisión (accuracy) y un AUC de 0.990.
• Detección de Ataques Raros: El marco mostró mejoras significativas en la detección de categorías de ataques poco comunes (U2R, R2L), con ganancias de F1-score de 13.8 a 22.1 puntos porcentuales en comparación con los modelos de referencia, atribuidas a la estructura de recompensa asimétrica que penaliza fuertemente los falsos negativos.
• Significancia Estadística: Las pruebas t de muestras pareadas confirmaron que las mejoras sobre los modelos de referencia (por ejemplo, LSTM) fueron estadísticamente significativas ($p < 0.01$).
• Eficiencia: El modelo demostró una latencia de inferencia de 2.3 ms y un rendimiento (throughput) de 111,300 muestras/segundo en una GPU NVIDIA RTX 3090, cumpliendo con los requisitos de tiempo real para redes de alta velocidad (10 Gbps).
• Estudio de Ablación: Las comparaciones confirmaron que la compresión de dos etapas (aprendizaje de características jerárquico) y el mecanismo de toma de decisiones PPO (frente a clasificadores estáticos) fueron los principales impulsores de las ganancias de rendimiento.

Significancia y Reivindicaciones
Los autores afirman que este trabajo aborda las limitaciones de los modelos de ML estáticos al introducir un sistema adaptativo capaz de aprender políticas de seguridad óptimas en entornos complejos y dinámicos. La significancia radica en la integración exitosa del aprendizaje de características latentes profundas con el aprendizaje por refuerzo, lo que resulta en un sistema que:

1. Reduce la carga computacional mediante la compresión jerárquica de características.
2. Se adapta a patrones de ataque en evolución mediante el aprendizaje guiado por recompensa.
3. Logra una precisión de detección superior y menores tasas de falsos positivos en comparación con los modelos tradicionales de aprendizaje profundo.
4. Opera con la eficiencia suficiente para un despliegue casi en tiempo real en infraestructuras de red modernas.

El artículo concluye que, si bien el componente de RL aumenta la complejidad del entrenamiento, las ganancias de rendimiento (una mejora de 1.2 a 4.3% en el F1-score) justifican el costo, particularmente para la detección de clases minoritarias y amenazas de día cero. Se identifica como trabajo futuro la exploración del aprendizaje continuo en línea, el despliegue federado y la robustez adversarial.