A Hybrid CNN–SPN Framework for Reliable Monitoring and Instability Detection in Hadoop Clusters

Resumen Técnico: Un Marco Híbrido CNN–SPN para el Monitoreo Confiable y la Detección de Inestabilidad en Clústeres Hadoop

Planteamiento del Problema
El monitoreo confiable de los clústeres Hadoop es crítico debido a la naturaleza compleja, concurrente y de carga dinámica de los entornos distribuidos. La inestabilidad de los nodos —derivada de la sobrecarga, la congestión de disco/red, anomalías en las tareas o retrasos en la recuperación— puede degradar rápidamente el rendimiento y la disponibilidad del sistema. Los enfoques de monitoreo existentes enfrentan limitaciones complementarias:

• Métodos basados en reglas/umbrales: Simples de implementar pero carecen de adaptabilidad ante cambios en la carga de trabajo y dependen fuertemente de la selección manual de parámetros.
• Modelos estadísticos/estocásticos (ej., cadenas de Markov, SPN): Ofrecen mecanismos formales para las transiciones de estado y la incertidumbre, pero a menudo dependen de supuestos restrictivos y carecen de flexibilidad predictiva.
• Aprendizaje Automático/Aprendizaje Profundo: Proporcionan un fuerte rendimiento predictivo, pero a menudo operan como "cajas negras", sacrificando la interpretabilidad y fallando en capturar las causas estructurales del comportamiento anormal.

El artículo argumenta que es necesario un marco híbrido que combine las capacidades de aprendizaje predictivo del aprendizaje profundo con el modelado estocástico formal de la dinámica dirigida por eventos.

Metodología
Los autores proponen un marco Híbrido de Red Neuronal Convolucional–Red de Petri Estocástica (CNN–SPN). Este enfoque integra el aprendizaje de patrones basado en datos con el modelado estocástico formal para clasificar los nodos de Hadoop como estables o inestables.

1. Red de Petri Estocástica (SPN) de Multi-Densidad:

   • La SPN modela la evolución del estado del nodo (Ocioso, Ocupado, Sobrecargado, Fallido, Recuperándose) utilizando un conjunto de lugares ($P$) y transiciones ($Tr$).
   • Disparo de Multi-Densidad: A diferencia de las SPN tradicionales que utilizan una única distribución, este modelo emplea distribuciones de tiempo de disparo heterogéneas para las transiciones: Exponencial, Normal, Log-Normal, Poisson y Weibull. Esto permite modelar diversos tiempos de eventos (ej., ejecución de tareas, E/S, pérdida de paquetes).
   • Tipos de Tokens: Siete tipos distintos de tokens representan aspectos operativos específicos: capacidad disponible, tareas activas, intensidad de sobrecarga, E/S concurrente, contención de red, fallos y estado de recuperación.
   • Generación de Datos Sintéticos: La SPN se utiliza para generar un conjunto de datos sintéticos reproducible de 10,000 observaciones de nodos, incluyendo escenarios raros y extremos difíciles de capturar únicamente en registros reales.

2. Red Neuronal Convolucional (CNN):

   • La CNN extrae características latentes discriminativas ($H(t)$) de las métricas del sistema observadas (CPU, memoria, E/S, red) y de las trazas estocásticas generadas por la SPN.
   • La arquitectura utiliza 2–3 capas convolucionales con pooling, seguidas de bloques densos, entrenadas con optimización Adam.

3. Mecanismos de Acoplamiento Híbrido:

   • Inferencia Híbrida con Tiempo de Token Estocástico (HI-tk): Un mecanismo de fusión que combina la información de estado de la SPN con las representaciones latentes de la CNN.
   • Estrategia de Disparo Dinámico (HFiringT): Un mecanismo de compuerta que adapta dinámicamente el disparo de las transiciones basándose en los estados del sistema observados, fortaleciendo la interacción entre la evolución formal del estado y las señales de decisión aprendidas.
   • Función de Pérdida: El modelo se entrena utilizando una Pérdida de Entropía Cruzada que incorpora explícitamente los tiempos de disparo estocásticos de los tokens ($HFiringT$) junto con las activaciones latentes de la CNN.

Contribuciones Clave

1. Marco Híbrido: Integración de CNN y SPN de multi-densidad para combinar el aprendizaje de patrones con el modelado estocástico formal para el monitoreo de Hadoop.
2. Diseño de SPN de Multi-Densidad: Utilización de cinco distribuciones de probabilidad diferentes para representar diversos tiempos de eventos y generar trazas sintéticas controladas para escenarios raros.
3. Mecanismos de Acoplamiento: Introducción de la fusión HI-tk y la compuerta dinámica HFiringT para vincular la evolución formal del estado con los procesos de decisión aprendidos.
4. Pipeline Reproducible: Un pipeline completo de simulación y evaluación, que incluye un conjunto de datos sintético público (10,000 observaciones) y un estudio de ablación que cuantifica los beneficios incrementales de la integración de la SPN, la fusión y la compuerta dinámica.
5. Análisis Empírico: Demostración de un mejor rendimiento de detección e interpretabilidad sobre una línea base de solo CNN, reconociendo explícitamente la necesidad de validación en clústeres reales.

Resultados
El marco fue evaluado en un conjunto de datos sintéticos de 10,000 observaciones. Un estudio de ablación comparó cuatro configuraciones: Solo CNN, CNN+SPN, CNN+SPN+HI-tk y la propuesta completa CNN–SPN.

• Métricas de Rendimiento: El marco completo logró los mejores puntajes generales:
  • Precisión (Accuracy): 68.10%
  • Precisión (Precision): 68.91%
  • Sensibilidad (Recall): 68.78%
  • F1-Score: 68.85%
  • ROC-AUC: 0.7434
• Hallazgos de la Ablación:
  • La integración del estado de la SPN mejoró significativamente el rendimiento sobre la línea base de solo CNN (ej., el ROC-AUC aumentó de ~0.63 a ~0.72).
  • La adición de la fusión HI-tk mejoró aún más la precisión de la clasificación.
  • El modelo completo con la compuerta dinámica HFiringT alcanzó el mayor rendimiento medio en todas las métricas.
  • Significancia Estadística: Una prueba t pareada confirmó que la adición del estado de la SPN y la fusión HI-tk produjo mejoras estadísticamente significativas ($p < 0.05$) sobre la línea base de la CNN. Sin embargo, la ganancia incremental de la compuerta HFiringT sobre la variante CNN+SPN+HI-tk no fue estadísticamente significativa a través de 5 semillas aleatorias, aunque mostró consistentemente un mayor rendimiento medio.
  • Comparación con Líneas Base: En este conjunto de datos sintéticos específico, el modelo propuesto se desempeñó de manera comparable a las líneas base clásicas (Regresión Logística, SVM, Random Forest), con un SVM logrando un AUC marginalmente superior (0.7500 vs. 0.7434). Los autores señalan que el valor principal de su enfoque reside en la interpretabilidad y el fundamento estructural más que en el dominio de la precisión bruta en este conjunto de datos específico.

Significancia y Reivindicaciones
El artículo afirma que el marco propuesto proporciona una base interpretable y estructuralmente fundamentada para el monitoreo estocástico y la detección de inestabilidad de nodos. Las ventajas clave destacadas incluyen:

• Explicabilidad: El peso de la fusión HI-tk y la compuerta HFiringT ofrecen una visión de si una predicción es impulsada por los patrones extraídos por la CNN o por los estados de eventos derivados de la SPN, a diferencia de los clasificadores opacos de caja negra.
• Robustez ante Eventos Raros: La capacidad de generar trazas sintéticas con distribuciones de probabilidad controladas permite que el modelo se generalice a regímenes operativos subrepresentados (ej., escenarios de disparo rápido/alta carga).
• Adaptación Dinámica: El marco soporta la adaptación en línea de los parámetros de la SPN y los umbrales de decisión basados en métricas en vivo.

Limitaciones y Trabajo Futuro
Los autores declaran explícitamente varias limitaciones:

• Datos Sintéticos: La evaluación depende enteramente de los datos sintéticos generados por la SPN; no se utilizaron trazas de clústeres Hadoop reales para el entrenamiento o la prueba. En consecuencia, las métricas reportadas reflejan la capacidad del modelo para recuperar la estructura estocástica específica de la simulación, no necesariamente el rendimiento en el mundo real.
• Modestia Estadística: El valor añadido específico de la compuerta dinámica HFiringT (más allá del estado de la SPN y la fusión HI-tk) aún no se ha confirmado estadísticamente y requiere una mayor evaluación con conjuntos de datos más grandes o más semillas.
• Estado Agregado: El conjunto de datos actual utiliza una señal de conteo de eventos agregada en lugar de disparos etiquetados individualmente para cada transición, lo que limita la evaluación cuantitativa de la explicabilidad por transición.
• Evaluación Offline: La adaptación dinámica se probó offline en divisiones estáticas, no en un entorno de transmisión en vivo (streaming).

El artículo concluye que, si bien el diseño híbrido ofrece un compromiso prometedor entre rendimiento e interpretabilidad, es necesaria la validación con trazas reales de Hadoop y la comparación sistemática contra una gama más amplia de líneas base clásicas en datos del mundo real como pasos futuros.