A Hybrid CNN–SPN Framework for Reliable Monitoring and Instability Detection in Hadoop Clusters

Resumo Técnico: Uma Estrutura Híbrida CNN–SPN para Monitoramento Confiável e Detecção de Instabilidade em Clusters Hadoop

Definição do Problema
O monitoramento confiável de clusters Hadoop é crítico devido à natureza complexa, concorrente e de carregamento dinâmico dos ambientes distribuídos. A instabilidade dos nós — decorrente de sobrecarga, congestionamento de disco/rede, anomalias de tarefas ou atrasos na recuperação — pode degradar rapidamente o desempenho e a disponibilidade do sistema. As abordagens de monitoramento existentes enfrentam limitações complementares:

• Métodos baseados em regras/limiares: Simples de implementar, mas carecem de adaptabilidade a cargas de trabalho variáveis e dependem fortemente da seleção manual de parâmetros.
• Modelos estatísticos/estocásticos (ex: cadeias de Markov, SPNs): Oferecem mecanismos formais para transições de estado e incerteza, mas frequentemente dependem de suposições restritivas e carecem de flexibilidade preditiva.
• Aprendizado de Máquina/Aprendizado Profundo: Proporcionam um forte desempenho preditivo, mas operam frequentemente como "caixas pretas", sacrificando a interpretabilidade e falhando em capturar as causas estruturais do comportamento anormal.

O artigo argumenta que uma estrutura híbrida é necessária para combinar as capacidades de aprendizado preditivo do aprendizado profundo com a modelagem estocástica formal e interpretável de dinâmicas orientadas a eventos.

Metodologia
Os autores propõem uma estrutura Híbrida de Rede Neural Convolucional–Rede de Petri Estocástica (CNN–SPN). Esta abordagem integra o aprendizado de padrões orientado a dados com a modelagem estocástica formal para classificar os nós do Hadoop como estáveis ou instáveis.

1. Rede de Petri Estocástica de Multi-Densidade (SPN):

   • A SPN modela a evolução do estado do nó (Ocioso, Ocupado, Sobrecarregado, Falha, Recuperação) usando um conjunto de lugares ($P$) e transições ($Tr$).
   • Disparo de Multi-Densidade: Diferente das SPNs tradicionais que utilizam uma única distribuição, este modelo emprega distribuições de tempo de disparo heterogêneas para as transições: Exponencial, Normal, Log-Normal, Poisson e Weibull. Isso permite a modelagem de diversos tempos de eventos (ex: execução de tarefas, E/S, perda de pacotes, falhas).
   • Tipos de Tokens: Sete tipos distintos de tokens representam aspectos operacionais específicos: capacidade disponível, tarefas ativas, intensidade de sobrecarga, E/S concorrente, contenção de rede, falhas e status de recuperação.
   • Geração de Dados Sintéticos: A SPN é utilizada para gerar um conjunto de dados sintéticos reproduzível de 10.000 observações de nós, incluindo cenários raros e extremos difíceis de capturar apenas em logs reais.

2. Rede Neural Convolucional (CNN):

   • A CNN extrai características latentes discriminativas ($H(t)$) de métricas observadas do sistema (CPU, memória, E/S, rede) e dos traços estocásticos gerados pela SPN.
   • A arquitetura utiliza 2–3 camadas convolucionais com pooling, seguidas por blocos densos, treinadas com otimização Adam.

3. Mecanismos de Acoplamento Híbrido:

   • Inferência Híbrida com Tempo de Token Estocástico (HI-tk): Um mecanismo de fusão que combina informações de estado da SPN com representações latentes da CNN.
   • Estratégia de Disparo Dinâmico (HFiringT): Um mecanismo de portão (gating) que adapta dinamicamente o disparo das transições com base nos estados observados do sistema, fortalecendo a interação entre a evolução de estado formal e os sinais de decisão aprendidos.
   • Função de Perda: O modelo é treinado usando Perda de Entropia Cruzada que incorpora explicitamente os tempos de disparo estocásticos dos tokens ($HFiringT$) ao lado das ativações latentes da CNN.

Principais Contribuições

1. Estrutura Híbrida: Integração de CNN e SPN de multi-densidade para combinar aprendizado de padrões com modelagem estocástica formal para monitoramento Hadoop.
2. Design de SPN de Multi-Densidade: Utilização de cinco distribuições de probabilidade diferentes para representar diversos tempos de eventos e gerar traços sintéticos controlados para cenários raros.
3. Mecanismos de Acoplamento: Introdução da fusão HI-tk e do portão dinâmico HFiringT para vincular a evolução de estado formal aos processos de decisão aprendidos.
4. Pipeline Reproduzível: Um pipeline completo de simulação e avaliação, incluindo um conjunto de dados sintético público (10.000 observações) e um estudo de ablação quantificando os benefícios incrementais da integração da SPN, fusão e portão dinâmico.
5. Análise Empírica: Demonstração de melhor desempenho de detecção e interpretabilidade sobre uma linha de base (baseline) de apenas CNN, enquanto reconhece explicitamente a necessidade de validação em clusters reais.

Resultados
A estrutura foi avaliada em um conjunto de dados sintéticos de 10.000 observações. Um estudo de ablação comparou quatro configurações: apenas CNN, CNN+SPN, CNN+SPN+HI-tk e a proposta completa CNN–SPN.

• Métricas de Desempenho: A estrutura completa alcançou os melhores escores gerais:
  • Acurácia: 68,10%
  • Precisão: 68,91%
  • Recall: 68,78%
  • F1-Score: 68,85%
  • ROC-AUC: 0,7434
• Descobertas da Ablação:
  • A integração do estado da SPN melhorou significativamente o desempenho em relação à linha de base de apenas CNN (ex: o ROC-AUC aumentou de ~0,63 para ~0,72).
  • A adição da fusão HI-tk aumentou ainda mais a acurácia de classificação.
  • O modelo completo com o portão dinâmico HFiringT alcançou o maior desempenho médio em todas as métricas.
  • Significância Estatística: Um teste t pareado confirmou que a adição do estado da SPN e da fusão HI-tk gerou melhorias estatisticamente significativas ($p < 0,05$) sobre a linha de base da CNN. No entanto, o ganho incremental do portão HFiringT sobre a variante CNN+SPN+HI-tk não foi estatisticamente significativo através de 5 sementes aleatórias, embora tenha mostrado consistentemente um desempenho médio superior.
  • Comparação com Linhas de Base: Neste conjunto de dados sintéticos específico, o modelo proposto teve um desempenho comparável às linhas de base clássicas (Regressão Logística, SVM, Random Forest), com um SVM alcançando um AUC marginalmente superior (0,7500 vs. 0,7434). Os autores observam que o principal valor de sua abordagem reside na interpretabilidade e fundamentação estrutural, em vez de dominância de acurácia bruta neste conjunto de dados específico.

Significância e Alegações
O artigo afirma que a estrutura proposta fornece uma base interpretável e estruturalmente fundamentada para o monitoramento estocástico e detecção de instabilidade de nós. As principais vantagens destacadas incluem:

• Explicabilidade: O peso de fusão HI-tk e o portão HFiringT oferecem insights sobre se uma previsão é impulsionada por padrões extraídos pela CNN ou por estados de eventos derivados da SPN, ao contrário de classificadores de caixa preta opacos.
• Robustez a Eventos Raros: A capacidade de gerar traços sintéticos com distribuições de probabilidade controladas permite que o modelo generalize para regimes operacionais sub-representados (ex: cenários de disparo rápido/alta carga).
• Adaptação Dinâmica: A estrutura suporta a adaptação online de parâmetros da SPN e limiares de decisão com base em métricas ao vivo.

Limitações e Trabalhos Futuros
Os autores declaram explicitamente várias limitações:

• Dados Sintéticos: A avaliação depende inteiramente de dados sintéticos gerados pela SPN; nenhum traço de cluster Hadoop real foi utilizado para treinamento ou teste. Consequentemente, as métricas relatadas refletem a capacidade do modelo de recuperar a estrutura estocástica específica da simulação, não necessariamente o desempenho no mundo real.
• Modéstia Estatística: O valor agregado específico do portão dinâmico HFiringT (além do estado da SPN e da fusão HI-tk) ainda não foi confirmado estatisticamente e requer mais avaliação com maiores conjuntos de dados ou mais sementes.
• Estado Agregado: O conjunto de dados atual usa um sinal de contagem de eventos agregados em vez de disparos rotulados individualmente para cada transição, limitando a avaliação quantitativa da explicabilidade por transição.
• Avaliação Offline: A adaptação dinâmica foi testada offline em divisões estáticas, não em um ambiente de streaming ao vivo.

O artigo conclui que, embora o design híbrido ofereça um compromisso promissor entre desempenho e interpretabilidade, a validação em traços reais de Hadoop e a comparação sistemática contra uma gama mais ampla de linhas de base clássicas em dados do mundo real são passos futuros necessários.