A Hybrid CNN–SPN Framework for Reliable Monitoring and Instability Detection in Hadoop Clusters

Technische Samenvatting: Een Hybride CNN–SPN Framework voor Betrouwbare Monitoring en Instabiliteitsdetectie in Hadoop-clusters

Probleemstelling
Betrouwbare monitoring van Hadoop-clusters is cruciaal vanwege de complexe, gelijktijdige en dynamisch geladen aard van gedistribueerde omgevingen. Node-instabiliteit—veroorzaakt door overbelasting, schijf-/netwerkcongestie, taakanomalieën of hersteltijden—kan de systeemprestaties en beschikbaarheid snel verslechteren. Bestaande monitoring-benaderingen kampen met complementaire beperkingen:

• Regelgebaseerde/Drempelwaarde-methoden: Eenvoudig te implementeren, maar missen adaptiviteit aan veranderende workloads en zijn sterk afhankelijk van handmatige parametervariatie.
• Statistische/Stochastische modellen (bijv. Markov-ketens, SPN's): Bieden formele mechanismen voor toestandsvergangen en onzekerheid, maar leunen vaak op restrictieve aannames en missen voorspellende flexibiliteit.
• Machine Learning/Deep Learning: Bieden sterke voorspellende prestaties, maar opereren vaak als "black boxes", waarbij interpreteerbaarheid wordt opgeofferd en het onvermogen om de structurele oorzaken van abnormaal gedrag te vatten.

Het artikel betoogt dat een hybride framework noodzakelijk is om de voorspellende leervermogens van deep learning te combineren met de formele, interpreteerbare stochastische modellering van gebeurtenisgestuurde dynamiek.

Methodologie
De auteurs stellen een Hybride Convolutional Neural Network–Stochastic Petri Net (CNN–SPN) framework voor. Deze benadering integreert datagestuurde patroonherkenning met formele stochastische modellering om Hadoop-nodes te classificeren als stabiel of instabiel.

1. Multi-Density Stochastic Petri Net (SPN):

   • De SPN modelleert de evolutie van de node-toestand (Idle, Busy, Overloaded, Failed, Recovering) met behulp van een set plaatsen ($P$) en transities ($Tr$).
   • Multi-Density Firing: In tegenstelling tot traditionele SPN's die een enkele distributie gebruiken, hanteert dit model heterogene vuurtijd-distributies voor transities: Exponentieel, Normaal, Log-Normaal, Poisson en Weibull. Dit maakt het modelleren van diverse event-timings mogelijk (bijv. taatuitvoering, I/O, pakketverlies, uitval).
   • Token-types: Zeven onderscheidende token-types representeren specifieke operationele aspecten: beschikbare capaciteit, actieve taken, overbelastingsintensiteit, gelijktijdige I/O, netwerkcongestie, uitval en herstelstatus.
   • Synthetische Datageneratie: De SPN wordt gebruikt om een reproduceerbare synthetische dataset van 10.000 node-observaties te genereren, inclusief zeldzame en extreme scenario's die moeilijk enkel uit echte logs te vangen zijn.

2. Convolutional Neural Network (CNN):

   • De CNN extraheert onderscheidende latente kenmerken ($H(t)$) uit geobserveerde systeemmetrieken (CPU, geheugen, I/O, netwerk) en de stochastische traces gegenereerd door de SPN.
   • De architectuur maakt gebruik van 2–3 convolutionele lagen met pooling, gevolgd door dense blokken, getraind met Adam-optimalisatie.

3. Hybride Koppelingsmechanismen:

   • Hybrid Inference with Stochastic Token Timing (HI-tk): Een fusiemechanisme dat SPN-toestandsinformatie combineert met CNN-latente representaties.
   • Dynamic Firing Strategy (HFiringT): Een gating-mechanisme dat de transitie-firing dynamisch aanpast op basis van geobserveerde systeemtoestanden, waardoor de interactie tussen formele toestandsevolutie en geleerde beslissingssignalen wordt versterkt.
   • Loss Function: Het model wordt getraind met Cross-Entropy Loss die expliciet de stochastische firing-tijden van tokens ($HFiringT$) samen met latente CNN-activaties incorporeert.

Belangrijkste Bijdragen

1. Hybride Framework: Integratie van CNN en multi-density SPN om patroonherkenning te combineren met formele stochastische modellering voor Hadoop-monitoring.
2. Multi-Density SPN Ontwerp: Gebruik van vijf verschillende waarschijnlijkheidsdistributies om diverse event-timings te representeren en gecontroleerde synthetische traces te genereren voor zeldzame scenario's.
3. Koppelingsmechanismen: Introductie van de HI-tk fusie en de HFiringT dynamische gating om formele toestandsevolutie te koppelen aan geleerde beslissingsprocessen.
4. Reproduceerbare Pipeline: Een volledige simulatie- en evaluatiepipeline, inclusief een publieke synthetische dataset (10.000 observaties) en een ablatie-studie die de incrementele voordelen van SPN-integratie, fusie en dynamische gating kwantificeert.
5. Empirische Analyse: Demonstratie van verbeterde detectieprestaties en interpreteerbaarheid ten opzichte van een CNN-only baseline, waarbij expliciet de noodzaak voor validatie in echte clusters wordt erkend.

Resultaten
Het framework werd geëvalueerd op een synthetische dataset van 10.000 observaties. Een ablatie-studie vergeleken vier configuraties: CNN-only, CNN+SPN, CNN+SPN+HI-tk, en de volledige voorgestelde CNN–SPN.

• Prestatie-metrieken: Het volledige framework behaalde de beste algemene scores:
  • Accuracy: 68,10%
  • Precision: 68,91%
  • Recall: 68,78%
  • F1-Score: 68,85%
  • ROC-AUC: 0,7434
• Ablatie-bevindingen:
  • Het integreren van de SPN-toestand verbeterde de prestaties aanzienlijk ten opzichte van de CNN-only baseline (bijv. ROC-AUC steeg van ~0,63 naar ~0,72).
  • Het toevoegen van de HI-tk fusie verbeterde de classificatienauwkeurigheid verder.
  • Het volledige model met de HFiringT dynamische gate bereikte de hoogste gemiddelde prestatie over alle metrieken.
  • Statistische Significantie: Een gepaarde t-toets bevestigde dat het toevoegen van de SPN-toestand en de HI-tk fusie statistisch significante verbeteringen opleverde ($p < 0,05$) ten opzichte van de CNN-baseline. Echter, de incrementele winst van de HFiringT gate ten opzichte van de CNN+SPN+HI-tk variant was niet statistisch significant over 5 willekeurige seeds, hoewel deze consistent een hogere gemiddelde prestatie liet zien.
  • Vergelijking met Baselines: Op deze specifieke synthetische dataset presteerde het voorgestelde model vergelijkbaar met klassieke baselines (Logistische Regressie, SVM, Random Forest), waarbij een SVM een marginaal hogere AUC behaalde (0,7500 vs. 0,7434). De auteurs merken op dat de primaire waarde van hun aanpak ligt in de interpreteerbaarheid en structurele fundering in plaats van de dominantie in pure nauwkeurigheid op deze specifieke dataset.

Significantie en Claims
Het artikel claimt dat het voorgestelde framework een interpreteerbare en structureel gefundeerde basis biedt voor stochastische monitoring en detectie van node-instabiliteit. De belangrijkste voordelen zijn:

• Verklaarbaarheid: De HI-tk fusiegewicht en de HFiringT gate bieden inzicht in of een voorspelling wordt gedreven door door de CNN geëxtraheerde patronen of door de door de SPN afgeleide event-toestanden, in tegen tegenoverdrachten van opaak black-box classifiers.
• Robuustheid tegen Zeldzame Events: Het vermogen om synthetische traces te genereren met gecontroleerde waarschijnlijkheidsdistributies stelt het model in staat om te generaliseren naar ondervertegenwoordigde operationele regimes (bijv. fast-firing/hoge belasting scenario's).
• Dynamische Adaptatie: Het framework ondersteunt online adaptatie van SPN-parameters en beslissingsdrempels op basis van live metrieken.

Beperkingen en Toekomstig Werk
De auteurs geven expliciet enkele beperkingen aan:

• Synthetische Data: De evaluatie rust volledig op door de SPN gegenereerde synthetische data; er zijn geen echte Hadoop-cluster traces gebruikt voor training of testen. Bijgevolg reflecteren de gerapporteerde metrieken het vermogen van het model om de specifieke stochastische structuur van de simulatie te herstellen, en niet noodzakelijkerwijs de prestaties in de echte wereld.
• Statistische Bescheidenheid: De specifieke toegevoegde waarde van de HFiringT dynamische gate (bovenop de SPN-toestand en de HI-tk fusie) is nog niet statistisch bevestigd en vereist verdere evaluatie met grotere datasets of meer seeds.
• Geaggregeerde Toestand: De huidige dataset gebruikt een geaggregeerd event-count signaal in plaats van individueel gelabelde firings voor elke transitie, wat de kwantitatieve evaluatie van per-transitie verklaarbaarheid beperkt.
• Offline Evaluatie: Dynamische adaptatie werd offline getest op statische splits, niet in een live streaming omgeving.

Het artikel concludeert dat hoewel het hybride ontwerp een veelbelovende afweging biedt tussen prestaties en interpreteerbaarheid, validatie op echte Hadoop-traces en een systematische vergelijking met een breder scala aan klassieke baselines op real-world data noodzakelijke toekomstige stappen zijn.