Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

तकनीकी सारांश: नेटवर्क-ट्रैफ़िक विसंगति का पता लगाने के लिए ड्रिफ्ट-अवेयर RL-आधारित वेवलेट डिनोइजिंग (Denoising)

समस्या विवरण
नेटवर्क ट्रैफ़िक की निगरानी सूक्ष्म उपयोगिता मापन (utilization measurements) पर निर्भर करती है जो परिचालन संबंधी निर्णयों को संचालित करते हैं, विशेष रूप से विसंगति का पता लगाने (short-lived load excursions की पहचान करना) और क्षमता अनुमान (उपयोगिता के 95वें पर्सेंटाइल, $C_{95}$, को परिमाणित करना) के लिए। हालाँकि, टेलीमेट्री डेटा दो अलग-अलग कारकों से दूषित होता है: स्थिर बैकग्राउंड शोर (stationary background noise) और सांख्यिकीय ड्रिफ्ट (statistical drift)। ड्रिफ्ट से तात्पर्य सिग्नल के माध्य (mean), विचरण (variance), वितरण के आकार (distributional shape), या टेल व्यवहार (tail behavior) में समय-निर्भर परिवर्तनों से है।

पारंपरिक वेवलेट डिनोइजिंग विधियाँ (जैसे VisuShrink, SureShrink) स्थिर थ्रेशोल्ड पर निर्भर करती हैं जो स्थिर, स्वतंत्र और समान रूप से वितरित (i.i.d.) गाऊसी धारणाओं के तहत कैलिब्रेट की जाती हैं। ड्रिफ्ट के तहत, ये स्थिर नियम बेमेल हो जाते हैं। मध्यम-से-उच्च सिग्नल-टू-नॉइज़ रेशियो (SNR) पर, आक्रामक निश्चित थ्रेशोल्ड उपयोगी सिग्नल संरचना को अत्यधिक दबा सकते हैं, जिससे वे क्षणिक स्पर्स (transient bursts) मिट जाते हैं जो विसंगति का पता लगाने के लिए आवश्यक हैं, और ऊपरी-पूंछ (upper-tail) सांख्यिकी को पक्षपाती बना देते हैं जिसकी क्षमता अनुमान के लिए आवश्यकता होती है। फलस्वरूप, पुनर्निर्माण निष्ठा (reconstruction fidelity) को अनुकूलित करने (Mean Squared Error को कम करने) का प्रयास अक्सर डाउनस्ट्रीम टास्क के प्रदर्शन को खराब कर देता है।

कार्यप्रणाली (Methodology)
लेखक एक ड्रिफ्ट-अवेयर फ्रेमवर्क का प्रस्ताव करते हैं जो एडेप्टिव वेवलेट डिनोइजिंग को एक प्रीप्रोसेसिंग लेयर के रूप में मानता है, जिसे सिग्नल पुनर्निर्माण निष्ठा के बजाय डाउनस्ट्रीम टास्क यूटिलिटी के लिए अनुकूलित किया गया है। यह प्रणाली दो चरणों में कार्य करती है:

1. ड्रिफ्ट डिटेक्शन गेट (Drift Detection Gate):
   डिनोइजिंग से पहले, एक विंडो वाले सिग्नल का विश्लेषण चार-डिटेक्टर एन्सेम्बल द्वारा किया जाता है ताकि यह निर्धारित किया जा सके कि क्या सांख्यिकीय शासन (statistical regime) में बदलाव आया है। डिटेक्टर निम्नलिखित हैं:

   • पेज-हिंकले (Page-Hinkley - PH): माध्य (mean) के बदलावों का पता लगाता है।
   • वेरिएंस-रेशियो (Variance-Ratio): विचरण परिवर्तनों (heteroscedasticity) का पता लगाता है।
   • जेन्सन-शैनन डायवर्जेंस (Jensen-Shannon Divergence - JSD): संरचनात्मक विचलन (वितरण के आकार में परिवर्तन) का पता लगाता है।
   • एंड्रसन-डार्लिंग (Anderson-Darling - AD): टेल एम्प्लीफिकेशन (इम्पल्सिव नॉइज़) का पता लगाता है।

   ये डिटेक्टर बाइनरी फ्लैग और निरंतर सांख्यिकी उत्पन्न करते हैं, जिन्हें एक लॉजिकल OR के माध्यम से एक गेट सिग्नल ($G_m$) बनाने के लिए फ्यूज किया जाता है। यदि कोई ड्रिफ्ट नहीं पाया जाता है, तो एक निश्चित बेसलाइन डिनोइज़र (VisuShrink) लागू किया जाता है। यदि ड्रिफ्ट का पता चलता है, तो एक सुदृढीकरण लर्निंग (Reinforcement Learning - RL) एजेंट को सक्रिय किया जाता है।

2. RL-आधारित एडेप्टिव डिनोइजिंग:
   एडेप्टिव घटक को एक मार्कोव निर्णय प्रक्रिया (MDP) के रूप में तैयार किया गया है जिसे प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके हल किया गया है।

   • स्टेट स्पेस (State Space): इसमें सिग्नल डिस्क्रिप्टर (mean, variance, MAD), परिवर्तन-संवेदनशील डिस्क्रिप्टर (इतिहास से सापेक्ष परिवर्तन), और पूर्ण डिटेक्टर एविडेंस वेक्टर (फ्लैग और सांख्यिकी) शामिल हैं।
   • एक्शन स्पेस (Action Space): यह एक मिश्रित डिस्क्रीट-कंटीन्यूअस स्पेस है जो वेवलेट कॉन्फ़िगरेशन चुनता है: मदर वेवलेट, डिकंपोज़िशन डेप्थ, थ्रेशोल्डिंग फंक्शन (सॉफ्ट/हार्ड), थ्रेशोल्ड चयन रणनीति, एक निरंतर थ्रेशोल्ड गेन, और एक प्रति-स्केल शेपिंग पैरामीटर।
   • रिवॉर्ड फंक्शन (Reward Function): पिछले कार्यों के विपरीत, रिवॉर्ड टास्क-यूटिलिटी संचालित है। यह निम्नलिखित का एक कॉनवेक्स कॉम्बिनेशन है:
     • विसंगति का पता लगाने के F1 स्कोर में वृद्धि (ग्राउंड ट्रुथ बर्स्ट के विरुद्ध डिनोइज़्ड बनाम रॉ सिग्नल की तुलना करते हुए)।
     • क्षमता अनुमान त्रुटि ($| \hat{C}_{95} - C_{95} |$) में कमी।

   विसंगति लक्ष्य (anomaly target) को क्लीन सिग्नल पर परिभाषित किया गया है, और ड्रिफ्ट गेट भ्रष्टाचार (corruption) पर कार्य करता है, जिससे दोनों चरण गैर-चक्रीय (non-circular) रहते हैं।

प्रमुख योगदान

• टास्क-अवेयर फॉर्मूलेशन: यह पेपर एडेप्टिव वेवलेट डिनोइजिंग को एक विशिष्ट डाउनस्ट्रीम मॉनिटरिंग टास्क (डिटेक्शन और क्षमता अनुमान) के लिए अनुकूलित एक अनुक्रमिक निर्णय समस्या के रूप में तैयार करता है।
• पूरक ड्रिफ्ट गेट (Complementary Drift Gate): एक नवीन चार-डिटेक्टर गेट (PH, VAR, JSD, AD) RL पॉलिसी को ड्रिफ्ट की उपस्थिति, प्रकार और तीव्रता पर आधारित होने की अनुमति देता है, जिससे लक्षित अनुकूलन संभव होता है।
• विभेदक टास्क डिज़ाइन (Discriminating Task Design): क्षणिक बर्स्ट (transient bursts) को मल्टी-स्केल के रूप में परिभाषित करके (जिन्हें लो-पास फिल्टर हटा देते हैं लेकिन वेवलेट्स संरक्षित रखते हैं), यह फ्रेमवर्क वेवलेट डिनोइजिंग को साधारण स्मूथिंग से स्पष्ट रूप से अलग करता है।
• मिक्स्ड एक्शन स्पेस RL: मिश्रित डिस्क्रीट-कंटीन्यूअस एक्शन स्पेस पर PPO का एकीकरण वेवलेट मापदंडों (मदर वेवलेट चयन, डेप्थ, थ्रेशोल्डिंग रणनीति और निरंतर गेन) पर सूक्ष्म नियंत्रण की अनुमति देता है।
• व्यापक बेंचमार्किंग: इस पद्धति का मूल्यांकन चार ड्रिफ्ट प्रकारों और विभिन्न इनपुट SNRs के तहत एक लो-पास मूविंग-एवरेज फ़िल्टर, क्लासिकल श्रिंकेज रूल्स (VisuShrink, SureShrink, BayesShrink) और विनर फ़िल्टर (Wiener filter) के विरुद्ध किया गया है।

प्रायोगिक परिणाम
फ्रेमवर्क का मूल्यांकन सिंथेटिक ट्रैफ़िक-यूटिलाइजेशन डेटा पर किया गया था जिसे चार ड्रिफ्ट प्रकारों (मीन शिफ्ट, वेरिएंस चेंज, स्ट्रक्चरल डायवर्जेंस, टेल एम्प्लीफिकेशन) और -10 dB से 30 dB तक के SNRs के साथ संवर्धित किया गया था।

• ड्रिफ्ट डिटेक्शन: फ्यूज्ड गेट ने ड्रिफ्ट डिटेक्शन के लिए 91.54% ट्रू-पॉजिटिव रेट प्राप्त किया, जबकि नो-ड्रिफ्ट कंट्रोल्स पर फॉल्स-अलार्म दर बहुत कम (1.23%) रही, जिससे सिग्नल को उपयुक्त डिनोइजिंग ब्रांच में रूट करना प्रभावी रहा।
• डिनोइजिंग प्रदर्शन (SNR सुधार): RL पॉलिसी ने फिक्स्ड VisuShrink बेसलाइन की तुलना में SNR सुधार ($\Delta$SNR) के मामले में लगातार बेहतर प्रदर्शन किया। विशेष रूप से, उच्च इनपुट SNRs (20–30 dB) पर, फिक्स्ड बेसलाइन प्रतिकूल (नेगेटिव $\Delta$SNR) हो गई, जिससे सिग्नल ऊर्जा नष्ट हो गई, जबकि RL पॉलिसी फायदेमंद बनी रही या केवल मामूली गिरावट हुई।
• विसंगति का पता लगाना (Anomaly Detection): प्रस्तावित विधि ने चार में से तीन ड्रिफ्ट प्रकारों पर क्षणिक विसंगति का पता लगाने के लिए उच्चतम AUC प्राप्त किया, जो ऑरेकल (क्लीन सिग्नल) के प्रदर्शन के करीब है। इसने लो-पास फिल्टरों को काफी पीछे छोड़ दिया, जो क्षणिक बर्स्ट को स्मियर (smear) कर देते हैं।
• क्षमता अनुमान (Capacity Estimation): RL पॉलिसी ने सभी ड्रिफ्ट प्रकारों और SNRs में $C_{95}$ के अनुमान में सबसे कम त्रुटि प्रदर्शित की। फिक्स्ड श्रिंकेज रूल्स या तो ओवर-प्रोविजनिंग (शोर के कारण) या अंडर-प्रोविजनिंग (ओवर-स्मूथिंग के कारण) की ओर झुके हुए थे, जबकि एडेप्टिव पॉलिसी ने ऊपरी पूंछ (upper tail) को अधिक सटीक रूप से ट्रैक किया।
• सांख्यिकीय महत्व: पेअर्ड विल्कोक्सन साइन्ड-रैंक टेस्ट (Paired Wilcoxon signed-rank tests) ने पुष्टि की कि प्रस्तावित विधि द्वारा AUC और क्षमता त्रुटि दोनों में किया गया सुधार सभी बेसलाइन्स की तुलना में सांख्यिकीय रूप से महत्वपूर्ण था।

महत्व और दावे
यह पेपर दावा करता है कि गैर-स्थिर नेटवर्क वातावरण में डाउनस्ट्रीम टास्क यूटिलिटी के लिए डिनोइजिंग को अनुकूलित करना, पुनर्निर्माण निष्ठा (reconstruction fidelity) के लिए अनुकूलित करने से बेहतर है। प्राथमिक महत्व इस बात के प्रदर्शन में निहित है कि एक सीखा हुआ (learned) पॉलिसी सांख्यिकीय ड्रिफ्ट के प्रति गतिशील रूप से अनुकूल हो सकती है, जिससे "वन-साइज़-फिट्स-ऑल" (एक ही नियम सबके लिए) वाली स्थिर वेवलेट नियमों की विफलता से बचा जा सके। विशेष रूप से, यह फ्रेमवर्क उच्च SNR पर वास्तविक लोड डायनेमिक्स को ओवर-स्मूथ होने से रोकता है, जो फिक्स्ड थ्रेशोल्डिंग विधियों की एक महत्वपूर्ण विफलता है। लेखक नोट करते हैं कि हालांकि वर्तमान परिणाम सिंथेटिक डेटा का उपयोग करते हैं, लेकिन कार्यप्रणाली और ड्रिफ्ट-डिटेक्शन परिणाम मूल प्रयोगात्मक पाइपलाइन से प्राप्त हैं, और फ्रेमवर्क को भविष्य में सार्वजनिक वास्तविक-विश्व ट्रैफ़िक टेलीमेट्री पर मान्य करने के लिए डिज़ाइन किया गया है।