An Imbalance-Resilient Network Intrusion Detection Framework Using TVAE-Based Data Augmentation and Stacked Ensemble

आधुनिक दुनिया को शक्ति प्रदान करने वाले डिजिटल ट्रैफ़िक की विशाल, अदृश्य धाराओं में, निर्माता और तोड़ने वालों के बीच एक निरंतर युद्ध चल रहा है। हर सेकंड, अरबों डेटा पैकेट नेटवर्क के माध्यम से बहते हैं, जिनमें एक साधारण ईमेल से लेकर एक जटिल वित्तीय लेनदेन तक सब कुछ शामिल होता है। इस प्रवाह को सुरक्षित रखने के लिए, घुसपैठ का पता लगाने वाले सिस्टम (इंट्रूज़न डिटेक्शन सिस्टम) के रूप में जाने जाने वाले सुरक्षा तंत्र डिजिटल प्रहरियों की तरह कार्य करते हैं, जो लगातार दुर्भावनापूर्ण गतिविधि के संकेतों को स्कैन करते रहते हैं। हालाँकि, इन संरक्षकों को एक कठिन वास्तविकता का सामना करना पड़ता है: उनके द्वारा विश्लेषण किया गया डेटा अत्यधिक असंतुलित है। एक विशिष्ट नेटवर्क में, हानिरहित, रोज़मर्रा का ट्रैफ़िक दुर्लभ, खतरनाक हमलों की तुलना में बहुत अधिक होता है। यह असंतुलन कई पहचान प्रणालियों के लिए एक 'ब्लाइंड स्पॉट' (अंधा बिंदु) बना देता है। क्योंकि "अच्छा" ट्रैफ़िक इतना सामान्य है, इसलिए स्वचालित शिक्षण उपकरण अक्सर इसके प्रति पक्षपाती हो जाते हैं, जिससे वे अल्पसंख्यक में छिपे दुर्लभ, महत्वपूर्ण खतरों को प्रभावी ढंग से अनदेखा कर देते हैं। इसके अलावा, प्रत्येक कनेक्शन का वर्णन करने वाले डेटा बिंदुओं की विशाल मात्रा इन प्रणालियों को अभिभूत कर सकती है, जिससे एक वास्तविक हमले और एक हानिरहित गड़बड़ी के बीच अंतर करना कठिन हो जाता है।

नूरुल इस्लाम सेंटर फॉर हायर एजुकेशन के शोधकर्ताओं ने इन विशिष्ट बाधाओं को दूर करने के लिए डिज़ाइन किया गया एक नया ढांचा (फ्रेमवर्क) विकसित किया है। उनका दृष्टिकोण इस समस्या को तीन अलग-अलग चरणों में देखता है, ठीक वैसे ही जैसे एक जासूस पहले एक अस्त-व्यस्त अपराध स्थल को व्यवस्थित करता है, फिर अंतराल भरने के लिए अधिक साक्ष्य एकत्र करता है, और अंत में एक निर्णय पर पहुँचने के लिए विशेषज्ञों के पैनल से परामर्श करता है। सबसे पहले, उन्होंने उपलब्ध अस्सी से अधिक विशेषताओं (फीचर्स) में से केवल सबसे उपयोगी सुरागों का चयन करके डेटा को सुव्यवस्थित किया, जिससे शोर को कम करके उन्नीस प्रमुख संकेतकों के एक केंद्रित सेट में बदल दिया गया। इसके बाद, उन्होंने एक परिष्कृत जनरेटिव टूल का उपयोग करके दुर्लभ हमले के प्रकारों के यथार्थवादी, सिंथेटिक उदाहरण बनाकर असंतुलन की समस्या का समाधान किया, जिससे यह सुनिश्चित हुआ कि शिक्षण प्रणाली उन्हें सामान्य ट्रैफ़िक की तरह ही बारीकी से पढ़ सके। अंत में, उन्होंने तीन अलग-अलग मशीन लर्निंग मॉडलों के निर्णयों को एक एकल, अधिक शक्तिशाली निर्णय लेने वाले इंजन में संयोजित किया। जब एक बड़े, वास्तविक नेटवर्क ट्रैफ़िक डेटासेट पर इसका परीक्षण किया गया, तो इस नई प्रणाली ने सुरक्षित और खतरनाक ट्रैफ़िक के बीच अंतर करने में 98.49% की सटीकता प्राप्त की, और दुर्लभ हमलों के विशिष्ट प्रकारों की पहचान करने के प्रयास में भी उच्च स्तर का प्रदर्शन बनाए रखा।

शोधकर्ताओं ने जिस मुख्य चुनौती का समाधान किया वह स्वयं डेटा की प्रकृति है। वास्तविक दुनिया में, नेटवर्क ट्रैफ़िक निर्दोष गतिविधियों के प्रभुत्व में होता है। यदि किसी लर्निंग एल्गोरिदम को ऐसे डेटासेट पर प्रशिक्षित किया जाता है जहाँ निन्यानवे प्रतिशत उदाहरण हानिरहित हैं, तो वह हर बार केवल "हानिरहित" का अनुमान लगाने के लिए सीख जाता है। जबकि यह रणनीति एक उच्च समग्र स्कोर प्रदान करती है, यह अपने प्राथमिक कार्य में पूरी तरह विफल रहती है: बुरे तत्वों को पकड़ना। शोधकर्ताओं ने पाया कि पारंपरिक तरीके इस समस्या के साथ-साथ डेटा की उच्च आयामीता (हाई डायमेंशनलिटी) के साथ भी संघर्ष करते हैं, जहाँ बहुत सारे चर (वेरिएबल्स) मॉडल को भ्रमित कर देते हैं। इसे हल करने के लिए, उन्होंने इनपुट को साफ करने और परिष्कृत करने से शुरुआत की। उन्होंने कच्चे नेटवर्क प्रवाह पर दो-चरणीय फ़िल्टरिंग प्रक्रिया लागू की। सबसे पहले, उन्होंने पहचाना कि कौन सी विशेषताएं वास्तव में हमले का पता लगाने के लिए महत्वपूर्ण थीं, और उन विशेषताओं को हटा दिया जो कोई उपयोगी जानकारी नहीं दे रही थीं। फिर, उन्होंने उन विशेषताओं को हटाया जो अनिवार्य रूप से दूसरों के समान ही बात कह रही थीं, जिसे 'रिडंडेंसी' (अनावश्यकता) को समाप्त करने की प्रक्रिया के रूप में जाना जाता है। इसने समस्या की जटिलता को कम कर दिया, जिससे सिस्टम को अप्रासंगिक नंबरों के समुद्र में खोए बिना घुसपैठ के सबसे निर्णायक संकेतों पर ध्यान केंद्रित करने की अनुमति मिली।

डेटा को साफ करने के बाद, टीम ने कमी (स्कैरसिटीिटी) के मुद्दे की ओर रुख किया। दुर्लभ हमले, जैसे कि SQL इंजेक्शन या ब्रूट-फोर्स प्रयास, मूल डेटासेट में इतनी कम बार दिखाई देते थे कि लर्निंग मॉडल उन्हें मुश्किल से देख पाते थे। इसे ठीक करने के लिए, शोधकर्ताओं ने 'टेबुलर वेरिएशनल ऑटोएनकोडर' नामक तकनीक का उपयोग किया। आप इस टूल को एक अत्यधिक कुशल कलाकार के रूप में सोच सकते हैं जो एक विशिष्ट शैली की कुछ पेंटिंग्स का अध्ययन करता है और फिर ऐसी नई, मौलिक पेंटिंग्स बनाता है जो बिल्कुल मूल पेंटिंग्स जैसी दिखती हैं, जो बिना पिक्सेल-दर-पिक्सेल कॉपी किए सभी सूक्ष्म विवरणों को कैप्चर करती हैं। इस मामले में, टूल ने प्रत्येक दुर्लभ हमले के प्रकार के कुछ वास्तविक उदाहरणों का अध्ययन किया और नए, सिंथेटिक नमूने उत्पन्न किए जो वास्तविक खतरों की सांख्यिकीय विशेषताओं को बनाए रखते हैं। ये सिंथेटिक नमूने केवल प्रशिक्षण डेटा (ट्रेनिंग डेटा) में जोड़े गए थे, जिससे प्रभावी रूप से तराजू संतुलित हो गया ताकि सिस्टम यह सीख सके कि एक दुर्लभ हमला कैसा दिखता है, बिना अंतिम परीक्षण के दौरान कभी भी किसी नकली हमले को देखे।

ढांचे के अंतिम चरण में निर्णय लेने के लिए विभिन्न प्रकार के लर्निंग मॉडलों को एक साथ लाना शामिल था। शोधकर्ताओं ने तीन अलग-अलग क्लासिफायर प्रशिक्षित किए: रैंडम फॉरेस्ट, लाइटजीबीएम (LightGBM), और एक्स्ट्रा ट्रीज़ (Extra Trees)। इन प्रत्येक मॉडल के डेटा का विश्लेषण करने और पैटर्न पहचानने का अपना तरीका है। रैंडम फॉरेस्ट कई निर्णय वृक्ष (डिसीजन ट्री) बनाता है और उत्तर पर वोट देता है; लाइटजीबीएम अपनी गलतियों को चरण-दर-चरण सुधारकर सीखता है; और एक्स्ट्रा ट्रीज़ विविधता सुनिश्चित करने के लिए यादृच्छिकता (रैंडमनेस) पेश करता है। केवल एक मॉडल पर निर्भर रहने के बजाय, शोधकर्ताओं ने 'स्टैकिंग' नामक तकनीक का उपयोग किया। इसमें तीनों मॉडलों के भविष्यवाणियों को लेना और उन्हें एक चौथे, उच्च-स्तरीय मॉडल में फीड करना शामिल था। यह "मेटा-क्लासिफायर" यह सीखने के लिए बनाया गया था कि दूसरों की ताकत और कमजोरी को कैसे तौला जाए, और अंतिम, अधिक सटीक भविष्यवाणी करने के लिए उनके अंतर्दृष्टि को कैसे संयोजित किया जाए। इस दृष्टिकोण ने सिस्टम को उन त्रुटियों को पकड़ने की अनुमति दी जिन्हें एक एकल मॉडल मिस कर सकता था, और विभिन्न प्रकार के हमलों पर बेहतर सामान्यीकरण (जनरलाइजेशन) करने में मदद की।

जब टीम ने अपने ढांचे का परीक्षण CSE-CIC-IDS2018 डेटासेट पर किया, जो नेटवर्क सुरक्षा अनुसंधान के लिए एक मानक बेंचमार्क है, तो परिणाम मजबूत थे। एक बाइनरी टेस्ट में, जो केवल सुरक्षित और दुर्भावनापूर्ण ट्रैफ़िक के बीच अंतर करता है, सिस्टम ने 98.49% की सटीकता प्राप्त की। इससे भी महत्वपूर्ण बात यह है कि इसने इस स्कोर को प्राप्त करने के लिए बुरे ट्रैफ़िक का पता लगाने की क्षमता का बलिदान नहीं दिया; इसने 0.97 की रिकॉल दर के साथ दुर्भावनापूर्ण हमलों की सही पहचान की, जिसका अर्थ है कि इसने घुसपैठ को बहुत कम बार मिस किया। अधिक जटिल मल्टी-क्लास परिदृश्य में, जहाँ सिस्टम को कई संभावनाओं के बीच हमले के विशिष्ट प्रकार की पहचान करनी थी, इसने 97.80% की समग्र सटीकता बनाए रखी। सिस्टम ने विशेष रूप रूप से कम-आवृत्ति वाले हमलों पर अच्छा प्रदर्शन किया जो अक्सर अन्य तरीकों को मात दे देते हैं, जैसे कि SQL इंजेक्शन और ब्रूट-फोर्स-XSS। शोधकर्ताओं ने कठोर क्रॉस-वैलिडेशन के माध्यम से इन निष्कर्षों की पुष्टि की, विभिन्न डेटा स्प्लिट्स के साथ कई बार परीक्षण किया ताकि यह सुनिश्चित हो सके कि परिणाम कोई इत्तेफाक नहीं हैं। प्रदर्शन की निरंतरता, बहुत कम त्रुटि मार्जिन के साथ, यह सुझाव देती है कि यह ढांचा स्थिर और विश्वसनीय है।

यह अध्ययन स्पष्ट रूप से इस विचार को खारिज करता है कि केवल अधिक डेटा जोड़ना या एक शक्तिशाली मॉडल का उपयोग करना असंतुलित नेटवर्क ट्रैफ़िक की समस्या को हल करने के लिए पर्याप्त है। शोधकर्ताओं ने प्रदर्शित किया कि फीचर ऑप्टिमाइज़ेशन और क्लास-वाइज डेटा ऑग्मेंटेशन के विशिष्ट चरणों के बिना, रैंडम फॉरेस्ट या XGBoost जैसे मजबूत मॉडल भी काफी खराब प्रदर्शन करते हैं, और अक्सर दुर्लभ हमलों का पता लगाने में विफल रहते हैं। उन्होंने यह भी दिखाया कि सुधार मामूली नहीं थे; तीनों घटकों—फीचर सिलेक्शन, सिंथेटिक डेटा जेनरेशन और एन्सेम्बल लर्निंग—के संयोजन ने एक संचयी प्रभाव पैदा किया जो उनके व्यक्तिगत भागों के योग से कहीं अधिक था। यह ढांचा किसी भी "जादुई" या अनस्पष्टीकृत शॉर्टकट पर निर्भर नहीं था; बल्कि, इसने व्यवस्थित रूप से पिछले दृष्टिकोणों की संरचनात्मक कमजोरियों को संबोधित किया। डेटा को संतुलित करके और मॉडलों के सीखने शुरू करने से पहले इनपुट को परिष्कृत करके, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो डिजिटल दुनिया की विषम वास्तविकता के प्रति लचीला है।

अंततः, यह कार्य तेजी से जटिल होते खतरों के युग में नेटवर्क सुरक्षा के लिए एक भरोसेमंद मार्ग प्रदान करता है। यह ढांचा सिद्ध करता है कि डेटा को सावधानीपूर्वक तैयार करके और कई लर्निंग रणनीतियों की अंतर्दृष्टि को जोड़कर, ऐसे घुसपैठ का पता लगाने वाले सिस्टम बनाना संभव है जो अत्यधिक सटीक और उन दुर्लभ, खतरनाक घटनाओं के प्रति संवेदनशील हों जो सबसे अधिक मायने रखती हैं। परिणाम संकेत देते हैं कि ऐसे सिस्टम को वास्तविक दुनिया में तैनात करने के लिए स्केल किया जा सकता है, जो वास्तविक नेटवर्क ट्रैफ़िक की असंतुलित प्रकृति के अनुकूल होने वाला सुरक्षा कवच प्रदान करता है। जैसे-जैसे साइबर खतरे विकसित हो रहे हैं, घास के ढेर में सुई को खोजने की क्षमता, बिना घास से अभिभूत हुए, एक महत्वपूर्ण लक्ष्य बनी हुई है, और यह शोध इसे प्राप्त करने के लिए एक ठोस, प्रभावी तरीका प्रदान करता है।