A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे शहर की तरह है जहाँ डेटा अंतहीन राजमार्गों पर यातायात की तरह बहता है। इस शहर में, सुरक्षा गार्ड (फायरवॉल और एंटीवायरस सॉफ़्टवेयर) हर चेकपॉइंट पर खड़े हैं, आईडी की जाँच कर रहे हैं ताकि कोई चुपके से अंदर न आ सके। आमतौर पर, इन गार्डों के पास ज्ञात अपराधियों की तस्वीरों से भरी एक "वांटेड पोस्टर" वाली किताब होती है। यदि कोई अजनबी उस सूची में मौजूद किसी व्यक्ति जैसा दिखता है, तो उसे रोक लिया जाता है। लेकिन क्या होता है जब एक बिल्कुल नया अपराधी सामने आता है, जो पहले कभी नहीं देखा गया, जिसका चेहरा किताब में मौजूद किसी भी तस्वीर से मेल नहीं खाता? यह एक "जीरो-डे" (zero-day) हमले का दुस्वप्न है: एक डिजिटल घुसपैठिया जो एक बिल्कुल नई चाल का उपयोग कर रहा है जिसे सुरक्षा प्रणालियों ने पहले कभी नहीं देखा है।

इन अदृश्य चोरों को पकड़ने के लिए, वैज्ञानिक मशीन लर्निंग नामक एक विशेष प्रकार के जासूसों की ओर मुड़ रहे हैं। इन जासूसों को ऐसे छात्रों के रूप में सोचें जो "अच्छे ट्रैफिक" और "बुरे ट्रैफिक" के हजारों उदाहरणों का अध्ययन करते हैं ताकि वे पैटर्न सीख सकें। हालाँकि, उनकी कक्षा में एक पेचीदा समस्या है: शिक्षक (डेटा) उन्हें "अच्छे ट्रैफिक" के बहुत अधिक उदाहरण देता है और "बुरे ट्रैफिक" के बहुत कम उदाहरण देता है। यह एक जंगल में एक दुर्लभ, शर्मीले जानवर को पहचानने की कोशिश करने जैसा है जहाँ 99% जीव केवल गिलहरियाँ हैं। छात्र गिलहरियों को पहचानने में बहुत कुशल हो सकते हैं लेकिन वे उस दुर्लभ जानवर को पूरी तरह से मिस कर सकते हैं क्योंकि उन्होंने अपने प्रशिक्षण के दौरान उसे बहुत कम देखा था। यह शोध पत्र इस बारे में है कि इन डिजिटल जासूसों को उन नए, दुर्लभ खतरों को पहचानने के लिए कैसे सिखाया जाए बिना सामान्य गिलहरियों की अत्यधिक संख्या से भ्रमित हुए।

---

द ग्रेट डिजिटल डिटेक्टिव रेस (महान डिजिटल जासूसी दौड़)

इस अध्ययन में, शोधकर्ताओं ज़हरा लोटफी और मोस्तफा लोटफी ने एक विशाल प्रशिक्षण मैदान तैयार किया यह देखने के लिए कि कौन सा मशीन लर्निंग मॉडल अंतिम जीरो-डे हमला डिटेक्टर बन सकता है। वे केवल यह नहीं जानना चाहते थे कि कौन सा मॉडल सबसे स्मार्ट है; वे यह भी जानना चाहते थे कि कौन सा सबसे तेज़ है। आखिरकार, वास्तविक दुनिया में, एक सुरक्षा गार्ड जो एक व्यक्ति की आईडी की जाँच करने में एक घंटा लेता है, वह बेकार है, भले ही वह कभी किसी अपराधी को न छोड़े।

शोधकर्ताओं ने UNSW-NB15 नामक एक विशाल डेटासेट का उपयोग किया, जिसमें नेटवर्क ट्रैफिक के 1.4 मिलियन से अधिक रिकॉर्ड शामिल हैं। परीक्षण को वास्तविक बनाने के लिए, उन्होंने एक ऐसी स्थिति बनाई जहाँ मॉडलों को सामान्य ट्रैफिक और ज्ञात हमलों के मिश्रण पर प्रशिक्षित किया गया था, लेकिन फिर उन्हें एक "जीरो-डे" हमले पर परखा गया जिसे उन्होंने पहले कभी नहीं देखा था। इसे और कठिन बनाने के लिए, उन्होंने एक ऐसा डेटासेट उपयोग किया जो अत्यधिक विषम (skewed) था, जिसमें सामान्य ट्रैफिक की संख्या हमलों की तुलना में बहुत अधिक थी, ठीक वैसे ही जैसे वास्तविक जीवन में होता है।

उन्होंने पांच अलग-अलग "जासूसों" (मशीन लर्निंग मॉडल) का परीक्षण किया:

1. डिसीजन ट्री (DT): एक मॉडल जो निर्णय लेने के लिए हाँ या ना के प्रश्नों की एक श्रृंखला पूछता है।
2. लॉजिस्टिक्स रिग्रेशन (LR): एक सांख्यिकीय मॉडल जो किसी चीज़ के हमले होने की संभावना की गणना करता है।
3. रैंडम फॉरेस्ट (RF): कई डिसीजन ट्री की एक टीम जो उत्तर पर वोट देती है।
4. XG बूस्ट (XGB): एक शक्तिशाली टीम जो अपनी गलतियों से सीखकर बेहतर बनती है, जो अपनी गति के लिए जानी जाती है।
5. MLP (मल्टीलेयर परसेप्ट्रॉन): एक डीप लर्निंग मॉडल जो मानव मस्तिष्क में न्यूरॉन्स की परतों की नकल करता है।

तराजू को संतुलित करने का जादू

शोधकर्ताओं ने जिस सबसे बड़ी बाधा का सामना किया वह था "क्लास इम्बैलेंस प्रॉब्लम" (वर्ग असंतुलन की समस्या)। चूंकि सामान्य ट्रैफिक की तुलना में हमले के उदाहरण बहुत कम थे, इसलिए मॉडल यह सीखने में संघर्ष कर रहे थे कि वास्तव में एक हमला कैसा दिखता है। इसे ठीक करने के लिए, टीम ने SMOTE (सिंथेटिक माइनॉरिटी ओवर-सैंपलिंग तकनीक) नामक एक तकनीक का उपयोग किया।

कल्पना कीजिए कि आप एक बच्चे को एक दुर्लभ नीले पक्षी को पहचानना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल उसकी एक फोटो है। बच्चा संभवतः भूल जाएगा कि वह कैसा दिखता है। SMOTE उस जादुई फोटोकॉपी मशीन की तरह है जो मूल फोटो को उसके पड़ोसियों के साथ मिलाकर उस नीले पक्षी की नई, थोड़ी अलग तस्वीरें बनाता है। यह बच्चे को पर्याप्त उदाहरण देता है ताकि वह वास्तव में समझ सके कि पक्षी कैसा दिखता है, बिना जंगल में और अधिक असली पक्षियों को खोजने की आवश्यकता के। शोधकर्ताओं ने इसे अपने डेटा पर लागू किया, जिससे संतुलित प्रशिक्षण सेट बनाने के लिए सिंथेटिक हमले के उदाहरण तैयार किए गए।

परिणाम: दौड़ किसने जीती?

परिणाम "सबसे स्मार्ट" और "सबसे तेज़" का मिश्रण थे, और विजेता इस बात पर निर्भर करता था कि आप किसे अधिक महत्व देते हैं।

जब मॉडलों का परीक्षण संतुलन वाले तरीके (SMOTE) के बिना किया गया, तो वे दुर्लभ हमलों को पहचानने में संघर्ष कर रहे थे। उदाहरण के लिए, रैंडम फॉरेस्ट मॉडल ने केवल लगभग 83.11% हमलों को पकड़ा, जबकि MLP मॉडल और भी खराब था, जिसने केवल 25.35% हमलों को पकड़ा।

हालाँकि, जब उन्होंने डेटा को संतुलित करने के लिए SMOTE का उपयोग किया, तो प्रदर्शन आसमान छू गया।

• सबसे स्मार्ट जासूस: सटीकता के मामले में रैंडम फॉरेस्ट (RF) मॉडल स्पष्ट विजेता था। संतुलित डेटा के साथ, यह 94.38% जीरो-डे हमलों (रिकॉल) को पकड़ने में सफल रहा और इसकी सटीकता 98.91% थी। बुरे लोगों को न छोड़ने के मामले में यह सबसे विश्वसनीय था।
• स्पीडस्टर (गतिमान): लेकिन यहाँ एक पेंच है। रैंडम फॉरेस्ट अविश्वसनीय रूप से धीमा था। इसे टेस्ट डेटा को प्रोसेस करने में 1,379.10 सेकंड (22 मिनट से अधिक) का समय लगा। एक वास्तविक साइबर हमले में, हमलावर को रोकने के लिए 22 मिनट तक इंतजार करना वैसा ही है जैसे फायर ब्रिगेड को बुलाने से पहले पूरे घर को जलने का इंतजार करना।
• सबसे अच्छा ऑल-राउंडर: अब आता है XG बूस्ट (XGB)। हालांकि इसने रैंडम फॉरेस्ट जितना अधिक हमलों को नहीं पकड़ा (इसने 81.40% हमलों को पकड़ा), लेकिन यह बिजली की तरह तेज़ था। इसने वही कार्य केवल 5.08 सेकंड में पूरा कर लिया। इसने 98.21% की उच्च सटीकता भी बनाए रखी।

निष्कर्ष

शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि रैंडम फॉरेस्ट तकनीकी रूप से इन अदृश्य जीरो-डे हमलों को खोजने के लिए सबसे सटीक मॉडल है, लेकिन यह वास्तविक समय की सुरक्षा प्रणालियों के लिए बहुत धीमा है। यदि आपको एक ऐसे गार्ड की आवश्यकता है जो कभी सोता नहीं और कभी चूकता नहीं, लेकिन सोचने में बहुत समय लेता है, तो आपको एक समस्या हो सकती है।

इसके बजाय, उन्होंने वास्तविक दुनिया के उपयोग के लिए XG बूस्ट को शीर्ष विकल्प के रूप में घोषित किया। इसने सबसे अच्छा संतुलन प्रदान किया, जो "अत्यधिक तेज़ और सटीक" था। इसने साबित कर दिया कि आपको हमेशा पूर्णतः सटीक डिटेक्टर की आवश्यकता नहीं होती; आपको एक ऐसे डिटेक्टर की आवश्यकता होती है जो हमले के कारण होने वाले नुकसान से पहले उसे रोकने के लिए पर्याप्त तेज़ हो।

अध्ययन ने यह भी पुष्टि की कि "जादुई फोटोकॉपी मशीन" (SMOTE) आवश्यक थी। इसके बिना, मॉडल दुर्लभ हमलों के प्रति अंधे थे। इसके साथ, यहाँ तक कि धीमे मॉडलों में भी काफी सुधार हुआ, हालांकि मॉडल की गति वास्तविक दुनिया में किसके उपयोग का निर्णय करने वाला मुख्य कारक बनी रही।

अंत में, यह शोध दिखाता है कि डिजिटल अपराधियों को पकड़ने की दौड़ में, केवल सबसे स्मार्ट होना ही काफी नहीं है; आपको तेज़ भी होना होगा। और कभी-कभी, दूसरा सबसे स्मार्ट जासूस जो सेकंडों में मील दौड़ सकता है, वही होता है जो वास्तव में दिन बचाता है।