Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे शहर की तरह है जहाँ हर सेकंड लाखों डिजिटल संदेश इमारतों के बीच इधर-उधर दौड़ते हैं। इस शहर को सुरक्षित रखने के लिए, सुरक्षा गार्ड (जिन्हें घुसपैठ का पता लगाने वाले सिस्टम या 'इंट्रूजन डिटेक्शन सिस्टम' कहा जाता है) द्वारों पर खड़े होते हैं, जो हर पैकेज की गड़बड़ी के संकेतों के लिए जाँच करते हैं। लंबे समय तक, ये गार्ड "ज्ञात बुरे लोगों" की एक विशाल, भारी किताब पर निर्भर थे ताकि खतरों को पहचाना जा सके। लेकिन हैकर्स चतुर होते हैं; वे हर दिन नए तरीके ईजाद करते हैं जो अभी तक उस किताब में नहीं हैं। इसलिए, वैज्ञानिकों ने गार्डों को खुद से सोचने के लिए "डीप लर्निंग" का उपयोग करके सिखाना शुरू किया—जो कि एक प्रकार का कंप्यूटर मस्तिष्क है जो हजारों उदाहरणों को देखकर पैटर्न सीखता है।

हालाँकि, इसमें एक पेंच है। ये सुपर-स्मार्ट कंप्यूटर मस्तिष्क बहुत विशाल और भूखे होते हैं। उन्हें भारी मात्रा में मेमोरी और ऊर्जा की आवश्यकता होती है, जो डेटा सेंटर में स्थित एक विशाल सर्वर के लिए तो ठीक है, लेकिन उन छोटे, बैटरी से चलने वाले उपकरणों के लिए बहुत खराब है जो वास्तव में हमारे घरों और राउटरों की रक्षा करते हैं (जैसे आपके स्मार्ट थर्मोस्टेट या नेटवर्क स्विच के अंदर मौजूद छोटे कंप्यूटर)। वैज्ञानिक इन दिमागों को बिना तोड़े छोटा करने की कोशिश कर रहे हैं, जिसके लिए वे "प्रूनिंग" (छंटाई) नामक तकनीक का उपयोग करते हैं। प्रूनिंग को एक झाड़ी की छंटाई की तरह समझें: आप शाखाओं को काट देते हैं (या इस मामले में, कंप्यूटर मस्तिष्क के भीतर अप्रयुक्त कनेक्शनों को काट देते हैं) ताकि इसे छोटा और तेज़ बनाया जा सके। तकनीकी दुनिया में हमेशा एक बड़ी धारणा रही है: "यदि आप 7नों कनेक्शनों को काट देते हैं, तो मस्तिष्क 75% हल्का और बहुत तेज़ हो जाएगा।"

लेकिन क्या होगा अगर वह धारणा गलत हो? क्या होगा अगर, इतनी छंटाई के बाद भी, मस्तिष्क अभी भी उतना ही धीमा चलता है क्योंकि जिस तरह से यह बना है, वह वास्तव में खाली जगहों को छोड़ने की अनुमति नहीं देता? यही वह रहस्य है जिसे यह शोध पत्र हल करने की कोशिश कर रहा है।

---

महान प्रूनिंग प्रयोग

इस अध्ययन में, ईशान मिश्रा नामक एक शोधकर्ता ने इस "काटने से तेज़ होता है" वाले विचार को अंतिम परीक्षण में डालने का निर्णय लिया। उन्होंने केवल एक शक्तिशाली सुपरकंप्यूटर पर आंकड़े नहीं चलाए; उन्होंने अपने कंप्यूटर मस्तिष्क को एक Raspberry Pi 5 पर रखा—जो एक छोटा, किफायती कंप्यूटर बोर्ड है जो एक हरे रंग के सर्किट बोर्ड जैसा दिखता है और वह प्रकार का उपकरण है जो आप एक वास्तविक दुनिया के सुरक्षा तंत्र में पा सकते हैं।

उन्होंने एक "मल्टी-क्लासिफायर डीप न्यूरल नेटवर्क" बनाया, जो एक फैंसी तरीका है एक ऐसे कंप्यूटर मस्तिष्क का वर्णन करने का जिसमें सोचने के तीन अलग-अलग स्तर हैं, जिनमें से प्रत्येक खतरे की जाँच करता है। उन्होंने इस मस्तिष्क को NSL-KDD नामक डेटासेट पर प्रशिक्षित किया, जो पुराने, ज्ञात साइबर हमलों से भरा एक अभ्यास परीक्षण की तरह है। यह सुनिश्चित करने के लिए कि मस्तिष्क एक प्रकार के हमले के बहुत अधिक उदाहरणों और दूसरे के बहुत कम उदाहरणों के कारण भ्रमित न हो जाए, उन्होंने संतुलित प्रशिक्षण डेटा के लिए SMOTE नामक एक ट्रिक का उपयोग किया, जो अनिवार्य रूप से दुर्लभ हमलों के नकली उदाहरण बनाता है ताकि मस्तिष्क उन्हें ठीक से सीख सके।

फिर आई प्रूनिंग। उन्होंने प्रशिक्षित मस्तिष्क लिया और उस पर ब्लॉक-स्पार्स प्रूनिंग लागू की, जो नेटवर्क के भीतर 74.55% कनेक्शनों (वजन/वेट्स) को काटने का एक विशिष्ट तरीका है, जिससे वे शून्य रह जाते हैं। लक्ष्य यह देखना था कि क्या यह "खाली" मस्तिष्क मूल, पूर्ण मस्तिष्क की तुलना में तेज़ चलेगा और कम जगह लेगा।

आश्चर्य: कटाई ने गति नहीं बढ़ाई

यहाँ एक मोड़ है: प्रूनिंग ने मस्तिष्क को तेज़ नहीं बनाया।

शोधकर्ता ने एक एकल निर्णय (इन्फरेंस लेटेंसी) लेने में लगने वाले समय को मापा।

• मूल, पूर्ण मस्तिष्क ने 0.0103 ± 0.0008 ms (मिलीसेकंड) का समय लिया।
• प्रूनित, "खाली" मस्तिष्क ने 0.0101 ± 0.0002 ms का समय लिया।

सांख्यिकीय रूप से, ये दो संख्याएँ जुड़वा हैं। वे प्रभावी रूप से समान हैं। शोध पत्र ने यह साबित करने के लिए TOST (टू वन-साइडेड टेस्ट्स) नामक एक विशेष सांख्यिकीय परीक्षण का उपयोग किया कि अंतर इतना सूक्ष्म था कि वास्तविक दुनिया में इसका कोई महत्व नहीं है। परिणाम? प्रूनिंग ने निर्णय लेने में लगने वाले समय को कम नहीं किया।

क्यों? शोध पत्र बताता है कि हालांकि मस्तिष्क में कम कनेक्शन थे, लेकिन Raspberry Pi पर चलने वाला सॉफ़्टवेयर (जिसे TFLite कहा जाता है) खाली जगहों को छोड़ने के लिए पर्याप्त स्मार्ट नहीं था। यह एक ऐसे शेफ की तरह था जिसे काउंटर पर मौजूद सामग्रियों में से 75% को अनदेखा करने के लिए कहा गया है, लेकिन शेफ को अभी भी हर एक स्थान पर जाना पड़ता है, उसे देखना पड़ता है, और यह तय करना पड़ता है कि "ओह, यह खाली है," इससे पहले कि वह आगे बढ़ सके। चलने का समय (लेटेंसी) नहीं बदला क्योंकि शेफ को अभी भी हर जगह चेक करना ही था।

फ़ाइल आकार का आश्चर्य

शोधकर्ता ने यह भी जाँच की कि जब उन्होंने डिवाइस पर चलाने के लिए मस्तिष्क को सहेजा, तो अंतिम फ़ाइल कितनी बड़ी थी। उन्हें उम्मीद थी कि प्रूनित संस्करण बहुत छोटा होगा। इसके बजाय, पूर्ण मस्तिष्क और प्रूनित मस्तिष्क दोनों का आकार बिल्कुल 105,992 बाइट्स (लगभग 103.51 KB) ही रहा।

ऐसा इसलिए हुआ क्योंकि डिवाइस के लिए फ़ाइल तैयार करने वाले सॉफ़्टवेयर (एक प्रक्रिया जिसे क्वांटाइजेशन कहा जाता है) ने संख्याओं को उनके सबसे छोटे आकार में सिकोड़ दिया था, जिससे प्रूनित संस्करण में "खाली" स्थान अप्रासंगिक हो गए। इसलिए, इस विशिष्ट सेटअप में, प्रूनिंग ने कोई स्टोरेज स्पेस भी नहीं बचाया।

असली समस्या: अस्थिर मस्तिष्क

यदि प्रूनिंग ने इसे तेज़ या छोटा नहीं बनाया, तो क्या इसने हैकर्स को पहचानने की मस्तिष्क की क्षमता को नुकसान पहुँचाया? काफी हद तक, नहीं। समग्र सटीकता बहुत करीब रही:

• पूर्ण मस्तिष्क ने ज्ञात हमलों का 82.3% सही पहचाना।
• प्रूनित मस्तिष्क ने 81.2% सही पहचाना।

हालाँकि, शोध पत्र ने यह भी पाया कि प्रूनिंग ने हमलों को पहचानने के तरीके में क्या बदलाव किए। जब शोधकर्ताओं ने पांच बार अलग-अलग रैंडम शुरुआती बिंदुओं (जिन्हें "सीड्स" कहा जाता है) के साथ प्रयोग चलाया, तो उन्होंने देखा कि प्र्यूनेड मस्तिष्क अस्थिर था।

कुछ प्रकार के हमलों के लिए, जैसे कि smurf हमला, पूर्ण मस्तिष्क लगातार अच्छा था (लगतः 89% बार सही)। लेकिन प्रूनित मस्तिष्क एक रोलरकोस्टर की तरह था। किस रैंडम सीड का उपयोग किया गया था, इस पर निर्भर करते हुए, यह बहुत अच्छा (85% सही) हो सकता था या बहुत बुरा (11% सही) हो सकता था। यह एक ऐसे छात्र की तरह था जो कभी परीक्षा में टॉप करता है और कभी पूरी तरह फेल हो जाता है, यह इस पर निर्भर करता है कि वह सुबह कैसे उठा है।

शोध पत्र ने यह भी पाया कि पूर्ण और प्रूनित दोनों मस्तिष्क back और guess_passwd जैसे हमलों के साथ संघर्ष करते हैं, जिन्हें लगभग 0% सही पहचान पाते हैं। यह प्रूनिंग के कारण नहीं था; यह इसलिए था क्योंकि प्रशिक्षण डेटा बहुत असंतुलित था, जिससे मस्तिष्क अनिश्चित होने पर हर चीज़ के लिए "नॉर्मल" का अनुमान लगाने लगा। यह हर बार हुआ, चाहे सीड कुछ भी हो।

नए, अज्ञात हमलों के बारे में क्या?

परीक्षण में 3,750 रिकॉर्ड (टेस्ट सेट का 16.6%) भी शामिल थे जिनमें ऐसे हमले शामिल थे जिन्हें मस्तिष्क ने पहले कभी नहीं देखा था। चूंकि मस्तिष्क को इनके लिए प्रशिक्षित नहीं किया गया था, इसलिए वह इनका नाम नहीं बता सका। इसके बजाय, शोधकर्ताओं ने यह जाँच की कि क्या मस्तिष्क ने कम से कम उन्हें अनदेखा करने के बजाय "संदिग्ध" के रूप में चिह्नित किया।

• पूर्ण मस्तिष्क ने इनमें से लगभग 36.6% अज्ञात हमलों को चिह्नित किया।
• प्रूनित मस्तिष्क ने लगभग 37.0% को चिह्नित किया।

एक बार फिर, कोई वास्तविक अंतर नहीं था। प्रूनिंग ने मस्तिष्क को नए, अज्ञात तरीकों को पहचानने में मदद नहीं की, न ही इसे उनके प्रति बदतर बनाया।

निष्कर्ष

यह शोध पत्र उन लोगों के लिए एक वास्तविकता की जाँच है जो छोटे उपकरणों के लिए AI मॉडल को छोटा करने की कोशिश कर रहे हैं। यह साबित करता है कि केवल कनेक्शनों को काटने (प्रूनिंग) से चीजें अपने आप तेज़ नहीं होतीं यदि मॉडल चलाने वाला सॉफ़्टवेयर उन खाली जगहों का लाभ उठाने के लिए डिज़ाइन नहीं किया गया है।

यदि आप एक छोटे डिवाइस पर तेज़ मॉडल चाहते हैं, तो आप केवल प्रूनिंग पर भरोसा नहीं कर सकते। या तो आपको एक विशेष सॉफ़्टवेयर का उपयोग करना होगा जो खाली जगहों को छोड़ना जानता हो, या आपको प्रूनिंग के एक अलग प्रकार का उपयोग करना होगा जो मस्तिष्क के पूरे हिस्सों को हटा देता है (स्ट्रक्चर्ड प्रूनिंग) न कि केवल उसमें छेद करता है।

अध्ययन यह निष्कर्ष निकालता है कि हालांकि प्रूनिंग सैद्धांतिक रूप से एक मॉडल को छोटा बना सकती है, लेकिन आज के मानक सॉफ़्टवेयर की वास्तविक दुनिया में, यह आपको गति या स्थान नहीं देती है। और यदि आप इसका उपयोग करते हैं, तो आपको सावधान रहना होगा: यह आपके मॉडल के प्रदर्शन को विशिष्ट खतरों के प्रति बहुत अप्रत्याशित बना सकता है, जो कि प्रशिक्षण के आधार पर बहुत अच्छे या बहुत बुरे के बीच झूल सकता है।