A Leakage-Free Stacked Ensemble Method for Multiclass Classification

कल्पना कीजिए कि आप एक कंप्यूटर को केवल फोटो देखकर विभिन्न प्रकार के जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं। यह मशीन लर्निंग की दुनिया में एक क्लासिक पहेली है जिसे "मल्टीक्लास क्लासिफिकेशन" (बहु-वर्ग वर्गीकरण) कहा जाता है। यह एक छात्र को केवल "लाल" और "नीले" में ही नहीं, बल्कि "लाल", "नीले", "हरे", "पीले", "बैंगनी" और इसी तरह के कई रंगों में मोहरों के एक मिश्रित बैग को छांटने के लिए कहने जैसा है। समस्या यह है कि कुछ मोहरें संदिग्ध रूप से एक जैसी दिखती हैं, और कभी-कभी आपके पास लाल मोहरों का बहुत बड़ा ढेर होता है लेकिन कुछ ही हरी होती हैं।

इस समस्या को हल करने के लिए, वैज्ञानिक अक्सर "एन्सेम्बल लर्निंग" (ensemble learning) का उपयोग करते हैं, जो एक फैंसी तरीका है यह कहने का कि "आइए केवल एक के बजाय विशेषज्ञों की एक समिति से पूछते हैं।" एक पैनल जज की कल्पना करें: एक पेंटर की तरह चिकने, बहते हुए आकारों में पैटर्न पहचानने में माहिर है, और दूसरा एक जासूस की तरह सख्त, चरण-दर-चरण नियमों का पालन करने में माहिर है। यदि आप उनसे वोट करने के लिए कहते हैं, तो आपको केवल एक व्यक्ति से पूछने की तुलना में बेहतर उत्तर मिलता है। हालाँकि, इन समितियों को बनाने के तरीके में एक चालाक जाल होता है। यदि जजों को प्रशिक्षण के दौरान उत्तर कुंजी (answer key) देखने की अनुमति दी जाती है, तो वे वास्तव में पैटर्न सीखने के बजाय उत्तरों को रटने (memorizing) लग सकते हैं। इसे "डेटा लीकेज" (data leakage) कहा जाता है, और यह कंप्यूटर को कक्षा में तो बहुत स्मार्ट दिखाता है लेकिन वास्तविक दुनिया में बहुत खराब बना देता है।

यह शोध पत्र उस समिति को बनाने का एक नया तरीका पेश करता है, जिसे LFS-FRAME कहा जाता है। लेखकों, एस. पी. शर्मिला और अरुणा तिवारी ने एक ऐसा सिस्टम बनाया है जो दो बहुत अलग प्रकार के कंप्यूटर दिमागों को जोड़ता है: एक जो कोलमोगोरोव-आर्नोल्ड नेटवर्क (KAN) पर आधारित है, जो चिकने, बहते हुए आकारों को समझने में अच्छे कलाकार की तरह हैं, और दूसरा जो XGBoost पर आधारित है, जो एक नियम का पालन करने वाला जासूस है जो स्पष्ट निर्णय लेने में कुशल है। उनकी विधि की जादूगरी केवल इन दोनों को मिलाने में नहीं है; बल्कि इसमें भी है कि वे उन्हें कैसे प्रशिक्षित करते हैं। वे एक सख्त "आउट-ऑफ-फोल्ड" (out-of-fold) रणनीति का उपयोग करते हैं, जो यह सुनिश्चित करने जैसा है कि जज उन सवालों पर अभ्यास करें जिन्हें उन्होंने पहले कभी नहीं देखा है, ताकि वे नकल न कर सकें। यह सुनिश्चित करता है कि जब अंतिम "मुख्य जज" (meta-classifier) उनके वोटों को जोड़ता है, तो वह ईमानदार और निष्पक्ष राय पर आधारित होता है।

शोधकर्ताओं ने इस नए सिस्टम का परीक्षण 16 अलग-अलग श्रेणियों वाले एक चुनौतीपूर्ण डेटासेट पर किया, जिसमें कंप्यूटर मेमोरी में छिपे मैलवेयर (कंप्यूटर वायरस) शामिल थे। उन्होंने पाया कि उनकी "लीकेज-फ्री" टीम पिछले तरीकों की तुलना में इन ट्रिकी श्रेणियों को छांटने में काफी बेहतर थी। जबकि पुराने तरीके संघर्ष करते थे जब श्रेणियों की संख्या बढ़ती थी और सटीकता गिर जाती थी, LFS-FRAME मजबूत बना रहा। 16 अलग-अलग वर्गों के एक परीक्षण में, उनकी विधि ने 81.74% की सटीकता प्राप्त की, और 4 व्यापक समूहों को देखते हुए, इसने 89.85% तक का आंकड़ा छुआ। यह सुझाव देता है कि जटिल डेटा को छांटने के लिए अपने प्रशिक्षण को ईमानदार रखकर और सुचारू शिक्षण को नियम-आधारित शिक्षण के साथ मिलाकर, हम बहुत अधिक विश्वसनीय कंप्यूटर बना सकते हैं।

समस्या: धोखेबाज समिति

यह समझने के लिए कि यह शोध पत्र क्यों महत्वपूर्ण है, आइए उस समस्या को देखें जिसे यह ठीक करता है। मशीन लर्निंग की दुनिया में, "स्टैकिंग" (stacking) एक लोकप्रिय तकनीक है जहाँ आप कई अलग-अलग मॉडलों के भविष्यवाणियों को लेते हैं और उन्हें अंतिम निर्णय लेने के लिए एक अंतिम मॉडल में फीड करते हैं। इसे एक स्पोर्ट्स टीम की तरह समझें जहाँ एक स्ट्राइकर, एक डिफेंडर और एक गोलकीपर है। आप उन सभी से पूछते हैं, "हमें टीम के लिए किसे चुनना चाहिए?" और फिर एक कोच (meta-learner) उनके जवाबों के आधार पर अंतिम फैसला लेता है।

समस्या तब आती है जब कोच को उन उत्तरों का उपयोग करके प्रशिक्षित किया जाता है जो खिलाड़ियों ने अपने स्वयं के अभ्यास के दौरान दिए थे। यदि खिलाड़ियों ने उसी अभ्यास प्रश्न पर अभ्यास किया जिस पर कोच उनका परीक्षण कर रहा है, तो वे उत्तरों को रट सकते हैं। यह "डेटा लीकेज" है। कोच सोचता है कि टीम प्रतिभाशाली है क्योंकि उन्होंने अभ्यास परीक्षण में 100% प्राप्त किया, लेकिन जब वे नए प्रश्नों के साथ वास्तविक खेल का सामना करते हैं, तो वे बुरी तरह विफल हो जाते हैं।

लेखक तर्क देते हैं कि कई मौजूदा स्टैकिंग विधियां इस समस्या से ग्रस्त हैं। वे बेस मॉडलों को उस डेटा को देखने देते हैं जिसका उन्हें अनुमान लगाना होता है, जिससे स्कोर बढ़ जाता है और सुरक्षा का झूठा अहसास होता है। यह विशेष रूप से "मल्टीक्लास" समस्याओं में खतरनाक है, जहाँ चुनने के लिए कई श्रेणियाँ होती हैं। यदि सिस्टम नकल कर रहा है, तो यह 4 प्रकार के मैलवेयर को पहचानने में शानदार दिख सकता है लेकिन 16 श्रेणियों के बीच अंतर करने के लिए पूछा जाने पर बिखर सकता है।

समाधान: "नकल न करने का" नियम

शोध पत्र LFS-FRAME (लीकेज-फ्री स्टैक्ड फ्रेमवर्क) का प्रस्ताव करता है। मुख्य विचार सरल लेकिन शक्तिशाली है: किसी भी मॉडल को उस डेटा को देखने की अनुमति नहीं है जिसका वह अनुमान लगा रहा है।

वे इसे आउट-ऑफ-फोल्ड (OOF) ट्रेनिंग नामक तकनीक का उपयोग करके प्राप्त करते हैं। कल्पना कीजिए कि आपके पास ताश की एक गड्डी (आपका डेटा) है और आप इसे 5 ढेरों (folds) में विभाजित करते हैं।

1. आप अपने मॉडलों को प्रशिक्षित करने के लिए 4 ढेरों को लेते हैं।
2. आप 5वें ढेर को एक बॉक्स में छिपाकर रखते हैं।
3. आप मॉडलों को उस छिपे हुए 5वें ढेर के कार्डों की भविष्यवाणी करने के लिए कहते हैं। चूंकि उन्होंने ये कार्ड पहले नहीं देखे हैं, इसलिए उनकी भविष्यवाणियां ईमानदार हैं।
4. आप इस प्रक्रिया को दोहराते हैं, यह घुमाते हुए कि कौन सा ढेर छिपा हुआ है, जब तक कि हर कार्ड की भविष्यवाणी एक ऐसे मॉडल द्वारा न की जाए जिसने इसके आने का पता नहीं लगाया था।

इन "ईमानदार" भविष्यवाणियों का उपयोग फिर अंतिम "मुख्य जज" (meta-classifier) को प्रशिक्षित करने के लिए किया जाता है। क्योंकि मुख्य जज को उन भविष्यवाणियों पर प्रशिक्षित किया गया था जो उन मॉडलों द्वारा की गई थीं जिन्होंने विशिष्ट डेटा बिंदुओं को कभी नहीं देखा था, इसलिए कोई धोखाधड़ी नहीं है। सिस्टम अपने सदस्यों की ताकत को बिना रटे हुए उत्तरों पर निर्भर हुए संयोजित करना सीखता है।

टीम: कलाकार और जासूस

लेखकों ने केवल प्रशिक्षण पद्धति को ही ठीक नहीं किया; उन्होंने काम करने के लिए मॉडलों की एक बहुत ही विशिष्ट टीम भी चुनी। उन्होंने महसूस किया कि विभिन्न समस्याओं के लिए विभिन्न प्रकार की सोच की आवश्यकता होती है।

• कलाकार (KAN): उन्होंने कोलमोगोरोव-आर्नल्ड नेटवर्क (KANs) का उपयोग किया। KANs को उन कलाकारों के रूप में सोचें जो चिकने, बहते हुए संबंधों को समझने में बहुत अच्छे हैं। वे देख सकते हैं कि चर (variables) एक निरंतर वक्र (curve) में एक साथ कैसे बदलते हैं। वे "बड़ी तस्वीर" और जटिल, गैर-रेखीय पैटर्न को पकड़ने में माहिर हैं। हालाँकि, वे कभी-कभी अचानक होने वाले बदलावों या बहुत विशिष्ट नियमों के साथ संघर्ष करते हैं।
• जासूस (XGBoost): उन्होंने XGBoost का उपयोग किया, जो निर्णय वृक्षों (decision trees) पर आधारित एक शक्तिशाली उपकरण है। XGBoost को एक ऐसे जासूस के रूप में सोचें जो नियमों की एक सख्त चेकलिस्ट का पालन करता है। "यदि दरवाजा खुला है, तो खिड़की की जाँच करें। यदि खिड़की टूटी हुई है, तो पुलिस को बुलाएं।" यह तीखे, स्पष्ट निर्णय लेने और विशिष्ट, नियम-आधारित पैटर्न को संभालने में उत्कृष्ट है।

KAN और XGBoost को मिलाकर, सिस्टम दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करता है। KAN डेटा में चिकने, जटिल वक्रों को संभालता है, जबकि XGBoost तीखे, स्पष्ट सीमाओं को संभालता है। "मुख्य जज" यह सीखने के लिए सीखता है कि सर्वोत्तम अंतिम निर्णय लेने के लिए कलाकार की अंतर्दृष्टि और जासूस के नियमों को कैसे तौलना है।

परिणाम: यह साबित करना कि यह काम करता है

लेखकों ने अपने नए सिस्टम का परीक्षण CIC-MalMem-2022 नामक एक डेटासेट पर किया, जिसमें कंप्यूटर हमलों से संबंधित मेमोरी डेटा शामिल है। उन्होंने परीक्षण के दो संस्करण बनाए: एक 4 क्लास (व्यापक श्रेणियां) के साथ और दूसरा 16 क्लास (बहुत विशिष्ट उप-श्रेणियां) के साथ।

उन्होंने अपने LFS-FRAME की तुलना अन्य विधियों से की जो पहले उपयोग की गई थीं, जैसे:

• HyStack Ensemble: एक पिछला स्टैकिंग तरीका।
• Hybrid CNN-BiLSTM: एक डीप लर्निंग दृष्टिकोण।
• SMOTE-DNN: एक विधि जो डेटा को संतुलित करने का प्रयास करती है।
• Random Forest with Hyperparameter Tuning: एक क्लासिक नियम-आधारित दृष्टिकोण।

यहाँ उन्हें क्या मिला:

• 4-क्लास टेस्ट में: नई विधि ने 89.85% की सटीकता प्राप्त की। यह Random Forest पद्धति (जिसने 89.07% प्राप्त किया) से थोड़ा बेहतर था और डीप लर्निंग विधियों से काफी बेहतर था।
• 16-क्लास टेस्ट में (कठिन हिस्सा): यहीं पर अन्य विधियां टूटने लगीं। जैसे-जैसे श्रेणियों की संख्या बढ़ी, अन्य विधियों की सटीकता तेजी से गिरी।
  • HyStack विधि 4 क्लास में 85.04% से गिरकर 16 क्लास में 70.29% पर आ गई।
  • Random Forest पद्धति 89.07% से गिरकर 68.2% पर आ गई।
  • डीप लर्निंग विधियां भी संघर्ष करती रहीं, जो 60-70% की सीमा में गिर गईं।
  • LFS-FRAME, हालांकि, अपनी स्थिति बनाए रखने में सफल रहा। इसने 16-क्लास टेस्ट में 81.74% सटीकता हासिल की।

लेखक सुझाव देते हैं कि उनके तरीके के सफल होने के पीछे दो कारण हैं। पहला, डेटा लीकेज को रोककर, उन्होंने यह सुनिश्चित किया कि सिस्टम वास्तव में पैटर्न सीख रहा है न कि उत्तरों को रट रहा है। दूसरा, KAN के सुचारू शिक्षण को XGBoost की नियम-आधारित शक्ति के साथ मिलाकर, उन्होंने एक ऐसा सिस्टम बनाया जो 16 अलग-अलग श्रेणियों की जटिलता को बिना भ्रमित हुए संभालने में सक्षम था।

यह क्यों मायने रखता है

शोध पत्र निष्कर्ष निकालता है कि यह दृष्टिकोण जटिल वर्गीकरण समस्याओं को संभालने का एक अधिक विश्वसनीय तरीका प्रदान करता है। वास्तविक दुनिया में, विशेष रूप से साइबर सुरक्षा जैसे क्षेत्रों में जहाँ मैलवेयर लगातार बदल रहा है, आप एक ऐसे सिस्टम की परवाह नहीं कर सकते जो लैब में स्मार्ट दिखता है लेकिन फील्ड में विफल हो जाता है। एक "लीकेज-फ्री" रणनीति का उपयोग करके, लेखक एक ऐसा ढांचा प्रदान करते हैं जो यह सटीक अनुमान देता है कि एक मॉडल कैसा प्रदर्शन करेगा।

हालाँकि, इस पद्धति के लिए थोड़ा अधिक कंप्यूटिंग पावर की आवश्यकता होती है क्योंकि डेटा लीकेज को रोकने के लिए अलग-अलग उपसमुच्चयों (subsets) पर मॉडलों को कई बार प्रशिक्षित करने के अतिरिक्त चरणों की आवश्यकता होती है, लेखक तर्क देते हैं कि यह लागत सार्थक है। यह उन "अति-आशावादी" परिणामों को रोकता है जो अन्य विधियों को प्रभावित करते हैं और एक ऐसा सिस्टम बनाता है जो मजबूत, सामान्यीकरण योग्य (generalizable) और वास्तविक दुनिया के लिए तैयार है। अध्ययन बताता है कि कठिन मल्टीक्लास समस्याओं के लिए, एक सख्त ईमानदार प्रशिक्षण वातावरण में विभिन्न प्रकार की शिक्षण शैलियों को मिलाना एक जीतने वाली रणनीति है।