🤖 machine learning

Mitigating The Effect of Class Imbalance in Data with Hierarchical and Dependable Structure

यह शोध पत्र एक Hierarchy-Aware RoBERTa फ्रेमवर्क प्रस्तावित करता है जो CWE भेद्यता वर्गीकरण (vulnerability classification) में क्लास इम्बैलेंस को प्रभावी ढंग से कम करने के लिए लर्नबल पैरेंट-क्लास एम्बेडिंग्स का लाभ उठाता है, यह प्रदर्शित करते हुए कि पदानुक्रमित संरचना (hierarchical structure) को शामिल करना पारंपरिक ओवरसैंपलिंग तकनीकों से बेहतर प्रदर्शन करता है जो अक्सर मॉडल के प्रदर्शन को खराब कर देती हैं।

मूल लेखक: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

प्रकाशित 2026-07-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो कंप्यूटर सुरक्षा खामियों के सुरागों के विशाल ढेर को सुलझाने की कोशिश कर रहे हैं। ये खामियां एक विशाल पारिवारिक वृक्ष (family tree) के रूप में व्यवस्थित हैं जिसे कॉमन वीकनेस एन्यूमरेशन (CWE) कहा जाता है। इस पेड़ के शीर्ष पर "बेस" (Base) जैसी व्यापक श्रेणियां हैं (जो बड़ी तस्वीर दिखाती हैं), और जैसे-जैसे आप नीचे जाते हैं, शाखाएं अधिक विशिष्ट होती जाती हैं, जो "कंपाउंड" (Compound) या "पिलर" (Pillar) जैसे बहुत छोटे और दुर्लभ पत्तों पर समाप्त होती हैं।

समस्या क्या है? जासूस का सबूत बैग पूरी तरह से असंतुलित है। बड़ी, आम श्रेणियों के लिए सैकड़ों सुराग हैं, लेकिन दुर्लभ, विशिष्ट श्रेणियों के लिए केवल कुछ ही सुराग हैं। यह एक ऐसी लाइब्रेरी की तरह है जिसमें "फ्रूट" (फल) के बारे में 500 किताबें हैं लेकिन "ड्रैगनफ्रूट" के बारे में केवल 5 किताबें। यदि आप किसी कंप्यूटर को इन्हें छांटना सिखाने की कोशिश करते हैं, तो वह आलसी हो जाएगा और बार-बार "फ्रूट" का ही अनुमान लगाएगा, क्योंकि वह उसे सबसे अधिक बार देखता है।

द "फेक क्ल्यू" एक्सपेरिमेंट (जो काम नहीं आया)

इसे ठीक करने के लिए, कई विशेषज्ञों ने ओवरसैंपलिंग (oversampling) नामक एक चाल आजमाई। उन्होंने कुछ दुर्लभ सुरागों को लिया और उन्हें समान संख्या दिखाने के लिए नए, नकली सुराग बनाने की कोशिश की। उन्होंने दो लोकप्रिय तरीकों का उपयोग किया: SMOTE और ADASYN।

इसे एक शेफ की तरह समझें जो सूप को ऐसा स्वाद देने की कोशिश कर रहा है जैसे उसमें दुर्लभ मसाले हों। असली मसालों को खोजने के बजाय, वे दो मौजूदा मसालों के दानों को लेते हैं, उन्हें आपस में मिलाते हैं, और उम्मीद करते हैं कि नया मिश्रण असली स्वाद देगा।

इस पेपर ने अलग-अलग प्रकार के "डिटेक्टिव्स" (कंप्यूटर मॉडल) पर इसका परीक्षण किया:

पुराने जमाने के डिटेक्टिव्स (रैंडम फॉरेस्ट और SVM): ये मॉडल उन जासूसों की तरह हैं जो तथ्यों की सरल सूचियों को देखते हैं। जब उन्हें नकली मिश्रित मसालों के साथ खिलाया गया, तो उन्हें एक मामूली बढ़त मिली। रैंडम फॉरेस्ट के लिए उनकी सटीकता 0.65 से बढ़कर 0.69 हो गई, और सपोर्ट वेक्टर मशीन (SVM) 0.71–0.72 के आसपास स्थिर रही। इसने थोड़ी मदद की, लेकिन बहुत ज्यादा नहीं।
हाई-टेक डिटेक्टिव्स (CNN और BiGRU): ये स्मार्ट, डीप-लर्निंग मॉडल हैं जो समझते हैं कि शब्द एक साथ कैसे बहते हैं। जब शोधकर्ताओं ने उन्हें नकली मिश्रित मसाले खिलाए, तो परिणाम विनाशकारी रहे। SMOTE के साथ CNN की सटीकता 0.71 से गिरकर 0.55 और ADASYN के साथ 0.51 हो गई। BiGRU 0.70 से गिरकर 0.53 और 0.44 पर आ गया।

क्यों? पेपर का तर्क है कि ये हाई-टेक मॉडल उन शेफ की तरह हैं जो असली मसाले और नकली मिश्रण के बीच अंतर पहचान सकते हैं। जब आप एक नकली एक को बनाने के लिए दो अलग-अलग कंप्यूटर "शब्दों" को मिलाते हैं, तो आप पारिवारिक वृक्ष के नियमों को तोड़ देते हैं। आप एक ऐसा "वेरिएंट" बना सकते हैं जो दावा करता है कि वह एक "बेस" का बच्चा है, लेकिन वह नकली मिश्रण वास्तव में उस पैरेंट-चाइल्ड संबंध का सम्मान नहीं करता है। यह "एप्पल" और "बनाना" को मिलाकर "ड्रैगनफ्रूट" बनाने की कोशिश करने जैसा है। परिणाम ड्रैगनफ्रूट नहीं होगा; यह एक भ्रमित करने वाला ढेर होगा जो डिटेक्टिव को उलझा देता है।

द "फैमिली ट्री" सॉल्यूशन (जो वास्तव में काम आया)

नकली सुराग बनाने के बजाय, लेखकों ने एक नया डिटेक्टिव बनाया जिसे हायरार्की-अवेयर रोबर्टा (Hierarchy-Aware RoBERTa) कहा गया।

कल्पना कीजिए कि इस डिटेक्टिव की जेब में पारिवारिक वृक्ष का एक विशेष मानचित्र (map) है। वे केवल सुराग को पढ़ते नहीं हैं; वे यह भी देखते हैं कि "रुको, यदि यह सुराग एक 'बेस' कमजोरी के बारे में है, तो उत्तर निश्चित रूप से उस पैरेंट से संबंधित होना चाहिए।"

यह मॉडल इस प्रकार काम करता है:

यह खामत के टेक्स्ट विवरण को पढ़ता है (एक शक्तिशाली टूल जिसका नाम सिक्योरबर्ट (SecureBERT) है, उसका उपयोग करके)।
यह पारिवारिक वृक्ष से एक "पैरेंट आईडी" (Parent ID) लेता है (जैसे यह जानना कि यह सुराग "बेस" शाखा से संबंधित है)।
यह अंतिम अनुमान लगाने के लिए टेक्स्ट रीडिंग को मैप लोकेशन के साथ जोड़ देता है।

परिणाम:
इस नए डिटेक्टिव को किसी भी नकली सुराग की आवश्यकता नहीं पड़ी। इसने बिना किसी डेटा ऑग्मेंटेशन के 0.76 का वेटेड F1-स्कोर प्राप्त किया।

इसकी तुलना मानक BERT मॉडल से करें, जिसने 0.74 स्कोर किया।
सबसे महत्वपूर्ण बात, दुर्लभ "क्लास" (Class) श्रेणी को देखें। मानक BERT मॉडल ने इस दुर्लभ समूह के लिए केवल 0.49 का F1-स्कोर प्राप्त किया। नए हायरार्की-अवेयर मॉडल ने इसे बढ़ाकर 0.60 कर दिया।

निचोड़ (The Bottom Line)

पेपर सुझाव देता है कि जब आपके पास डेटा का एक संरचित पारिवारिक वृक्ष होता है, तो मौजूदा टुकड़ों को मिलाकर "नकली" अधिक डेटा बनाने की कोशिश करना (ओवरसैंपलिंग) एक बुरा विचार है। यह सरल मॉडलों के लिए ठीक काम करता है लेकिन उन्नत मॉडलों को तोड़ देता है।

इसके बजाय, सबसे अच्छा दृष्टिकोण यह है कि मॉडल को शुरुआत से ही पारिवारिक वृक्ष की संरचना का सम्मान करना सिखाया जाए। उन्हें पैरेंट-चाइल्ड संबंधों का "मानचित्र" देकर, वे दुर्लभ और कठिन मामलों को सिंथेटिक शोर (synthetic noise) से डेटा भरने की तुलना में बहुत बेहतर तरीके से समझ सकते हैं।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि उनका सबसे अच्छा डिटेक्टिव भी सबसे दुर्लभ श्रेणियों, जैसे कि "कंपाउंड" और "पिलर", के साथ संघर्ष करता है, जिनमें क्रमशः केवल 8 और 5 सैंपल थे। इन अत्यंत दुर्लभ समूहों के लिए, सभी मॉडलों में F1-स्कोर 0.00 रहा, जो बताता है कि जब डेटा लगभग शून्य हो, तो पारिवारिक वृक्ष का नक्शा भी रहस्य सुलझाने के लिए पर्याप्त नहीं होता।

तकनीकी सारांश: पदानुक्रमित और निर्भर संरचना वाले डेटा में क्लास इम्बैलेंस (वर्ग असंतुलन) के प्रभाव को कम करना

समस्या विवरण

Common Weakness Enumeration (CWE) वर्गीकरण का उपयोग करके साइबर सुरक्षा कमजोरियों को वर्गीकृत करना दो प्राथमिक चुनौतियों को प्रस्तुत करता है: अत्यधिक क्लास इम्बैलेंस और कमजोरी श्रेणियों के बीच मजबूत पदानुक्रमित निर्भरता (hierarchical dependencies)। CWE टैक्सोनॉमी कमजोरियों को एब्स्ट्रैक्शन स्तरों (Base, Class, Pillar, Variant, Compound) में व्यवस्थित करती है, जहाँ ऊपरी-स्तर के नोड्स व्यापक अवधारणाओं का प्रतिनिधित्व करते हैं और निचले-स्तर के नोड्स विशिष्ट विवरणों का प्रतिनिधित्व करते हैं। व्यवहार में, कमजोरियों के कुछ प्रकार कॉर्पस पर हावी रहते हैं, जबकि दुर्लभ लेकिन उच्च-प्रभाव वाली श्रेणियाँ काफी कम प्रतिनिधित्व वाली रहती हैं।

BERT और RoBERTa जैसे ट्रांसफॉर्मर-आधारित एनकोडर ने CWE टेक्स्ट वर्गीकरण के लिए मजबूत बेसलाइन स्थापित की है, लेकिन वे क्लास इम्बैलेंस के कारण दुर्लभ श्रेणियों के साथ संघर्ष करते हैं। इसके अलावा, CWE लेबल में स्पष्ट पैरेंट-चाइल्ड निर्भरताएँ होती हैं (जैसे, एक "Variant" हमेशा एक "Base" का चाइल्ड होता है), जिसका अर्थ है कि उच्च एब्स्ट्रैक्शन स्तरों पर गलत वर्गीकरण नीचे की ओर प्रवाहित (cascade) होते हैं। इम्बैलेंस के पारंपरिक दृष्टिकोण, जैसे कि रैंडम ओवरसैंपलिंग, अंडरसैंपलिंग, और सिंथेटिक जनरेशन तकनीकें जैसे SMOTE और ADASYN, व्यापक रूप से अपनाए जाते हैं, लेकिन पदानुक्रमित, संरचित टेक्स्ट एम्बेडिंग पर उनकी प्रभावशीलता अभी भी काफी हद तक अनोखली (unexplored) है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या उच्च-आयामी (high-dimensional) एम्बेडिंग स्पेस में लीनियर इंटरपोलेशन, CWE पदानुक्रम के संरचनात्मक बाधाओं का सम्मान करता है।

कार्यप्रणाली (Methodology)

अध्ययन विभिन्न डेटा ऑग्मेंटेशन स्थितियों के तहत मॉडलों की एक श्रृंखला का मूल्यांकन करता है और एक नया आर्किटेक्चर प्रस्तावित करता है जो पदानुक्रमित संरचना को सीधे सीखने की प्रक्रिया में एकीकृत करता है।

1. प्रयोगात्मक बेसलाइन और ओवरसैंपलिंग

लेखकों ने एक असंतुलित पदानुक्रमित CWE डेटासेट पर मशीन लर्निंग (Random Forest, SVM), डीप लर्निंग (CNN, BiGRU), और ट्रांसफॉर्मर-आधारित (BERT) मॉडलों का अनुभवजन्य मूल्यांकन किया।

ओवरसैंपलिंग: SMOTE और ADASYN को विशेष रूप से केवल ट्रेनिंग सेट पर लागू किया गया। SMOTE ने $k$ -neighbors=2 का उपयोग करके सभी क्लासेस को 393 सैंपल्स तक समान बनाया, जबकि ADASYN ने लगभग समानता प्राप्त करने के लिए कठिन बाउंड्री क्षेत्रों पर सिंथेसिस को केंद्रित किया।
मॉडल:
- क्लासिकल ML: Random Forest (100 पेड़) और SVM (लीनियर कर्नेल)।
- डीप लर्निंग: CNN (128 फिल्टर्स, कर्नेल साइज [4,6,6]) और BiGRU (128 हिडन डायमेंशन)।
- ट्रांसफॉर्मर्स: BERT-base (uncased) और प्रस्तावित Hierarchy-Aware RoBERTa।
- ट्रेनिंग: सभी डीप लर्निंग मॉडलों को 15 इपोक के लिए बैच साइज 8 के साथ प्रशिक्षित किया गया।

2. प्रस्तावित दृष्टिकोण: Hierarchy-Aware RoBERTa

यह शोध एक Hierarchy-Aware RoBERça फ्रेमवर्क पेश करता है जो लर्नबल पैरेंट-क्लास एम्बेडिंग्स के माध्यम से CWE संरचनात्मक जानकारी को स्पष्ट रूप से शामिल करता है।

आर्किटेक्चर: मॉडल इनपुट टेक्स्ट से 768-डायमेंशनल [CLS] रिप्रजेंटेशन उत्पन्न करने के लिए प्री-ट्रेंड SecureBERT एनकोडर का उपयोग करता है।
Hierarchical Injection: एक लर्नबल पैरेंट-कैटेगरी एम्बेडिंग (24-डायमेंशनल) को पेश किया गया है ताकि मोटे-ग्रेन (coarse-grained) संरचनात्मक संबंधों को कैप्चर किया जा सके। यह एम्बेडिंग नेटवर्क के साथ संयुक्त रूप से प्रशिक्षित की जाती है।
फ्यूजन (Fusion): सिमेंटिक रिप्रजेंटेशन ( $h_{cls}$ ) और पदानुक्रमित संदर्भ ( $h_p$ ) को कॉनकेटिनेशन (concatenation) के माध्यम से फ्यूज किया जाता है: $h_f = [h_{cls}, h_p]$ ।
वर्गीकरण: फ्यूज किए गए रिप्रजेंटेशन को ड्रॉपआउट (0.3) के साथ रेगुलराइज किया जाता है और लॉगिट्स आउटपुट करने के लिए एक लीनियर क्लासिफिकेशन हेड में पास किया जाता है।
फॉर्मूलेशन: इस कार्य को एक स्वतंत्र भविष्यवाणी $P(Y_{child}|X_{text})$ के रूप में नहीं, बल्कि एक कंडीशनल प्रोबेबिलिटी समस्या $P(Y_{child}|X_{text}, Y_{parent})$ के रूप में फ्रेम किया गया है, जिसमें "Parent ID" का उपयोग स्ट्रक्चरल प्रायर के रूप में किया गया है।

मुख्य योगदान

अनुभवजन्य मूल्यांकन: अध्ययन एक असंतुलित पदानुक्रमित CWE डेटासेट पर SMOTE और ADASYN रीसैंपलिंग के तहत ML, DL, और Transformer मॉडलों का व्यापक मूल्यांकन प्रदान करता है।
सिंथेटिक इंटरपोलेशन का विश्लेषण: लेखक प्रदर्शित करते हैं कि उच्च-आयामी एम्बेडिंग स्पेस में सिंथेटिक इंटरपोलेशन अंतर्निहित पैरेंट-चाइल्ड बाधाओं का उल्लंघन करता है। क्लासिकल ML मॉडलों के लिए मामूली लाभ प्रदान करने के बावजूद, ये विधियाँ डीप लर्निंग आर्किटेक्चर के प्रदर्शन को लगातार कम करती हैं।
Hierarchy-Aware मॉडल: एक Hierarchy-Aware RoBERTa मॉडल का परिचय जो लर्नबल पैरेंट-क्लास एम्बेडिंग्स के माध्यम से CWE स्ट्रक्चरल प्रायर्स को इंजेक्ट करता है, जिससे सिमेंटिक कंटेंट और पदानुक्रमित संरचना का एंड-टू-एंड जॉइंट मॉडलिंग संभव होता है।
प्रदर्शन लाभ: प्रस्तावित मॉडल बिना डेटा ऑग्मेंटेशन के 0.76 का वेटेड F1-स्कोर प्राप्त करता है, जो सभी बेसलाइन्स से बेहतर है। विशेष रूप से, यह "Class" श्रेणी के लिए F1-स्कोर को 0.49 (BERT बेसलाइन) से बढ़ाकर 0.60 कर देता है।

परिणाम

ओवरसैंपलिंग प्रभाव:
- क्लासिकल ML: SMOTE और ADASYN ने Random Forest (एक्यूरेसी 0.65 से बढ़कर 0.69 हुई) और SVM (एक्यूरेसी 0.71–0.72 के आसपास स्थिर रही) के लिए कमजोर लेकिन सकारात्मक सुधार प्रदान किया।
- डीप लर्निंग: ओवरसैंपलिंग ने प्रदर्शन को लगातार कम किया। वैनिला CNN की एक्यूरेसी (0.71 से गिरकर SMOTE के साथ 0.55 और ADASYN के साथ 0.51) और BiGRU (0.70 से गिरकर 0.53 और 0.44) में गिरावट आई।
- ट्रांसफॉर्मर्स: BERT ने बिना ऑग्मेंटेशन के 0.74 एक्यूरेसी प्राप्त की। प्रस्तावित Hierarchy-Aware RoBERça ने 0.76 की उच्चतम एक्यूरेसी प्राप्त की।
प्रति-क्लास प्रदर्शन:
- प्रस्तावित मॉडल ने BERT (0.73), CNN (0.68 बेसलाइन), और BiGRU (0.69 बेसलाइन) की तुलना में उच्चतम वेटेड F1-स्कोर (0.76) प्राप्त किया।
- अल्पसंख्यक (minority) क्लासेस में महत्वपूर्ण लाभ देखे गए; उदाहरण के लिए, "Class" श्रेणी का F1-स्कोर BERT (0.49) से सुधरकर Hierarchy-Aware RoBERça (0.60) हो गया।
- अत्यंत विरल (sparse) श्रेणियाँ (Compound और Pillar) सभी मॉडलों में 0.00 F1 पर रहीं, जो गंभीर डेटा स्पैरसिटी के साथ सुपरवाइज्ड लर्निंग की सीमाओं को उजागर करती हैं।

महत्व और दावे

यह पेपर तर्क देता है कि पदानुक्रम-जागरूक रिप्रजेंटेशन लर्निंग (hierarchy-aware representation learning), संरचित भेद्यता वर्गीकरण के लिए ओवरसैंपलिंग का एक अधिक सिद्धांतवादी विकल्प है। लेखक दावा करते हैं कि सिंथेटिक इंटरपोलेशन तकनीकें (SMOTE/ADASYN) इस डोमेन में विफल रहती हैं क्योंकि:

वे ऐसे नमूने उत्पन्न करती हैं जिनमें उच्च-आयामी प्रासंगिक स्थानों (contextual spaces) में भाषाई सुसंगतता (linguistic coherence) का अभाव होता है।
वे CWE टैक्सोनॉमी की संरचनात्मक निर्भरताओं का उल्लंघन करती हैं (जैसे, एक "Variant" "Base" के बिना अस्तित्व में नहीं रह सकता), जिससे ऐसे स्ट्रक्चरल रूप से अमान्य एम्बेडिंग बनते हैं जो मॉडल को भ्रमित करते हैं।
वे नमूनों को एक फ्लैट फीचर स्पेस में स्वतंत्र संस्थाओं के रूप में मानती हैं, जिससे CWE के ट्री-स्ट्रक्चर्ड ग्राफ स्वभाव की अनदेखी होती है जहाँ त्रुटियाँ पैरेंट से चाइल्ड तक प्रवाहित होती हैं।

लर्नबल एम्बेडिंग्स के माध्यम से पैरेंट-चाइल्ड संबंध को स्पष्ट रूप से मॉडल करके, प्रस्तावित फ्रेमवर्क संरचनात्मक निरंतरता को लागू करता है और सिंथेटिक डेटा जनरेशन द्वारा उत्पन्न शोर के बिना अल्पसंख्यक और सिमेंटिक रूप से निर्भर क्लासेस के बीच भेदभाव में सुधार करता है।

सीमाएं

लेखक विनम्रतापूर्वक कई सीमाओं को स्वीकार करते हैं:

इन्फरेंस डिपेंडेंसी: मॉडल मानता है कि इन्फरेंस के दौरान पैरेंट-लेवल मेटाडेटा उपलब्ध है, जो कोर्स-टू-फाइन पाइपलाइनों के अनुरूप है लेकिन सभी परिदृश्यों के लिए उपयुक्त नहीं हो सकता है।
स्थिर पदानुक्रम (Static Hierarchy): पदानुक्रम को स्थिर माना जाता है; मॉडल बिना रिट्रेनिंग के नए या पुनर्व्यवस्थित नोड्स के लिए सामान्यीकरण (generalize) नहीं कर सकता है, क्योंकि CWE टैक्सोनॉमी में निरंतर अपडेट होते रहते हैं।
पदानुक्रम का दायरा: केवल प्रत्यक्ष पैरेंट जानकारी को कैप्चर किया गया है, जो मल्टी-हॉप पूर्वजों (ancestors), सिब्लिंग संबंधों और ट्री डेप्थ की उपेक्षा करता है, जिससे गहराई से नेस्टेड क्लासेस जैसे Compound और Pillar के प्रदर्शन को सीमित करता है।
पैरामीटर ओवरहेड: लर्नबल पैरेंट एम्बेडिंग्स मामूली पैरामीटर ओवरहेड जोड़ते हैं, जो बहुत बड़े टैक्सोनॉमी के स्केलिंग में बाधा डाल सकता है।
डोमेन विशिष्टता: दृष्टिकोण का मूल्यांकन केवल CWE डोमेन के भीतर किया गया था, जिससे इसकी अन्य पदानुक्रमित कार्यों के लिए सामान्यीकरण क्षमता अनुभवजन्य रूप से अपुष्ट (unvalidated) रह गई है।