QC-SMOTE: Quality-Controlled SMOTE for Imbalanced Classification

तकनीकी सारांश: QC-SMOTE: असंतुलित वर्गीकरण के लिए गुणवत्ता-नियंत्रित SMOTE

1. समस्या विवरण (Problem Statement)

वर्ग असंतुलन (Class imbalance) सुपरवाइज्ड लर्निंग में एक महत्वपूर्ण चुनौती बना हुआ है, विशेष रूप से धोखाधड़ी का पता लगाने (fraud detection), चिकित्सा निदान (medical diagnosis), और विसंगति का पता लगाने (anomaly detection) जैसे डोमेन में जहाँ अल्पसंख्यक वर्ग (minority class) दुर्लभ लेकिन परिणामी घटनाओं का प्रतिनिधित्व करता है। असंतुलित डेटा पर प्रशिक्षित मानक क्लासिफायर अक्सर बहुसंख्यक वर्ग (majority class) की ओर पक्षपाती हो जाते हैं, जिससे वे अल्पसंख्यक पैटर्न को पहचानने में विफल रहते हैं। हालांकि डेटा-स्तरीय रीसैंपलिंग विधियाँ, विशेष रूप से सिंथेटिक माइनॉरिटी ओवर-सैंपलिंग तकनीक (SMOTE), अल्पसंख्यक नमूनों के बीच इंटरपोलेशन (interpolation) करके इसे संबोधित करने के लिए व्यापक रूप से उपयोग की जाती हैं, लेकिन वे एक मौलिक ज्यामितीय सीमा से ग्रस्त हैं।

SMOTE यह मानता है कि पास के अल्पसंख्यक बिंदुओं के बीच इंटरपोलेशन स्वाभाविक रूप से सुरक्षित है। हालाँकि, व्यवहार में, अल्पसंख्यक नमूने अक्सर वर्ग सीमाओं के पास, ओवरलैपिंग क्षेत्रों में, या अलग-थलग आउटलेर्स (outliers) के रूप में स्थित होते हैं। ऐसे बिंदुओं से इंटरपोलेट करने से ऐसे सिंथेटिक नमूने उत्पन्न हो सकते हैं जो संदिग्ध, शोर युक्त (noisy), या वास्तविक अल्पसंख्यक संरचना की तुलना में बहुसंख्यक वितरण के अधिक करीब होते हैं। मौजूदा वेरिएंट्स सीमाओं पर ध्यान केंद्रित करने (जैसे, Borderline-SMOTE) या घनत्व (जैसे, Safe-Level-SMOTE) के माध्यम से इसे कम करने का प्रयास करते हैं, लेकिन वे अक्सर एक एकल प्रमुख सिद्धांत (जैसे, सीमा सं énfasis या क्लस्टरिंग) पर निर्भर करते हैं और नमूना-स्तर की विश्वसनीयता, उम्मीदवार-स्तर के गुणवत्ता मूल्यांकन और शासन-अनुकूली पीढ़ी (regime-adaptive generation) को एक एकीकृत प्रक्रिया में जोड़ने में विफल रहते हैं। फलस्वरूप, वे या तो विरल क्षेत्रों में शोर को बढ़ा सकते हैं या केवल सुरक्षित घने क्षेत्रों में विविधता को कम कर सकते हैं।

2. कार्यप्रणाली: QC-SMOTE (Methodology: QC-SMOTE)

लेखक QC-SMOTE का प्रस्ताव करते हैं, जो एक गुणवत्ता-नियंत्रित ओवरसैंपलिंग फ्रेमवर्क है जो ध्यान मात्रा-संचालित ओवरसैंपलिंग से हटाकर गुणवत्ता-जागरूक डेटा निर्माण पर केंद्रित करता है। यह विधि चार एकीकृत चरणों के माध्यम से कार्य करती है:

A. पड़ोस विश्वसनीयता अनुमान (Neighbourhood Trustworthiness Estimation)
सभी अल्पसंख्यक नमूनों के साथ समान व्यवहार करने के बजाय, QC-SMOTE एक संयुक्त पड़ोस विश्वसनीयता स्कोर $T(x_i)$ का उपयोग करके प्रत्येक अल्पसंख्यक नमूने $x_i$ की विश्वसनीयता का अनुमान लगाता है। यह स्कोर तीन मेट्रिक्स को जोड़ता है:

1. सेफ-लेवल सपोर्ट ($S$): $k$-निकटतम पड़ोस में लक्षित-वर्ग के पड़ोसियों का अनुपात।
2. स्थानीय घनत्व ($D$): अल्पसंख्यक पड़ोसियों की औसत दूरी का व्युत्क्रम, जो सघन क्षेत्रों को प्राथमिकता देता है।
3. बहुसंख्यक से अलगाव ($R$): गैर-लक्षित (बहुसंख्यक) पड़ोसियों से औसत दूरी, यह सुनिश्चित करना कि नमूना विरोधी वर्ग की सीमा के बहुत करीब न हो।
   इन घटकों को सामान्यीकृत और भारित (weighted) किया जाता है ताकि एक अंतिम स्कोर प्राप्त हो सके। उच्च विश्वसनीयता वाले नमूनों को पीढ़ी के लिए विश्वसनीय बीज (seeds) माना जाता है, जबकि अलग-थलग या सीमा-दूषित नमूनों को कम स्कोर दिया जाता है।

B. विश्वसनीयता-भारित आवंटन (Reliability-Weighted Allocation)
सभी अल्पसंख्यक बीजों पर समान रूप से पीढ़ी करने के बजाय, QC-SMOTE विश्वसनीयता स्कोर के आधार पर पीढ़ी के प्रयास को आवंटित करता है। उच्च-विश्वास वाले नमनों को अधिक पीढ़ी प्रयासों के लिए असाइन किया जाता है, जबकि निम्न-विश्वास वाले आउटलेर्स को दबा दिया जाता है। यह सुनिश्चित करता है कि सिंथेटिक डेटा फीचर स्पेस के ज्यामितीय रूप से विश्वसनीय क्षेत्रों में केंद्रित हो।

C. IPQ-निर्देशित बेस्ट-ऑफ-$K$ उम्मीदवार चयन (IPQ-Guided Best-of-$K$ Candidate Selection)
प्रत्येक चयनित बीज-पड़ोसी युग्म के लिए, QC-SMOTE केवल एक यादृच्छिक इंटरपोलेशन स्वीकार नहीं करता है। इसके बजाय, यह स्वीकृति से पहले इंटरपोलेशन शुद्धता और गुणवत्ता (IPQ) मेट्रिक का उपयोग करके $K$ उम्मीदवार नमूने उत्पन्न करता है और उनका मूल्यांकन करता है। मूल्यांकन में शामिल है:

• स्थानीय शुद्धता (Local Purity): उम्मीदवार के लिए लक्षित-वर्ग के पड़ोसियों के अनुपात को मापना।
• मिडपॉइंट शुद्धता (Midpoint Purity): यह सुनिश्चित करने के लिए बीज और उसके पड़ोसी के बीच मिडपॉइंट की शुद्धता का मूल्यांकन करना कि इंटरपोलेशन पथ संदिग्ध क्षेत्रों को पार न करे।
• बहुसंख्यक स्पष्टता (Majority Clearance): यह मापने के लिए कि क्या उम्मीदवार विरोधी वर्ग के किसी भी नमूने से पर्याप्त रूप से अलग है।
  उच्चतम संयुक्त गुणवत्ता स्कोर वाले उम्मीदवार का चयन किया जाता है।

D. शासन-अनुकूली पीढ़ी और क्रमिक गिरावट (Regime-Adaptive Generation and Graceful Degradation)
यह विधि स्थानीय और वैश्विक असंतुलन अनुपात ($IR$) और ओवरलैप स्कोर ($OV$) के आधार पर अपने व्यवहार को अनुकूलित करती है।

• स्वच्छ, कम-ओवरलैप शासन (Clean, low-overlap regimes) में: यह व्यापक इंटरपोलेशन रेंज और कम उम्मीदवार जाँचों का उपयोग करता है।
• उच्च-ओवरलैप या गंभीर असंत्वित शासन (High-overlap or severe imbalance regimes) में: यह इंटरपोलेशन रेंज को कम करता है, उम्मीदवारों की संख्या ($K$) बढ़ाता है, और सख्त गुणवत्ता जाँच लागू करता है।
• क्रमिक गिरावट (Graceful Degradation): यदि उच्चतम-स्कोरिंग वाला उम्मीदवार शुद्धता या स्पष्टता थ्रेसहोल्ड (जो यह दर्शाता है कि स्थानीय ज्यामिति इंटरपोलेशन के लिए बहुत अविश्वसनीय है) को पूरा करने में विफल रहता है, तो विधि स्थानीय पड़ोस में सबसे विश्वसनीय अल्पसंख्यक नमूने को डुप्लिकेट करने पर वापस चली जाती है। यह शोर वाले क्षेत्रों में हानिकारक सिंथेटिक बिंदुओं के इंजेक्शन को रोकता है।

3. मुख्य योगदान (Key Contributions)

पेपर चार प्राथमिक योगदानों को रेखांकित करता है:

1. संयुक्त विश्वसनीयता स्कोर (Composite Trustworthiness Score): एक नवीन मेट्रिक जो स्थानीय घनत्व, सेफ-लेवल विशेषताओं और बहुसंख्यक वर्ग से अलगाव को एकीकृत करके अल्पसंख्यक-नमूना विश्वसनीयता को स्पष्ट रूप से मॉडल करता है।
2. IPQ-निर्देशित बेस्ट-ऑफ-$K$ तंत्र: एक उम्मीदवार चयन रणनीति जो सरल एंडपॉइंट इंटरपोलेशन से आगे बढ़कर, सिंथेटिक नमूनों को स्वीकार करने से पहले इंटरपोलेशन क्षेत्रों (मिडपॉइंट सहित) की गुणवत्ता का मूल्यांकन करती है।
3. शासन-अनुकूली रणनीति (Regime-Adaptive Strategy): एक पीढ़ी ढांचा जो असंतुलन और वर्ग ओवरलैप की गंभीरता के आधार पर इंटरपोलेशन रेंज और चयन मानदंडों को गतिशील रूप से समायोजित करता है, जिसमें असुरक्षित होने पर डुप्लिकेशन के लिए फॉलबैक तंत्र भी शामिल है।
4. एकीकृत ढांचा (Unified Framework): एक व्यावहारिक दृष्टिकोण जो नमूना-स्तर की विश्वसनीयता, उम्मीदवार-स्तर की गुणवत्ता और शासन अनुकूलन को जोड़ता है, जो उन विधियों की सीमाओं को संबोधित करता है जो एकल सिद्धांतों पर निर्भर हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने बार-बार स्ट्रैटिफाइड क्रॉस-वैलिडेशन का उपयोग करके 30 वास्तविक दुनिया के बाइनरी असंतुलित डेटासेट (हल्के से गंभीर असंतुलन अनुपात तक) पर QC-SMOTE का मूल्यांकन किया। इसकी तुलना SMOTE-आधारित बेसलाइन्स के एक विस्तृत सेट के विरुद्ध की गई, जिसमें हालिया स्पेस-क्वालिटी-अवेयर वेरिएंट जैसे VS-SMOTE भी शामिल हैं।

• समग्र प्रदर्शन: QC-SMOTE ने तुलना किए गए सभी तरीकों में सबसे मजबूत औसत AUC-ROC (0.9321) और मैक्रो F1 (0.8408) प्राप्त किया, जिसने 30 डेटासेट में AUC-ROC में 29 जीत और मैक्रो F1 में 17 जीत हासिल की।
• असंतुलन शासन (Imbalance Regimes): प्रदर्शन में सुधार मध्यम और गंभीर असंतुलन शासन में सबसे अधिक स्पष्ट था। उच्च-असंतुलन सेटिंग्स (IR $\ge$ 15) में, QC-SMOTE ने मैक्रो F1 को VS-SMOTE के 0.7018 से बढ़ाकर 0.7621 कर दिया, जो यह दर्शाता है कि जब अल्पसंख्यक नमूने विरल होते हैं और साधारण इंटरपोलेशन अविश्वसनीय होता है, तो यह कितना प्रभावी है।
• एब्लेशन अध्ययन (Ablation Studies): प्रमुख घटकों (विश्वसनीयता वेटिंग, विश्वसनीयता आवंटन, IPQ मिडपॉइंट शुद्धता, या शुद्धता फ़िल्टरिंग) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, विशेष रूप से उच्च-असंतुलन सेटिंग्स में। यह पुष्टि करता है कि विश्वसनीयता अनुमान और उम्मीदवार-स्तर के गुणवत्ता नियंत्रण का संयोजन आवश्यक है।
• दक्षता (Efficiency): हालांकि QC-SMOTE मानक SMOTE की तुलना में धीमा है (उम्मीदवार मूल्यांकन के कारण), यह VS-SMOTE की तुलना में काफी अधिक कुशल है (SMOTE की तुलना में लगभग 39.5$\times$ धीमा बनाम VS-SMOTE के लिए 208.7$\times$ धीमा), जो प्रदर्शन और कम्प्यूटेशनल लागत के बीच एक अनुकूल ट्रेड-ऑफ प्रदान करता है।
• सांख्यिकीय महत्व (Statistical Significance): पेयरवाइज विल्कोक्सन साइन्ड-रैंक टेस्ट ने पुष्टि की कि QC-SMOTE सभी बेसलाइन्स पर AUC-ROC में सांख्यिकीय रूप से महत्वपूर्ण सुधार प्रदान करता है। मैक्रो F1 के लिए, यह अधिकांश बेसलाइन्स से काफी बेहतर था, हालांकि VS-SMOTE के साथ अंतर 0.05 के स्तर पर सांख्यिकीय रूप से महत्वपूर्ण नहीं था, जो यह दर्शाता है कि यह सबसे मजबूत मौजूदा तरीकों के साथ अत्यधिक प्रतिस्पर्धी है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि QC-SMOTE "मात्रा-संचालित" ओवरसैंपलिंग से "गुणवत्ता-जागरूक" डेटा निर्माण की ओर शिफ्ट होकर असंतुलित लर्निंग में एक महत्वपूर्ण अंतर को संबोधित करता है। लेखक तर्क देते हैं कि असंतुलित वर्गीकरण में प्रदर्शन में लाभ केवल अल्पसंख्यक नमूनों की संख्या बढ़ाने से नहीं, बल्कि उन क्षेत्रों की विश्वसनीयता को नियंत्रित करने से आता है जहाँ वे नमूने उत्पन्न किए जाते हैं।

इस कार्य का महत्व इस बात के प्रदर्शन में निहित है कि सिंथेटिक ओवरसैंपलिंग सबसे प्रभावी तब होती है जब इसे संयुक्त रूप से निर्देशित किया जाता है:

1. नमूना विश्वसनीयता (यह अनुमान लगाना कि कौन से बीज विश्वसनीय हैं)।
2. उम्मीदवार गुणवत्ता (इंटरपोलेशन पथ और परिणामी बिंदु का मूल्यांकन करना)।
3. स्थानीय शासन अनुकूलन (ओवरलैप और असंतुलन की गंभीरता के आधार पर व्यवहार को समायोजित करना)।

इन तत्वों को एकीकृत करके, QC-SMOTE का लक्ष्य विषम डेटा स्थितियों, विशेष रूप से उच्च-असंतुलन सेटिंग्स में, अधिक विश्वसनीय सिंथेटिक ओवरसैंपलिंग बनाना है जहाँ कुछ अविश्वसनीय सिंथेटिक नमूने निर्णय सीमा (decision boundary) को असंगत रूप से विकृत कर सकते हैं। लेखक QC-SMOTE को एक मजबूत विकल्प के रूप में प्रस्तुत करते हैं जो शोर प्रवर्धन (noise amplification) के खतरों से बचते हुए क्लासिफायर-अग्नोस्टिक एकीकरण बनाए रखता है।