🤖 machine learning

RUBRIC: Realism--Utility Balanced Ranking for Imbalanced Classification

यह शोध पत्र RUBRIC को प्रस्तुत करता है, जो एक जनरेटर-अज्ञेय (generator-agnostic) ढांचा है जो यथार्थता और उपयोगिता को संतुलित करके असंतुलित वर्गीकरण के लिए सिंथेटिक नमूना चयन को अनुकूलित करता है ताकि सामान्यीकरण सीमाओं (generalization bounds) को कड़ा किया जा सके और ROC-AUC से समझौता किए बिना F1-macro और रिकॉल जैसे प्रदर्शन मेट्रिक्स में सुधार किया जा सके।

मूल लेखक: Yanxuan Yu, Dong liu, Renata Borovica-Gajic, Ying Nian Wu

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yanxuan Yu, Dong liu, Renata Borovica-Gajic, Ying Nian Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल शहर में एक बहुत ही चालाक चोर को पकड़ने की कोशिश कर रहे हैं। इस शहर में लाखों कानून का पालन करने वाले नागरिक ("बहुसंख्यक वर्ग" या majority class) हैं, लेकिन केवल कुछ ही चोर ("अल्पसंख्यक वर्ग" या minority class) हैं। आपका काम एक ऐसी सुरक्षा प्रणाली बनाना है जो चोरों को पहचान सके बिना निर्दोष लोगों को संदिग्ध ठहराए।

समस्या क्या है? आपके पास चोरों की ट्रेनिंग करने के लिए पर्याप्त तस्वीरें नहीं हैं। इसलिए, आप चोरों की नकली तस्वीरें बनाने के लिए एक "फोटोकॉपी करने वाली मशीन" (एक ओवरसैंपलिंग जनरेटर) का उपयोग करने का निर्णय लेते हैं।

पुराना तरीका: "गुणवत्ता के बजाय मात्रा" की गलती
ज्यादातर लोग पहले सोचते थे, "मैं जितनी अधिक नकली चोरों की तस्वीरें बनाऊंगा, उतना ही बेहतर होगा!" वे हजारों सिंथेटिक चोर बनाने के लिए SMOTE जैसे उपकरणों का उपयोग करते थे। लेकिन यहाँ एक पेंच है: फोटोकॉपी करने वाली मशीन एकदम सही नहीं होती है। यह अक्सर धुंधली, अजीब या असंभव दिखने वाली नकली तस्वीरें उगलती है। कुछ ऐसी दिखती हैं जैसे वे किसी दूसरे आयाम से आई हों, और कुछ इतनी स्पष्ट होती हैं कि वे सिस्टम को कुछ नया नहीं सिखा पातीं।

यह शोध पत्र इस बात के खिलाफ तर्क देता है कि फोटोकॉपी करने वाली मशीन द्वारा बनाई गई हर एक नकली तस्वीर को बिना सोचे-समझे स्वीकार किया जाए। वास्तव में, लेखक सुझाव देते हैं कि बहुत अधिक निम्न-गुणवत्ता वाली नकली तस्वीरें जोड़ने से वास्तव में आपकी सुरक्षा प्रणाली भ्रमित हो सकती है और उसका काम खराब हो सकता है। वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि "अधिक सिंथेटिक डेटा हमेशा बेहतर होता है।"

नया समाधान: RUBRIC (एक "गुणवत्ता नियंत्रण" निरीक्षक)
यहाँ RUBRIC आता है। इसे एक नए फोटोकॉपी करने वाले के रूप में नहीं, बल्कि एक सुपर-स्मार्ट गुणवत्ता नियंत्रण निरीक्षक (Quality Control Inspector) के रूप में देखें जो फोटोकॉपी मशीन और आपकी सुरक्षा प्रणाली के बीच खड़ा है।

RUBRIC इस बात की परवाह नहीं करता कि नकली तस्वीरें कैसे बनाई गईं; यह बस अंतिम ढेर को देखता है और प्रत्येक नकली चोर के लिए दो सवाल पूछता है:

"यथार्थता" (Realism) की जाँच: "क्या यह हमारे शहर के एक असली व्यक्ति जैसा दिखता है?"
- RUBRIC एक विशेष "जज" (डिस्क्रिमिनेटर) का उपयोग करता है जिसने असली चोरों को देखा है और जानता है कि वे कैसे दिखते हैं। यदि कोई नकली फोटो बहुत अजीब या नकली दिखती है, तो जज उसे कम स्कोर देता है।
"उपयोगिता" (Utility) की जाँच: "क्या यह फोटो सीखने के लिए वास्तव में मददगार है?"
- RUBRIC पूछता है: "क्या यह चोर ठीक उस सीमा पर खड़ा है जहाँ सिस्टम भ्रमित होता है?" सबसे मददगार तस्वीरें वे होती हैं जिन्हें पहचानना कठिन होता है—जो "सुरक्षित" और "संदिग्ध" के बीच की सीमा पर होती हैं। बहुत स्पष्ट, आसानी से पहचाने जाने वाले (या जो असली चोरों से बिल्कुल अलग दिखते हैं) चोरों की तस्वीरें यहाँ कम स्कोर पाती हैं।

द ग्रेट फिल्टर (The Great Filter)
RUBRIC इन दोनों स्कोर को एक एकल रैंकिंग में जोड़ता है। इसके बाद, यह केवल सबसे अच्छे नकली फोटो चुनने के लिए चुनता है और बाकी को हटा देता है। यह एक सख्त संपादक की तरह है जो किसी लेखक के ड्राफ्ट का 90% हिस्सा इसलिए फेंक देता है क्योंकि केवल शीर्ष 10% ही प्रकाशित करने के लिए पर्याप्त अच्छे होते हैं।

शोध पत्र ने क्या पाया (परिणाम)
लेखकों ने वास्तविक दुनिया के डेटा, जैसे क्रेडिट कार्ड धोखाधड़ी का पता लगाने (जहाँ उन्होंने स्कैम खोजने के लिए लाखों लेनदेन देखे) पर इस विचार का परीक्षण किया।

अच्छी खबर: जब उन्होंने नकली डेटा को फ़िल्टर करने के लिए RUBRIC का उपयोग किया, तो उनकी प्रणालियाँ वास्तविक चोरों को पकड़ने में बहुत बेहतर हो गईं (जिससे "Recall" और "F1" स्कोर में सुधार हुआ)। उन्होंने पाया कि चुनिंदा होने से, वे शोर (noise) से भ्रमित हुए बिना अधिक अपराधियों को पकड़ सकते हैं।
समझौता (Trade-off): शोध पत्र दिखाता है कि आपको अपनी प्राथमिकता चुननी होगी। यदि आप हर संभव चोर को पकड़ना चाहते हैं (उच्च रिकॉल), तो आप अनजाने में कुछ निर्दोष लोगों को भी संदिग्ध ठहरा सकते हैं (जिससे "AUPRC" स्कोर कम हो जाता है)। लेकिन RUBRIC आपको इस संतुलन को नियंत्रित करने की अनुमति देता है। आप इसे बता सकते हैं, "मैं यथार्थता पर बहुत सख्त होना चाहता हूँ," या "मैं कठिन मामलों पर ध्यान केंद्रित करना चाहता हूँ," और यह उसके अनुसार चयन करेगा।
प्रमाण: लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने क्रेडिट कार्ड धोखाधड़ी डेटासेट और IEEE-CIS डेटासेट जैसे डेटासेट पर व्यापक प्रयोग किए। उन्होंने गणितीय रूप से दिखाया कि यह फ़िल्टरिंग प्रक्रिया सुरक्षा प्रणाली के "जनरलाइजेशन बाउंड" (generalization bound) को अधिक सटीक बनाती है—सरल शब्दों में, यह साबित करता है कि वास्तविक दुनिया में अजीब डेटा से सिस्टम के धोखा खाने की संभावना कम है।

निष्कर्ष (The Bottom Line)
यह शोध पत्र सुझाव देता है कि एकदम सही नकली डेटा उत्पन्न करने के लिए एक आदर्श फोटोकॉपी मशीन बनाने के बजाय, हमें इस बात पर अधिक स्मार्ट होना चाहिए कि हम किस नकली डेटा को रखते हैं। RUBERIC का उपयोग करके खराब नकली डेटा को फ़िल्टर करने और उपयोगी डेटा को रखने से, हम धोखाधड़ी या चिकित्सा आपात स्थिति जैसी दुर्लभ लेकिन महत्वपूर्ण घटनाओं को पकड़ने के लिए बेहतर, अधिक विश्वसनीय सुरक्षा प्रणालियाँ बना सकते हैं।

यह एक सरल लेकिन शक्तिशाली विचार है: केवल शोर से कमरे को न भरें; सिग्नल को क्यूरेट करें।

तकनीकी सारांश: RUBRIC – असंतुलित वर्गीकरण के लिए यथार्थवाद-उपयोगिता संतुलित रैंकिंग (Realism–Utility Balanced Ranking)

1. समस्या विवरण (Problem Statement)

वर्ग असंतुलन (Class imbalance) धोखाधड़ी का पता लगाने (fraud detection) और चिकित्सा निदान (medical diagnosis) जैसे जोखिम-संवेदनशील क्षेत्रों में एक मौलिक चुनौती प्रस्तुत करता है, जहाँ अल्पसंख्यक-वर्ग (minority-class) के नमूने कम होते हैं लेकिन अत्यंत महत्वपूर्ण होते हैं। मानक प्रतिक्रियाओं में SMOTE या GANs जैसे जनरेटरों का उपयोग करके अल्पसंख्यक वर्ग का ओवरसैंपलिंग शामिल है। हालाँकि, ये विधियाँ अक्सर बड़ी मात्रा में निम्न-गुणवत्ता वाले कृत्रिम उम्मीदवारों (synthetic candidates) का उत्पादन करती हैं। ऐसे उम्मीदवार निर्णय सीमाओं (decision boundaries) को विकृत कर सकते हैं, आर्टिफैक्ट्स (artifacts) पेश कर सकते हैं, या सूचनात्मक संकेत प्रदान करने में विफल हो सकते हैं, जिससे ओवरफिटिंग और सामान्यीकरण (generalization) में गिरावट आती है।

मौजूदा साहित्य मुख्य रूप से इस पर ध्यान केंद्रित करता है कि नमूने कहाँ उत्पन्न किए जाएं (जैसे, बाउंड्री-अवेयर वेरिएंट) या उन्हें कैसे उत्पन्न किया जाए (जैसे, एडवरसेरियल ट्रेनिंग)। एक अंतराल बना हुआ है कि जनरेशन के बाद किन कृत्रिम नमूनों को कौन सा रखना है। लेखक तर्क देते हैं कि यथार्थवाद (यथार्थता) और डाउनस्ट्रीम उपयोगिता (सीखने के लिए सूचनात्मक मूल्य) समान नहीं हैं; एक नमूना वास्तविक दिख सकता है लेकिन सूचनात्मक नहीं हो सकता, या वह बाउंड्री-केंद्रित हो सकता है लेकिन वितरण बदलाव (distribution shift) के कारण हानिकारक भी हो सकता है।

2. कार्यप्रणाली: RUBRIC

यह शोध पत्र RUBRIC (Realism–Utility Balanced Ranking) प्रस्तुत करता है, जो एक जनरेटर-अज्ञेय (generator-agnostic) पोस्ट-फिल्टरिंग फ्रेमवर्क है। जनरेशन प्रक्रिया को संशोधित करने के बजाय, RUBRIC कृत्रिम नमूना चयन को एक प्रतिबंधित अनुकूलन समस्या (constrained optimization problem) के रूप में मानता है जो दो प्रतिस्पर्धी उद्देश्यों के बीच संतुलन बनाता है: यथार्थवाद (Realism) और उपयोगिता (Utility)।

2.1 स्कोरिंग तंत्र (Scoring Mechanism)

RUBRIC प्रत्येक कृत्रिम उम्मीदवार $\tilde{x}$ को वास्तविक डेटा और उम्मीदवार पूल पर प्रशिक्षित दो सहायक मॉडलों का उपयोग करके स्कोर देता है:

उपयोगिता स्कोर ( $u(\tilde{x})$ ): यह एक नमूने की निर्णय सीमा (decision boundary) के निकटता को कैप्चर करता है, जिससे सूचनात्मक क्षेत्रों को प्राथमिकता मिलती है।
- वास्तविक डेटा पर एक बाउंड्री मॉडल $f$ को मार्जिन स्कोर प्राप्त करने के लिए प्रशिक्षित किया जाता है।
- एक अवतल (concave), गैर-घटता (non-decreasing) शेपर फंक्शन $g$ (डिफ़ॉल्ट: $g(t) = \log(1+e^{t/\tau})$ ) मार्जिन को रूपांतरित करता है। यह आकार यह सुनिश्चित करता है कि मामूली मामलों पर अत्यधिक भार डाले बिना, चयन को "निकट-सीमा" (near-boundary) क्षेत्रों पर केंद्रित किया जा सके।
यथार्थता स्कोर ( $r(\tilde{x})$ ): यह वास्तविक अल्पसंख्यक वितरण के सापेक्ष नमूने की संभाव्यता (plausibility) को मापता है।
- एक डिस्क्रिमिनेटर $D$ को वास्तविक अल्पसंख्यक नमूनों और कृत्रिम उम्मीदवार पूल के बीच अंतर करने के लिए प्रशिक्षित किया जाता है।
- स्कोर डिस्क्रिमिनेटर आउटपुट के लॉग-ऑड्स (log-odds) से प्राप्त होता है: $r(\tilde{x}) = \log \frac{D(\tilde{x})}{1-D(\tilde{x})}$ । यह वास्तविक और कृत्रिम वितरणों के बीच लॉग-घनत्व अनुपात (log-density ratio) का अनुमान लगाता है।

2.2 चयन उद्देश्य (Selection Objective)

एक ट्रेड-ऑफ पैरामीटर $\lambda \in [0, 1]$ और एक चयन बजट $K$ दिए जाने पर, RUBRIC आकार $K$ का एक उपसमूह $U \subset S$ चुनता है ताकि इसे अधिकतम किया जा सके:
$\max_{U \subseteq S, |U|=K} \sum_{\tilde{x} \in U} \left( \lambda u(\tilde{x}) + (1-\lambda) r(\tilde{x}) \right) + \gamma \text{Div}(U)$

यथार्थवाद-उपयोगिता पद (Realism-Utility Term): उपयोगिता और यथार्थता स्कोर का भारित योग।
विविधता पद (Diversity Term - $\text{Div}(U)$ ): इसे उम्मीदवार पूल पर एक फैसिलिटी-लोकेशन कवरेज फंक्शन के रूप में मॉडल किया गया है ताकि रेडंडेंट या लगभग-डुप्लिकेट नमूनों के चयन को रोका जा सके।
अनुकूलन (Optimization): यह उद्देश्य एक मोनोटोन सबमॉड्यूलर फंक्शन (monotone submodular function) है। RUBRIC एक ग्रीडी एल्गोरिदम का उपयोग करता है, जो इष्टतम समाधान के लिए $(1 - 1/e)$ सन्निकटन (approximation) की गारंटी देता है।

2.3 पाइपलाइन (Pipeline)

किसी भी बाहरी जनरेटर का उपयोग करके कृत्रिम उम्मीदवारों का एक पूल $S$ तैयार करें।
वास्तविक डेटा पर एक बाउंड्री मॉडल $f$ और वास्तविक बनाम कृत्रिम के बीच अंतर करने के लिए एक डिस्क्रिमिनेटर $D$ को प्रशिक्षित करें।
फ्रोजन (frozen) $f$ और $D$ का उपयोग करके $S$ के सभी उम्मीदवारों को स्कोर दें।
सबमॉड्यूलर उद्देश्य के आधार पर शीर्ष $K$ उम्मीदवारों को ग्रीडी तरीके से चुनें।
संवर्धित डेटासेट (Real + Selected Synthetic) पर अंतिम क्लासिफायर को प्रशिक्षित करें।

3. सैद्धांतिक योगदान (Theoretical Contributions)

शोध पत्र यह सिद्ध करने के लिए एक सैद्धांतिक विश्लेषण प्रदान करता है कि चयनात्मक फ़िल्टरिंग (selective filtering) हल्के रेगुलैरिटी कंडीशंस के तहत मार्जिन-आधारित क्लासिफायर्स के लिए सामान्यीकरण सीमा (generalization bound) को कड़ा करती है:

वितरण बदलाव में कमी (Distribution Shift Reduction): डिस्क्रिमिनेटर के माध्यम से फ़िल्टर करके, RUBRIC चयनित कृत्रिम वितरण और वास्तविक अल्पसंख्यक वितरण के बीच टोटल वेरिएशन (TV) दूरी को कम करता है, जिससे बायस (bias) टर्म को नियंत्रित किया जा सके।
टेल सप्रेशन (Tail Suppression): अवतल उपयोगिता शेपर $g$ एक मार्जिन फ्लोर प्रेरित करता है, जो "निकट-ऋणात्मक" टेल नमूनों (ऐसे नमूने जो कृत्रिम हैं लेकिन अल्पसंख्यक मैनिफोल्ड से दूर हैं) के योगदान को तेजी से दबा देता है।
सामान्यीकरण सीमा (Generalization Bound): लेखक एक अतिरिक्त जोखिम सीमा (excess risk bound) व्युत्पन्न करते हैं जिसमें डिस्क्रिमिनेटर की कैलिब्रेशन एरर ( $\epsilon_{est}$ ) और मार्जिन फ्लोर के लिए स्पष्ट शब्द शामिल हैं, जो यह दर्शाता है कि RUBRIC सभी उम्मीदवारों को रखने की तुलना में सीमा को निरंतर कड़ा (tighten) करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

RUBRIC का मूल्यांकन तीन अत्यधिक असंतुलित टैबुलर बेंचमार्क पर किया गया: क्रेडिट कार्ड फ्रॉड डिटेक्शन (ULB), IEEE-CIS फ्रॉड डिटेक्शन, और सेंटेंडर कस्टमर ट्रांजैक्शन प्रेडिक्शन।

प्रदर्शन लाभ (Performance Gains): कई जनरेटरों (SMOTE, ADASYN, Borderline-SMOTE, KMeans-SMOTE) और क्लासिफायर्स (Logistic Regression, SVM, LightGBM, XGBoost) के माध्यम से, RUBRIC ने लगातार Recall और F1-macro स्कोर में सुधार किया।
ट्रेड-ऑफ प्रबंधन (Trade-off Management): पैरामीटर $\lambda$ $λ$ उपयोगकर्ताओं को रैंकिंग गुणवत्ता (AUPRC) और डिटेक्शन मेट्रिक्स (Recall/F1) के बीच नेविगेट करने की अनुमति देता है।
- कम $\lambda$ (यथार्थता को प्राथमिकता देना) AUPRC को सुरक्षित रखता है या सुधारता है।
- उच्च $\lambda$ (बाउंडरी उपयोगिता को प्राथमिकता देना) Recall और F1 को बढ़ाता है, जो कभी-कभी AUPRC की कीमत पर होता है।
मजबूती (Robustness): RUBRIC ने ROC-AUC को तुलनीय बनाए रखते हुए अत्यधिक असंतुलन की स्थितियों में रिकॉल को महत्वपूर्ण रूप से बढ़ाया।
रनटाइम (Runtime): फ़िल्टरिंग प्रक्रिया एक बार की पोस्ट-प्रोसेसिंग लागत जोड़ती है (जैसे, क्रेडिट कार्ड के लिए ~12s, IEEE-CIS के लिए ~85s) लेकिन यह इन्फरेंस लेटेंसी (inference latency) को प्रभावित नहीं करती है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र निम्नलिखित योगदानों का दावा करता है:

एक नया प्रतिमान (A New Paradigm): यह बेहतर नमूने जनरेट करने के बजाय मौजूदा पूल्स से सर्वश्रेष्ठ नमूनों को चुनने पर ध्यान केंद्रित करता है, जो एक जनरेटर-अज्ञेय समाधान प्रदान करता है जिसे किसी भी ओवरसैंपलिंग विधि के साथ जोड़ा जा सकता है।
औपचारिक अनुकूलन (Formalized Optimization): यह कृत्रिम नमूना चयन को एक प्रतिबंधित यथार्थता-उपयोगिता अनुकूलन समस्या के रूप में औपचारिक रूप देता है, जिसे सैद्धांतिक गारंटियों के साथ सबमॉड्यूलर मैक्सिमाइजेशन के माध्यम से हल किया जा सकता है।
सैद्धांतिक औचित्य (Theoretical Justification): यह एक डेटा-निर्भर सामान्यीकरण सीमा (generalization bound) प्रदान करता है जो यह सिद्ध करता है कि चयनात्मक फ़िल्टरिंग वितरण बदलाव को कम करती है और हानिकारक टेल योगदान को दबाती है।
व्यावहारिक उपयोगिता (Practical Utility): व्यापक प्रयोगों के माध्यम से, यह प्रदर्शित करता है कि RUBRIC धोखाधड़ी का पता लगाने जैसे उच्च-दांव वाले डोमेन में महत्वपूर्ण मेट्रिक्स (Recall, F1) में सुधार करता है, जबकि $\lambda$ पैरामीटर के माध्यम से प्रिसिजन-रिकॉल ऑपरेटिंग रिजीम पर स्पष्ट नियंत्रण प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि RUBRIC कोई सार्वभौमिक समाधान नहीं है; कुछ कॉन्फ़िगरेशन में (उदाहरण के लिए, मध्यम असंतुलन वाले डेटासेट जैसे सेंटेंडर पर विशिष्ट जनरेटर-मॉडल पेयरिंग के लिए), लाभ मिश्रित हो सकते या यदि थ्रेशोल्ड को समायोजित नहीं किया गया तो ट्रेड-ऑफ के परिणामस्वरूप F1 में गिरावट आ सकती है। हालांकि, फ्रेमवर्क इन ट्रेड-ऑफ को प्रबंधित करने के लिए एक सिद्धांत आधारित तंत्र प्रदान करता है।