CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification

तकनीकी सारांश: CuBAS – पर्यवेक्षित वर्गीकरण के लिए वक्रता-आधारित अनुकूली नमूनाकरण (Curvature-Based Adaptive Sampling)

समस्या विवरण
पर्यवेक्षित वर्गीकरण (Supervised Classification) की प्रभावशीलता केवल नमूनों की मात्रा पर नहीं, बल्कि प्रशिक्षण नमूनों की गुणवत्ता और प्रतिनिधित्व क्षमता पर निर्भर करती है। बड़े डेटासेटों में अक्सर महत्वपूर्ण अतिरेक (redundancy), शोर (noise), और वर्ग असंतुलन (class imbalances) होता है, जहाँ कई नमूने निर्णय सीमाओं (decision boundaries) को परिभाषित करने में बहुत कम योगदान देते हैं। पारंपरिक नमूनाकरण और इंस्टेंस रिडक्शन तकनीकें (जैसे, रैंडम सबसैंपलिंग, प्रोटोटाइप चयन) आमतौर पर ह्यूरिस्टिक (heuristic) होती हैं, जो डेटा के अंतर्निहित सांख्यिकीय ज्यामिति का लाभ उठाए बिना केवल इनपुट स्पेस में कार्य करती हैं। फलस्वरूप, वे सूचनात्मक सीमा नमूनों (informative boundary samples) और सजातीय क्षेत्रों (homogeneous regions) में मौजूद अनावश्यक अवलोकनों के बीच अंतर करने में विफल रहती हैं। हालांकि हाल के ग्राफ-आधारित तरीके पड़ोसियों की परस्पर क्रियाओं को कैप्चर करते हैं, वे सांख्यिकीय अंतःक्रियाओं से प्रेरित विभेदक ज्यामिति (differential geometry) का उपयोग करके स्थानीय नमूना सूचनात्मकता को मापने में शायद ही कभी सक्षम होते हैं।

कार्यप्रणाली: CuBAS फ्रेमवर्क
यह शोध पत्र CuBAS (Curvature-Based Adaptive Sampling) पेश करता है, जो एक मॉडल-अज्ञेइक (model-agnostic) फ्रेमवर्क है। यह सबसे अधिक सूचनात्मक नमूनों की पहचान करने के लिए लेबल किए गए डेटासेट को एक सांख्यिकीय मैनिफोल्ड (statistical manifold) के रूप में मानता है। कार्यप्रणाली निम्नलिखित चरणों के माध्यम से आगे बढ़ती है:

1. ग्राफ निर्माण: लेबल किए गए डेटा से एक $k$-निकटतम पड़ोसी ($k$-NN) ग्राफ बनाया जाता है।
2. सांख्यिकीय मॉडलिंग: ग्राफ को एक समदैशिक (isotropic) $q$-स्टेट पोट्स मार्कोव रैंडम फील्ड (Potts MRF) के रूप में मॉडल किया जाता है। इस मॉडल में, किसी नोड के लेबल की स्थानीय सशर्त संभावना उसके पड़ोसियों के लेबल पर निर्भर करती है, जो एक व्युत्क्रम तापमान पैरामीटर $\beta$ द्वारा नियंत्रित होती है, जो प्रासंगिक निर्भरता की शक्ति को नियंत्रित करता है।
3. पैरामीटर अनुमान: $\beta$ का अनुमान कुशलतापूर्वक मैक्सिमम स्यूडो-लाइकलीहुड (MPL) का उपयोग करके लगाया जाता है, जो वैश्विक गिब्स वितरण के गणनात्मक रूप से कठिन (intractable) विभाजन फलन (partition function) से बचता है। यह अनुमान संख्यात्मक रूट-फाइंडिंग के लिए सेकेंट विधि (secant method) का उपयोग करता है।
4. सूचना ज्यामिति विश्लेषण (Information Geometric Analysis): मुख्य नवाचार पोट्स मॉडल के पैरामीटर स्पेस को एक सांख्यिकीय मैनिफोल्ड के रूप में व्याख्या करने में निहित है, जिसे फिशर सूचना मेट्रिक (Fisher Information Metric) के माध्यम से एक रीमानियन संरचना प्रदान की गई है।
   • प्रथम-क्रम फिशर सूचना ($\Phi_i$): यह पैरामीटर परिवर्तनों के प्रति लॉग-लाइकलीहुड की स्थानीय संवेदनशीलता (मेट्रिक संरचना) को मापता है।
   • द्वितीय-क्रम फिशर सूचना ($\Psi_i$): यह लॉग-लाइकलीहुड सतह की वक्रता (curvature structure) को मापता है।
   • स्थानीय शेप ऑपरेटर (Local Shape Operator): प्रत्येक नोड $i$ के लिए एक स्केलर वक्रता स्कोर $S_i(\beta)$ निकाला जाता है, जो द्वितीय-क्रम और प्रथम-क्रम फिशर सूचना का अनुपात है: $S_i(\beta) = -\Psi_i(\beta) / (\Phi_i(\beta) + \lambda)$। यह स्कोर डेटा मैनिफोल्ड के आसपास स्थानीय ज्यामितीय जटिलता को परिमाणित करता है।
5. अनुकूली विभाजन (Adaptive Partitioning): डेटासेट को दो पूरक व्यवस्थाओं (regimes) में विभाजित किया जाता है:
   • उच्च-वक्रता ($H$): निर्णय सीमाओं और विषम पड़ोस के पास के नमूने, जो अत्यधिक सूचनात्मक हैं।
     क कम-वक्रता ($L$): चिकने, सजातीय क्लस्टर्स में स्थित नमूने, जो संरचनात्मक प्रतिनिधित्व के लिए आवश्यक तो हैं लेकिन अतिरेक (redundant) हैं।
   • थ्रेशोल्डिंग (Thresholding): उच्च और निम्न वक्रता श्रेणियों को अलग करने के लिए एक अनुकूली थ्रेशोल्ड $T^*$ निर्धारित किया जाता है। विधि द्वि-मोडल (bimodal) वितरणों के लिए ओत्सु मानदंड (Otsu's criterion) का उपयोग करती है (जिसे ऐशमैन $D$ गुणांक द्वारा मान्य किया गया है) और यूनिमोडल वितरणों के लिए टकी-फेंस (Tukey-fence/IQR) नियम का पालन करती है, जिससे विविध डेटा ज्यामिति के प्रति मजबूती सुनिश्चित होती है।
6. नमूनाकरण रणनीति: CuBAS दोनों ($H$ और $L$) सेटों से आनुपातिक संख्या में नोड्स का यादृच्छिक नमूना लेकर एक प्रशिक्षण उपसमुच्चय (subset) बनाता है, जिससे यह सुनिश्चित होता है कि अंतिम उपसमुच्चय संक्षिप्त और अधिकतम रूप से विभेदक (discriminative) हो।

प्रमुख योगदान

• सैद्धांतिक ढांचा: यह शोध पत्र ग्राफ टोपोलॉजी और विभेदक ज्यामिति के बीच एक कठोर संबंध स्थापित करता है, जिसमें लेबल किए गए डेटासेट को पोट्स MRF द्वारा प्रेरित सांख्यिकीय मैनिफोल्ड के रूप में मॉडल किया गया है। यह पोट्स मॉडल के प्रथम और द्वितीय-क्रम फिशर सूचना के लिए क्लोज्ड-फॉर्म अभिव्यक्तियों को व्युत्पन्न करता है।
• वक्रता-आधारित मेट्रिक: यह एक स्थानीय शेप ऑपरेटर पेश करता है जो बिना आइजनडीकंपोज़िशन (eigendecompositions), कर्नेल डेंसिटी एस्टीमेट्स, या पूर्व-प्रशिक्षित सहायक क्लासिफायर की आवश्यकता के, सांख्यिकीय वक्रता को परिमाणित करता है।
• एल्गोरिदम डिज़ाइन: CuBS का प्रस्ताव, जो एक गणनात्मक रूप से कुशल एल्गोरिदम ($O(nm \log n + nk)$) है, जो क्लासिफायर अनिश्चितता के बजाय अंतर्निहित ज्यामितीय गुणों के आधार पर डेटासेट को सूचनात्मक और अतिरेक वाले क्षेत्रों में विभाजित करता है।
• अनुकूली थ्रेशोल्डिंग: एक डेटा-संचालित थ्रेशोल्ड अनुमान रणनीति का विकास जो प्रत्येक डेटासेट की विशिष्ट वक्रता वितरण के अनुसार अनुकूलित होती है, जिससे फिक्स्ड-क्वांटाइल ह्यूरिस्टिक्स से बचा जा सके।

प्रायोगिक परिणाम
लेखकों ने 60 से अधिक सार्वजनिक रूप से उपलब्ध डेटासेट्स (OpenML) के बेंचमार्क पर, जिसमें टेबुलर, इमेज, बायोलॉजिकल और हाई-डायमेंशनल डोमेन शामिल हैं, CuBS का मूल्यांकन किया। मूल्यांकन में $k$-NN क्लासिफायर का उपयोग करके 15 प्रशिक्षण सेट आकारों (10% से 80%) पर रैंडम सैंपलिंग और एन्ट्रॉपी-आधारित अनिश्चितता सैंपलिंग (एक मजबूत बेसलाइन) के विरुद्ध CuBS की तुलना की गई।

• प्रदर्शन: CuBS ने सभी डेटासेट्स पर लगातार उच्चतम बैलेंस्ड एक्यूरेसी (balanced accuracy) प्राप्त की।
  • मध्यम आकार के डेटासेट्स पर, CuBS ने औसतन 0.8556 की बैलेंस्ड एक्यूरेसी प्राप्त की, जबकि एन्ट्रॉपी सैंपलिंग के लिए यह 0.7416 और रैंडम सैंपलिंग के लिए 0.7202 थी।
  • बड़े पैमाने के डेटासेट्स पर, CuBS का औसत 0.8455 रहा, जो एन्ट्रॉपी (0.7623) और रैंडम (0.7273) से बेहतर था।
  • उच्च-आयामी (HDLSS) डेटासेट्स पर, CuBS का औसत 0.8451 रहा, जो एन्ट्रॉपी (0.7573) और रैंडम (0.7339) से काफी बेहतर प्रदर्शन था।
• डेटा दक्षता: सबसे कम डेटा उपलब्धता वाले परिदृश्य (10% प्रशिक्षण बजट) में, CuBS ने एन्ट्रॉपी सैंपलिंग की तुलना में +13.5 प्रतिशत अंक का औसत पूर्ण लाभ (mean absolute gain) दिखाया। विधि ने दोहरावों के माध्यम से कम मानक विचलन के साथ बेहतर स्थिरता प्रदर्शित की।
• मजबूती (Robustness): CuBS ने चुनौतीपूर्ण परिदृश्यों में भी अपना प्रदर्शन लाभ बनाए रखा, जहाँ उच्च क्लास ओवरलैप या अत्यधिक आयामीता (dimensionality) थी, जहाँ एन्ट्रॉपी-आधारित तरीके संभावित रूप से पक्षपाती सीड क्लासिफायर के कारण विफल हो जाते हैं।

महत्व और दावे
शोध पत्र का दावा है कि CuBS एक ह्यूरिस्टिक सैंपलिंग के मुकाबले एक सिद्धांत-आधारित, स्केलेबल और ज्यामिति-जागरूक विकल्प प्रदान करता है। इसका महत्व निम्नलिखित है:

1. मॉडल स्वतंत्रता: अनिश्चितता-आधारित तरीकों के विपरीत, CuBS सूचनात्मकता को डेटा की ज्यामितीय संरचना से सीधे प्राप्त करता है, जिससे एक सहायक क्लासिफायर की आवश्यकता समाप्त हो जाती है और सीड-सेट पूर्वाग्रह (seed-set bias) से बचा जा सकता है।
2. सैद्धांतिक आधार: यह सूचना ज्यामिति (information geometry) और पर्यवेक्षित शिक्षण (supervised learning) के बीच सेतु बनाता है, यह प्रदर्शित करते हुए कि विभेदक-ज्यामितीय मात्राएं (वक्रता) नमूना चयन और अतिरेक न्यूनीकरण के लिए कठोर मानदंड प्रदान करती हैं।
3. व्यावहारिक दक्षता: विधि गणनात्मक रूप से कुशल है (किनारों की संख्या के रैखिक में) और डेटा मैनिफोल्ड के स्थानीय शेप ऑपरेटर के संदर्भ में सीधे व्याख्या योग्य है।
4. सामान्यीकरण क्षमता: 60+ विविध डेटासेट्स में निरंतर सुधार यह सुझाव देता है कि लेबल किए गए डेटा मैनिफोल्ड की अंतर्निहित ज्यामिति का उपयोग करना, विशेष रूप से कम-बजट वाले एनोटेशन परिदृश्यों में, संक्षिप्त और उच्च-प्रदर्शन वाले प्रशिक्षण उपसमुच्चय बनाने के लिए एक मजबूत रणनीति है।

लेखक निष्कर्ष निकालते हैं कि CuBS ज्यामितिक मशीन लर्निंग और डेटा-कुशल वर्गीकरण के संगम पर एक उत्पादक अनुसंधान दिशा खोलता है, जिसमें सक्रिय शिक्षण (active learning), अल्ट्रा-स्मॉल सैंपल्स के लिए वक्रता नियमितीकरण (curvature regularization), और वॉर्म-अप सेट निर्माण के लिए डीप लर्निंग पाइपलाइनों के साथ एकीकरण की संभावनाएं हैं।