Informative Label Missingness in Multiclass Classification: Information Geometry and Excess Risk

तकनीकी सारांश: मल्टीक्लास वर्गीकरण में सूचनात्मक लेबल की अनुपलब्धता (Missingness): सूचना ज्यामिति और अतिरिक्त जोखिम

समस्या विवरण
मल्टीक्लास वर्गीकरण (multiclass classification) में, आंशिक रूप से लेबल वाला डेटा तब उत्पन्न होता है जब फीचर वेक्टर्स तो देखे जाते हैं, लेकिन कुछ अवलोकनों के लिए वर्ग सदस्यता (class memberships) लुप्त होती है। जबकि मानक अर्ध-पर्यवेक्षित शिक्षण (semi-supervised learning) अक्सर यह मान लेता है कि लेबल 'पूरी तरह से यादृच्छिक रूप से लुप्त' (Missing Completely at Random - MCAR) हैं, कई व्यावहारिक परिदृश्यों में सूचनात्मक अनुपलब्धता (informative missingness) होती है, जहाँ लेबल के लुप्त होने की संभावना देखे गए फीचर्स और वर्गीकरण मॉडल के मापदंडों पर निर्भर करती है। एक विरोधाभासी घटना, जिसे पहले बाइनरी होमोस्केडास्टिक गौसियन सेटिंग्स में पहचाना गया था, यह सुझाव देती है कि विशिष्ट सूचनात्मक अनुपलब्धता तंत्र के तहत, एक आंशिक रूप से लेबल वाले नमूने से पूर्णतः लेबल वाले नमूने की तुलना में कम स्पर्शोन्मुखी वर्गीकरण जोखिम (asymptotic classification risk) प्राप्त हो सकता है। हालाँकि, सामान्य मल्टीक्लास समस्याओं में इस घटना की सैद्धांतिक समझ अभी भी सीमित है। मौजूदा परिणाम काफी हद तक बाइनरी संरचनाओं पर निर्भर हैं, जो मल्टीक्लास बेयस सीमाओं (Bayes boundaries) की जटिल ज्यामिति को समझाने में विफल रहते हैं, जिसमें सक्रिय युग्मवार फलक (active pairwise faces) और उच्च-क्रम के जंक्शन शामिल होते हैं। वैश्विक फिशर सूचना (Fisher information) में सुधार आवश्यक रूप से बेहतर वर्गीकरण प्रदर्शन में अनुवादित नहीं होता है, क्योंकि जोखिम इस बात पर निर्भर करता है कि अनुमान त्रुटियाँ निर्णय सीमा (decision boundary) को कैसे विचलित करती हैं।

कार्यप्रणाली
लेखक सूचनात्मक लेबल अनुपलब्धता के लिए एक सामान्य लाइकलीहुड-आधारित सिद्धांत विकसित करते हैं, जो सूचना ज्यामिति (information geometry) को वर्गीकरण जोखिम से जोड़ता है।

1. कुशल सूचना अपघटन (Efficient Information Decomposition):
   लेखक अनुपलब्धता तंत्र से संबंधित उप-मापदंडों ($\xi$) को हटाकर वर्गीकरण मापदंडों ($\theta$) के लिए कुशल फिशर सूचना का एक अपघटन व्युत्पन्न करते हैं। आंशिक वर्गीकरण के तहत प्रभावी सूचना ($I_{PC}^{eff}$) को इस प्रकार व्यक्त किया जाता है:
   $$I_{PC}^{eff} = I_{CC} - E[q(Y)I_{Z|Y}(Y)] + I_{M}^{eff}$$
   जहाँ $I_{CC}$ पूर्ण नमूने से सूचना है, दूसरा पद लुप्त लेबल के कारण खोई गई सूचना का प्रतिनिधित्व करता है (जो $q(Y)$ द्वारा भारित है), और $I_{M}^{eff}$ स्वयं अनुपलब्धता संकेतकों से प्राप्त कुशल सूचना है। यह अपघटन दर्शाता है कि लेबल की अनुपलब्धता की लागत केवल लुप्त होने के मार्जिनल अनुपात पर नहीं, बल्कि इस पर निर्भर करती है कि फीचर स्पेस में वे कहाँ मौजूद हैं।

2. अतिरिक्त जोखिम ज्यामिति (Excess Risk Geometry):
   लेखक एक प्लग-इन बेयस क्लासिफायर के अतिरिक्त वर्गीकरण जोखिम के लिए एक स्थानीय द्विघाती विस्तार (local quadratic expansion) व्युत्पन्न करते हैं। वे दिखाते हैं कि जोखिम का अग्रणी पद सक्रिय युग्मवार बेयस फलकों (pairwise Bayes faces) की वक्रता (curvature) द्वारा निर्धारित होता है (वे सतहें जहाँ दो वर्ग अधिकतम पश्च प्रायिकता के लिए समान होते हैं और अन्य सभी से स्पष्ट रूप से अधिक होते हैं)। नियमितता और ट्रांसवर्सलिटी (transversality) की शर्तों के तहत ट्रिपल और उच्च-क्रम के जंक्शन केवल उच्च-क्रम के पदों में योगदान देते हैं। अतिरिक्त जोखिम दिया गया है:
   $$E[R(\hat{\theta})] - R^* = \frac{1}{2n} \text{tr}(H_R V) + o(n^{-1})$$
   जहाँ $V$ एस्टिमेटर का स्पर्शोन्मुखी सहप्रसरण मैट्रिक्स (asymptotic covariance matrix) है और $H_R$ सक्रिय फलकों द्वारा प्रेरित वक्रता मैट्रिक्स है।

3. वर्गीकरण-भारित तुलना (Classification-Weighted Comparison):
   सूचना और जोखिम विस्तारों को जोड़कर, यह शोध पत्र पूर्ण और आंशिक वर्गीकरण की तुलना करने के लिए एक मानदंड स्थापित करता है। अग्रणी अतिरिक्त जोखिम का अंतर वक्रता मैट्रिक्स और विपरीत सूचना मैट्रिसेस के गुणनफल के ट्रेस (trace) पर निर्भर करता है:
   $$\Delta R = \text{tr}[H_R (A^{-1} - J^{-1})]$$
   जहाँ $A$ और $J$ क्रमशः पूर्ण और आंशिक वर्गीकरण के लिए सूचना मैट्रिसेस हैं। एक सामान्यीकृत आइजनवैल्यू अपघटन का उपयोग करते हुए, लेखक दिखाते हैं कि $\Delta R > 0$ (आंशिक वर्गीकरण के पक्ष में) तब होता है जब सूचना लाभ उन दिशाओं में केंद्रित होता है जो सक्रिय निर्णय सीमाओं को महत्वपूर्ण रूप से विचलित करते हैं, भले ही आंशिक वर्गीकरण वैश्विक रूप से पूर्ण वर्गीकरण पर हावी न हो ($J \not\succeq A$)।

4. MCAR के पास स्थानीय विश्लेषण:
   यह शोध पत्र MCAR से सूचनात्मक अनुपलब्धता की ओर संक्रमण का विश्लेषण करता है। यह प्रदर्शित करता है कि वर्गीकरण अनिश्चितता के आधार पर लुप्त लेबलों का पुनर्वितरण प्रथम क्रम (first order) पर वर्ग-लेबल सूचना के नुकसान को बदल देता है, जबकि अनुपलब्धता पैटर्न से प्राप्त सूचना लाभ केवल द्वितीय क्रम (second order) पर दिखाई देता है। फलस्वरूप, कमजोर सूचनात्मक अनुपलब्धता शुरू में वर्गीकरण प्रदर्शन को खराब कर सकती है, इससे पहले कि वह फायदेमंद हो जाए जैसे-जैसे निर्भरता मजबूत होती है।

प्रमुख परिणाम

• दिशात्मक संरेखण (Directional Alignment): अनुकूल सूचनात्मक अनुपलब्धता एक दिशात्मक संरेखण घटना है। एक आंशिक रूप से वर्गीकृत नमूना पूर्ण नमूने से बेहतर प्रदर्शन कर सकता है यदि अनुपलब्धता पैटर्न से प्राप्त सूचना उन दिशाओं के साथ संरेखित होती है जो निर्णय सीमा के लिए महत्वपूर्ण हैं, भले ही अन्य दिशाओं में सूचना की हानि हो।
• फेज ट्रांजिशन (Phase Transitions): असमान सहप्रसरण (covariance) वाले तीन-वर्ग गौसियन क्वाड्रेटिक डिस्क्रिमिनेट एनालिसिस (QDA) मॉडल में, लेखक एक "फेज ट्रांजिशन" की पहचान करते हैं। जैसे-जैसे वर्गीकरण अनिश्चितता और अनुपलब्धता के बीच निर्भरता की शक्ति बढ़ती है (मार्जिनल मिसिंग रेट को स्थिर रखते हुए), सिस्टम एक प्रतिकूल शासन (unfavourable regime - जहाँ आंशिक वर्गीकरण बदतर है) से एक अनुकूल शासन (favourable regime) की ओर बढ़ता है।
• ज्यामिति निर्भरता: वर्गीकरण लाभ का परिमाण और चिह्न अंतर्निहित ज्यामिति के प्रति संवेदनशील है। अत्यधिक वर्ग ओवरलैप लाभ को समाप्त कर सकता है, और मजबूत पूर्व पूर्वाग्रह (prior imbalance) इसे उलट सकता है। हालाँकि, लाभ सहप्रसरण विषमताओं (covariance heterogeneities) की एक विस्तृत श्रृंखला में बना रहता है।
• परिमित-नमूना सत्यापन (Finite-Sample Validation): मोंटे कार्लो प्रयोग पुष्टि करते हैं कि स्पर्शोन्मुखी भविष्यवाणियाँ परिमित नमूनों में भी सटीक हैं। अनुभवजन्य अतिरिक्त जोखिम और सहप्रसरण मैट्रिक्स सैद्धांतिक सीमाओं के अनुरूप हैं, और प्रदर्शन का क्रम (Informative Partial Classification < Complete Classification < MCAR) भी पुनरुत्पादित होता है।
• वास्तविक-डेटा अनुप्रयोग: वर्टेब्रल कॉलम (Vertebral Column) डेटासेट (तीन वर्ग: डिस्क हर्निया, स्पोंडिलोलिस्थेसिस, सामान्य) पर एक अर्ध-सिंथेटिक अनुप्रयोग यह दर्शाता है कि तंत्र को अनदेखा करने के बजाय सूचनात्मक अनुपलब्धता तंत्र को स्पष्ट रूप से मॉडल करने से संभाव्य भविष्यवाणी (लॉग लॉस, ब्रियर स्कोर) में सुधार होता है, हालांकि 0-1 त्रुटि में सुधार मामूली और शासन-निर्भर है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह एक सामान्य ढांचा प्रदान करता है जो यह समझाता है कि सूचनात्मक लेबल अनुपलब्धता कैसे और कब वर्गीकरण जोखिम सुधार में परिवर्तित होती है। इसका प्राथमिक योगदान यह पता लगाना नहीं है कि सूचनात्मक अनुपलब्धता फायदेमंद हो सकती है (एक ऐसी घटना जो बाइनरी सेटिंग्स में पहले से ज्ञात है), बल्कि एक मल्टीक्लास सिद्धांत विकसित करना है जो:

1. लेबलों से खोई हुई सूचना और अनुपलब्धता पैटर्न से प्राप्त सूचना को अलग करता है।
2. इस सूचना परिवर्तन को सक्रिय बेयस निर्णय सीमा की विशिष्ट ज्यामिति से जोड़ता है।
3. यह प्रदर्शित करता है कि वैश्विक फिशर सूचना प्रभुत्व वर्गीकरण सुधार के लिए एक आवश्यक शर्त नहीं है; बल्कि, सूचना लाभ का निर्णय-प्रासंगिक दिशाओं के साथ संरेखण महत्वपूर्ण कारक है।
4. स्पष्ट करता है कि लाभ सार्वभौमिक नहीं है बल्कि शासन (निर्भरता की शक्ति, वर्ग पृथक्करण, पूर्व पूर्वाग्रह) पर निर्भर करता है।

लेखक निष्कर्ष निकालते हैं कि आंशिक रूप से लेबल वाले नमूने के सांख्यिकीय मूल्य का निर्धारण केवल देखे गए लेबलों के अनुपात या अनवेटेड फिशर सूचना तुलनाओं द्वारा नहीं किया जा सकता है। इसके बजाय, इसके लिए इस बात के विश्लेषण की आवश्यकता है कि सूचना लाभ और हानियाँ वर्गीकरण समस्या की ज्यामिति के साथ कैसे संरेखित होती हैं।