तकनीकी सारांश: अनिश्चितता-निर्भर लुप्त लेबल से सीखना (Learning from Uncertainty-Dependent Missing Labels for Semi-Supervised Classification)

1. समस्या विवरण (Problem Statement)

सेमी-सुपरवाइज्ड वर्गीकरण (Semi-supervised classification) में, लुप्त लेबल्स (missing labels) को पारंपरिक रूप से सूचना हानि के स्रोत के रूप में देखा जाता है, जो दक्षता को कम करता है और निष्कर्षों को जटिल बनाता है। हालांकि, कई व्यावहारिक परिदृश्यों में—जैसे कि मेडिकल इमेजिंग, एक्टिव लर्निंग, और ऑनलाइन मॉडरेशन—लेबल्स यादृच्छिक (random) रूप से गायब नहीं होते हैं (MAR); बल्कि, एक लेबल के गायब होने की संभावना देखे गए फीचर्स ($Y$) और, महत्वपूर्ण रूप से, स्वयं लेबल मॉडल से प्राप्त पोस्टीरियर क्लासिफिकेशन अनिश्चितता (posterior classification uncertainty) पर निर्भर करती है।

मुख्य समस्या यह है कि ऐसे अनिश्चितता-निर्भर लुप्त लेबल्स (uncertainty-dependent missing labels) की सूचना सामग्री (information content) को कैसे चरित्रित किया जाए। जबकि शास्त्रीय सूचना सिद्धांत (classical information theory) यह निर्देश देता है कि एक पूर्ण प्रयोग के संक्षिप्त संस्करण को देखने से पूर्ण डेटा प्रयोग की तुलना में सूचना में वृद्धि नहीं हो सकती, यह शोध पत्र इस बात की जांच करता है कि क्या लुप्तता संकेतक ($M$) स्वयं, जब एक अनिश्चितता-निर्भर तंत्र द्वारा उत्पन्न किया जाता है, एक अवलोकन योग्य संकेत के रूप में कार्य कर सकता है जो एक निश्चित बजट के तहत मानक पूर्णतः लेबल वाले या गैर-सूचनात्मक आंशिक रूप से लेबल वाले आधार रेखाओं (baselines) की तुलना में अनुमान और वर्गीकरण प्रदर्शन में सुधार करता है।

2. कार्यप्रणाली (Methodology)

2.1. सांख्यिकीय ढांचा (Statistical Framework)

लेखक $g$ क्लासेज, फीचर्स $Y$, और लेबल्स $Z$ के साथ एक वर्गीकरण सेटिंग पर विचार करते हैं। लुप्तता संकेतक $M \in \{0, 1\}$ यह दर्शाता है कि लेबल देखा गया है ($M=0$) या लुप्त है ($M=1$)। लुप्तता तंत्र को इस प्रकार मॉडल किया गया है:
$$r_{\theta,\xi}(Y) = \Pr(M=1 \mid Y; \theta, \xi) = h\{\eta_{\theta,\xi}(Y)\}$$
जहाँ $h$ एक इनवर्स लिंक फंक्शन है, और $\eta_{\theta,\xi}(Y)$ लेबल मॉडल मापदंडों $\theta$, तंत्र मापदंडों $\xi$, और पोस्टीरियर क्लासिफिकेशन अनिश्चितता $u(Y; \theta)$ के सारांश पर निर्भर एक प्रेडिक्टर है। $u(Y; \theta)$ के उदाहरणों में पोस्टीरियर शैनन एंट्रॉपी (Shannon entropy), नेगेटिव लॉग-एंट्रॉपी, या पोस्टीरियर वेरिएंस शामिल हैं।

अवलोकित-डेटा लाइकलीहुड (observed-data likelihood) का निर्माण किया गया है:
$$L(\theta, \xi) = \prod_{j=1}^n \{p_\theta(Y_j, Z_j)[1 - r_{\theta,\xi}(Y_j)\}^{1-M_j} \{p_\theta(Y_j)r_{\theta,\xi}(Y_j)\}^{M_j}$$
जहाँ पहला पद तब लागू होता है जब लेबल्स देखे जाते हैं और दूसरा (मार्जनल फीचर डेंसिटी) तब लागू होता है जब वे लुप्त होते हैं।

2.2. सूचना अपघटन (Information Decomposition)

मुख्य पद्धतिगत योगदान एक लाइकलीहुड-आधारित सूचना सिद्धांत है जो अवलोकित फिशर सूचना $I_{obs}(\theta)$ को अपघटित करता है।

सही ढंग से निर्दिष्ट मामला (Correctly Specified Case):
लुईस की अवलोकित-सूचना पहचान (Louis's observed-information identity) का उपयोग करते हुए, लेखक एक अपघटन व्युत्पन्न करते हैं जो सूचना को आंशिक-लेबलिंग घटक और तंत्र-वक्रता (mechanism-curvature) पद में अलग करता है:
$$I_{obs}(\theta) = \underbrace{I_{CC}(\theta) - I_{CC}^{(miss,r)}(\theta, \xi)}_{\text{Partial-labeling component}} + \underbrace{I_{mech}(\theta, \xi)}_{\text{Mechanism curvature}}$$

• $I_{CC}(\theta)$: पूर्ण-डेटा फिशर सूचना (Complete-data Fisher information)।
• $I_{CC}^{(miss,r)}(\theta, \xi)$: भारित लुप्त-सूचना हानि (Weighted missing-information loss)।
• $I_{mech}(\theta, \xi)$: लुप्तता संकेतकों $M_j$ द्वारा योगदान की जाने वाली वक्रता (curvature) को मापने वाला एक पॉजिटिव सेमीडेफिनिट पद। लॉजिस्टिक लिंक्स के लिए, यह पद लुप्तता संभाव्यता के वेरिएंस और अनिश्चितता सारांश के ग्रेडिएंट पर निर्भर करता है।

गलत ढंग से निर्दिष्ट मामला (Misspecified Case):
यह पहचानते हुए कि लेबल मॉडल और तंत्र दोनों ही व्यवहार में गलत तरीके से निर्दिष्ट (misspecified) हो सकते हैं, लेखक इसे गोडमबी-ईकर-हूबर-व्हाइट (Godambe–Eicker–Huber–White/sandwich) कोवेरियेंस फ्रेमवर्क तक विस्तारित करते हैं। वे $(\theta, \xi)$ के संयुक्त अनुमान के लिए संवेदनशीलता (sensitivity) और सैंडविच-कोवेरियेंस विभाजन व्युत्पन्न करते हैं, यह दिखाते हुए कि संरचनात्मक अपघटन (आंशिक-लेबलिंग + तंत्र वक्रता) मिसस्पेसिफिकेशन के तहत भी बना रहता है, हालांकि अनिश्चितता मात्रा निर्धारण (uncertainty quantification) फिशर सूचना के व्युत्क्रम से बदलकर सैंडविच कोवेरियेंस में स्थानांतरित हो जाता है।

2.3. सैद्धांतिक सीमाएं (Theoretical Bounds)

शोध पत्र अवलोकित आंशिक रूप से लेबल किए गए प्रयोग और "संवर्धित" (augmented) प्रयोग के बीच संबंध को स्पष्ट करता है जहाँ लेबल और तंत्र संकेतक दोनों देखे जाते हैं। यह सिद्ध करता है कि जबकि अनिश्चितता-निर्भर लुप्तता अनुकूल लुप्तता (favorable missingness) (एक बजट-मैच किए गए गैर-सूचनात्मक बेसलाइन की तुलना में अधिक सूचना) प्रदान कर सकती है, यह संवर्धित पूर्ण-डेटा $(Y, Z, M)$ की सूचना सीमा से अधिक नहीं हो सकती है। अवलोकित डेटा $(Y, M, Z_{obs})$ संवर्धित डेटा का एक कोआर्सनिंग (coarsening) है, जो मानक सूचना असमानताओं (information inequalities) का पालन करता है।

2.4. जोखिम विश्लेषण (Risk Analysis)

प्लग-इन क्लासिफायर्स के लिए, लेखक सूचना अपघटन को मार्जिन-आधारित अतिरिक्त-जोखिम सीमाओं (margin-based excess-risk bounds) से जोड़ते हैं। नियमित दो-घटक मिश्रण सेटिंग्स में, वे स्थापित करते हैं कि अतिरिक्त जोखिम (excess risk) पैरामीट्रिक दर $O_p(n^{-1})$ पर अभिसरित (converge) होता है। इस दर में स्थिरांक (constants) डिस्क्रिमिनेन्ट दिशाओं में न्यूसेंस-समायोजित सूचना द्वारा निर्धारित होते हैं, जिसका अर्थ है कि एक अनुकूल वक्रता निर्णय सीमा (decision boundary) के एसिम्प्टोटिक वेरिएंस को कम कर सकती है।

3. मुख्य योगदान (Key Contributions)

1. सूचना अपघटन (Information Decomposition): एक फिशर-सूचना अपघटन का व्युत्पत्ति जो स्पष्ट रूप से एक गैर-ऋणात्मक "तंत्र-वक्रता" (mechanism-curvature) पद को अलग करता है। यह पद समझाता है कि कैसे लुप्तता संकेतक, जब क्लासिफायर की अनिश्चितता पर निर्भर होता है, क्लासिफायर के बारे में अतिरिक्त सूचना वहन करता है।
2. मिसस्पेसिफिकेशन के तहत मजबूती (Robustness under Misspecification): लेबल मॉडल और लुप्तता तंत्र दोनों के संयुक्त मिसस्पेसिफिकेशन के तहत सैंडविच कोवेरियेंस फ्रेमवर्क के तहत अपघटन का विस्तार, जो व्यावहारिक सेटिंग्स में अनुमान के लिए एक कठोर आधार प्रदान करता है जहाँ वर्किंग मॉडल्स का उपयोग किया जाता है।
3. अतिरिक्त-जोखिम दरें (Excess-Risk Rates): अनिश्चितता-निर्भर लुप्तता के तहत प्लग-इन क्लासिफायर्स के लिए मार्जिन-आधारित अतिरिक्त-जोखिम सीमाओं की स्थापना, यह प्रदर्शित करते हुए कि अनुकूल लुप्तता निश्चित लेबलिंग बजट के तहत वर्गीकरण प्रदर्शन (कम एसिम्प्टोटिक वेरिएंस) में सुधार करती है।
4. "अनुकूल लुप्तता" का स्पष्टीकरण (Clarification of "Favorable Missingness"): एक साधारण पूर्णतः लेबल वाले या बजट-मैच किए गए गैर-सूचनात्मक बेसलाइन के सापेक्ष एक सापेक्ष लाभ के रूप में अनुकूल लुप्तता की एक कठोर परिभाषा और प्रमाण, जो कि संवर्धित पूर्ण-डेटा प्रयोग के संबंध में शास्त्रीय सूचना असमानताओं का उल्लंघन नहीं है।

4. परिणाम (Results)

4.1. संख्यात्मक चित्रण (Gaussian Mixtures)

• सूचना लाभ (Information Gain): एक दो-घटक गौसियन मिश्रण सेटिंग में, मोंटे कार्लो सिमुलेशन प्रदर्शित करते हैं कि एंट्रॉपी-निर्भर लुप्तता तंत्र समान लुप्तता दर के साथ एक गैर-सूचनात्मक (MCAR) बेसलाइन की तुलना में डिस्क्रिमिनेन्ट दिशा में फिशर सूचना में तीन गुना वृद्धि दे सकते हैं।
• रेजीम निर्भरता (Regime Dependence): सूचना लाभ, लुप्तता दर और डिज़ाइन संवेदनशीलता के संबंध में गैर-मोनोटोनिक (non-monotonic) है। यह तब अधिकतम होता है जब मध्यम क्लास ओवरलैप, गैर-अत्यधिक लुप्तता दर, और एक ऐसा तंत्र होता है जो उच्च-अनिश्चितता वाले अवलोकनों के पास लुप्तता को केंद्रित करने के लिए पर्याप्त संवेदनशील होता है।
• लागत-लाभ विश्लेषण (Cost-Benefit Analysis): एक निश्चित कुल बजट (फीचर संग्रह लागत और लेबलिंग लागत को संतुलित करते हुए) के तहत, अनुकूलतम लुप्तता दर लेबलिंग की सापेक्ष लागत के साथ बढ़ती है। अनिश्चितता-निर्भर डिज़ाइन पूर्णतः पर्यवेक्षित डिज़ाइनों की तुलना में अनुमान दक्षता बनाए रखते हुए या उसमें सुधार करते हुए बड़े फीचर सैंपल साइज की अनुमति देते हैं।

4.2. केस स्टडी (मेडिकल डायग्नोसिस)

इस फ्रेमवर्क को एक गैस्ट्रोइंटेस्टाइनल डेटासेट (कोलोनोस्कोपी वीडियो) पर लागू किया गया जहाँ लेबल्स एंडोस्कोपिस्ट सर्वसम्मति से प्राप्त किए गए थे।

• तंत्र सत्यापन (Mechanism Validation): डेटा ने पुष्टि की कि लेबल लुप्तता (सर्वसम्मति की कमी) उच्च पोस्टीरियर एंट्रॉपी (अनिश्चितता) के साथ मजबूती से जुड़ी हुई थी।
• प्रदर्शन (Performance): एंट्रॉपी-आधारित सेमी-सुपरवाइज्ड मॉडल (SSL) ने केवल 35 उपलब्ध लेबल किए गए मामलों पर प्रशिक्षित सुपरवाइज्ड बेंचमार्क की तुलना में बेहतर प्रदर्शन किया।
  • SSLlogit मॉडल ने सुपरवाइज्ड बेंचमार्क (0.1775) की तुलना में सबसे कम प्रेडिक्शन एरर रेट (0.1325) प्राप्त किया।
  • SSL मॉडल्स ने बड़े फिटेड फिशर सूचना मैट्रिसेस प्रदर्शित किए, जो तंत्र-वक्रता पद द्वारा संचालित उच्च अनुमान दक्षता को दर्शाते हैं।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र यह समझने के लिए एक लाइकलीहुड-आधारित फ्रेमवर्क प्रदान करने का दावा करता है कि कैसे अनिश्चितता-निर्भर लुप्तता सेमी-सुपरवाइज्ड लर्निंग की सूचना ज्यामिति (information geometry) को नया रूप देती है। इसका महत्व निम्नलिखित में निहित है:

• लुप्तता का पुनर्गठन (Reframing Missingness): लुप्त लेबल्स को केवल एक बाधा (nuisance) के रूप में देखने के बजाय जिसे इम्पुट किया जाना है या अनदेखा किया जाना है, एक संरचित संकेत (structured signal) के रूप में देखना जिसे अनुमान में सुधार के लिए स्पष्ट रूप से मॉडल किया जा सकता है।
• विरोधाभास का समाधान (Resolving the Paradox): यह स्पष्ट करना कि "अनुकूल लुप्तता" शास्त्रीय सूचना सिद्धांत का उल्लंघन नहीं करती है; बल्कि, यह इस तथ्य का लाभ उठाती है कि लुप्तता संकेतक $M$ एक अवलोकन योग्य चर है जो क्लासिफायर की अनिश्चितता से जुड़े तंत्र द्वारा उत्पन्न होता है।
• व्यावहारिक उपयोगिता (Practical Utility): यह प्रदर्शित करना कि (जैसे एंट्रॉपी-डिपेंडेंट मास्किंग के माध्यम से) लुप्तता तंत्र को स्पष्ट रूप से मॉडल करना, निश्चित संसाधन बाधाओं के तहत (पैरामीटर अनुमान में वृद्धि [फिशर सूचना के माध्यम से] और वर्गीकरण सटीकता में सुधार [अतिरिक्त जोखिम को कम करके] दोनों के माध्यम से) दोनों के लिए मूर्त सुधार ला सकता है।
• मजबूती (Robustness): एक सैंडविच एस्टीमेटर के माध्यम से एक सैद्धांतिक आधार प्रदान करना जो तब भी मान्य रहता है जब लेबल वितरण या लुप्तता तंत्र के लिए वर्किंग मॉडल अपूर्ण (imperfect) होते हैं, जो वास्तविक दुनिया के अनुप्रयोगों में सामान्य है।

लेखक निष्कर्ष निकालते हैं कि हालांकि लाभ स्थानीय और रेजीम-निर्भर हैं, फिर भी यह फ्रेमवर्क डेटा संग्रह में चयन प्रभावों (selection effects) का अधिक कुशल सेमी-सुपरवाइज्ड लर्निंग के लिए लाभ उठाने का एक व्यवस्थित तरीका प्रदान करता है।