A proposal for PU classification under Non-SCAR using clustering and logistic model

यहाँ फुरमानचिक (Furmańczyk) और पाकुज़तव्स्की (Paczutkowski) के शोध पत्र "A proposal for PU classification under Non-SCAR using clustering and logistic model" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र पॉजिटिव-अनलेबल (PU) लर्निंग की चुनौती को संबोधित करता है, जो एक सेमी-सुपरवाइज्ड लर्निंग परिदृश्य है जहाँ प्रशिक्षण डेटा में शामिल होते हैं:

• पॉजिटिव उदाहरण ($S=1$): पुष्ट सकारात्मक उदाहरण ($Y=1$)।
• अनलेबल उदाहरण ($S=0$): वास्तविक नकारात्मक ($Y=0$) और अनऑब्जर्व्ड पॉजिटिव ($Y=1$) का मिश्रण।

मुख्य चुनौती: अधिकांश मौजूदा PU लर्निंग विधियाँ SCAR (Selected Completely At Random) धारणा पर निर्भर करती हैं। यह धारणा मानती है कि उदाहरण के लेबल होने की संभावना ($P(S=1|Y=1)$) स्थिर है और फीचर वेक्टर $X$ से स्वतंत्र है। हालाँकि, कई वास्तविक दुनिया के अनुप्रयोगों (जैसे, चिकित्सा निदान, सर्वेक्षण डेटा) में, इस धारणा का उल्लंघन होता है (Non-SCAR परिदृश्य), जहाँ चयन की संभावना फीचर्स पर निर्भर करती है ($P(S=1|Y=1, X) = e(x)$)।

लेखकों का लक्ष्य है:

1. एक ऐसा गणनात्मक रूप से कुशल एल्गोरिदम विकसित करना जो PU वर्गीकरण को हल कर सके जब SCAR स्थिति संतुष्ट नहीं होती है।
2. LassoJoint विधि की मजबूती (robustness) का मूल्यांकन करना (जिसे मूल रूप से SCAR के लिए डिज़ाइन किया गया था) जब इसे Non-SCAR डेटा पर लागू किया जाता है।

2. कार्यप्रणाली (Methodology)

लेखक लॉजिस्टिक रिग्रेशन और Lasso रेगुलराइजेशन के साथ मिलकर एक नवीन "Pecking" क्लस्टर क्लीनिंग प्रक्रिया का प्रस्ताव करते हैं। कार्यप्रणाली में निम्नलिखित चरण शामिल हैं:

A. "Pecking" क्लस्टर क्लीनिंग एल्गोरिदम

यह Non-SCAR डेटा को संभालने के लिए डिज़ाइन किया गया मुख्य योगदान है, जो अनलेबल सेट के लिए छद्म-लेबल (pseudo-labels) उत्पन्न करता है।

1. डेटा मिक्सिंग (Data Mixing): ज्ञात पॉजिटिव सैंपल्स ($S=1$) का एक अनुपात $q$ (जैसे, 25%, 50%, या 100%) लिया जाता है और इसे अनलेबल पूल ($S=0$) में जोड़ा जाता है ताकि एक अस्थायी सेट $C^q_0$ बनाया जा सके।
2. क्लस्टरिंग (Clustering): $C^q_0$ को दो क्लस्टरों $C_{0,0}$ और $C_{0,1}$ में विभाजित करने के लिए 2-means क्लस्टरिंग एल्गोरिदम लागू किया जाता है।
3. लेबल असाइनमेंट (Label Assignment):
   • वह क्लस्टर जिसमें इंजेक्ट किए गए पॉजिटिव सैंपल्स ($S=1$) का घनत्व अधिक है, उसे "पॉजिटिव" क्लस्टर ($C_{0,1}$) के रूप में पहचाना जाता है।
   • शेष क्लस्टर को "नेगेटिव" क्लस्टर ($C_{0,0}$) के रूप में पहचाना जाता है।
   • क्लीनिंग (Cleaning): सभी मूल $S=1$ सैंपल्स और $C_{0,1}$ के सैंपल्स को क्लीन लेबल $\hat{Y}=1$ दिया जाता है। $C_{0,0}$ के सैंपल्स को $\hat{Y}=0$ दिया जाता है।
4. पुनरावृत्ति और औसत (Repetition & Averaging): यह प्रक्रिया $R$ बार दोहराई जाती है। अंतिम मॉडल गुणांक (coefficients) पुनरावृत्तियों के परिणामों के औसत से प्राप्त किए जाते हैं।

B. वर्गीकरण मॉडल (Classification Models)

साफ किए गए डेटा पर दो मॉडलिंग रणनीतियाँ लागू की जाती हैं:

1. लॉजिस्टिक रिग्रेशन (Logistic Regression): साफ किए गए लेबल $(\hat{Y}, X)$ पर फिट की गई मानक लॉजिस्टिक रिग्रेशन।
2. LassoJoint: एक हाइब्रिड विधि जो जोड़ती है:
   • Lasso Selection: महत्वपूर्ण भविष्यवक्ताओं (predictors) की पहचान करना।
   • Thresholded Lasso: गुणांक के परिमाण के आधार पर फीचर्स को फ़िल्टर करना।
   • Joint Logistic Model: प्रोपेंसिटी स्कोर और क्लास प्रोबेबिलिटी के लिए एक संयुक्त मॉडल फिट करना।
   • वैरिएंट्स (Variants): लेखक "Strict" (केवल उन फीचर्स के लिए गुणांकों का औसत जो सभी पुनरावृत्तियों में चुने गए थे) और "Non-Strict" (उन फीचर्स का औसत जो किसी भी पुनरावृत्ति में चुने गए थे) वेरिएंट का परीक्षण करते हैं।

C. प्रयोगात्मक सेटअप (Experimental Setup)

• डेटासेट्स: UCI रिपॉजिटरी से 11 वास्तविक दुनिया के डेटासेट्स (जैसे, Adult, Breast Cancer, Spambase) और 1 सिंथेटिक डेटासेट।
• Non-SCAR जनरेशन: एक विशिष्ट फंक्शन विकसित किया गया था जो हाई-वैरिएंस फीचर्स के आधार पर सरोगेट लेबल $S$ उत्पन्न करता है, जिससे यह सुनिश्चित होता कि चयन की संभावना $X$ पर निर्भर है (SCAR का उल्लंघन)।
• पैरामीटर्स: लेबल फ्रीक्वेंसी $c$ (पॉजिटिव का अनुपात जो लेबल किया गया है) का परीक्षण 0.3, 0.5, और 0.8 पर किया गया। मिक्सिंग प्रोपोर्शन $q$ का परीक्षण 0.25, 0.5, और 1.0 पर किया गया।
• मेट्रिक्स: सटीकता (Accuracy), F1-स्कोर, और एरिया अंडर द कर्व (AUC)।

3. मुख्य योगदान (Key Contributions)

1. नवीन क्लीनिंग एल्गोरिदम: "Pecking" प्रक्रिया का परिचय, जो SCAR धारणा पर निर्भर हुए बिना अनलेबल डेटा को इटरेटिव रूप से साफ करने के लिए 2-means क्लस्टरिंग का उपयोग करती है। यह पिछले साहित्य में उपयोग किए जाने वाले पदानुक्रमित (hierarchical) क्लस्टरिंग दृष्टिकोणों की तुलना में गणनात्मक रूप से सरल है।
2. मजबूती विश्लेषण (Robustness Analysis): एक व्यापक मूल्यांकन जो दिखाता है कि LassoJoint विधि, जो आमतौर पर SCAR उल्लंघनों के प्रति संवेदनशील होती है, प्रस्तावित क्लीनिंग स्टेप के साथ मिलकर Non-SCာR स्थितियों में कैसा प्रदर्शन करती है।
3. दक्षता (Efficiency): प्रस्तावित विधि को गणनात्मक रूप से कुशल दिखाया गया है, जो प्रत्येक पुनरावृत्ति में Lasso ट्यूनिंग के लिए जटिल क्रॉस-वैलिडेशन की आवश्यकता वाले तरीकों की तुलना में काफी तेज़ है, जबकि प्रतिस्पर्धी सटीकता बनाए रखती है।

4. परिणाम (Results)

• Non-SCAR परिदृश्यों में प्रदर्शन:

  • Cluster (Clust) विधि ने अधिकांश डेटासेट्स में उच्च सटीकता प्रदर्शित की, जो कि नैव (naive) दृष्टिकोण (जो $S$ को $Y$ मानता है) से बेहतर है।
  • LassoJoint विधियों (दोनों strict और non-strict वेरिएंट) ने Clust विधि के समान प्रदर्शन प्राप्त किया।
  • AUC सुधार: Lasso-आधारित विधियों ने विशिष्ट डेटासेट्स (जैसे, breastc, credit_a, wdbc) के लिए मानक Clust विधि की तुलना में AUC में मामूली लेकिन निरंतर सुधार दिखाया।
  • $c$ का प्रभाव: जैसे-जैसे लेबल फ्रीक्वेंसी $c$ बढ़ी (1.0 के करीब पहुँची), सभी विधियों में सुधार हुआ, और जैसे-जैसे समस्या पूर्ण-लेबल वर्गीकरण के करीब पहुँची, नैव (Naive) विधि को बढ़त मिली।
  • पैरामीटर $q$: $q$ का कोई एक इष्टतम मान नहीं मिला; हालाँकि, बड़े मान ($q \approx 1$) आम तौर पर बेहतर औसत सांख्यिकी प्रदान करते हैं, हालांकि विशिष्ट डेटासेट्स को छोटे $q$ से लाभ हुआ।

• SCAR परिदृश्यों (नियंत्रण) में प्रदर्शन:

  • जैसा कि अपेक्षित था, LassoJoint विधि ने SCAR धारणा सत्य होने पर लगभग इष्टतम प्रदर्शन किया, जो इसकी सैद्धांतिक वैधता की पुष्टि करता है।
  • प्रस्तावित Clust विधि भी SCAR परिदृश्यों में अच्छा प्रदर्शन करती है, जो इसकी बहुमुखी प्रतिभा का सुझाव देती है।

• गणना समय (Computational Time):

  • Naive और Clust विधियाँ सबसे तेज़ थीं।
  • क्रॉस-वैलिडेशन के साथ Lasso (LassoJoint) शामिल करने वाली विधियाँ काफी धीमी थीं, हालाँकि "Pecking" पुनरावृत्ति रणनीति ने अत्यधिक गणनात्मक ओवरहेड के बिना परिणामों को स्थिर करने में मदद की।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• व्यावहारिक प्रयोज्यता: यह अध्ययन PU लर्निंग के लिए एक व्यवहार्य समाधान प्रदान करता है जहाँ SCAR धारणा अक्सर बाधित होती है (जैसे, सर्वेक्षणों में कम रिपोर्टिंग या चिकित्सा में पक्षपाती निदान)।
• मजबूती (Robustness): निष्कर्ष बताते हैं कि यदि LassoJoint विधि को क्लस्टरिंग-आधारित क्लीनिंग स्टेप के साथ जोड़ा जाए, तो यह Non-SCAR उल्लंघनों के प्रति मध्यम रूप से मजबूत है।
• सामान्यीकरण (Generalization): लेखक उल्लेख करते हैं कि 2-means क्लस्टरिंग स्टेप केवल सिंगल-सैंपल PU परिदृश्यों तक सीमित नहीं है, बल्कि इसे केस-कंट्रोल PU लर्निंग पर भी लागू किया जा सकता है।
• भावी कार्य: यह शोध पत्र जटिल लॉजिस्टिक मॉडल के लिए डेटा को प्रीप्रोसेस करने हेतु सरल, गणनात्मक रूप से कुशल क्लस्टरिंग तकनीकों का उपयोग करने के लिए एक आधार तैयार करता है, जो अधिक जटिल जेनेरेटिव मॉडल्स (जैसे GANs) या EM एल्गोरिदम के लिए एक व्यावहारिक विकल्प है।

संक्षेप में, यह शोध पत्र सफलतापूर्वक प्रदर्शित करता है कि एक सरल 2-means क्लस्टरिंग क्लीनिंग प्रक्रिया ("Pecking") को लॉजिस्टिक रिग्रेशन या LassoJoint के साथ जोड़ने से एक मजबूत, कुशल और प्रभावी फ्रेमवर्क मिलता है, जब सख्त SCAR धारणा की गारंटी नहीं दी जा सकती।