SSLfmm: An R Package for Semi-Supervised Learning with Mixed Missingness
SSLfmm R पैकेज अर्ध-पर्यवेक्षित शिक्षण (semi-supervised learning) के लिए एक लाइकलीहुड-आधारित गॉसियन फाइनाइट-मिक्सचर फ्रेमवर्क पेश करता है जो वर्गीकरण प्रदर्शन को बेहतर बनाने के लिए वर्ग वितरण और लेबल-अनुपलब्धता तंत्र (जिसमें MCAR, MAR और मिश्रित परिदृश्य शामिल हैं) को संयुक्त रूप से मॉडल करता है, जब लेबल की उपलब्धता स्वयं सूचनात्मक संकेत समाहित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डेटा विज्ञान की दुनिया में, शोधकर्ता अक्सर उस निराशाजनक अंतर का सामना करते हैं जो उनके ज्ञान और उनके द्वारा मापे जा सकने वाले डेटा के बीच होता है। एक चिकित्सा अध्ययन की कल्पना करें जहाँ डॉक्टरों ने प्रत्येक रोगी के लक्षणों को रिकॉर्ड किया है लेकिन उनमें से केवल कुछ के लिए ही अंतिम निदान (डायग्नोसिस) की पुष्टि कर पाए हैं। बाकी सब रहस्य बने हुए हैं, इसलिए नहीं कि डेटा खो गया है, बल्कि इसलिए क्योंकि पुष्टि करने की प्रक्रिया बहुत महंगी थी, बहुत धीमी थी, या कुछ मामलों के लिए असंभव थी। यह सेमी-सुपरवाइज्ड लर्निंग (semi-supervised learning) का क्षेत्र है, जो कंप्यूटर को ज्ञात उत्तरों और अज्ञात उत्तरों के मिश्रण का उपयोग करके पैटर्न पहचानने के लिए सिखाने के लिए समर्पित है। पारंपरिक रूप से, सांख्यिकीविदों ने इन गायब उत्तरों को यादृच्छिक दुर्घटनाओं (random accidents) के रूप में माना है, यह मानते हुए कि लेबल गायब होने का कारण डेटा के स्वयं के स्वरूप से संबंधित नहीं है। हालाँकि, कई वास्तविक स्थितियों में, लेबल गायब होने का कारण वास्तव में एक सुराग होता है। एक रोगी का सटीक निदान करना कठिन हो सकता है क्योंकि उनके लक्षण भ्रमित करने वाले हैं, या एक सर्वे उत्तरदाता किसी प्रश्न को छोड़ सकता है क्योंकि उत्तर असहज करने वाला है। यदि कंप्यूटर इस संबंध को अनदेखा करता है, तो वह पहेली के एक महत्वपूर्ण हिस्से को खो देता है।
क्वींसलैंड विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने में मदद करने के लिए एक नया उपकरण विकसित किया है। उन्होंने SSLfmm नामक एक सॉफ्टवेयर पैकेज बनाया है, जो मशीनों को ऐसे डेटा से सीखने की अनुमति देता है जहाँ लेबल दो अलग-अलग तरीकों से गायब हैं: या तो पूरी तरह से यादृच्छिक (random) रूप से, या इसलिए क्योंकि डेटा ने ही लेबल प्राप्त करना कठिन बना दिया था। यह सॉफ्टवेयर एक ऐसे ढांचे पर आधारित है जो गायब लेबल को केवल एक खाली स्थान के रूप में नहीं, बल्कि एक विशिष्ट प्रक्रिया के परिणाम के रूप में देखता है। डेटा के साथ इस प्रक्रिया को मॉडल करके, सिस्टम यह अंतर कर सकता है कि एक गायब लेबल संयोग से हुआ था या इसलिए हुआ क्योंकि डेटा बिंदु अस्पष्ट या वर्गीकरण के लिए कठिन था। यह दृष्टिकोण कंप्यूटर को उन समूहों को समझने में सुधार करने के लिए उपयोग करने देता है जिन्हें वह पहचानने की कोशिश कर रहा है।
शोधकर्ताओं ने अपने नए सॉफ्टवेयर का परीक्षण करने के लिए डेटा की एक सिम्युलेटेड दुनिया बनाई जहाँ उन्हें पता था कि लेबल ठीक कैसे गायब हुए थे। उन्होंने दो ओवरलैपिंग समूहों का प्रतिनिधित्व करने वाले एक हजार डेटा बिंदु उत्पन्न किए, फिर जानबूझकर लगभग बत्तीस प्रतिशत के लिए लेबल हटा दिए। उन्होंने इन गायब लेबलों को दो श्रेणियों में विभाजित किया: कुछ यादृच्छिक रूप से हटाए गए थे, जबकि अन्य विशेष रूप से इसलिए हटाए गए थे क्योंकि वे डेटा बिंदु एक-दूसरे से अलग पहचानना कठिन थे। फिर उन्होंने अपने सॉफ्टवेयर से दो अलग-अलग रणनीतियों का उपयोग करके समूहों का पता लगाने के लिए कहा। पहली रणनीति में, सॉफ्टवेयर को ठीक से बताया गया था कि कौन से गायब लेबल यादृच्छिक थे और कौन से कठिन थे। दूसरी रणनीति में, सॉफ्टवेयर को केवल यह बताया गया था कि एक लेबल गायब है, बिना यह जाने कि उसका कारण क्या था। परिणामों ने दिखाया कि गायब लेबलों के विशिष्ट कारण को जाने बिना भी, सॉफ्टवेयर प्रभावी ढंग से सीख सकता था। जब छिपे हुए लेबलों वाले डेटा बिंदुओं पर परीक्षण किया गया, तो कारणों को जानने वाले संस्करण ने लगभग इक्यासी प्रतिशत की सटीकता प्राप्त की, जबकि अनुमान लगाने वाले संस्करण ने लगभग समान इक्यासी प्रतिशत की सटीकता प्राप्त की। इसने प्रदर्शित किया कि गायब जानकारी को संभालने के लिए सॉफ्टवेयर का आंतरिक तर्क मजबूत था, भले ही गायब होने का स्रोत छिपा हुआ हो।
यह देखने के लिए कि यह कैसे काम करता है, टीम ने रक्त आधान (ब्लड ट्रांसफ्यूजन) से संबंधित एक डेटासेट पर अपने सॉफ्टवेयर को लागू किया। उन्होंने सात सौ अड़तालीस दाताओं का एक पूर्ण रिकॉर्ड लिया और कृत्रिम रूप से उनमें से कुछ के लिए लेबल हटा दिए। उन्होंने उन दाताओं के लेबल रखे जो वर्गीकृत करने में आसान थे, अन्य के यादृच्छिक चयन के लिए लेबल हटा दिए, और एक तीसरे समूह के लिए लेबल हटा दिए जिन्हें विशेष रूप से कठिन होने के कारण चुना गया था। इससे एक ऐसी स्थिति पैदा हुई जहाँ गायब लेबल यादृच्छिक घटनाओं और कठिन मामलों का मिश्रण थे। शोधकर्ताओं ने तीन अलग-अलग धारणाओं के तहत अपने सॉफ्टवेयर को चलाया: कि सभी गायब लेबल यादृचिक थे, सभी कठिनाई के कारण थे, और दोनों का मिश्रण थे। दोनों का मिश्रण मानने वाले सॉफ्टवेयर ने सबसे अच्छा प्रदर्शन किया। इसने कठिन मामलों के लिए लगभग साठ प्रतिशत की सटीकता के साथ रक्त दाता समूहों की सही पहचान की, जो केवल एक प्रकार की कमी (missingness) मानने वाले मॉडलों से बेहतर प्रदर्शन किया। सॉफ्टवेयर ने यह भी अनुमान लगाया कि गायब लेबलों में से लगभग दस प्रतिशत यादृच्छिक थे, जो प्रयोग के वास्तविक सेटअप से काफी मेल खाता था।
केवल सही उत्तर प्राप्त करने के अलावा, सॉफ्टवेयर अपने काम की जाँच करने का एक तरीका भी प्रदान करता है। यह प्रत्येक भविष्यवाणी के लिए अनिश्चितता का एक माप (measure of uncertainty) निकालता है, जो अनिवार्य रूप से कंप्यूटर से पूछता है कि वह प्रत्येक वर्गीकरण के बारे में कितना आश्वस्त महसूस करता है। जब शोधकर्ताओं ने इन विश्वास स्कोर (confidence scores) को देखा, तो उन्हें एक स्पष्ट पैटर्न मिला: मूल रूप से कठिन लेबल वाले डेटा बिंदुओं में आसान या यादृच्छिक वाले बिंदुओं की तुलना में बहुत अधिक अनिश्चितता स्कोर था। इसने पुष्टि की कि सॉफ्टवेयर ने सफलतापूर्वक गायब लेबलों को डेटा की कठिनाई के साथ जोड़ने में सफलता प्राप्त की थी। यह टूल अब आर (R) प्रोग्रामिंग भाषा के लिए एक मुफ्त पैकेज के रूप में उपलब्ध है, जो सांख्यिकीय कंप्यूटिंग के लिए एक मानक वातावरण है। यह शोधकर्ताओं को जटिल कोड को स्क्रैच से लिखे बिना मॉडल फिट करने, भविष्यवाणियां करने और डायग्नोस्टिक्स चलाने की अनुमति देता है। पैकेज में डेटा को सिम्युलेट करने, मॉडल के काम करने के तरीके की जांच करने और गायब लेबल एवं वर्गीकरण अनिश्चितता के बीच संबंध को विज़ुअलाइज़ करने के लिए फंक्शन शामिल हैं।
इस कार्य का महत्व डेटा संग्रह की अव्यवस्थित वास्तविकता को संभालने की इसकी क्षमता में निहित है। चिकित्सा से लेकर सामाजिक विज्ञान तक, कई क्षेत्रों में, लेबल प्राप्त करने की प्रक्रिया शायद ही कभी यादृच्छिक होती है। यह स्वीकार करके कि गायब होना स्वयं सूचना ले जाता है, SSLfmm पैकेज अधूरे डेटा से सीखने का एक अधिक ईमानदार और सटीक तरीका प्रदान करता है। यह दावा नहीं करता कि यह गायब जानकारी की हर समस्या को हल कर देगा, न ही यह सुझाव देता है कि सारा गायब डेटा सूचनात्मक है। इसके बजाय, यह एक लचीला ढांचा प्रदान करता है जहाँ शोधकर्ता विभिन्न धारणाओं का परीक्षण कर सकते हैं कि डेटा क्यों गायब है और देख सकते हैं कि कौन सी धारणा सबसे अच्छे परिणाम की ओर ले जाती है। लेखक इस बात पर जोर देते हैं कि हालांकि सॉफ्टवेयर ने अपने परीक्षणों में अच्छा प्रदर्शन किया, लेकिन विशिष्ट संख्याएं विश्लेषण किए जा रहे डेटा पर निर्भर करती हैं। इस टूल का वास्तविक मूल्य यह है कि यह वैज्ञानिकों को यह पूछने का एक तरीका देता है, "क्या तथ्य यह कि मुझे यह उत्तर नहीं पता है, मुझे उत्तर के बारे में कुछ बता रहा है?" और एक डेटा-संचालित प्रतिक्रिया प्राप्त करने का अवसर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।