Reliable AUC Evaluation for Positive-Unlabeled Classifiers: Calibrated Confidence Intervals under an Unknown Class Prior
यह शोध पत्र पॉजिटिव-अनलेबल लर्निंग में वास्तविक एरिया अंडर द कर्व (AUC) के लिए कैलिब्रेटेड, टू-साइडेड कॉन्फिडेंस इंटरवल प्राप्त करने की एक विधि प्रस्तावित करता है, जो अवलोकन योग्य मेट्रिक्स से लक्षित AUC को सटीक रूप से पुनः प्राप्त करके और अनुमानित पॉजिटिव अंश की अनिश्चितता को प्रसारित करके किया जाता है, जिससे वर्तमान प्रदर्शन मूल्यांकनों में पूर्वाग्रह और विश्वसनीयता की कमी को संबोधित किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मशीन लर्निंग की दुनिया में, कंप्यूटर को अक्सर उन्हें दिखाने के माध्यम से पैटर्न पहचानने के लिए सिखाया जाता है कि वे क्या खोज रहे हैं और वे क्या नहीं हैं। कल्पना कीजिए कि एक डॉक्टर एक एल्गोरिदम को एक विशिष्ट प्रकार के ट्यूमर को पहचानने के लिए सिखाने की कोशिश कर रहा है। कंप्यूटर को अंतर समझने के लिए ट्यूमर की स्पष्ट तस्वीरें और स्वस्थ ऊतकों (healthy tissue) की स्पष्ट तस्वीरें देखने की आवश्यकता है। लेकिन कई वास्तविक दुनिया की स्थितियों में, "स्वस्थ" के उन स्पष्ट उदाहरणों को प्राप्त करना कठिन होता है। अक्सर, शोधकर्ताओं के पास केवल पुष्ट सकारात्मक मामलों (positive cases) की एक सूची होती है और बिना लेबल वाले डेटा का एक बड़ा, अस्त-व्यस्त ढेर होता है जिसमें सकारात्मक और नकारात्मक दोनों मामले मिले हुए होते हैं, और उन्हें अलग करने का कोई तरीका नहीं होता। इसे 'पॉजिटिव-अनलेबल लर्निंग' (positive-unlabeled learning) के रूप में जाना जाता है। लक्ष्य एक ऐसा सिस्टम बनाना है जो अभी भी खराब मामलों की तुलना में अच्छे मामलों को उच्च रैंक दे सके, भले ही खराब मामले भीड़ के भीतर छिपे हों। इस सिस्टम के प्रदर्शन को मापने का मानक तरीका एक स्कोर की गणना करना है जो दो समूहों के बीच अंतर करने की इसकी क्षमता को दर्शाता है। हालाँकि, जब नकारात्मक समूह छिपा हुआ और मिला हुआ होता है, तो मानक स्कोर भ्रामक हो जाता है। यह आपको उस अस्त-व्यस्त ढेर के मुकाबले आपकी रैंकिंग की क्षमता बताता है, न कि वास्तविक नकारात्मक मामलों के मुकाबले, और यह आमतौर पर इस संख्या को एक एकल, सटीक बिंदु के रूप में प्रस्तुत करता है जिसमें इस बात का कोई संकेत नहीं होता कि संयोगवश वह संख्या कितनी गलत हो सकती है।
विंसेंट लूटन (Vincent Looten) नामक एक शोधकर्ता ने इस समस्या से निपटने के लिए प्रदर्शन को मापने का एक नया तरीका विकसित करके इस पर काम किया है जो छिपे हुए मिश्रण को ध्यान में रखता है और विश्वास की एक विश्वसनीय सीमा प्रदान करता है। इस कार्य का मूल एक गणितीय सुधार (mathematical correction) है जो अनलेबल डेटा के संदूषण (contamination) को हटाकर नकारात्मक मामलों के विरुद्ध वास्तविक प्रदर्शन को प्रकट करता है। शोधकर्ता ने पाया कि आप केवल अस्त-व्यस्त ढेर को देखकर उत्तर का अनुमान नहीं लगा सकते; आपको पहले यह अनुमान लगाना होगा कि उस ढेर में वास्तव में वह सकारात्मक मामला कितना है जिसे आप खोज रहे हैं। एक बार जब आपके पास इस मिश्रण का अनुमान आ जाता है, तो आप स्कोर को समायोजित करने के लिए एक विशिष्ट सूत्र का उपयोग कर सकते हैं। लेकिन शोधकर्ता इससे भी आगे गए, यह समझते हुए कि केवल संख्या को समायोजित करना पर्याप्त नहीं है। क्योंकि मिश्रण का अनुमान स्वयं अनिश्चित है, उस अनिश्चितता को गणना के माध्यम से आगे ले जाना आवश्यक है। अध्ययन से पता चलता है कि यदि आप इस अनिश्चितता को अनदेखा करते हैं, तो आपका अंतिम स्कोर गलत होगा। इस मिश्रण के अनुमान में अनिश्चितता अंतिम स्कोर को कैसे प्रभावित करती है, इसका सावधानीपूर्वक पता लगाकर, शोधकर्ता ने एक कैलिब्रेटेड अंतराल (calibrated interval) तैयार करने की विधि विकसित की। यह अंतराल एक सुरक्षा जाल की तरह कार्य करता है, जो उपयोगकर्ता को उस सीमा के बारे में बताता है जिसके भीतर वास्तविक प्रदर्शन लगभग निश्चित रूप से स्थित है, बजाय इसके कि केवल एक एकल, संभावित रूप से भ्रामक संख्या दी जाए।
अध्ययन से पता चलता है कि यह विधि तब खूबसूरती से काम करती है जब सकारात्मक और नकारात्मक मामले इतने स्पष्ट हों कि उन्हें अलग किया जा सके। इन स्पष्ट स्थितियों में, नई विधि एक दो-तरफा सीमा (two-sided range) उत्पन्न करती है जो वास्तविक प्रदर्शन को लगभग उतनी ही बार कैप्चर करती है जितनी बार एक मानक सांख्यिकीय नियम की अपेक्षा की जाती है। हालाँकि, शोधकर्ता ने इस दृष्टिकोण की एक कठोर सीमा की भी खोज की। जब सकारात्मक और नकारात्मक मामले इतने समान होते हैं कि वे आपस में मिल जाते हैं, तो मिश्रण को निश्चितता के साथ पकड़ना असंभव हो जाता है। इस विशिष्ट परिदृश्य में, दो-तरफा सीमा टूट जाती है क्योंकि गणित इसे सहारा देने में असमर्थ है। इसके बजाय, विधि एक एक-तरफा सीमा (one-sided bound) पर स्विच हो जाती है। यह सीमा प्रदर्शन का एक गारंटीकृत न्यूनतम स्तर प्रदान करती है, यह स्वीकार करते हुए कि हालांकि सटीक स्कोर अज्ञात है, सिस्टम निश्चित रूप से कम से कम इतना अच्छा है। यह स्विच करना विधि की विफलता नहीं बल्कि इसकी एक विशेषता है, जो यह सुनिश्चित करती है कि रिपोर्ट ईमानदार बनी रहे, भले ही डेटा बहुत अस्पष्ट हो।
इन विचारों का परीक्षण करने के लिए, शोधकर्ता ने वास्तविक दुनिया के डेटा पर इस विधि को लागू किया, विशेष रूप से स्तन कैंसर के मेडिकल रिकॉर्ड का उपयोग करके जहाँ वास्तविक लेबल ज्ञात थे लेकिन समस्या का अनुकरण करने के लिए उन्हें छिपा हुआ माना गया था। परिणाम स्पष्ट थे। एक पारंपरिक दृष्टिकोण जो छिपे हुए मिश्रण को अनदेखा करता है और एक एकल संख्या रिपोर्ट करता है, वह पूरी तरह से विफल रहा, और परीक्षणों में वास्तविक प्रदर्शन को कभी भी कैप्चर नहीं कर सका। एक अन्य दृष्टिकोण जिसने संख्या को ठीक करने की कोशिश की लेकिन मिश्रण के लिए एक सरल अनुमान का उपयोग किया, वह भी संघर्ष करता रहा, विशेष रूप से जब डेटा एक आदर्श बेल-कर्व (bell-curve) का पालन नहीं करता था। केवल नई विधि ही सफल रही, जिसने सुधार को मिश्रण के मजबूत अनुमान और अनिश्चितता की सावधानीपूर्वक गणना के साथ जोड़ा। इसने लगातार ऐसे अंतराल उत्पन्न किए जिनमें वास्तविक प्रदर्शन शामिल था, बशर्ते कि सकारात्मक और नकारात्मक मामले बहुत अधिक समान न हों। अध्ययन पुष्टि करता है कि विश्वसनीय उत्तर प्राप्त करने की कुंजी केवल रैंकिंग करने वाला एल्गोरिदम नहीं है, बल्कि छिपे हुए मिश्रण का वर्णन करने के लिए उपयोग किया गया अनुमान की गुणवत्ता है। यदि वह अनुमान पक्षपाती या गलत है, तो अंतिम प्रदर्शन स्कोर गलत होगा, चाहे रैंकिंग प्रणाली कितनी भी परिष्कृत क्यों न हो।
यह कार्य यह भी स्पष्ट करता है कि एक शोधकर्ता को कब दो-तरफा सीमा पर भरोसा करना चाहिए और कब उन्हें एक-तरफा फ्लोर (floor) से संतोष करना चाहिए। संक्रमण बिंदु उपलब्ध डेटा के सापेक्ष दोनों समूहों के कितने अलग होने पर निर्भर करता है। यदि समूह अच्छी तरह से अलग हैं, तो पूर्ण सीमा वैध है। यदि वे बहुत करीब हैं, तो विधि सही ढंग से पहचान लेती है कि एक सटीक दो-तरफा सीमा असंभव है और सुरक्षित, एक-तरफा गारंटी प्रदान करती है। यह अंतर उन पेशेवरों के लिए महत्वपूर्ण है जिन्हें न केवल यह जानने की आवश्यकता है कि एक सिस्टम कैसे काम करता है, बल्कि वे उस संख्या के बारे में कितने आश्वस्त हैं। शोधकर्ता ने इस पूरी प्रक्रिया को एक उपकरण (tool) में पैक किया है जो किसी भी मौजूदा स्कोरिंग सिस्टम के चारों ओर लिपट सकता है, जिससे उपयोगकर्ताओं को अपना डेटा इनपुट करने और डीकंटैमिनेटेड स्कोर के साथ एक कॉन्फिडेंस इंटरवल या एक सेफ्टी फ्लोर प्राप्त करने की अनुमति मिलती है। इस उपकरण के लिए यह आवश्यक नहीं है कि डेटा किसी विशिष्ट गणितीय आकार का पालन करे, जिससे यह उन अस्त-व्यस्त, वास्तविक दुनिया के डेटासेट के लिए उपयोगी हो जाता है जो सरल मॉडलों को चुनौती देते हैं।
अंततः, यह शोध केवल बेहतर क्लासिफायर बनाने के बजाय उन्हें सही ढंग से मापने के तरीके को समझने की ओर ध्यान केंद्रित करता है। यह प्रदर्शित करता है कि स्पष्ट नकारात्मक उदाहरणों की अनुपस्थिति में, सबसे महत्वपूर्ण जानकारी यह अनुमान है कि अनलेबल ढेर में कितने सकारात्मक मामले छिपे हुए हैं। अध्ययन सिद्ध करता है कि सही गणितीय समायोजनों के साथ, वास्तविक प्रदर्शन को पुनः प्राप्त करना और उसके साथ एक विश्वसनीय त्रुटि मार्जिन जोड़ना संभव है। हालाँकि, यह एक स्पष्ट सीमा भी निर्धारित करता है: जब सिग्नल इतना कमजोर हो कि समूहों को अलग किया जा सके, तो विधि अनुमान लगाने से इनकार कर देती है, और इसके बजाय एक रूढ़िवादी निचली सीमा (lower limit) प्रदान करती है। जो ज्ञात किए जाने की सीमाओं के बारे में यह ईमानदारी है, वह शायद सबसे मूल्यवान निष्कर्ष है, जो यह सुनिश्चित करता है कि इन स्कोर्स पर आधारित निर्णय अंतर्निहित अनिश्चितता की स्पष्ट समझ के साथ लिए जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।