Singular model selection for trustworthy label-free classifier evaluation
यह शोधपत्र प्रदर्शित करता है कि लेबल-मुक्त क्लासिफायर मूल्यांकन एक विलक्षण सांख्यिकीय समस्या है जहाँ शास्त्रीय मॉडल चयन मानदंड डिजेनरेट फिशर सूचना के कारण विफल हो जाते हैं, और यह सटीक रूप से गुप्त संरचनाओं को पुनः प्राप्त करने तथा ग्राउंड-ट्रुथ लेबल के बिना विश्वसनीय प्रदर्शन अनुमान सुनिश्चित करने के लिए विलक्षण और व्यापक रूप से लागू होने वाले बेयस सूचना मानदंडों का उपयोग करने का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, हम अक्सर मशीनों द्वारा निर्णय लेने पर भरोसा करते हैं, लेकिन हम शायद ही कभी उन मशीनों पर भरोसा करना जानते हैं जो उन निर्णयों का न्याय करती हैं। जब चिकित्सा स्कैन में बीमारियों को पहचानने या तस्वीरों में पक्षियों की पहचान करने के लिए एक नया कंप्यूटर प्रोग्राम बनाया जाता है, तो इसके प्रदर्शन को आमतौर पर एक ज्ञात "गोल्ड स्टैंडर्ड" (स्वर्ण मानक)—मानव विशेषज्ञों द्वारा प्रदान किए गए सही उत्तरों के एक सेट—से तुलना करके मापा जाता है। लेकिन क्या होता है जब ऐसे कोई पूर्ण उत्तर मौजूद नहीं होते? यह चिकित्सा जैसे क्षेत्रों में एक सामान्य वास्तविकता है, जहाँ एक निदान अनिश्चित हो सकता है, या बड़े पैमाने की डेटा परियोजनाओं में जहाँ मानव विशेषज्ञ हर एक वस्तु को लेबल करने के लिए बहुत महंगे या बहुत धीमे होते हैं। इन स्थितियों में, शोधकर्ता एक चतुर वर्कअराउंड (जुगाड़) पर भरोसा करते हैं: वे कई अपूर्ण निर्णायकों (judges) से एक ही वस्तु को देखने और उनके बीच के समझौतों की तुलना करने के लिए कहते हैं। यदि विशेषज्ञों का एक समूह किसी निदान पर काफी हद तक सहमत होता है, तो हम मानते हैं कि वे संभवतः सही हैं। हालाँकि, यह विधि एक खतरनाक जाल छिपाती है। डेटा में कितने अलग-अलग प्रकार के उत्तर मौजूद हैं, यह तय करने के लिए उपयोग किए जाने वाले गणितीय उपकरण अक्सर उन धारणाओं पर बने होते हैं जो ठीक उसी समय टूट जाती हैं जब डेटा की व्याख्या करना सबसे कठिन होता है। जब संकेत कमजोर होता है या स्थिति दुर्लभ होती है, तो ये मानक उपकरण चुपचाप सत्य की जटिलता को मिटा सकते हैं, जिससे उत्तरों के अलग-अलग समूहों को एक भ्रामक औसत में समाहित कर दिया जाता है।
एक शोधकर्ता ने अब यह दिखाया है कि यह पतन केवल गणना की एक मामूली त्रुटि नहीं है, बल्कि संभावनाओं को गिनने के तरीके में एक मौलिक दोष है। उन्होंने इन अपूर्ण निर्णायकों का मूल्यांकन करने के लिए उपयोग किए जाने वाले एक विशिष्ट प्रकार के सांख्यिकीय मॉडल का अध्ययन किया, जिसे 'लेटेंट क्लास मॉडल' (latent class model) कहा जाता है। इस सेटअप में, किसी वस्तु की "वास्तविक" श्रेणी छिपी हुई होती है, और हम कई निर्णायकों के शोर-शराबे वाले, कभी-कभी विरोधाभासी मतों के आधार पर उसका अनुमान लगाने की कोशिश करते हैं। शोधकर्ता ने पाया कि इस समस्या की ज्यामिति "सिंगुलर" (singular) है, जो तकनीकी रूप से कहने का एक तरीका है कि संभावित उत्तरों का परिदृश्य एक सपाट, क्षीण (degenerate) स्थान है जहाँ सांख्यिकी के मानक नियम लागू नहीं होते हैं। इस सिंगुलर क्षेत्र में, सही छिपी हुई श्रेणियों को चुनने के सामान्य तरीके व्यवस्थित रूप से विफल हो जाते हैं। वे बहुत कम श्रेणियां चुनते हैं, जिससे डेटा के अलग-अलग समूह एक ही समूह में मिल जाते हैं। यह कंप्यूटर के थोड़ा गलत होने का मामला नहीं है; यह एक संरचनात्मक विफलता है जहाँ मॉडल यह तय करता है कि दो अलग-अलग वास्तविकताएं वास्तव में एक ही चीज़ हैं।
इसे सिद्ध करने के लिए, शोधकर्ता ने हजारों कंप्यूटर सिमुलेशन चलाए जहाँ उन्हें पहले से ही सटीक सत्य पता था। उन्होंने ऐसी स्थितियाँ बनाई जहाँ स्पष्ट रूप से वस्तुओं के दो अलग-अलग प्रकार थे, लेकिन निर्णायकों से मिलने वाले संकेत कमजोर थे या वस्तुएं दुर्लभ थीं। जब उन्होंने 'बेयसियन इंफॉर्मेशन क्राइटेरियन' (Bayesian Information Criterion) नामक मानक, व्यापक रूप से उपयोग किए जाने वाले तरीके को लागू किया, तो वह लगभग हमेशा विफल रहा। इसके बजाय, इसने केवल एक प्रकार की वस्तु की रिपोर्ट दी, जिससे दूसरे समूह का अस्तित्व ही मिट गया। यह तब भी हुआ जब शोधकर्ता के पास बड़ी मात्रा में डेटा उपलब्ध था। मानक विधि मॉडल को सरल रखने के लिए इतनी उत्सुक थी कि उसने दूसरे समूह के प्रमाण को पूरी तरह से अनदेखा कर दिया। इसके विपरीत, शोधकर्ता ने दो नए तरीकों का परीक्षण किया जो विशेष रूप से इन कठिन, सिंगुलर स्थितियों के लिए डिज़ाइन किए गए थे। ये नए तरीके, जो जटिलता को मापने का एक अलग तरीका अपनाते हैं, अधिकांश मामलों में दूसरे समूह को सफलतापूर्वक खोज पाए। उन्होंने न केवल इसे खोजा; बल्कि उन्होंने ऐसा तब भी किया जब सत्य सरल था और अन्य अधिक उदार विधियों की तरह उन्होंने फर्जी समूह भी नहीं बनाए।
इन गलत गणनाओं के परिणाम गंभीर होते हैं। एक चिकित्सा संदर्भ में, यदि एक मॉडल रोगियों के दो अलग-अलग समूहों को एक में समाहित कर देता है, तो वह सटीक संवेदनशीलता (sensitivity) या विशिष्टता (specificity) की रिपोर्ट नहीं कर सकता—जो कि परीक्षण के रोग का पता लगाने और रोग के बिना अलार्म बजाने की क्षमता को मापने के पैमाने हैं। शोधकर्ता ने दिखाया कि जब मानक विधि एक पतन (collapse) को मजबूर करती है, तो परीक्षणों की रिपोर्ट की गई सटीकता एक अर्थहीन संख्या में बदल जाती है जो केवल जनसंख्या में बीमारी की समग्र दर को दर्शाती है। यह बताना असंभव हो जाता है कि एक परीक्षण उत्कृष्ट है या बेकार। इसे वास्तविक डेटा के साथ प्रदर्शित करने के लिए, शोधकर्ता ने त्वचा कैंसर के स्लाइड्स के एक प्रसिद्ध डेटासेट का पुन: विश्लेषण किया, जिसे सात पैथोलॉजिस्ट द्वारा ग्रेड किया गया था, जिनमें से किसी के पास भी तुलना करने के लिए कोई गोल्ड स्टैंडर्ड नहीं था। जब उन्होंने डेटा के छोटे उपसमुच्चयों (subsets) पर मानक विधि का उपयोग किया, तो इसने लगातार स्लाइड्स के तीसरे, अलग समूह को मिस किया जहाँ डॉक्टर भ्रमित थे या असहमत थे। नए, सिंगुलर-जागरूक (singular-aware) तरीकों ने इस भ्रमित समूह को तुरंत खोज लिया। यह तीसरा समूह स्लाइडों के एक वास्तविक, कठिन स्तर का प्रतिनिधित्व करता था जिसे मानक विधि ने चुपचाप "हाँ" और "ना" की स्पष्ट श्रेणियों में मिला दिया था।
शोधकर्ता ने पक्षियों की छवियों को लेबल करने वाले क्राउड वर्कर्स के मशीन-लर्निंग डेटासेट पर भी इस दृष्टिकोण का परीक्षण किया। यहाँ भी, मानक विधि ने जोर देकर कहा कि दो प्रकार की छवियां हैं, जबकि नए तरीकों ने छवियों के एक तीसरे, विवादास्पद समूह को प्रकट किया जो वास्तव में वर्गीकृत करने में कठिन थे। इन नए तरीकों का उपयोग करके, शोधकर्ता इन कठिन मामलों को अलग करने और यह दिखाने में सक्षम हुए कि वे केवल शोर (noise) नहीं थे, बल्कि डेटा का एक वास्तविक, पहचानने योग्य हिस्सा थे। अध्ययन पुष्टि करता है कि इन छिपे हुए समूहों को गिनने का चुनाव एक मामूली तकनीकी विवरण नहीं है, बल्कि विश्वास की एक पूर्व शर्त है। यदि गिनती करने का तरीका त्रुटिपूर्ण है, तो मशीन लर्निंग सिस्टम का पूरा मूल्यांकन एक ढह चुके आधार पर बना होता है। शोधकर्ता निष्कर्ष निकालते हैं कि किसी भी मूल्यांकन के लिए जिसमें एक पूर्ण संदर्भ मानक (reference standard) नहीं है, हमें पुराने, मानक उपकरणों का उपयोग करना बंद करना चाहिए और इन नए, सिंगुलर-जागरूक तरीकों को अपनाना चाहिए। केवल तभी हम आश्वस्त हो सकते हैं कि हमारे द्वारा रिपोर्ट किए गए प्रदर्शन के आंकड़े ईमानदार हैं, और हम एक जटिल वास्तविकता को एक सरल वास्तविकता समझने की गलती नहीं कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।