Evaluation Metrics for Image Classification, Segmentation and Localization Mathematical Foundations, Comparative Analysis and Research Recommendations
यह महत्वपूर्ण समीक्षा इमेज क्लासिफिकेशन (छवि वर्गीकरण), सेगमेंटेशन (खंडन) और लोकलाइजेशन (स्थान निर्धारण) के लिए 72 मूल्यांकन मेट्रिक्स को व्यवस्थित रूप से वर्गीकृत और तुलना करने हेतु 150 संदर्भों को संश्लेषित करती है, जो पुनरुत्पादनीय और नैदानिक रूप से वैध अध्ययनों के लिए उपयुक्त, पूरक मेट्रिक्स के चयन के मार्गदर्शन हेतु गणितीय आधार, कार्य किए गए उदाहरण और अनुसंधान अनुशंसाएँ प्रदान करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मेडिकल इमेजिंग की दुनिया में, कंप्यूटर मानव शरीर की तस्वीरों को देखने में असाधारण रूप से कुशल हो गए हैं। वे एक ट्यूमर का पता लगा सकते हैं, किसी अंग की रूपरेखा खींच सकते हैं, या हड्डी पर एक विशिष्ट लैंडमार्क को पहचान सकते हैं। लेकिन इन मशीनों को आंकने के तरीके में एक छिपा हुआ जाल है। कल्पना कीजिए कि एक छात्र एक ऐसी परीक्षा दे रहा है जहाँ शिक्षक केवल अंतिम स्कोर के आधार पर उसे ग्रेड देते हैं, बिना यह देखे कि उसने किन विशिष्ट प्रश्नों के गलत उत्तर दिए। यदि छात्र ने कुछ कठिन प्रश्नों के सही उत्तरों का अनुमान लगाया लेकिन दर्जनों आसान प्रश्नों को गलत कर दिया, तो एक साधारण स्कोर इस तथ्य को छिपा सकता है कि वह वास्तव में विषय में विफल हो रहा है। इसी तरह, एक कंप्यूटर मॉडल एक मानक परीक्षण पर उच्च अंक प्राप्त करके प्रतिभाशाली दिखाई दे सकता है, जबकि वह गुप्त रूप से उन दुर्लभ बीमारियों को खोजने में विफल हो सकता है जिन्हें पकड़ना डॉक्टरों के लिए सबसे अधिक आवश्यक है, या ट्यूमर के किनारों को इतनी खराब तरह से खींच सकता है कि एक सर्जन उस मानचित्र का उपयोग न कर सके। मुख्य समस्या यह है कि सफलता को मापने के लिए उपयोग किए जाने वाले उपकरण अक्सर उस वास्तविक कार्य से मेल नहीं खाते जो कंप्यूटर को करने के लिए कहा गया है।
दो शोधकर्ताओं, बेहनाम कियानी कालेजाही और मोहम्मद जावाद रजाबी ने इस बेमेल को ठीक करने के लिए एक व्यापक मार्गदर्शिका लिखी है। उन्होंने बीमारियों को खोजने के लिए कोई नया कंप्यूटर प्रोग्राम नहीं बनाया। इसके बजाय, उन्होंने पहले से मौजूद प्रोग्रामों को मापने के तरीके के बारे में सोचने का एक नया तरीका विकसित किया। उन्होंने सैकड़ों मौजूदा अध्ययनों और गणितीय विधियों की समीक्षा की ताकि यह समझने के लिए एक स्पष्ट मानचित्र बनाया जा सके कि विभिन्न माप वास्तव में हमें क्या बताते हैं। उनका कार्य एक महत्वपूर्ण समीक्षा (critical review) है, जिसका अर्थ है कि उन्होंने खेल खेलने के बजाय खेल के नियमों का विश्लेषण किया। उन्होंने पाया कि यह क्षेत्र भ्रम से भरा है क्योंकि वैज्ञानिक अक्सर अलग-अलग चीजों का वर्णन करने के लिए एक ही शब्दों का उपयोग करते हैं, या वे ऐसा माप चुनते हैं जो उनके मॉडल को अच्छा दिखाने के साथ-साथ उसकी विफलताओं को छिपा देता है। शोध पत्र तर्क देता है कि कोई एक "सर्वश्रेष्ठ" स्कोर नहीं है। इसके बजाय, एक विश्वसनीय मूल्यांकन के लिए विभिन्न मापों का एक छोटा, सावधानीपूर्वक चुना गया समूह आवश्यक है जो इस बारे में विशिष्ट प्रश्न पूछे कि कंप्यूटर कैसे व्यवहार करता है।
शोधकर्ताओं ने अपने निष्कर्षों को इस कार्य के प्रकार के आधार पर व्यवस्थित किया जो कंप्यूटर कर रहा है। उस कार्य के लिए जिसमें केवल यह तय करना है कि बीमारी मौजूद है या अनुपस्थित, वे समझाते हैं कि एक उच्च समग्र सटीकता भ्रामक हो सकती है यदि बीमारी दुर्लभ है। वे दिखाते हैं कि एक मॉडल 99 प्रतिशत समय सही हो सकता है यदि वह हर मरीज के लिए "कोई बीमारी नहीं" कहता है, फिर भी वह एक भी बीमार व्यक्ति को खोजने में विफल रहेगा। इससे बचने के लिए, वे जोर देते हैं कि वैज्ञानिकों को यह रिपोर्ट करना चाहिए कि मॉडल बीमार लोगों को कितनी अच्छी तरह पाता है और स्वस्थ लोगों के लिए कितनी बार गलत अलार्म बजाता है, न कि केवल एक एकल औसत संख्या देना चाहिए। वे यह भी बताते हैं कि एक कंप्यूटर का आत्मविश्वास स्कोर (confidence score) उसकी वास्तविक सटीकता के समान नहीं है। एक कंप्यूटर गलत उत्तर के बारे में बहुत आश्वस्त हो सकता है, और मानक परीक्षण अक्सर इसे पकड़ने में विफल रहते हैं। लेखक सुझाव देते हैं कि शोधकर्ताओं को यह जांचना चाहिए कि कंप्यूटर का आत्मविश्वास वास्तविकता से मेल खाता है या नहीं, यह सुनिश्चित करते हुए कि जब वह 90 प्रतिशत निश्चित कहता है, तो वह वास्तव में 90 प्रतिशत बार सही होता है।
जब कार्य सरल हाँ या ना के उत्तरों से बढ़कर रूपरेखा खींचने तक पहुँचता है, तो नियम फिर से बदल जाते हैं। सेगमेंटेशन (segmentation) के रूप में ज्ञात इस क्षेत्र में, कंप्यूटर को एक विशिष्ट अंग या घाव के चारों ओर एक आकार बनाना होता है। शोधकर्ता प्रदर्शित करते हैं कि दो मॉडलों का सही आकार के साथ ओवरलैप होने के स्कोर में बिल्कुल समान हो सकता है, फिर भी एक मॉडल गलत जगह पर एक आदर्श वृत्त बना सकता है, जबकि दूसरा एक टेढ़ी-मेढ़ी रेखा खींच सकता है जो सही स्थान को छूती है। वे दिखाते हैं कि एक एकल संख्या एक बड़े अंग के बीच में छोटी त्रुटि और एक बहुत ही महत्वपूर्ण संरचना पर बड़ी त्रुटि के बीच अंतर नहीं बता सकती। उन्होंने पाया कि वैज्ञानिक अक्सर इन रेखाचित्रों के किनारों को अनदेखा कर देते हैं, लेकिन चिकित्सा में, किनारा अक्सर सबसे महत्वपूर्ण हिस्सा होता है। यदि कंप्यूटर ट्यूमर की सीमा के एक छोटे से हिस्से को भी छोड़ देता है, तो इससे रोगी को बहुत कम उपचार मिल सकता है। शोध पत्र आग्रह करता है कि शोधकर्ताओं को केवल आकृतियों के ओवरलैप को ही नहीं, बल्कि खींची गई रेखा और वास्तविक रेखा के बीच की दूरी को भी मापना चाहिए।
विशिष्ट वस्तुओं, जैसे व्यक्तिगत कोशिकाओं या ट्यूटर्स को खोजने और गिनने के कार्य के लिए, शोधकर्ता इस बात पर प्रकाश डालते हैं कि कंप्यूटर द्वारा अपने निष्कर्षों को सत्य के साथ मिलाने के तरीके से परिणाम कितनी आसानी से हेरफेर किए जा सकते हैं। वे समझाते हैं कि यदि एक कंप्यूटर एक ही ट्यूमर को दो बार पाता है, तो उसे एक गलती के रूप में गिना जाना चाहिए, लेकिन कई मानक परीक्षण इसे नहीं पकड़ पाते। वे यह भी दिखाते हैं कि शोधकर्ताओं द्वारा अपने परिणामों को औसत निकालने का तरीका यह पूरी तरह से बदल सकता है कि कौन सा कंप्यूटर सबसे अच्छा है। अपने विस्तृत उदाहरणों में से एक में, उन्होंने एक परिदृश्य बनाया जहाँ एक कंप्यूटर बेहतर दिखता था जब आपने प्रत्येक रोगी के स्कोर का औसत निकाला, लेकिन एक अलग कंप्यूटर बेहतर दिखता था जब आपने कुल पिक्सेल का औसत निकाला। दोनों कंप्यूटर समान थे; केवल गणित ने कहानी बदल दी। यह सिद्ध करता है कि संख्याओं को संयोजित करने का तरीका स्वयं संख्याओं जितना ही महत्वपूर्ण है।
शोध पत्र अनिश्चितता और मानवीय तत्व के मुद्दे को भी संबोधित करता है। एक वास्तविक अस्पताल में, कंप्यूटर शून्य में काम नहीं करता है; यह डॉक्टरों के साथ मिलकर काम करता है। शोधकर्ता दिखाते हैं कि एक मॉडल जो अनिश्चित होने पर उत्तर देने से इनकार कर देता है, वह एक ऐसे मॉडल की तुलना में अधिक उपयोगी हो सकता है जो आत्मविश्वास के साथ अनुमान लगाता है और गलत साबित होता है। वे एक ऐसी विधि का वर्णन करते हैं जहाँ एक कंप्यूटर "मुझे नहीं पता" कह सकता है और मामला एक मानव डॉक्टर को भेज सकता है। यह सिस्टम की समग्र सुरक्षा में सुधार करता है, लेकिन मानक परीक्षण अक्सर इन रेफरल को अनदेखा करते हैं और केवल उन मामलों को देखते हैं जिन्हें कंप्यूटर ने हल करने का प्रयास किया। लेखक तर्क देते हैं कि एक पूर्ण मूल्यांकन में रेफरल और उन त्रुटियों को भी गिनना चाहिए जो मानव द्वारा काम की जाँच करने के बाद भी होती हैं। वे "फिडेलिटी" (fidelity) स्कोर के उपयोग के प्रति भी चेतावनी देते हैं, जो यह मापता है कि एक उत्पन्न छवि कितनी वास्तविक दिखती है, इसे यह जाँचने के विकल्प के रूप में कि क्या कंप्यूटर ने वास्तव में बीमारी पाई है। एक तस्वीर सुंदर और पूर्ण दिख सकती है जबकि वह महत्वपूर्ण चिकित्सा विवरण को पूरी तरह से मिस कर सकती है।
अपने पूरे विश्लेषण के दौरान, लेखक अपने बिंदुओं को सिद्ध करने के लिए दस विशिष्ट, व्यवस्थित उदाहरण प्रदान करते हैं। ये वास्तविक रोगी डेटा नहीं हैं, बल्कि सावधानीपूर्वक निर्मित परिदृश्य हैं जो नियंत्रित प्रयोगों के रूप में कार्य करते हैं। एक में, वे दिखाते हैं कि कैसे एक मॉडल ट्यूमर खोजने के लिए उच्च स्कोर रख सकता है लेकिन दुर्लभ, खतरनाक ट्यूमर को खोजने में विफल हो सकता है क्योंकि परीक्षण सामान्य मामलों की ओर झुका हुआ था। दूसरे में, वे प्रदर्शित करते हैं कि कैसे एक पिक्सेल के भौतिक आकार में एक मामूली बदलाव एक कंप्यूटर को बेहतर या बदतर प्रदर्शन करने वाला दिखा सकता है, भले ही उसका वास्तविक प्रदर्शन नहीं बदला हो। ये उदाहरण एक चेतावनी के रूप में कार्य करते हैं कि वैज्ञानिक शोध पत्रों में रिपोर्ट किए गए नंबर नाजुक हो सकते हैं और पूरी तरह से उन विशिष्ट नियमों पर निर्भर करते हैं जिनका उपयोग गणना के लिए किया जाता है।
शोधकर्ता निष्कर्ष निकालते हैं कि इस क्षेत्र को एक एकल लीडरबोर्ड स्कोर के पीछे भागना बंद करने की आवश्यकता है। इसके बजाय, वे किसी भी अध्ययन को डिजाइन करने वालों के लिए एक चेकलिस्ट का प्रस्ताव करते हैं। यह चेकलिस्ट वैज्ञानिकों को यह परिभाषित करने के लिए मजबूर करती है कि वे वास्तव में क्या माप रहे हैं, वे किसे माप रहे हैं, और परिणामों को देखने से पहले सफलता या विफलता के नियम क्या हैं। वे इस बात पर जोर देते हैं कि माप की इकाई दावे की इकाई के अनुरूप होनी चाहिए। यदि एक डॉक्टर रोगी की परवाह करता है, तो स्कोर रोगी के बारे में होना चाहिए, न कि केवल व्यक्तिगत इमेज स्लाइस के बारे में। यदि एक सर्जन को ट्यूमर के किनारे को जानने की आवश्यकता है, तो स्कोर को किनारे को मापना चाहिए, न कि केवल आयतन को। शोध पत्र यह दावा नहीं करता है कि उसने मेडिकल एआई की समस्या को हल कर दिया है, बल्कि यह उन आवश्यक उपकरणों को प्रदान करता है जो गलत चीजों को मापने से रोकते हैं। माप को वास्तविक लक्ष्य के साथ संरेखित करके, शोधकर्ता अंततः देख सकते हैं कि कौन से मॉडल वास्तव में सहायक हैं और कौन से केवल परीक्षण पास करने में अच्छे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।