Image Thresholding: Understanding Bias of Evaluation Metrics towards Specific Evaluation Functions
यह शोध पत्र इमेज सेगमेंटेशन मूल्यांकन में एक अंतर्निहित पूर्वाग्रह को प्रकट करता है, जो यह प्रदर्शित करता है कि ओत्सु (Otsu) का बिट्वीन-क्लास वेरिएंस ऑब्जेक्टिव फंक्शन, कपूर (Kapur) के एंट्रॉपी की तुलना में SSIM और PSNR जैसे मानक गुणवत्ता मेट्रिक्स के साथ लगातार अधिक मजबूती से सह-संबद्ध होता है, जिससे मीट्रिक तटस्थता की धारणा को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक केक को बिल्कुल सटीक स्लाइस में काटने की कोशिश कर रहे हैं। कंप्यूटर विज़न की दुनिया में, यह "केक" एक इमेज है, और इसे "काटना" मतलब तस्वीर के अलग-अलग हिस्सों को अलग करना है (जैसे ज़मीन से आसमान को, या स्वस्थ ऊतकों से ट्यूमर को)। इस प्रक्रिया को इमेज थ्रेशोल्डिंग (image thresholding) कहा जाता है।
इसे करने के लिए, कंप्यूटरों को एक नियम पुस्तिका, या एक ऑब्जेक्टिव फंक्शन (Objective Function) की आवश्यकता होती है, जो उन्हें बताए कि कहाँ से कट लगाना है। दो सबसे प्रसिद्ध नियम पुस्तिकाएँ हैं:
- ओत्सु की विधि (Otsu's Method): यह नियम पुस्तिका कहती है, "वहाँ काटें जहाँ हल्के और गहरे हिस्सों के बीच का अंतर सबसे अधिक हो।" यह फ्रॉस्टिंग और स्पंज के बीच कंट्रास्ट को अधिकतम करने जैसा है।
- कपूर की विधि (Kapur's Method): यह नियम पुस्तिका कहती है, "वहाँ काटें जहाँ सूचना की मात्रा (information content) सबसे संतुलित हो।" यह एक अधिक जटिल नियम है जो प्रत्येक स्लाइस में "आश्चर्य" या विविधता के स्तर पर आधारित है।
एक बार जब कंप्यूटर कट लगा लेता है, तो हमें यह जाँचने की आवश्यकता होती है कि उसने कैसा काम किया। इसे करने के लिए, हम इवैल्यूएशन मेट्रिक्स (Evaluation Metrics) का उपयोग करते हैं, जो स्कोर देने वाले जज की तरह होते हैं। इस क्षेत्र के दो सबसे लोकप्रिय जज हैं:
- SSIM (स्ट्रक्चरल सिमिलैरिटी इंडेक्स): एक जज जो यह देखता है कि कटी हुई इमेज की आकृतियाँ और संरचनाएँ मूल इमेज के कितनी समान हैं।
- PSNR (पीक सिग्नल-टू-नॉइज़ रेशियो): एक जज जो मापता है कि कट लगाने के दौरान कितना "स्टैटिक" या त्रुटि (error) उत्पन्न हुई है।
बड़ी समस्या: जज पक्षपाती है
इस शोध पत्र के लेखकों, एस्लम हेगेज़ी और मोहम्मद गेब्र ने कुछ संदिग्ध देखा। लगभग हर उस अध्ययन में जिसमें इन विधियों की तुलना की गई है, ओत्सु की विधि ऐसा प्रतीत होती है कि वह SSIM और PSNR द्वारा स्कोर किए जाने पर जीत जाती है। शोधकर्ताओं ने मान लिया कि इसका मतलब यह है कि ओत्सु वास्तव में एक बेहतर नियम पुस्तिका है।
लेकिन लेखकों ने एक अलग सवाल पूछा: "क्या होगा अगर जज (SSIM और PSNR) गुप्त रूप से ओत्सु की नियम पुस्तिका के प्रति पक्षपाती हैं?"
इसे एक कुकिंग कॉम्पिटिशन की तरह समझें।
- ओत्सु एक ऐसा शेफ है जो हाई-कंट्रास्ट व्यंजन (बहुत नमकीन, बहुत मीठे) बनाने में माहिर है।
- कपूर एक ऐसा शेफ है जो संतुलित, जटिल व्यंजन बनाता है।
- SSIM और PSR जज हैं।
लेखकों को संदेह था कि SSIM और PSNR वास्तव में "फ्लेवर-बायस्ड" (स्वाद के प्रति पक्षपाती) जज हैं। वे हाई-कंट्रास्ट व्यंजनों को पसंद करने के लिए प्रोग्राम किए गए हैं। इसलिए, भले ही कपूर एक पूरी तरह से संतुलित व्यंजन बनाए, जज उसे कम स्कोर दे सकते हैं क्योंकि वह उनके पसंदीदा स्वाद जैसा नहीं है।
उन्होंने इसका परीक्षण कैसे किया
इसे साबित करने के लिए, उन्होंने किसी फैंसी AI का उपयोग करके सबसे अच्छा कट नहीं ढूँढा। इसके बजाय, उन्होंने कुछ बहुत ही गहन किया: उन्होंने 500 अलग-अलग प्राकृतिक छवियों (BSDS500 नामक डेटासेट से) पर हर एक संभव कट का परीक्षण किया।
प्रत्येक कट के लिए, उन्होंने गणना की:
- ओत्सु के नियम के अनुसार कट कितना अच्छा था।
- कपूर के नियम के अनुसार कट कितना अच्छा था।
- जजों (SSIM और PSNR) ने उस कट को कैसे स्कोर किया।
फिर, उन्होंने नियम पुस्तिकाओं और जजों के बीच संबंध (कोरिलेशन) को देखा।
परिणाम: पक्षपात वास्तविक है
निष्कर्ष स्पष्ट और चौंकाने वाले थे:
ओत्सु और जज पक्के दोस्त हैं: जब ओत्सु की नियम पुस्तिका कहती थी कि एक कट "अच्छा" था, तो जज (SSIM और PSNR) लगभग हमेशा सहमत होते थे। वास्तव में, 100% छवियों के लिए, ओत्सु के स्कोर PSNR के साथ बिल्कुल तालमेल में चलते थे। 91% छवियों के लिए, वे SSIM के साथ तालमेल में चलते थे।
- उपमा: यह ऐसा है जैसे ओत्सु और जज एक ही भाषा बोल रहे हों। जब ओत्सु अपना हाथ उठाता है, तो जज भी तुरंत अपना हाथ उठाते हैं।
कपूर और जज अजनबी हैं: कपूर की नियम पुस्तिका का जजों के साथ बहुत कमजोर संबंध था। कभी वे सहमत होते थे, कभी नहीं। संबंध अव्यवस्थित और अप्रत्याशित था।
- उपमा: कपूर एक अलग बोली बोलने की कोशिश कर रहा है। जज उसे कभी-कभी समझते हैं, लेकिन अक्सर वे बस कंधे उचका देते हैं और औसत स्कोर दे देते हैं, भले ही कट वास्तव में अच्छा क्यों न हो।
इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि शोध पत्रों में ओत्सु-आधारित विधियाँ अक्सर इसलिए "जीतती" नहीं हैं क्योंकि वे केक काटने में बेहतर हैं। बल्कि इसलिए क्योंकि स्कोरिंग सिस्टम (SSIM और PSNR) ओत्सु को फायदा पहुँचाने के लिए पक्षपाती है।
यदि कोई शोधकर्ता एक नया, सुपर-स्मार्ट AI एल्गोरिदम बनाता है जो कपूर को सबसे अच्छे कट खोजने में मदद करता है, लेकिन वे अभी भी ग्रेडिंग के लिए SSIM और PSNR का उपयोग करते हैं, तो वह नया एल्गोरिदम एक विफलता के रूप में दिख सकता है। क्यों? क्योंकि जज कपूर की शैली के प्रति पक्षपाती हैं, चाहे AI कितना भी अच्छा क्यों न हो।
मुख्य बात (The Takeaway)
लेखक वैज्ञानिक समुदाय को चेतावनी दे रहे हैं: जजों पर आँख बंद करके भरोसा न करें।
यदि आप इमेज काटने के विभिन्न तरीकों की निष्पक्ष तुलना करना चाहते हैं, तो आप केवल SSIM और PSNR का उपयोग नहीं कर सकते। आपको यह समझना होगा कि ये उपकरण स्वाभाविक रूप से एक विशिष्ट विधि (ओत्सु) को प्राथमिकता देते हैं। यह जानने के लिए कि असली "बेस्ट शेफ" कौन है, आपको नए जजों की आवश्यकता होगी जिनके पास कोई पसंदीदा स्वाद न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।