Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision
यह शोधपत्र निम्न-स्तरीय दृष्टि सिद्धांतों—विशेष रूप से कंट्रास्ट संवेदनशीलता (contrast sensitivity), मास्किंग (masking) और मैचिंग (matching)—पर आधारित मनोवैज्ञानिक भौतिक परीक्षणों (psychophysical tests) का एक नया ढांचा प्रस्तुत करता है, जो 34 मौजूदा इमेज और वीडियो गुणवत्ता मेट्रिक्स की संवेदी शक्तियों और कमजोरियों का मूल्यांकन और प्रकटीकरण करने के लिए है, जो यह प्रदर्शित करता है कि मानक मूल्यांकन प्रोटोकॉल अक्सर इन मौलिक मानव दृश्य गुणों को पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कुकिंग प्रतियोगिता में जज हैं। आपका काम दो व्यंजनों का स्वाद लेना और यह तय करना है कि कौन सा दिखने और स्वाद में बेहतर है। लेकिन स्वाद लेने के बजाय, आप एक कंप्यूटर प्रोग्राम हैं जो छवियों और वीडियो की गुणवत्ता को आंकने की कोशिश कर रहा है।
वर्षों से, हमारे पास ऐसे कंप्यूटर जज (जिन्हें क्वालिटी मेट्रिक्स कहा जाता है) रहे हैं जैसे SSIM, LPIPS और VMAF। वे मानव आंखों की तरह काम करने के लिए बनाए गए हैं, जो हमें बताते हैं कि क्या कोई वीडियो धुंधला है, क्या किसी फोटो के रंग खराब हैं, या क्या कोई फिल्म बहुत दानेदार (grainy) दिख रही है। आमतौर पर, हम उन्हें यह पूछकर टेस्ट करते हैं कि, "आपको कौन सा बेहतर लगा?" और देखते हैं कि क्या कंप्यूटर भी वही कहता है।
लेकिन यहाँ एक समस्या है: सिर्फ इसलिए कि एक कंप्यूटर ने एक विशिष्ट परीक्षण पर "सही उत्तर" दिया, इसका मतलब यह नहीं है कि वह समझता है कि इंसान चीजों को इस तरह क्यों देखते हैं जैसे वे देखते हैं। हो सकता है कि वह गलती से सही अनुमान लगा रहा हो, या वह किसी पूरी तरह से अलग (और गलत) तर्क का उपयोग कर रहा हो।
यह शोध पत्र इन कंप्यूटर जजों को टेस्ट करने का एक नया तरीका पेश करता है। केवल यह पूछने के बजाय कि, "क्या आपने सही स्कोर प्राप्त किया?", लेखक पूछते हैं, "क्या आप दुनिया को वैसे ही देखते हैं जैसे वास्तव में एक मानव आंख काम करती है?"
वे "विज़न पजल्स" (दृष्टि पहेलियों) के एक सेट का उपयोग करते हैं जो इस बात पर आधारित हैं कि हमारा मस्तिष्क और आंखें जैविक रूप से कैसे काम करती हैं। इसे कंप्यूटर की "आंखों" के लिए एक मेडिकल एग्जाम की तरह समझें।
यहाँ चार मुख्य पहेलियाँ दी गई हैं जिनका उन्होंने उपयोग किया है, जिन्हें सरल उपमाओं के साथ समझाया गया है:
1. "फुसफुसाहट बनाम चिल्लाहट" टेस्ट (कंट्रास्ट डिटेक्शन)
मानवीय वास्तविकता: हमारी आंखें हर चीज़ को देखने में समान रूप से सक्षम नहीं होती हैं। हम अंधेरे में बहुत सूक्ष्म विवरण देखने में बहुत खराब हैं, और हम बहुत छोटे, बारीक विवरण (जैसे महीन रेत) देखने में भी खराब हैं। हम वास्तव में मध्यम आकार के विवरण (जैसे ईंट की दीवार की बनावट) देखने में सबसे अच्छे होते हैं। इसे कॉन्ट्रास्ट सेंसिटिविटी फंक्शन (CSF) कहा जाता है।
टेस्ट: शोधकर्ताओं ने कंप्यूटर को विभिन्न आकारों और चमक के स्तरों वाले पैटर्न वाली छवियां दिखाईं, और पूछा, "क्या आप इसे देख सकते हैं?"
परिणाम:
- पुराने जज (जैसे PSNR): वे पिक्सेल गिनने वाले रोबोट की तरह काम करते हैं। वे सोचते हैं कि धूल का एक छोटा सा कण एक बड़े धुंधले धब्बे जितना ही महत्वपूर्ण है। वे यह नहीं समझते कि इंसान छोटे कणों को अनदेखा कर देते हैं।
- "अच्छे" जज (जैसे ColorVideoVDP): ये वास्तव में मानव आंख की नकल करते हैं, यह जानते हुए कि मध्यम आकार के विवरण सबसे महत्वपूर्ण हैं।
- "बुरे" जज (जैसे SSIM): आश्चर्यजनक रूप से, SSIM सूक्ष्म, उच्च-आवृत्ति (high-frequency) वाले विवरणों के प्रति जुनूनी है। यह एक ऐसे जज की तरह है जिसे केक के जले होने की तुलना में केक पर नमक के एक दाने की अधिक चिंता है।
2. "शोर बनाम सिग्नल" टेस्ट (कंट्रास्ट मास्किंग)
मानवीय वास्तविकता: कल्पना कीजिए कि आप एक शांत पुस्तकालय में फुसफुसाहट सुनने की कोशिश कर रहे हैं (आसान है)। अब कल्पना कीजिए कि आप उसी फुसफुसाहट को एक शोर भरे रॉक कॉन्सर्ट में सुनने की कोशिश कर रहे हैं (असंभव है)। तेज़ संगीत उस फुसफुसाहट को "मास्क" (छिपा) देता है। दृष्टि के मामले में, यदि कोई छवि पहले से ही व्यस्त और बनावट वाली है (जैसे एक जंगल), तो एक छोटा सा दोष (जैसे एक खरोंच) एक सादी सफेद दीवार पर दिखने वाले खरोंच की तुलना में देखना कठिन होता है।
टेस्ट: शोधकर्ताओं ने कंप्यूटर को एक व्यस्त, शोर वाली छवि दिखाई और पूछा, "मुझे इसमें कितनी नई खरोंच जोड़नी होगी जिससे आप उसे नोटिस करें?"
परिणाम:
- अधिकांश जज: उन्हें बैकग्राउंड के शोर की परवाह नहीं थी। उन्हें लगा कि एक व्यस्त जंगल की तुलना में एक सादी दीवार पर खरोंच उतनी ही दिखाई देगी।
- "डीप लर्निंग" जज (जैसे LPIPS): ये आश्चर्यजनक सितारे थे! भले ही उन्हें "मास्किंग" के बारे में कभी सिखाया नहीं गया था, फिर भी उन्होंने लाखों असली फोटो देखकर यह सीख लिया कि "व्यस्त बैकग्राउंड छोटी गलतियों को छिपा देता है।" वे इसे बिल्कुल इंसानों की तरह सही ढंग से समझ पाए।
3. "फ्लिकर" टेस्ट (टेम्पोरल सेंसिटिविटी)
मानवीय वास्तविकता: यदि आप एक टॉर्च को बहुत तेज़ी से आगे-पीछे हिलाते हैं, तो यह एक स्थिर रोशनी की तरह दिखती है। यदि आप इसे धीरे-धीरे हिलाते हैं, तो आपको इसमें फ्लिकर (झपकी) दिखाई देती है। फ्लिकरिंग के लिए हमारी आंखों का एक "स्वीट स्पॉट" होता; हम एक विशिष्ट गति (लगभग 8 बार प्रति सेकंड) के लिए सबसे अधिक संवेदनशील होते हैं।
टेस्ट: शोधकर्ताओं ने कंप्यूटर को अलग-अलग गति से फ्लिकर होने वाले वीडियो दिखाए।
परिणाम:
- अधिकांश वीडियो जज: वे इसमें बहुत खराब हैं। वे आमतौर पर केवल दो या तीन फ्रेम एक साथ देखते हैं, इसलिए वे एक धीमी फ्लिकरिंग और एक तेज़ फ्लिकरिंग के बीच अंतर नहीं कर पाते हैं।
- "अच्छे" जज: केवल कुछ विशेष वीडियो मेट्रिक्स ही वास्तव में बता सके कि, "हे, यह उस गति पर फ्लिकर कर रहा है जिसे इंसान सबसे ज्यादा नापसंद करते हैं!"
4. "बड़ा बनाम छोटा" टेस्ट (कॉन्ट्रास्ट कॉन्स्टेंसी)
मानवीय वास्तविकता: यह सबसे अजीब वाला है। यदि आप एक धुंधली ग्रे रेखा देखते हैं, तो यह उसके आकार के आधार पर बहुत अलग दिखती है। लेकिन यदि आप एक बहुत चमकीली, हाई-कंट्रास्ट रेखा देखते हैं, तो वह चाहे छोटी हो या बहुत बड़ी, उसका आकार और चमक एक जैसी ही लगती है। हमारा मस्तिष्क बड़ी, स्पष्ट चीजों के प्रति धारणा को "फ्लैट" कर देता है।
टेस्ट: शोधकर्ताओं ने कंप्यूटर को एक चमकीली रेखा के साथ एक धुंधली रेखा की चमक मिलाने के लिए कहा।
परिgetResult:
- सभी विफल रहे: किसी भी कंप्यूटर जज ने इसे नहीं समझा। वे गणितीय रूप से अंतर की गणना करने की कोशिश करते रहे, यह समझने में विफल रहे कि इंसानों के लिए, "बड़ी और चमकीली" चीज़ आकार के बावजूद एक जैसी ही दिखती है। यह वर्तमान तकनीक का एक बड़ा दोष है।
मुख्य निष्कर्ष
लेखकों ने इन कंप्यूटर जजों को टेस्ट करने के लिए एक "विज़न जिम" बनाया। उन्होंने पाया कि:
- पुराने फॉर्मूले (जैसे SSIM) अक्सर उन चीजों के बारे में गलत होते हैं जिनकी इंसानों को परवाह होती है (वे सूक्ष्म विवरणों को बहुत अधिक महत्व देते हैं)।
- AI जज (डीप लर्निंग) कुछ चीजों में आश्चर्यजनक रूप से अच्छे हैं (जैसे मास्किंग) क्योंकि उन्होंने वास्तविक फोटो से सीखा है, भले ही उन्हें नियम न सिखाए गए हों।
- वीडियो जज आम तौर पर समय (फ्लिकर) को समझने में खराब होते हैं।
- कोई भी अभी तक यह नहीं समझ पाया है कि "बड़ी, चमकीली" चीजों को कैसे महसूस किया जाता है (कॉन्ट्रास्ट कॉन्स्टेंसी)।
यह क्यों मायने रखता है?
यदि आप नेटफ्लिक्स पर मूवी स्ट्रीम कर रहे हैं, तो आप चाहते हैं कि वीडियो बिना बहुत अधिक डेटा खर्च किए अच्छा दिखे। यदि कंप्यूटर जज सोचता है कि एक धुंधला जंगल "खराब" है (जबकि इंसान उस धुंधलेपन को देख भी नहीं सकते), तो सिस्टम उस चीज़ को ठीक करने के लिए डेटा बर्बाद करता है। यदि जज सोचता है कि एक फ्लिकरिंग लाइट "ठीक" है (जबकि इंसान उससे नफरत करते हैं), तो मूवी देखने में बहुत खराब लगेगी।
इन "विज़न पजल्स" का उपयोग करके, लेखक इंजीनियरों को बेहतर जज बनाने में मदद करने की उम्मीद करते हैं जो वास्तव में समझते हैं कि मानव आंखें कैसे काम करती हैं, जिससे सभी के लिए बेहतर चित्र और वीडियो सुनिश्चित हो सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।