Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

कल्पना कीजिए कि आप एक टैलेंट शो के जज हैं, लेकिन आप गायकों और नर्तकों को देखने के बजाय तस्वीरों की गुणवत्ता को परख रहे हैं। आपका काम यह तय करना है: "क्या यह धुंधली है? क्या इसका रंग अजीब है? क्या यह बस एक खराब फोटो है?" यह इमेज क्वालिटी असेसमेंट (IQA) की दुनिया है। लंबे समय तक, कंप्यूटर इसमें संघर्ष करते रहे क्योंकि उनके पास इंसानों जैसी "आंखें" नहीं थीं। उन्हें यह सिखाने की जरूरत थी कि एक "अच्छी" फोटो कैसी दिखती है।

अतीत में, वैज्ञानिकों ने कंप्यूटर को लाखों फोटो दिखाकर यह सिखाने की कोशिश की कि, "आपको यह कितनी पसंद है?" उनके जवाबों को "मीन ओपिनियन स्कोर्स" (MOS) कहा जाता है, जो मूल रूप से वास्तविक लोगों द्वारा दी गई औसत रेटिंग होती है। लेकिन यहाँ पेचीदा बात यह है: कंप्यूटर बहुत नखरेबाज होते हैं। यदि आप एक कंप्यूटर को छोटी, कम-रिज़ॉल्यूशन वाली फोटो (जैसे कि फोन स्क्रीन पर दिखने वाली फोटो) को परखने के लिए प्रशिक्षित करते हैं, तो जब आप उसे एक विशाल, अल्ट्रा-हाई-डेफिनिशन फोटो दिखाते हैं, तो वह भ्रमित हो जाता है। यह एक बच्चे को खिलौने वाले प्लास्टिक के कुत्तों का उपयोग करके कुत्ता पहचानना सिखाने जैसा है; जब वे एक असली, विशाल कुत्ते को देखते हैं, तो उन्हें समझ नहीं आता कि क्या करें। इसके अलावा, एक विशाल फोटो के हर एक पिक्सेल को देखना बहुत अधिक कंप्यूटर पावर लेता है, जैसे कि एक टाइपो (लिखने की गलती) खोजने के लिए पूरी लाइब्रेरी के हर शब्द को पढ़ना। बड़ा सवाल जिसे वैज्ञानिक हल करने की कोशिश कर रहे हैं, वह यह है: हम एक ऐसा कंप्यूटर जज कैसे बना सकते हैं जो किसी भी आकार की फोटो पर काम करे, सूक्ष्म विवरणों पर ध्यान दे, और उसे करने के लिए सुपरकंप्यूटर की आवश्यकता न हो?

यहाँ ReLIQS आता है, जो शोधकर्ता हकान एमरे गेदिक, शशांक गुप्ता और एलन बोविक द्वारा पेश किया गया एक नया मॉडल है। ReLIQS को एक ऐसे रोबोट के रूप में न सोचें जो एक ही बार में पूरी तस्वीर को घूरता है, बल्कि एक चतुर जासूस के रूप में देखें जिसके पास एक आवर्धक लेंस (magnifying glass) और एक नक्शा है।

"वन-साइज़-फिट्स-ऑल" दृष्टिकोण के साथ समस्या

अधिकांश पिछले कंप्यूटर विज़न मॉडल एक ऐसे फोटोग्राफर की तरह काम करते हैं जो हर फोटो को एक छोटे, चौकोर फ्रेम में फिट होने के लिए मजबूर करता है। यदि आपके पास एक विशाल, अल्ट्रा-हाई-रिज़ॉल्यूशन वाली फोटो है, तो कंप्यूटर उसे छोटा बनाने के लिए उसे सिकोड़ देता है। समस्या क्या है? जब आप एक फोटो को सिकोड़ते हैं, तो आप सूक्ष्म, महत्वपूर्ण विवरण खो देते—जैसे शोर (noise) का दाना, किनारों की तीक्ष्णता, या कपड़े की बनावट। यह रेशम के शर्ट की गुणवत्ता को उसके धुंधले, पिक्सेलेटेड थंबनेल को देखकर आंकने जैसा है। आप इस तथ्य को मिस कर सकते हैं कि कपड़ा वास्तव में फटा हुआ है।

अन्य मॉडल मूल आकार को बनाए रखने की कोशिश करते हैं, लेकिन वे अभिभूत (overwhelmed) हो जाते हैं। एक विशाल इमेज को पिक्सेल-दर-पिक्सेल देखना इतना महंगा और धीमा है कि यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक रूप से असंभव है। यह घास के ढेर में एक विशिष्ट सुई खोजने के लिए घास के हर एक तिनके को एक-एक करके जांचने जैसा है।

ReLIQS इसे कैसे हल करता है: द "स्मार्ट डिटेक्टिव"

ReLIS गेम बदल देता है और रेज़ोल्यूशन-एग्नोस्टिक लर्निंग नामक रणनीति का उपयोग करता है। पूरी फोटो को सिकोड़ने या हर एक पिक्सेल की जांच करने के बजाय, यह तीन-चरणीय "जासूसी" प्रक्रिया का उपयोग करता है:

1. द मल्टी-स्केल मैप: कल्पना कीजिए कि आपके पास एक फोटो है। ReLIQS इसे केवल एक बार नहीं देखता। यह फोटो की कुछ प्रतियां बनाता है: एक मूल विशाल आकार में, एक थोड़ा छोटा, और एक और भी छोटा। यह एक शहर के नक्शे को अंतरिक्ष से, एक विमान से, और सड़क स्तर से देखने जैसा है। "सड़क स्तर" (मूल आकार) आपको बारीक दरारें और खरोंचें दिखाता है। "अंतरिक्ष दृश्य" (छोटा आकार) समग्र लेआउट और रंगों को दिखाता है।

2. "कहाँ देखना है" का रडार: यह सबसे रचनात्मक हिस्सा है। ReLIQS के पास एक विशेष सहायक मॉड्यूल (जिसे परसेप्चुअल इम्पॉर्टेंस एस्टिमेटर कहा जाता है) है जो एक हीट मैप की तरह काम करता है। यह फोटो को स्कैन करता है और पूछता है, "इंसान कहाँ गलती नोटिस करने की सबसे अधिक संभावना रखते हैं?" यह सीखता है कि लोग एक पोर्ट्रेट में चेहरे की तुलना में बैकग्राउंड के पेड़ों की अधिक परवाह करते हैं, या एक धुंधला आकाश परेशान करने वाला हो सकता है लेकिन एक धुंधला कोना ठीक हो सकता है। यह मॉड्यूल "महत्व" का एक नक्शा बनाता है। यह एक स्पॉटलाइट की तरह है जो केवल फोटो के उन हिस्सों पर चमकता है जो वास्तव में गुणवत्ता के लिए मायने रखते हैं।

3. स्मार्ट सैंपलिंग: फोटो के हर पैच की जांच करने के बजाय, ReLIQS उस स्पॉटलाइट का उपयोग करके केवल सबसे महत्वपूर्ण पैच चुनता है। यदि फोटो बहुत बड़ी है, तो यह हजारों के बजाय केवल शीर्ष 48 सबसे दिलचस्प स्थानों की जांच कर सकता है। यह एक फूड क्रिटिक की तरह है जो यह तय करने के लिए कि भोजन अच्छा है या नहीं, केवल सबसे महत्वपूर्ण निवालों को चखता है, न कि पूरी प्लेट को खाता है। इससे कंप्यूटर की बहुत सारी शक्ति बचती है।

एक बार जब यह स्मार्ट पैच चुन लेता है, तो यह उन्हें विश्लेषण करने के लिए एक शक्तिशाली प्री-ट्रेन्ड ब्रेन (जो CLIP नामक मॉडल पर आधारित है) का उपयोग करता है। फिर यह इन सभी छोटे सुरागों को एक एकल स्कोर में जोड़ देता है, जिससे आपको पता चलता है कि इमेज कितनी अच्छी है।

उन्होंने क्या पाया

शोधकर्ताओं ने विभिन्न प्रकार की तस्वीरों पर ReLIQS का परीक्षण किया: वास्तविक दुनिया की स्नैपशॉट्स, कंप्यूटर-जनरेटेड इमेज, और नकली विकृतियों (distortions) वाली तस्वीरें। उन्होंने इसकी तुलना मौजूदा सर्वश्रेष्ठ मॉडलों से की, जिसमें कुछ विशाल "लार्ज लैंग्वेज मॉडल्स" (AI जो बात कर सकते हैं और देख सकते हैं) भी शामिल हैं।

• यह किसी भी आकार पर काम करता है: ReLIQS ने छोटी फोन फोटो से लेकर विशाल अल्ट्रा-हाई-डेफिन्यूशन (UHD) इमेज तक सब कुछ संभाला बिना भ्रमित हुए। जहाँ अन्य मॉडल संघर्ष करते या विफल हो जाते थे जब इमेज का आकार बदल जाता था, वहीं ReLIQS ने अपना धैर्य बनाए रखा।
• यह तेज़ और सस्ता है: केवल "महत्वपूर्ण" पैच को देखकर, ReLIQS अपनी कंप्यूटिंग लागत को बिना सटीकता खोए 90% तक कम कर सकता है। अल्ट्रा-हाई-रिज़ॉल्यूशन इमेज पर परीक्षणों में, इसने उन मॉडलों से बेहतर प्रदर्शन किया जो विशेष रूप से उन इमेज के लिए बनाए गए थे, लेकिन बहुत कम कंप्यूटिंग पावर के साथ।
• यह कई स्रोतों से सीखता है: मॉडल को कई अलग-अलग डेटासेट्स (लोगों की रेटिंग के साथ फोटो के संग्रह) पर प्रशिक्षित किया गया था। आमतौर पर, इन डेटासेट्स को मिलाना कठिन होता है क्योंकि लोग चीजों को अलग तरह से रेट करते हैं। ReLIS ने उन सभी से एक साथ सीखने का एक तरीका खोज लिया, जिससे यह अधिक बहुमुखी जज बन गया।

फैसला

यह पेपर सुझाव देता है कि ReLIQS एक महत्वपूर्ण कदम है क्योंकि यह बिना सुपरकंप्यूटर की आवश्यकता के "रेज़ोल्यूशन समस्या" को हल करता है। यह साबित करता है कि गुणवत्ता को आंकने के लिए आपको सब कुछ देखने की ज़रूरत नहीं है; आपको बस यह जानने की ज़रूरत है कि कहाँ देखना है और वहां जो आप देखते हैं उसे कैसे आंकना है।

हालांकि मॉडल ने अविश्वसनीय रूप से अच्छा प्रदर्शन किया, लेखक नोट करते हैं कि यह अभी भी AI-जनरेटेड इमेज (AGIQA-3K) के एक विशिष्ट प्रकार पर कुछ अन्य मॉडलों से थोड़ा पीछे है। यह सुझाव देता है कि जबकि ReLIQS वास्तविक दुनिया और मानक विकृतियों को आंकने में माहिर है, इसे पूरी तरह से AI द्वारा बनाई गई छवियों के अनूठे गुणों को समझने के लिए थोड़े और प्रशिक्षण की आवश्यकता हो सकती है।

संक्षेप में, ReLIQS एक अत्यधिक प्रशिक्षित कला समीक्षक की तरह है जिसे पेंटिंग को घंटों तक घूरने या उसके छोटे थंबनेल को देखने की आवश्यकता नहीं है। वे जानते हैं कि कहाँ देखना है, वे संदर्भ को समझते हैं, और वे पलक झपकते ही आपको एक परफेक्ट रेटिंग दे सकते हैं। यह दृष्टिकोण आपके फोन से लेकर आपके स्मार्ट कैमरा तक, रोजमर्रा के उपकरणों पर उच्च-गुणवत्ता वाले इमेज विश्लेषण को संभव बना सकता है, बिना बैकग्राउंड में किसी विशाल डेटा सेंटर की आवश्यकता के।