⚡ electrical engineering

Boosting Image Quality Assessment Performance: Unsupervised Score Fusion by Deep Maximum a Posteriori Estimation

यह शोध पत्र डीप मैक्सिमम ए पोस्टीरियरि अनुमान पर आधारित इमेज क्वालिटी असेसमेंट (IQA) स्कोर फ्यूजन के लिए एक सामान्य अनसुपरवाइज्ड फ्रेमवर्क प्रस्तावित करता है, जो सूक्ष्म अनिश्चितता अनुमान लगाने और निम्न स्तर के मॉडलों को प्रभावी ढंग से अस्वीकार करने के माध्यम से भविष्यवाणी की सटीकता को बढ़ाता है और अनिश्चितता को कम करता है।

मूल लेखक: Zhongling Wang, Raymond Zhou, Shahrukh Athar, Wenbo Yang, Zhou Wang

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhongling Wang, Raymond Zhou, Shahrukh Athar, Wenbo Yang, Zhou Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक तस्वीर की गुणवत्ता का आकलन करने की कोशिश कर रहे हैं। आपके साथ कोई कैमरा विशेषज्ञ नहीं है, इसलिए आप 16 अलग-अलग "जजों" के एक पैनल से तस्वीर को देखने और उसे एक स्कोर देने के लिए कहते हैं।

यहाँ समस्या यह है: कुछ जज धुंधली तस्वीरों को पकड़ने में माहिर हैं लेकिन रंगों की समस्याओं को पहचानने में बहुत खराब हैं। अन्य दानेदार (grainy) छवियों के विशेषज्ञ हैं लेकिन तेज रोशनी से भ्रमित हो जाते हैं। यदि आप केवल उन सभी के स्कोर का औसत लेते हैं, तो आपको अभी भी गलत उत्तर मिल सकता है क्योंकि "बुरे" जज औसत को नीचे खींच सकते हैं, या किसी विशिष्ट दोष के लिए "अच्छे" जजों की आवाज़ अन्य लोगों के बीच दब सकती है।

यह शोध पत्र बिना किसी "पर्यवेक्षक" (supervisor) के, जो यह बता सके कि कौन सही है या कौन गलत, इन जजों की राय को मिलाने का एक स्मार्ट नया तरीका प्रस्तावित करता है।

मुख्य विचार: एक स्मार्ट "स्कोर फ्यूजन" सिस्टम

लेखकों ने एक ऐसा सिस्टम बनाया है जो एक सुपर-जज की तरह काम करता है। केवल स्कोर का औसत निकालने के बजाय, यह सिस्टम सीखता है कि प्रत्येक विशिष्ट फोटो के लिए प्रत्येक जज पर कितना भरोसा किया जाना चाहिए।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "बिना शिक्षक वाला" दृष्टिकोण (Unsupervised)
अधिकांश AI सिस्टम इस तरह सीखते हैं कि उन्हें "सही" उत्तर दिखाया जाता है (जैसे एक शिक्षक द्वारा टेस्ट ग्रेड करना)। लेकिन इमेज क्वालिटी के मामले में, "सही" उत्तर केवल एक इंसान की राय होती है, जो बदलती रहती है।

शोध पत्र की तरकीक: यह सिस्टम "सही" स्कोर नहीं मांगता। इसके बजाय, यह देखता है कि 16 जज आपस में कैसे सहमत या असहमत होते हैं। यह केवल जजों के बीच होने वाली बातचीत को देखकर खेल के नियमों को समझ लेता है।

2. "अनिश्चितता" (Uncertainty) डिटेक्टर
कल्पना कीजिए कि आप एक अंधेरे कमरे में हैं। यदि कोई जज कहता है, "यह फोटो एकदम सही है," लेकिन वे अंधेरे में अपनी आँखें सिकोड़कर देख रहे हैं, तो आप जानते हैं कि उनकी राय संदिग्ध है।

शोध पत्र का नवाचार: सिस्टम हर एक नंबर के लिए एक "कॉन्फिडेंस स्कोर" (अनिश्चितता) की गणना करता है।
- यदि कोई जज आमतौर पर भरोसेमंद है लेकिन किसी विशिष्ट प्रकार के विरूपण (distortion) से भ्रमित हो जाता है, तो सिस्टम उस फोटो के लिए उनके महत्व (weight) को कम कर देता है।
- यदि कोई जज लगातार अच्छा प्रदर्शन करता है, तो उनकी आवाज़ को अधिक प्रभावी बनाया जाता है।
- मुख्य रूपक (Metaphor): इसे एक ग्रुप चैट की तरह समझें। यदि कोई व्यक्ति बड़बड़ा रहा है, तो सिस्टम उस विशिष्ट बातचीत के लिए उन्हें चुप (mute) करना सीख जाता है, न कि उन्हें हमेशा के लिए अनदेखा कर देता है।

3. "बुरे जज" को खारिज करना
शोध पत्र में परीक्षण किया गया कि क्या होता है यदि आप समूह में दो "नकली" जज शामिल कर दें—ऐसे जज जो बस रैंडम नंबर चुनते हैं।

परिणाम: पारंपरिक तरीके (जैसे साधारण औसत या रैंकिंग) भ्रमित हो गए और उनका प्रदर्शन गिर गया।
नया सिस्टम: इसने तुरंत पहचान लिया कि ये दो जज केवल "शोर" (noise) थे। इसने गणना की कि उनकी अनिश्चितता बहुत अधिक थी और प्रभावी रूप से उन्हें अनदेखा कर दिया, जिससे अंतिम स्कोर सटीक बना रहा। यह एक क्लब के बाउंसर की तरह है जो तुरंत नकली आईडी के साथ घुसने की कोशिश करने वाले व्यक्ति को पहचान लेता है और उसे रोक देता है।

4. "डिकोडर" और "एनकोडर"

एनकोडर (Encoder): यह वह हिस्सा है जो सभी 16 स्कोर को लेता है और उन्हें आपस में मिलाता है। यह एक ऑर्केस्ट्रा के कंडक्टर की तरह है, जो यह तय करता है कि प्रत्येक वाद्य यंत्र (जज) को कितनी ज़ोर से बजना चाहिए।
डिकोडर (Decoder): यह हिस्सा जजों के स्कोर और एक इंसान के वास्तविक विचार के बीच के संबंध को समझने की कोशिश करता है। यह सीखता है कि "यदि जज A कहता है X और जज B कहता है Y, तो इंसान शायद Z सोचेगा।"

यह क्यों महत्वपूर्ण है

लेखकों ने इस सिस्टम का परीक्षण 10 अलग-अलग इमेज सेट्स पर किया (कुछ में एक प्रकार का दोष था, कुछ में कई)।

विजेता: उनके नए सिस्टम ने हर अन्य पद्धति को हरा दिया, जिसमें व्यक्तिगत जज और स्कोर को मिलाने के अन्य तरीके भी शामिल थे।
सीक्रेट सॉस (Secret Sauce): केवल स्कोर के बजाय स्कोर की "अनिश्चितता" को देखकर, सिस्टम प्रत्येक जज की राय के सबसे अच्छे हिस्सों को चुन सका और उनके अस्त-व्यस्त हिस्सों को अनदेखा कर सका।

एक वाक्य में सारांश

यह शोध पत्र एक स्मार्ट, स्वयं-शिक्षण (self-teaching) प्रणाली पेश करता है जो कई इमेज-क्वालिटी जजों की राय को जोड़ती है, और लगातार यह पूछती है, "इस विशिष्ट स्कोर के बारे में आप कितने आश्वस्त हैं?" जिससे यह बुरे जजों को अनदेखा करने और किसी एकल जज या साधारण औसत की तुलना में अधिक सटीक रेटिंग देने में सक्षम होती है।

तकनीकी सारांश: डीप MAP एस्टीमेशन के माध्यम से अनसुपरवाइज्ड IQA स्कोर फ्यूजन

समस्या विवरण (Problem Statement)

इमेज क्वालिटी असेसमेंट (IQA) मॉडल धारणात्मक गुणवत्ता (perceptual quality) की भविष्यवाणी करने में काफी उन्नत हुए हैं, फिर भी व्यक्तिगत मॉडल अपने विशिष्ट डिज़ाइन दर्शन के कारण विशिष्ट इमेज कंटेंट या डिस्टॉर्शन प्रकारों के प्रति पक्षपाती (biased) हो सकते हैं। जबकि कई IQA मॉडलों को फ्यूज करना उनकी ताकत का लाभ उठाने और कमजोरियों को कम करने के लिए एक सहज रणनीति है, मौजूदा दृष्टिकोणों की कुछ सीमाएँ हैं:

अनुभवजन्य विधियाँ (Empirical methods) पूर्व-निर्धारित भार (weights) के साथ हस्तनिर्मित सूत्रों पर निर्भर करती हैं, जो नए मॉडलों के प्रति अनुकूलन क्षमता को सीमित करती हैं।
रैंक फ्यूजन विधियाँ (Rank fusion methods) डिस्क्रीट स्पेस में कार्य करती हैं, जिससे सूचना की हानि होती है और डेटासेट की विविधता पर निर्भरता बनी रहती है।
सुपरवाइज्ड लर्निंग-आधारित फ्यूजन ग्राउंड ट्रुथ के रूप में मीन ओपिनियन स्कोर्स (MOS) पर निर्भर करता है। लेखक तर्क देते हैं कि यह मौलिक रूप से सामान्यीकरण (generalizability) के लक्ष्य को कमजोर करता है, क्योंकि MOS स्वाभाविक रूप से विशिष्ट डेटासेट और डिस्टॉर्शन प्रकारों से जुड़ा होता है, जो उसी पक्षपात को फिर से पेश करता है जिसे फ्यूजन टालने का प्रयास कर रहा है।

मुख्य चुनौती जिसका समाधान किया गया है वह है अनसुपरवाइज्ड IQA स्कोर फ्यूजन: बिना MOS को ट्रेनिंग टारगेट के रूप में उपयोग किए, कई IQA स्कोर को एक बेहतर भविष्यवाणी में कैसे जोड़ा जाए, जबकि प्रत्येक मॉडल की भविष्यवाणी की अनिश्चितता (uncertainty) का सूक्ष्म स्तर (fine-grained level) पर सटीक अनुमान लगाया जा सके।

कार्यप्रणाली (Methodology)

यह शोध पत्र डीप मैक्सिमम अ पोस्टीरियर (MAP) एस्टीमेशन पर आधारित अनसुपरवाइज्ड स्कोर फ्यूजन के लिए एक सामान्य ढांचा प्रस्तावित करता है। यह दृष्टिकोण लेटेंट पर्सेप्चुअल क्वालिटी (MOS, जिसे $z$ द्वारा दर्शाया गया है) और $M$ विभिन्न IQA मॉडल्स ( $x^j$ ) द्वारा उत्पन्न स्कोर के बीच के संबंध को मॉडल करता है।

1. ऑब्जर्वेशन मॉडल (Observation Model)

फ्रेमवर्क मानता है कि इमेज $i$ के लिए एक IQA स्कोर $x^j_i$ लेटेंट क्वालिटी $z_i$ के एक डिटरमिनिस्टिक फंक्शन और दो स्वतंत्र नॉइज़ घटकों द्वारा उत्पन्न होता है:
$x^j_i = f^j(z_i) + n^j_i + \hat{n}^j$

$f^j(z_i)$ : एक पैरामेट्रिक फंक्शन (जिसे एक्सपोनेंशियल फंक्शन के रूप में लागू किया गया है) जो लेटेंट क्वालिटी से विशिष्ट मॉडल के स्कोर तक के मैपिंग का अनुकरण करता है।
$\hat{n}^j$ : जीरो-मीन नॉर्मल डिस्ट्रीब्यूशन का पालन करने वाला मॉडल-डिपेंडेंट नॉइज़।
$n^j_i$ : Skew Normal डिस्ट्रीब्यूशन ($SN$) का पालन करने वाला स्कोर-डिपेंडेंट नॉइज़। यह एक महत्वपूर्ण नवाचार है, क्योंकि अनुभवजन्य अवलोकन दिखाते हैं कि IQA मॉडल कम गुणवत्ता वाली छवियों का मूल्यांकन करते समय उच्च वेरिएंस और एसिमेट्रिक एरर डिस्ट्रीब्यूशन (जो कम स्कोर की ओर झुका हुआ होता है) प्रदर्शित करते हैं। इस नॉइज़ का स्केल पैरामीटर $g^j(z_i)$ द्वारा अनुमानित किया जाता है, जो फाइन-ग्रेन्ड, स्कोर-लेवल अनिश्चितता अनुमान की अनुमति देता है।

2. MAP फॉर्मूलेशन और ऑप्टिमाइजेशन (MAP Formulation and Optimization)

इसका उद्देश्य लेटेंट क्वालिटी $z$ और मॉडल पैरामीटर्स को खोजना है जो पोस्टीरियर प्रोबेबिलिटी $p(z|X)$ को अधिकतम करते हैं। लाइक्लीहुड फंक्शन $p(x^j_i|z_i)$ को Skew Normal डिस्ट्रीब्यूशन के रूप में प्राप्त किया गया है। ऑप्टिमाइजेशन समस्या को इस प्रकार तैयार किया गया है:
$\arg \max_{z, \alpha, \sigma, \theta_f, \theta_g} \sum_{j=1}^M \sum_{i=1}^N \left( \log p(x^j_i|z_i; \dots) + \log p(z_i) \right)$

प्रायर $p(z)$ : आउटपुट रेंज को रेगुलेट करने के लिए एक यूनिफॉर्म डिस्ट्रीब्यूशन $U(0,1)$ के रूप में परिभाषित किया गया है ताकि डेटासेट-विशिष्ट पक्षपात न आए, जिससे सामान्यीकरण सुनिश्चित हो सके।
एमोर्टाइज्ड इन्फरेंस (Amortized Inference): हर नई इमेज के लिए इटरेटिव ऑप्टिमाइजेशन (जो धीमा और डेटा-हंग्री है) से बचने के लिए, एक एनकोडर (एक फुली कनेक्टेड नेटवर्क) पेश किया गया है। यह एनकोडर इनपुट स्कोर्स को सीधे लेटेंट क्वालिटी $z_i$ में मैप करता है, जिससे तेज़, एंड-टू-एंड इन्फरेंस संभव होता है।

3. रैंक फ्यूजन का एकीकरण (Integration of Rank Fusion)

यह फ्रेमवर्क डिस्क्रीट रैंक को कंटीन्यूअस स्पेस में नॉर्मलाइज़ करके रैंक फ्यूजन को सहजता से शामिल करता है। यह रैंक-आधारित विधियों को सामान्य MAP फ्रेमवर्क के एक विशेष मामले के रूप में मानने की अनुमति देता है, जो कंप्यूटेशनल रूप से गहन डिस्क्रीट स्पेस के बजाय कंटीन्यूअस स्पेस में ऑप्टिमाइज़ करता है।

मुख्य योगदान (Key Contributions)

प्रथम अनसुपरवाइज्ड लर्निंग-आधारित फ्यूजन: लेखकों की जानकारी के अनुसार, यह IQA स्कोर को फ्यूज करने के लिए पहला दृष्टिकोण है जो ट्रेनिंग के लिए MOS पर निर्भरता से बचते हुए अनसुपरवाइज्ड लर्निंग का उपयोग करता है।
फॉर्मलाइज्ड ऑब्जर्वेशन मॉडल: पेपर ने IQA फ्यूजन के लिए पहले ऑब्जर्वेशन मॉडल को औपचारिक रूप दिया है, जो एसिमेट्रिक और स्कोर-डिपेंडेंट नॉइज़ को कैप्चर करने के लिए Skew Normal डिस्ट्रीब्यूशन के साथ MAP एस्टीमेशन का उपयोग करता है।
फाइन-ग्रेन्ड अनसर्टेंटी एस्टीमेशन: पिछले तरीकों के विपरीत, जो केवल मॉडल स्तर पर अनिश्चितता का अनुमान लगाते हैं, यह फ्रेमवर्क स्कोर स्तर पर अनिश्चितता का अनुमान लगाता है। यह मॉडल को प्रेडिक्टेड क्वालिटी के आधार पर विशिष्ट भविष्यवाणियों की विश्वसनीयता को गतिशील रूप से वेट (weigh) करने की अनुमति देता है।
"बुरे" मॉडल्स के प्रति मजबूती: फ्रेमवर्क में पूर्व ज्ञान के बिना फ्यूजन प्रक्रिया के दौरान "बुरे" या रैंडम IQA मॉडल्स को पहचानने और उनके भार को कम करने की अंतर्निहित क्षमता प्रदर्शित होती है।
एकीकृत फ्रेमवर्क: यह एक सामान्य संरचना प्रदान करता है जो स्कोर-आधारित और रैंक-आधारित दोनों फ्यूजन विधियों को एकीकृत कर सकता है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रस्तावित मॉडल का मूल्यांकन दस विविध सब्जेक्टिवली रेटेड IQA डेटासेट्स (सिंगल और मल्टीपल डिस्टॉर्शन परिदृश्यों सहित) पर 16 व्यक्तिगत IQA मेट्रिक्स (फुल रेफरेंस और नो रेफरेंस दोनों) का उपयोग करके किया गया।

प्रदर्शन (Performance): प्रस्तावित मॉडल के तीन वेरिएंट्स (SF-ms, RF-ms, SF-m) ने औसत स्पीयरमैन रैंक कोरिलेशन कोएफिशिएंट (SRCC) और पियर्सन लीनियर कोरिलेशन कोएफिशिएंट (PLCC) के मामले में मौजूदा अनुभवजन्य फ्यूजन विधियों, रैंक फ्यूजन विधियों (RRF, RRFW) और सभी व्यक्तिगत IQA मॉडल्स को लगातार पछाड़ दिया।
एब्लेशन स्टडी (Ablation Study): स्कोर-लेवल अनसर्टेंटी एस्टीमेशन को हटाने (जिसके परिणामस्वरूप SF-m मॉडल प्राप्त हुआ) से प्रदर्शन में गिरावट आई, जो फाइन-ग्रेन्ड अनसर्टेंटी मॉडलिंग के महत्व की पुष्टि करता है।
रोबस्टनेस टेस्ट (Robustness Test): जब फ्यूजन लिस्ट में दो "बुरे" मेट्रिक्स (रैंडम नॉइज़ जेनरेटर्स) जोड़े गए:
- मौजूदा अनसुपरवाइज्ड विधियों (RRF, RRFW) के प्रदर्शन में महत्वपूर्ण गिरावट आई।
- प्रस्तावित विधि प्रतिस्पर्धी प्रदर्शन बनाए रखने में सफल रही। अनसर्टेंटी एस्टीमेशन मॉड्यूल ने "बुरे" मेट्रिक्स के उच्च वेरिएंस (स्केल पैरामीटर) को सही ढंग से पहचाना, जिससे एनकोडर को उन्हें नगण्य वेट देने में मदद मिली।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सुपरवाइजड लर्निंग (जो ट्रेनिंग डेटासेट के MOS के विशिष्ट पक्षपातों तक सीमित है) से हटकर एक संभाव्य, अनसुपरवाइज्ड MAP फ्रेमवर्क को अपनाकर, यह अनदेखे डेटा के लिए बेहतर सामान्यीकरण (generalizability) प्राप्त करता है। इसकी मुख्य महत्ता निम्नलिखित में निहित है:

बिना ग्राउंड-ट्रुथ सब्जेक्टिव रेटिंग के विविध IQA मॉडल्स को फ्यूज करना।
प्रत्येक स्कोर के आधार पर प्रत्येक मॉडल की विश्वसनीयता के प्रति गतिशील रूप से अनुकूलित होना, प्रभावी रूप से खराब भविष्यवाणियों या मॉडल्स को "रिजेक्ट" करना।
एक एकीकृत, व्याख्या योग्य (explainable) फ्रेमवर्क प्रदान करना जहाँ एनकोडर के वेट्स का निरीक्षण यह समझने के लिए किया जा सकता है कि विभिन्न मॉडल्स अंतिम भविष्यवाणी में कैसे योगदान देते हैं।

लेखक इस कार्य को एक अधिक मजबूत, यूनिवर्सल IQA सिस्टम की दिशा में एक मौलिक कदम के रूप में देखते हैं, जो कठोर अनसर्टेंटी क्वांटिफिकेशन के माध्यम से मौजूदा मॉडल्स की व्यक्तिगत कमजोरियों को कम करते हुए उनकी सामूहिक बुद्धिमत्ता का लाभ उठाता है।