⚡ electrical engineering

A Reference-Free Framework for Evaluating Single-Frame ISP Pipelines

यह शोध पत्र एक संदर्भ-रहित (reference-free) लर्निंग फ्रेमवर्क प्रस्तावित करता है जो एक प्रोसेस्ड इमेज और उसके ISO मेटाडेटा से एक प्रॉक्सी sRGB रेफरेंस का अनुमान लगाकर सिंगल-फ्रेम ISP पाइपलाइन्स के लिए मानक फुल-रेफरेंस इमेज क्वालिटी मेट्रिक्स (PSNR, SSIM, LPIPS) का आकलन करता है, जिससे पूर्णतः संरेखित ग्राउंड-ट्रुथ पेयर्स की आवश्यकता के बिना व्यावहारिक मूल्यांकन सक्षम होता है।

मूल लेखक: Yujin Cho, Sira Ferradans, Jean-Michel Morel, Gabriele Facciolo, Thomas Eboli

प्रकाशित 2026-07-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yujin Cho, Sira Ferradans, Jean-Michel Morel, Gabriele Facciolo, Thomas Eboli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फोटोग्राफर हैं जो यह तय करने की कोशिश कर रहे हैं कि कौन सा स्मार्टफोन सबसे अच्छी तस्वीरें लेता है। आप एक फोटो खींचते हैं, और फोन का आंतरिक कंप्यूटर, जिसे इमेज सिग्नल प्रोसेसर (या ISP) कहा जाता है, काम पर लग जाता है। यह एक सुपर-फास्ट, अदृश्य शेफ की तरह कार्य करता है, जो कैमरा सेंसर से कच्चे, शोर (noise) वाले तत्वों को लेता है और उन्हें पकाकर एक स्वादिष्ट, रंगीन sRGB इमेज में बदल देता है जिसे आप अपनी स्क्रीन पर देखते हैं। यह शेफ इसमें मसाला डालता है (कलर करेक्शन), शोर को हटाता है (डिनोइजिंग), और चमक को समायोजित करता है (टोन मैपिंग)। लेकिन कभी-कभी, शेफ गलतियाँ कर देता है: रंग थोड़े अजीब लग सकते हैं, इमेज धुंधली हो सकती है, या छोटे, ब्लॉक जैसे आर्टिफैक्ट्स दिखाई दे सकते हैं। यह जानने के लिए कि क्या शेफ ने अच्छा काम किया है, आपको आमतौर पर तुलना करने के लिए एक "परफेक्ट" संस्करण की आवश्यकता होती है। फोटोग्राफी में, इसे "ग्राउंड ट्रुथ" रेफरेंस कहा जाता है। हालांकि, वास्तविक दुनिया में, आप समय में पीछे जाकर ठीक उसी फोटो को एक परफेक्ट, शोर-मुक्त कैमरे के साथ नहीं ले सकते। आपके पास केवल अंतिम, प्रोसेस्ड फोटो ही होती है।

यहीं से इमेज क्वालिटी असेसमेंट (IQA) का विज्ञान शुरू होता है। पारंपरिक रूप से, वैज्ञानिक इन तस्वीरों का न्याय करने के दो तरीके अपनाते हैं। पहला "फुल-रेफरेंस" है, जहाँ वे एक परफेक्ट फोटो के साथ तुलना करने के लिए पिक्सेल-दर-पिक्सेल अंतर को मापने के लिए एक रूलर का उपयोग करते हैं। यह सटीक है लेकिन वास्तविक जीवन में असंभव है क्योंकि आपके पास परफेक्ट फोटो नहीं होती। दूसरा तरीका "ब्लाइंड IQA" है, जहाँ आप बिना किसी रेफरेंस के फोटो का निर्णय लेते हैं, या अक्सर मनुष्यों से पूछते हैं, "क्या यह अच्छा दिख रहा है?" या मानव विचारों पर प्रशिक्षित AI का उपयोग करते हैं। समस्या यह है कि मानवीय दृष्टिकोण इस बात पर केंद्रित होता है कि फोटो कितनी "सुंदर" या "कलात्मक" दिखती है, बजाय इसके कि वह उन सूक्ष्म, तकनीकी खामियों को पकड़े जो कैमरा के शेफ ने उत्पन्न की हैं। यदि आप किसी विशिष्ट तकनीकी त्रुटियों को ठीक करने के लिए कैमरे के सॉफ्टवेयर को ट्यून करना चाहते हैं, तो आपको उन त्रुटियों को मापने का एक तरीका चाहिए होगा जिसके लिए आपको उस परफेक्ट फोटो की आवश्यकता न हो जो आपके पास नहीं है।

यह शोध पत्र एक चतुर नए फ्रेमवर्क का परिचय देता है जो इस समस्या को हल करने के लिए एक "जादुई दर्पण" की तरह कार्य करता है। एक एकल गुणवत्ता स्कोर (जैसे 10 में से एक ग्रेड) का अनुमान लगाने के बजाय, लेखकों की विधि एक "प्रॉक्सी रेफरेंस" को पुनर्गठित करने का प्रयास करती है—एक नकली परफेक्ट इमेज जिसे कैमरे को वास्तव में बनाना चाहिए था। इसे ऐसे समझें कि एक जासूस, कीचड़ वाले पदचिह्न को देखने के बाद, इलाके के ज्ञान और जूते के आकार का उपयोग करके एक चित्र बनाता है कि साफ, परफेक्ट पदचिह्न कैसा दिखता था। एक बार जब सिस्टम के पास यह "साफ" चित्र आ जाता है, तो वे सटीक रूप से यह मापने के लिए कि कैमरे की प्रोसेसिंग ने चीजों को कितना बिगाड़ा है, मानक, सटीक रूलर्स (मेट्रिक्स जैसे PSNR, SSIM, और LPIPS) का उपयोग करके वास्तविक फोटो की तुलना उस साफ चित्र से कर सकते हैं।

शोधकर्ताओं ने पाया कि यह "रिस्टोर-एंड-कंपेयर" रणनीति सीधे एक स्कोर का अनुमान लगाने के लिए AI को प्रशिक्षित करने की तुलना में बहुत बेहतर काम करती है। उन्होंने दिखाया कि प्रोसेस्ड फोटो और उसके ISO सेटिंग (एक संख्या जो कैमरे को बताता है कि वह प्रकाश के प्रति कितना संवेदनशील था, जो शोर की मात्रा के लिए एक संकेत के रूप में कार्य करता है) को सिस्टम में फीड करके, AI छवि का एक आश्चर्यजनक रूप से सटीक "साफ" संस्करण बना सकता है। जब उन्होंने इस जनरेटेड क्लीन वर्जन की वास्तविक फोटो से तुलना की, तो परिणामी गुणवत्ता स्कोर अत्यधिक विश्वसनीय थे। वास्तव में, यह विधि इतनी अच्छी थी कि इसे बहुत तेज़ी से विभिन्न कैमरा ब्रांडों और सॉफ्टवेयर सेटिंग्स (जैसे एडोब लाइटरूम) के अनुकूल बनाया जा सकता था, जिसे "LoRA" नामक तकनीक का उपयोग करके किया गया, जो पूरे इंजन को फिर से बनाने के बजाय एक त्वरित सॉफ्टवेयर पैच की तरह कार्य करता है।

हालांकि, यह शोध पत्र इस बात पर भी सावधानीपूर्वक ध्यान देता है कि यह विधि क्या नहीं करती है। यह दावा नहीं करता है कि यह ब्रह्मांड के हर कैमरे के लिए एक सार्वभौमिक जादुई छड़ी है; इसे विशिष्ट कैमरा पाइपलाइनों और उनके घटकों का मूल्यांकन करने के लिए डिज़ाइन किया गया है। लेखकों ने इस विचार को भी खारिज कर दिया कि केवल छवि को "सुंदर" या "यथार्थवादी" (GANs जैसी तकनीकों का उपयोग करके) बनाना ही पर्याप्त है; उनके प्रयोगों ने दिखाया कि जबकि वे तरीके छवियों को अच्छा दिखाते हैं, वे वास्तव में तकनीकी गुणवत्ता के माप को कम सटीक बना देते हैं। अध्ययन यह सिद्ध करता है कि केवल मानव राय की भविष्यवाणी करने के बजाय छवि के संरचनात्मक विवरणों को पुनर्गठित करने पर ध्यान केंद्रित करके, हम अंततः कैमरा सॉफ्टवेयर की तकनीकी खामियों को माप सकते हैं, बिना उस परफेक्ट रेफरेंस की आवश्यकता के जो मौजूद ही नहीं है।

तकनीकी सारांश: सिंगल-फ्रेम ISP पाइपलाइनों के मूल्यांकन के लिए एक रेफरेंस-फ्री फ्रेमवर्क

समस्या विवरण (Problem Statement)

आधुनिक कैमरों में इमेज सिग्नल प्रोसेसिंग (ISP) पाइपलाइनों का मूल्यांकन करने के लिए उन लो-लेवल आर्टिफैक्ट्स (artifacts) को मापना आवश्यक है जो डिनोइजिंग (denoising), डेमोसेइंग (demosaicing), टोन मैपिंग (tone mapping) और कम्प्रेशन (compression) जैसे ऑपरेशन्स के कारण उत्पन्न होते हैं। जबकि फुल-रेफरेंस (FR) मेट्रिक्स जैसे PSNR, SSIM और LPIPS पिक्सेल-लेवल अंतर और स्ट्रक्चरल सिमिलरिटी को प्रभावी ढंग से मापते हैं, उन्हें पूरी तरह से संरेखित (aligned) इमेज पेयर्स (एक प्रोसेस्ड इमेज और उसका शुद्ध ग्राउंड-ट्रुथ रेफरेंस) की आवश्यकता होती है। व्यावहारिक सेटिंग्स में, इन रेफरेंसों को प्राप्त करने के लिए सटीक एक्विजिशन कंडीशंस (एक्सपोज़र, इल्यूमिनेशन, सीन मोशन) को दोबारा बनाना असंभव है।

इसके विपरीत, ब्लाइंड इमेज क्वालिटी असेसमेंट (IQA) विधियाँ बिना किसी रेफरेंस के काम करती हैं, लेकिन वे आमतौर पर सिमेंटिक कंटेंट, एस्थेटिक्स या हाई-लेवल पर्सेप्चुअल स्कोर (Mean Opinion Scores) पर ध्यान केंद्रित करती हैं। ये विधियाँ अक्सर सूक्ष्म, लो-लेवल ISP आर्टिफैक्ट्स (जैसे कलर शिफ्ट, ब्लॉकिंग, डेमोसेइंग एरर्स) का पता लगाने में विफल रहती हैं और महंगी मानव एनोटेशन पर निर्भर करती हैं, जिसमें इंटर-एनोटेटर वेरिएबिलिटी (inter-annotator variability) की समस्या होती है। ग्राउंड-ट्रुथ रेफरेंस या ह्यूमन लेबल तक पहुँच के बिना, एक विशिष्ट ISP कॉन्फ़िगरेशन के लिए मानक FR मेट्रिक्स (PSNR, SSIM, LPIPS) का अनुमान लगाने में सक्षम विधियों की कमी है।

कार्यप्रणाली (Methodology)

लेखक एक रेफरेंस-फ्री लर्निंग फ्रेमवर्क प्रस्तावित करते हैं जो एक सिंगल प्रोसेस्ड sRGB इमेज और उसके ISO मेटाडेटा से फुल-रेफरेंस मेट्रिक्स का अनुमान लगाता है। मुख्य विचार सीधे एक स्केलर क्वालिटी स्कोर को रिग्रेस करने के बजाय एक "प्रॉक्सी रेफरेंस" इमेज का अनुमान लगाना है।

1. फ्रेमवर्क ओवरव्यू

यह दृष्टिकोण ISP पाइपलाइन $F$ को एक नॉइजी रॉ इमेज $x$ को sRGB आउटपुट $y = F(x)$ में बदलने के रूप में मॉडल करता है। रॉ इमेज $x$ को एक आइडियल क्लीन रॉ $x_0$ के नॉइजी वर्जन के रूप में मॉडल किया गया है ( $x = s(x_0 + \epsilon)$ ), जहाँ $\epsilon$ सेंसर और ISO पर निर्भर नॉइज़ को दर्शाता है।

इनपुट: एक प्रोसेस्ड इमेज $y$ और उसका ISO वैल्यू (जो नॉइज़ की गंभीरता के प्रॉक्सी के रूप में कार्य करता है)।
नेटवर्क: एक न्यूरल नेटवर्क $\phi_\theta$ (SwinIR पर आधारित) एक प्रॉक्सी रेफरेंस $y_\theta = \phi_\theta(y, \text{ISO})$ का अनुमान लगाता है।
मेट्रिक एस्टीमेशन: फ्रेमवर्क प्रोसेस्ड इमेज और अनुमानित प्रॉक्सी के बीच मानक FR मेट्रिक्स $C(y, y_\theta)$ (PSNR, SSIM, LPIPS) की गणना करता है।

2. नेटवर्क आर्किटेक्चर और कंडीशनिंग

नेटवर्क $\phi_\theta$ एक SwinIR बैकबोन का उपयोग करता है। बिना रॉ इनपुट की आवश्यकता के नॉइज़ लेवल्स पर नेटवर्क को कंडीशन करने के लिए, लेखक स्टैंडर्ड LayerNorm के स्थान पर Adaptive LayerNorm (AdaLN) का उपयोग करते हैं। AdaLN के लिए स्केल और शिफ्ट पैरामीटर्स को ISO वैल्यू के एम्बेडिंग से प्रेडिक्ट किया जाता है, जिससे एक ही मॉडल लो-गेन से लेकर हाई-गेन परिदृश्यों तक विभिन्न नॉइज़ सेवरिटी को हैंडल कर सकता है।

3. ट्रेनिंग स्ट्रैटेजी

मॉडल को क्लीन इमेजेस (DIV2K, Flickr2K, Waterloo) से सिंथेटिक डेटा का उपयोग करके प्रशिक्षित किया गया है, जिन्हें एक फिक्स्ड बेसलाइन ISP पाइपलाइन के माध्यम से प्रोसेस किया गया है। लॉस फंक्शन निम्नलिखित को जोड़ता है:

डेटा लॉस ( $\ell_{data}$ ): प्रॉक्सी $y_\theta$ और ग्राउंड-ट्रुथ रेफरेंस $y_{GT}$ के बीच पिक्सेल-वाइज रिकंस्ट्रक्शन लॉस ( $L_2$ )।
मेट्रिक कंसिस्टेंसी लॉस ( $\ell_C$ ): एक लॉस टर्म जो प्रेडिक्टेड मेट्रिक्स $C_m(y, y_\theta)$ और ग्राउंड-ट्रुथ मेट्रिक्स $C_m(y, y_{GT})$ के बीच के अंतर को कम करता है (PSNR और SSIM के लिए)।
पर्सेप्चुअल लॉस ( $\ell_{perc}$ ): एक फीचर-बेस्ड लॉस (एक प्री-ट्रेन्ड एक्सट्रैक्टर का उपयोग करके) जो पर्सेप्चुअल प्लाउसिबिलिटी (perceptual plausibility) सुनिश्चित करता है।

लेखकों ने पाया कि PSNR और SSIM के लिए जॉइंट ऑप्टिमाइजेशन करने से एक ऐसा मॉडल मिलता है जो विभिन्न मेट्रिक्स पर अच्छी तरह से सामान्यीकृत (generalize) होता है, और बिना किसी विशिष्ट LPIPS लॉस टर्म के भी LPIPS के साथ उच्च सहसंबंध (correlation) प्राप्त करता है।

4. LoRA के माध्यम से फास्ट अडैप्टेशन

सिंथेटिक ट्रेनिंग पाइपलाइन्स और रियल-वर्ल्ड ISPs (जैसे Adobe Lightroom) के बीच डोमेन गैप को दूर करने के लिए, लेखक Low-Rank Adaptation (LoRA) का उपयोग करते हैं। पूरे नेटवर्क को फिर से ट्रेन करने के बजाय, वे बेस वेट्स $\theta$ को फ्रीज करते हैं और LoRA पैरामीटर्स $\omega$ के एक छोटे सेट को फाइन-ट्यून करते हैं। यह न्यूनतम डेटा (few-shot learning) का उपयोग करके कुछ घंटों में नए ISP कॉन्फ़िगरेशन (अलग-अलग डिनोइज़र, डेमोसेइंग मेथड्स, या कम्प्रेशन सेटिंग्स) के अनुकूल होने की अनुमति देता है।

मुख्य योगदान (Key Contributions)

रेफरेंस-फ्री मेट्रिक एस्टीमेशन: एक फ्रेमवर्क जो FR मेट्रिक्स (PSNR, SSIM, LPIPS) को प्रोसेस्ड इमेज और ISO मेटाडेटा का उपयोग करके लर्न करने योग्य ब्लाइंड क्राइटेरिया में बदल देता है, जिससे अलाइन किए गए पेयर्स या सब्जेक्टिव एनोटेशन की आवश्यकता समाप्त हो जाती है।
मल्टी-मेट्रिक जॉइंट ऑप्टिमाइजेशन: एक रणनीति जो एक ही मॉडल को विविध ISP स्टेज (नॉन-लीनियर ऑपरेशन्स जैसे टोन मैपिंग और JPEG कम्प्रेशन सहित) में सामान्यीकृत करने में सक्षम बनाती है, जबकि कई अलग-अलग मेट्रिक्स के साथ उच्च सहसंबंध बनाए रखती है।
रोबस्ट जनरलाइजेशन और अडैप्टेशन: यह प्रदर्शन कि एक सिंथेटिक डेटा पर प्रशिक्षित मॉडल अनसीन रियलिस्टिक पाइपलाइन्स (जैसे Adobe Lightroom) पर सामान्यीकृत हो सकता है और LoRA फाइन-ट्यूनिंग न्यूनतम डेटा के साथ डोमेन गैप को प्रभावी ढंग से कम करती है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन सिंथेटिक बेंचमार्क और Adobe Lightroom द्वारा प्रोसेस किए गए SIDD डेटासेट (Google Pixel, LG G4, Motorola Nexus 6) से प्राप्त रियल-वर्ल्ड डेटा पर किया गया।

सिंथेटिक परफॉरमेंस: सिंथेटिक डेटा पर, रिकंस्ट्रक्शन-आधारित दृष्टिकोण डायरेक्ट मेट्रिक रिग्रेशन की तुलना में काफी बेहतर प्रदर्शन करता है। PSNR और SSIM के जॉइंट ऑप्टिमाइजेशन ने PSNR के लिए ~0.96 और SSIM के लिए ~0.94 के PLCC स्कोर प्राप्त किए, और LPIPS के साथ भी मजबूत सहसंबंध दिखाया।
ब्लाइंड IQA के साथ तुलना: प्रस्तावित विधि लो-लेवल ISP डिस्टॉर्शन के आधार पर इमेजेस को रैंक करने में स्टेट-ऑफ-द-आर्ट ब्लाइंड IQA विधियों (जैसे MUSIQ, MANIQA, CLIP-IQA, VCRNet) को लगातार पछाड़ देती है। जहाँ मौजूदा ब्लाइंड IQA विधियाँ अक्सर तब विफल हो जाती हैं जब सिमेंटिक कंटेंट समान होता है लेकिन ISP प्रोसेसिंग भिन्न होती है, वहीं प्रस्तावित विधि इन वर्जन्स को सही ढंग से रैंक करती है।
रियल-वर्ल्ड अडैप्टेशन: सीधे Adobe-प्रोसेस्ड रियल इमेजेस पर लागू होने पर, सिंथेटिक-ट्रेन्ड मॉडल ने प्रदर्शन में गिरावट दिखाई, विशेष रूप से SSIM और LPIPS में। हालांकि, एक छोटे से Adobe-प्रोसेस्ड पैचेस (सीन-डिस्जॉइंट प्रोटोकॉल) पर LoRA फाइन-ट्यूनिंग के बाद, प्रदर्शन काफी हद तक सुधर गया, जिसने 0.958 (PSNR), 0.957 (SSIM), और 0.922 (LPIPS) के PLCC स्कोर प्राप्त किए।
एफिशिएंसी: LoRA फाइन-ट्यूनिंग ने पूर्ण रिट्रेनिंग (full retraining) में लगने वाले कई दिनों के समय को घटाकर कुछ घंटों में बदल दिया, जबकि समान सटीकता बनाए रखी।

महत्व और दावे (Significance and Claims)

पेपर यह दावा करता है कि व्यावहारिक कैमरा पाइपलाइन मूल्यांकन के लिए फुल-रेफरेंस मेट्रिक्स के रेफरेंस-फ्री एस्टीमेशन की व्यवहार्यता सिद्ध होती है। लेखक जोर देते हैं कि उनका दृष्टिकोण पारंपरिक पर्सेप्चुअल ब्लाइंड IQA से अलग है, जो अक्सर लो-लेवल आर्टिफैक्ट्स के बजाय सिमेंटिक कंटेंट को प्राथमिकता देता है। एक प्रॉक्सी रेफरेंस का अनुमान लगाकर, यह विधि PSNR, SSIM और LPIPS में निहित स्ट्रक्चरल और पिक्सेल-लेवल तुलनाओं को सुरक्षित रखती है।

इसका महत्व ISP डेवलपर्स को उनके पाइपलाइन कंपोनेंट्स (डिनोइज़र, डेमोसेसिंग, कम्प्रेशन) को ट्यून करने और तुलना करने के लिए एक टूल प्रदान करने में है, बिना पूरी तरह से अलाइन किए गए ग्राउंड-ट्रुथ रेफरेंस प्राप्त करने के लॉजिस्टिक बोझ के। इस फ्रेमवर्क को व्यावसायिक ISP पाइपलाइनों के मूल्यांकन के लिए एक व्यावहारिक समाधान के रूप में प्रस्तुत किया गया है, जहाँ केवल सीमित प्रशिक्षण डेटा उपलब्ध है, जो कुशल LoRA अडैप्टेशन के माध्यम से सिंथेटिक ट्रेनिंग और रियल-वर्ल्ड डिप्लॉयमेंट के बीच के अंतर को पाटता है। लेखक नोट करते हैं कि वर्तमान कार्य एक फिक्स्ड कैमरा सेंसर नॉइज़ प्रोफाइल पर केंद्रित है और विभिन्न निर्माताओं या सेंसरों के बीच यूनिवर्सल ट्रांसफर का दावा नहीं करता है, बल्कि विशिष्ट ISP कॉन्फ़िगरेशन और कंपोनेंट परिवर्तनों के मूल्यांकन को लक्षित करता है।