तकनीकी सारांश: WREN - रेटिनेक्स सिद्धांत-आधारित डबल U-नेट जैसी संरचनाओं का उपयोग करके कम रोशनी वाली छवियों का संवर्धन

1. समस्या विवरण

कम रोशनी वाली छवियों का संवर्धन (LLIE) नाइट विजन, खोज और बचाव, और निगरानी जैसे अनुप्रयोगों के लिए महत्वपूर्ण है, जहाँ अंधेरे वातावरण में अक्सर दुर्घटनाएं, आपदाएं और अपराध होते हैं। मौजूदा LLIE विधियाँ आमतौर पर तीन प्राथमिक चुनौतियों से ग्रस्त होती हैं:

1. गैर-तुच्छ रेटिनेक्स अपघटन (Non-trivial Retinex Decomposition): प्रतिबिंब (intrinsic color) और प्रदीप्ति (illumination/lighting conditions) में छवि का अपघटन गैर-विशिष्ट और अनिश्चित (ill-posed) है।
2. एंड-टू-एंड लर्निंग में अस्थिरता: प्रदीप्ति क्षतिपूर्ति (illumination compensation) और शोधन (refinement) चरणों को संयुक्त रूप से प्रशिक्षित करने से अक्सर अस्थिर अभिसरण (convergence) होता है।
3. डायनेमिक रेंज के प्रति संवेदनशीलता: कई अत्याधुनिक (state-of-the-art) विधियाँ विभिन्न प्रकाश स्थितियों में सामान्य होने में विफल रहती हैं, जिसके परिणामस्वरूप अक्सर ओवर-एनहांसमेंट या अंडर-एनहांसमेंट होता है जब परीक्षण दृश्य का डायनेमिक रेंज प्रशिक्षण डेटा से भिन्न होता है।

दो-चरणीय दृष्टिकोणों (अपघटन के बाद शोधन) में पहचानी गई एक विशिष्ट सीमा ओवर-स्मूथिंग (over-smoothing) है। क्योंकि शोधन चरण सिंथेटिक सामान्य-प्रकाश वाली छवि (प्रतिबिंब और प्रदीप्ति का गुणनफल) पर कार्य करता है, यह अंतर्निहित रूप से मानता है कि प्रतिबिंब मानचित्र (reflectance map) में शोर (noise) मौजूद है। हालाँकि, रेटिनेक्स सिद्धांत के अनुसार, प्रतिबिंब मानचित्र शोर-मुक्त होना चाहिए। फलस्वरूप, संयुक्त छवि को स्मूथ करने से अनजाने में प्रतिबिंब मानचित्र भी स्मूथ हो जाता है, जिससे बनावट (texture) और विवरण खराब हो जाते हैं।

2. कार्यप्रणाली: WREN आर्किटेक्चर

लेखक WREN का प्रस्ताव करते हैं, जो एक न्यूरल नेटवर्क है जिसे ओवर-स्मूथिंग और डायनेमिक रेंज संवेदनशीलता को दूर करने के लिए रेटिनेक्स सिद्धांत के सिद्धांतों का सख्ती से पालन करने के लिए डिज़ाइन किया गया है। WREN एक डबल U-नेट जैसी संरचना का उपयोग करता है जिसमें दो सब-नेटवर्क्स शामिल हैं:

3.1. रेटिनेक्स अपघटन नेटवर्क ($U_1$)

यह नेटवर्क इनपुट कम-रोशनी वाली छवि ($I_{low}$) को निम्नलिखित में विभाजित करने के लिए एक साझा एनकोडर के साथ दो अलग-अलग डिकोडर्स का उपयोग करता है:

• प्रतिबिंब मानचित्र ($R$): यह अंतर्निहित सतह के रंग का प्रतिनिधित्व करता है।
• प्रदीप्ति मानचित्र ($L_{low}$): यह आपतित प्रकाश तीव्रता (incident light intensity) का प्रतिनिधित्व करता है।

प्रमुख डिज़ाइन विकल्प: अन्य दृष्टिकोणों के विपरीत, WREN अपघटित प्रतिबिंब मानचित्र $R$ को अपरिवर्तित रखता है। यह रेटिनेक्स धारणा का सख्ती से पालन करता है कि प्रतिबिंब अपरिवर्तनीय है और शोर-मुक्त होना चाहिए।

3.2. प्रदीप्ति क्षतिपूर्ति नेटवर्क ($U_2$)

यह नेटवर्क विशेष रूप से $U_1$ से प्राप्त प्रदीप्ति मानचित्र ($L_{low}$) को बढ़ाने पर ध्यान केंद्रित करता है। यह निम्नलिखित विशिष्ट घटकों के साथ एक अनुकूलित U-Net आर्किटेक्चर का उपयोग करता है:

• ट्रांसफॉर्मर ब्लॉक (Transformer Block): गैर-स्थानीय विशेषताओं (non-local features) को पकड़ने और गैर-स्थानीय प्रदीप्ति सुगमता को बढ़ावा देने के लिए एनकोडर और डिकोडर के बीच डाला गया है, जो डीनॉइजिंग में सहायता करता है।
• अटेंशन ब्लॉक्स (Attention Blocks): प्रासंगिक विशेषताओं पर ध्यान केंद्रित करने के लिए एकीकृत।
• प्रशिक्षण योग्य गाइडेड फिल्टर्स (Trainable Guided Filters): किनारों और बनावट को संरक्षित करते हुए कम-रोशनी वाले क्षेत्रों को मजबूती से डीनॉइज़ करने के लिए डिकोडर में उपयोग किए गए।
• रेसिडुअल ब्लॉक्स (Residual Blocks): फीचर अखंडता बनाए रखने के लिए उपयोग किए गए।

अंतिम संवर्धित छवि को अपरिवर्तित प्रतिबिंब मानचित्र ($R$) और संवर्धित प्रदीप्ति मानचित्र ($L_{normal}$) को तत्व-वार गुणन (element-wise multiplication) के माध्यम से पुनर्गठित करके बनाया जाता है: $I_{recon} = R \odot L_{normal}$।

3.3. लॉस फंक्शन्स (Loss Functions)

WREN को मजबूती के लिए डिज़ाइन किए गए एक मिश्रित लॉस फंक्शन का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है:

• अपघटन लॉस ($L_{decomp}$): इसमें एक पुनर्निर्माण निष्ठा (reconstruction fidelity) शब्द और एक स्केल-इनवेरिएंट (SI) लॉस शामिल है। SI लॉस महत्वपूर्ण है क्योंकि यह प्रदीप्ति मानचित्र के वैश्विक रीस्केलिंग के प्रति गणितीय रूप से अपरिवर्तनीय है, जो डायनेमिक रेंज परिवर्तनों के विरुद्ध मजबूती प्रदान करता है।
• एनहांसमेंट लॉस ($L_{enh}$): मल्टी-स्केल स्ट्रक्चरल सिमिलरिटी (MS-SSIM), परसेप्चुअल लॉस (VGG-16 फीचर्स), CIE $L^*a^*b^*$ कलर डिस्टेंस, और 1.0 से अधिक मानों को रोकने के लिए एक हिंज पेनल्टी (hinge penalty) का संयोजन।

3. प्रमुख योगदान

1. डबल U-Net संरचना: एक नवीन आर्किटेक्चर जो अपघटन और प्रदीप्ति संवर्धन को अलग करता है, और सख्ती से इस रेटिनेक्स धारणा का पालन करता है कि प्रतिबिंब शोर-मुक्त और अपरिवर्तनीय है।
2. स्केल-इनवेरिएंट ट्रेनिंग: एक स्केल-इनवेरिएंट लॉस फंक्शन का परिचय, जो यह सुनिश्चित करता है कि मॉडल विभिन्न डायनेमिक रेंज और प्रकाश स्थितियों में मजबूत बना रहे, जो मौजूदा LLIE विधियों के एक सामान्य विफलता बिंदु को संबोधित करता है।
3. लक्षित प्रदीप्ति डीनॉइजिंग: ट्रांसफॉर्मर ब्लॉक्स और गाइडेड फिल्टर्स का उपयोग करके प्रदीप्ति मानचित्र को अलग करके संवर्धित करना, यह विधि संयुक्त छवि को रिफाइन करने से होने वाले ओवर-स्मूथिंग आर्टिफैक्ट्स से बचती है।

4. प्रयोगात्मक परिणाम

लेखकों ने पाँच डेटासेट्स पर WREN का मूल्यांकन किया: LOLv1, SICE, LIEQ, NTIRE 2024, और MIT-Adobe FiveK। मॉडल को LOLv1 पर प्रशिक्षित किया गया और सामान्यीकरण प्रदर्शित करने के लिए सभी डेटासेट्स पर परीक्षण किया गया।

• मात्रात्मक प्रदर्शन (Quantitative Performance): WREN ने छह बेसलाइन्स (ReDDiT, Retinexformer, RetinexNet, SNR-Net, KinD++, Zero-DCE, और LIME) की तुलना में सभी मेट्रिक्स (PSNR, SSIM, LPIPS, और MAE) में अत्याधुनिक (SOTA) परिणाम प्राप्त किए। विशेष रूप से, इसने हालिया ReDDiT विधि की तुलना में PSNR में >1 dB और LPIPS में >0.1 से बेहतर प्रदर्शन किया।
• गुणात्मक प्रदर्शन (Qualitative Performance):
  • अंधेरे क्षेत्र: WREN शुद्ध अंधेरे क्षेत्रों में शीर्ष विधियों के समान प्रदर्शन करता है।
  • मिश्रित प्रकाश (Mixed Lighting): मिश्रित प्रकाश वाले दृश्यों (जैसे आकाश और गहरा ज़मीन) में, WREN ने सामान्य-प्रकाश वाले क्षेत्रों को ओवर-एक्सपोज़ किए बिना कम-रोशनी वाले क्षेत्रों को सफलतापूर्वक बढ़ाया। इसके विपरीत, Retinexformer जैसी विधियों के कारण आकाश में रंग परिवर्तन (color shifts) हुआ, जबकि अन्य (ReDDiT, RetinexNet, आदि) के कारण ओवरएक्सपोज़्ड छवियां मिलीं।
  • शोर हैंडलिंग (Noise Handling): सेंसर शोर को बढ़ाने वाली विधियों (जैसे RetinexNet, LIME) के विपरीत, WREN ने परेशान करने वाले रंग परिवर्तन पेश किए बिना अंधेरे क्षेत्रों में शोर को प्रभावी ढंग से दबाया।

5. महत्व और दावे

लेखक दावा करते हैं कि WREN का महत्व विभिन्न डायनेमिक रेंज वाले कई डेटासेट्स में मजबूत, अत्याधुनिक प्रदर्शन प्राप्त करने की इसकी क्षमता में निहित है, जो रेटिनेक्स सिद्धांत की सैद्धांतिक धारणाओं का सख्ती से पालन करती है। प्रदीप्ति के शोधन को प्रतिबिंब के संरक्षण से अलग करके, यह विधि ओवर-स्मूथिंग आर्टिफैक्ट्स को समाप्त करती है जो डाउनस्ट्रीम कंप्यूटर विज़न कार्यों को सीमित करते हैं। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एक स्थिर, एंड-टू-एंड समाधान प्रदान करता है जो मौजूदा डीप लर्निंग-आधारित LLIE विधियों की तुलना में प्रशिक्षण डेटा के विशिष्ट डायनेमिक रेंज के प्रति कम संवेदनशील है।