🤖 AI

Zero-TIG: Temporal Consistency-Aware Zero-Shot Illumination-Guided Low-light Video Enhancement

यह शोध पत्र Zero-TIG प्रस्तुत करता है, जो एक नवीन ज़ीरो-शॉट लर्निंग फ्रेमवर्क है जो बिना किसी पेयर्ड ग्राउंड ट्रुथ डेटा की आवश्यकता के, बेहतर दृश्य गुणवत्ता, टेम्पोरल निरंतरता और रंग निष्ठा के साथ कम रोशनी वाले और पानी के नीचे के वीडियो को बेहतर बनाने के लिए रेटिनेक्स थ्योरी और ऑप्टिकल फ्लो-आधारित टेम्पोरल फीडबैक का लाभ उठाता है।

मूल लेखक: Yini Li, Nantheera Anantrasirichai

प्रकाशित 2026-04-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yini Li, Nantheera Anantrasirichai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म देखने की कोशिश कर रहे हैं, लेकिन प्रोजेक्टर खराब है। स्क्रीन पूरी तरह काली है, इमेज दानेदार और स्टैटिक (static) से भरी है, और रंग अजीब दिख रहे हैं—जैसे सब कुछ पानी के नीचे हो या किसी ग्रे धुंध से ढका हो। अब, कल्पना कीजिए कि आप ऐसी फिल्मों की एक श्रृंखला (series) देखने की कोशिश कर रहे हैं जहाँ चमक (flickering) इतनी खराब है कि उससे आपकी आँखों में दर्द होने लगे।

यही वह समस्या है जिसे Zero-TIG हल करता है। यह एक नया कंप्यूटर प्रोग्राम है जिसे अंधेरे, शोर वाले और हिलते हुए वीडियो को साफ, चमकदार और सुचारू मास्टरपीस में बदलने के लिए डिज़ाइन किया गया है—बिना कभी उस वीडियो के "परफेक्ट" संस्करण को देखे।

यह कैसे काम करता है, यहाँ सरल कहानियों और उपमाओं के माध्यम से बताया गया है:

1. समस्या: "अंधे कलाकार" की दुविधा (The "Blind Painter" Dilemma)

आमतौर पर, कंप्यूटर को एक अंधेरी फोटो को ठीक करना सिखाने के लिए, आप उसे हजारों जोड़े दिखाते हैं: एक "खराब" फोटो और उसके बगल में उसका "परफेक्ट" संस्करण। कंप्यूटर परफेक्ट वाले को कॉपी करके सीखता है।

लेकिन वास्तविक दुनिया में (विशेष रूप से पानी के नीचे या गहरी रात में), हमारे पास वे "परफेक्ट" संदर्भ (reference) फोटो बहुत कम होते हैं। यह एक कलाकार को सूर्यास्त पेंट करना सिखाने जैसा है, जिसमें आप उन्हें केवल एक ब्लैक-एंड-व्हाइट स्केच दिखाते हैं, बिना कभी असली सूर्यास्त दिखाए। अधिकांश मौजूदा तरीके यहाँ विफल हो जाते हैं क्योंकि वे बिना उस संदर्भ डेटा के "अंधे" (blind) होते हैं।

Zero-TIG अलग है। यह एक Zero-Shot सीखने वाला है। इसे किसी संदर्भ की आवश्यकता नहीं है। यह भौतिकी (physics) और प्रकाश के नियमों का उपयोग करके केवल खराब वीडियो को देखकर ही उसे ठीक करना सीख जाता है।

2. मुख्य विचार: "जादुई टॉर्च" (Retinex Theory)

यह पेपर Retinex Theory नामक एक अवधारणा का उपयोग करता है। कल्पना कीजिए कि आप एक अंधेरे कमरे में टॉर्च के साथ हैं।

वस्तु (The Object): वह चीज़ जिसे आप देख रहे हैं (एक लाल सेब)। यह Reflectance है। प्रकाश चाहे जैसा भी हो, इसका रंग वही रहता है।
प्रकाश (The Light): टॉर्च की बीम। यह Illumination है। यह इस बात पर निर्भर करता है कि आप प्रकाश को कैसे घुमाते हैं।

Zero-TIG एक स्मार्ट जासूस की तरह काम करता है। यह अंधेरे, शोर वाले वीडियो को देखता है और कहता है, "ठीक है, मुझे वस्तु को खराब रोशनी से अलग करने की आवश्यकता है।" यह अंधेरे (खराब रोशनी) को हटा देता है और वस्तु को साफ करता है, फिर उस पर एक नई, परफेक्ट रोशनी डालता है।

3. दो-भागों वाला इंजन (The Two-Part Engine)

इस सिस्टम के दो मुख्य भाग हैं जो मिलकर काम करते हैं:

भाग A: "सफाई दल" (Enhancement Module)

इसे एक गंदी खिड़की को साफ करने वाली तीन विशेषज्ञों की टीम के रूप में सोचें:

धूल हटाने वाला (LD-Net): सबसे पहले, वे भारी धूल और स्टैटिक शोर को हटा देते हैं ताकि इमेज स्पष्ट हो सके।
प्रकाश विश्लेषक (IE-Net): इसके बाद, वे यह पता लगाते हैं कि दृश्य पर प्रकाश ठीक कैसे पड़ रहा है। वे "छाया" को "वस्तु" से अलग करते हैं।
पॉलिश करने वाला (RD-Net): अंत में, वे स्वयं वस्तु को पॉलिश करते हैं, बचे हुए दाग-धब्बों को हटाते हैं और रंगों को उभारते हैं।

भाग B: "स्थिर हाथ" (Temporal Feedback Module)

यही इस पेपर का सबसे बड़ा नवाचार है।
यदि आप वीडियो के हर फ्रेम को एक-एक करके ठीक करते हैं, तो परिणाम एक स्ट्रोब लाइट (strobe light) जैसा दिखेगा। एक फ्रेम उज्ज्वल है, अगला धुंधला है, अगला अलग रंग का है। यह फ्लिकरिंग (flickering) है।

Zero-TIG इसे एक Time-Traveling Feedback Loop के साथ हल करता है:

कल्पना कीजिए कि आप एक भित्ति चित्र (mural) पेंट कर रहे हैं। आप एक हिस्सा पूरा करते हैं (फ्रेम 1)।
फ्रेम 2 शुरू करने से पहले, आप अपने फ्रेम 1 के पूरे किए गए काम को देखते हैं।
आप Optical Flow (पिक्सेल कैसे चलते हैं उसे ट्रैक करने का एक तरीका, जैसे हवा में उड़ती गेंद को ट्रैक करना) का उपयोग करते हैं ताकि यह देख सकें कि फ्रेम 1 से फ्रेम 2 तक दृश्य कैसे बदला।
आप फ्रेम 2 की स्थिति से मेल खाने के लिए अपने पूरे किए गए फ्रेम 1 को "वारप" (stretch and align) करते हैं।
आप फ्रेम 2 को पेंट करने में मदद करने के लिए उस संरेखित (aligned), परफेक्ट फ्रेम 1 का उपयोग एक गाइड के रूप में करते हैं।

उपमा: यह एक डांस इंस्ट्रक्टर की तरह है। प्रत्येक डांसर को अलग-थलग मूव सिखाने के बजाय, वे पिछले डांसर की सुचारू गति को देखते हैं और अगले डांसर को मार्गदर्शन देने के लिए उसी लय का उपयोग करते हैं। यह सुनिश्चित करता है कि वीडियो बिना किसी झटके या फ्लिकरिंग के सुचारू रूप से चले।

4. पानी के नीचे की चुनौती: "ब्लू फिल्टर" (The "Blue Filter")

पानी के नीचे फिल्मांकन करते समय, प्रकाश अवशोषित हो जाता है। लाल प्रकाश सबसे पहले गायब हो जाता है, जिससे सब कुछ नीला या हरा दिखने लगता है। यह एक मोटे नीले स्विमिंग पूल फिल्टर के माध्यम से देखने जैसा है।

Zero-TIG के पास इसके लिए एक विशेष ट्रिक है। यह केवल रंगों का अनुमान नहीं लगाता; यह प्रत्येक रंग चैनल (लाल, हरा, नीला) के लिए अलग-अलग "व्हाइट बैलेंस" की गणना करता है। यह एक स्मार्ट फिल्टर की तरह है जो जानता है, "ओह, रेड चैनल गायब है, इसलिए मैं इसे विशेष रूप से बढ़ाऊँगा ताकि कोरल (coral) को गुलाबी दिखाने के लिए न कि केवल पूरी इमेज को ब्राइट करने के लिए।"

5. परिणाम: एक सुचारू, स्पष्ट मूवी

इस पेपर ने अंधेरे वीडियो और पानी के नीचे के फुटेज पर परीक्षण किया।

बिना ट्रेनिंग डेटा के: इसे "टीचर" के साथ परफेक्ट वीडियो की आवश्यकता नहीं थी।
कोई फ्लिकरिंग नहीं: वीडियो फ्रेम-दर-फ्रेम सुचारू रूप से चलता है।
प्रोफेशनल्स से बेहतर: कई मामलों में, यह उन महंगे, सुपरवाइज्ड तरीकों से भी बेहतर दिखता है जिनके पास परफेक्ट ट्रेनिंग डेटा होता है।

सारांश

Zero-TIG एक स्मार्ट, खुद सीखने वाले वीडियो एडिटर की तरह है जो:

वस्तु को खराब लाइटिंग से अलग करता है।
शोर (noise) को साफ करता है।
यह याद रखता है कि पिछला फ्रेम कैसा दिखता था ताकि अगला फ्रेम बिल्कुल मैच करे (कोई फ्लिकरिंग नहीं)।
पानी के नीचे के रंगों को स्वचालित रूप से ठीक करता है।

यह एक हिलते हुए, अंधेरे और दानेदार कचरे को एक सिनेमाई मास्टरपीस में बदल देता है, और यह सब खुद को यह सिखाकर कि प्रकाश को कैसे देखा जाए।

यहाँ शोध पत्र "Zero-TIG: Temporal Consistency-Aware Zero-Shot Illumination-Guided Low-light Video Enhancement" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कम रोशनी (low-light) और पानी के नीचे (underwater) के वीडियो महत्वपूर्ण गिरावट से ग्रस्त होते हैं, जिसमें खराब दृश्यता, कम कंट्रास्ट, उच्च शोर (noise), मोशन ब्लर और रंग विरूपण (विशेष रूप से तरंग दैर्ध्य-निर्भर प्रकाश क्षीणन के कारण पानी के नीचे के वातावरण में) शामिल हैं।

मौजूदा विधियों की सीमाएँ: अधिकांश अत्याधुनिक दृष्टिकोण सुपरवाइज्ड लर्निंग (supervised learning) पर निर्भर करते हैं जिसके लिए युग्मित ग्राउंड-ट्रुथ डेटासेट (low-light बनाम normal-light) की आवश्यकता होती है, जो कि दुर्लभ है, विशेष रूप से अंडरवॉटर दृश्यों के लिए।
टेम्पोरल इनकंसिस्टेंसी (Temporal Inconsistency): वीडियो पर फ्रेम-दर-फ्रेम इमेज-आधारित एन्हांसमेंट विधियों को लागू करने से अक्सर टेम्पोरल फ्लिकरिंग (temporal flickering) और आर्टिफैक्ट्स उत्पन्न होते हैं।
जीरो-शॉट गैप (Zero-Shot Gap): जबकि छवियों के लिए जीरो-शॉट विधियाँ मौजूद हैं, वे अक्सर बिना युग्मित प्रशिक्षण डेटा के टेम्पोरल निरंतरता बनाए रखने या अंडरवॉटर डेटा के विशिष्ट रंग विरूपण को संभालने में विफल रहती हैं।

2. कार्यप्रणाली: Zero-TIG (Methodology)

प्रस्तावित Zero-TIG ढांचा एक सेल्फ-सुपरवाइज्ड, जीरो-शॉट लर्निंग दृष्टिकोण है जिसके लिए प्रशिक्षण के लिए केवल एक एकल इनपुट वीडियो की आवश्यकता होती है। यह रेटिनेक्स थ्योरी (Retinex theory) को एक नवीन टेम्पोरल फीडबैक मॉड्यूल (Temporal Feedback Module) के साथ एकीकृत करता है। इस आर्किटेक्चर के दो प्राथमिक घटक हैं:

A. एन्हांसमेंट मॉड्यूल (Enhancement Module)

Zero-IG ढांचे पर आधारित, यह मॉड्यूल तीन सब-नेटवर्क्स के माध्यम से इनपुट लो-लाइट इमेज ( $I_t$ ) को प्रोसेस करता है:

लो-लाइट डिनोइजिंग नेटवर्क (LD-Net): दो डाउनसैम्पलर ( $G_1, G_2$ ) का उपयोग करके प्रारंभिक डिनोइजिंग करता है ताकि एक प्रारंभिक डिनोइज्ड इमेज ( $I_t^{LP}$ ) प्राप्त की जा सके। यह इल्यूमिनेशन एस्टीमेशन से पहले शोर (noise) को कम करता है।
इल्यूमिनेशन एस्टीमेशन नेटवर्क (IE-Net): रेटिनेक्स थ्योरी ( $I_t^{LP} = R_t^{IE} \cdot S_t^{IE}$ ) के आधार पर डिनोइज्ड इमेज को रिफ्लेक्टेंस (Reflectance) ( $R_t^{IE}$ ) और इल्यूमिनेशन (Illumination) ( $S_t^{IE}$ ) घटकों में विभाजित करता है।
रिफ्लेक्शन डिनोइजिंग नेटवर्क (RD-Net): अवशिष्ट शोर (residual noise) को हटाने के लिए संयोजित रिफ्लेक्टेंस और इल्यूमिनेशन मैप्स को परिष्कृत (refine) करता है, जिससे अंतिम एन्हांस्ड रिफ्लेक्टेंस ( $R_t^{RD}$ ) और इल्यूमिनेशन ( $S_t^{RD}$ ) प्राप्त होता है।

B. टेम्पोरल फीडबैक मॉड्यूल (Temporal Feedback Module)

टेम्पोरल निरंतरता सुनिश्चित करने और फ्लिकरिंग को कम करने के लिए, यह मॉड्यूल पिछले फ्रेम ( $t-1$ ) की जानकारी को वर्तमान फ्रेम ( $t$ ) में पुनरावर्ती (recursively) रूप से शामिल करता है:

प्रीप्रोसेसिंग: वर्तमान फ्रेम को प्री-डिनोइज ( $I_t^{LD}$ ) किया जाता है और तीव्रता वितरण (intensity distribution) को संरेखित करने के लिए हिस्टोग्राम इक्वलाइज़ेशन (HE) से गुजारा जाता है।
ऑप्टिकल फ्लो (OF) एस्टीमेशन: एक प्री-ट्रेन्ड RAFT नेटवर्क पिछले एन्हांस्ड आउटपुट ( $R_{t-1}^{RD}$ $R_{t - 1}^{R D}$ ) और प्री-प्रोसेस्ड वर्तमान फ्रेम ( $\hat{I}_t^{LD}$ $\hat{I}_{t}^{L D}$ ) के बीच ऑप्टिकल फ्लो डिस्प्लेसमेंट मैप की गणना करता है।
- अनुकूलन (Optimization): OF एस्टीमेशन पर शोर के प्रभाव को कम करने और गणना को तेज करने के लिए छवियों को 3 के कारक से डाउनसैंपल किया जाता है।
वार्पिंग और फ्यूजन (Warping & Fusion): पिछले एन्हांस्ड रिफ्लेक्टेंस और इल्यूमिनेशन मैप्स को कंप्यूट किए गए ऑप्टिकल फ्लो का उपयोग करके वर्तमान फ्रेम में वार्प किया जाता है। इन वार्प्ड मैप्स को वर्तमान फ्रेम के फीचर्स के साथ संयोजित किया जाता है और निरंतर शोधन के लिए IE-Net और RD-Net में फीडबैक के रूप में भेजा जाता है।
- इनिशियलाइजेशन (Initialization): पहले फ्रेम के लिए, वार्प्ड मैप्स को शून्य वेक्टर के रूप में इनिशियलाइज किया जाता है।

C. लॉस फंक्शन्स और अंडरवॉटर अडैप्टेशन (Loss Functions & Underwater Adaptation)

मॉडल को 11 लॉस फंक्शन्स का उपयोग करके अनुकूलित किया जाता है, जिसमें रेजिडुअल, कंसिस्टेंसी, स्मूथनेस और वेरिएंस लॉस शामिल हैं।

अंडरवॉटर डेटा के लिए एडेप्टिव व्हाइट बैलेंस: मानक लॉस यह मान लेते हैं कि RGB चैनल वितरण समान है, जो प्रकाश अवशोषण के कारण पानी के नीचे विफल रहता है। Zero-TIG चैनल-विशिष्ट बाधाएं (channel-specific constraints) पेश करता है:
- यह प्रत्येक RGB चैनल के लिए स्वतंत्र रूप से औसत ल्यूमिनेंस ( $Y_L$ ) की गणना करता है।
- इल्यूमिनेशन बाधाओं ( $L_{over}$ और $L_{pix}$ ) को चैनलों ( $c \in \{R, G, B\}$ ) पर योग करने के लिए विस्तारित किया गया है, जिससे नेटवर्क रंगों को एडेप्टिव रूप से संतुलित कर पाता है और बिना ग्राउंड ट्रुथ के ऑटोमैटिक व्हाइट बैलेंस प्राप्त करता है।

3. मुख्य योगदान (Key Contributions)

जीरो-शॉट वीडियो एन्हांसमेंट: एक नवीन विधि जो बिना युग्मित प्रशिक्षण डेटा के उच्च-गुणवत्ता वाला लो-लाइट वीडियो एन्हांसमेंट प्राप्त करती है, जो ग्राउंड-ट्रुथ डेटासेट की कमी को संबोधित करती है।
टेम्पोरल फीडबैक मैकेनिज्म: एक अनूठा मॉड्यूल जो हिस्टोग्राम इक्वलाइज़ेशन, ऑप्टिकल फ्लो (RAFT) और इमेज वार्पिंग को जोड़ता है, जो पिछले फ्रेमों को वर्तमान फ्रेमों के साथ पुनरावर्ती रूप से संरेखित करता है, जिससे फ्लिकरिंग और शोर में काफी कमी आती है।
अंडरवॉटर कलर करेक्शन: एक एडेप्टिव व्हाइट बैलेंस रणनीति जो तरंग दैर्ध्य-निर्भर रंग विरूपण को ठीक करने के लिए चैनल-विशिष्ट गेन (gains) की गणना करती है।
व्यापक अनुकूलन (Comprehensive Optimization): डिनोइजिंग, इल्यूमिनेशन एस्टीमेशन और टेम्पोरल कंसिस्टेंसी को संयुक्त रूप से अनुकूलित करने के लिए 11 लॉस फंक्शन्स का एकीकरण।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन BVI-RLV (लो-लाइट) और BVI-Coral (अंडरवॉटर) डेटासेट पर किया गया।

मात्रात्मक प्रदर्शन (लो-लाइट):
- स्टेट-ऑफ-द-आर्ट सेल्फ-सुपरवाइज्ड विधियों (Zero-DCE, SGZSL, RUAS, Zero-IG, EnlightenGAN) और सुपरवाइज्ड अपर बाउंड्स (BVI-CDM, BVI-Mamba) के विरुद्ध तुलना की गई।
- मेट्रिक्स: प्रतिस्पर्धी PSNR (19.34 dB) और SSIM (0.790) स्कोर प्राप्त किए। हिस्टोग्राम मैचिंग के साथ, इसने 28.052 PSNR और 0.854 SSIM प्राप्त किया, जो अधिकांश सेल्फ-सुपरवाइज्ड बेसलाइन को पीछे छोड़ते हुए सुपरवाइज्ड विधियों के करीब पहुँच गया।
- LPIPS: इसने कम LPIPS स्कोर (0.360) प्राप्त किया, जो ग्राउंड ट्रुथ के साथ उच्च धारणात्मक समानता (perceptual similarity) को दर्शाता है।
टेम्पोरल कंसिस्टेंसी:
- मीन एब्सोल्यूट ब्राइटनेस डिफरेंस (MABD) का उपयोग करके मूल्यांकन किया गया। Zero-TIG ने Zero-IG की तुलना में काफी कम MABD मान प्रदर्शित किए, जो समय के साथ बेहतर स्थिरता और कम फ्लिकरिंग की पुष्टि करता है।
अंडरवॉटर प्रदर्शन:
- नॉन-रेफरेंस मेट्रिक्स (UIQM, UCIQE, CLIP-IQA) का उपयोग करके मूल्यांकन किया गया।
- Zero-TIG ने सभी मेट्रिक्स में Zero-IG को पछाड़ दिया, जिससे स्पष्ट किनारे (edges), बेहतर कंट्रास्ट और कोरल तथा सैंड टेक्सचर के लिए प्रभावी कलर करेक्शन प्राप्त हुआ।

5. महत्व (Significance)

व्यावहारिक प्रयोज्यता (Practical Applicability): युग्मित ग्राउंड-ट्रुथ डेटा की आवश्यकता को समाप्त करके, Zero-TIG वास्तविक दुनिया के परिदृश्यों के लिए अत्यधिक उपयुक्त है जहाँ संदर्भ चित्र (reference images) लेना असंभव है (जैसे, गहरे समुद्र की खोज, अंधेरे में निगरानी)।
टेम्पोरल स्थिरता: टेम्पोरल फीडबैक मॉड्यूल का परिचय वीडियो एन्हांसमेंट की एक महत्वपूर्ण बाधा—फ्लिकरिंग—को हल करता है, जिससे आउटपुट निरंतर निगरानी और स्वचालित निर्णय लेने के लिए उपयुक्त हो जाता है।
बहुमुखी प्रतिभा (Versatility): यह ढांचा सफलतापूर्वक सामान्य लो-लाइट स्थितियों और पानी के नीचे की इमेजिंग की विशिष्ट भौतिक चुनौतियों (रंग क्षीणन) दोनों को संभालता है, जो विविध विजुअल एन्हांसमेंट कार्यों के लिए एक एकीकृत समाधान प्रदान करता है।

कोड उपलब्धता: सोर्स कोड सार्वजनिक रूप से https://github.com/liyinibristol/Zero-TIG पर उपलब्ध है।