💻 computer science

Real-World Scene Recovery for Scattering-Degraded Images Using Spatial and Frequency Priors

यह शोध पत्र एक नवीन स्थानिक और आवृत्ति पूर्ववर्ती (Spatial and Frequency Priors - SFP) ढांचे का प्रस्ताव करता है जो स्पेक्ट्रल प्रोजेक्शन पर आधारित स्थानिक ट्रांसमिशन अनुमान को डीसी घटक और निम्न-आवृत्ति बैंड पूर्ववर्ती द्वारा निर्देशित अनुकूली आवृत्ति संवर्धन के साथ जोड़ता है ताकि स्कैटरिंग-डिग्रेडेड छवियों से वास्तविक दुनिया के दृश्यों को पुनः प्राप्त करने में उत्कृष्ट सामान्यीकरण और प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Yun Liu, Tao Li, Guanghui Yue, Wenqi Ren, Cosmin Ancuti, Weisi Lin

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yun Liu, Tao Li, Guanghui Yue, Wenqi Ren, Cosmin Ancuti, Weisi Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक पहाड़ की सुंदर तस्वीर लेने की कोशिश कर रहे हैं, लेकिन आपके कैमरे का लेंस तीन अलग-अलग प्रकार की गंदगी से ढका हुआ है: घना कोहरा, उड़ती हुई रेत, या मटमैला पानी। परिणाम एक धुंधली, रंगहीन और फीकी छवि होती है जहाँ विवरण खो जाते हैं। यह कंप्यूटर विज़न सिस्टम के साथ तब होता है जब वे कोहरे, रेत के तूफान या पानी के नीचे की स्थितियों जैसे बिखराव (scattering) प्रभावों के माध्यम से "देखने" की कोशिश करते हैं।

आपके द्वारा प्रदान किया गया पेपर एक नई विधि पेश करता है जिसे SFP (Spatial and Frequency Priors) कहा जाता है, जो इन गंदी छवियों के लिए एक मास्टर रिस्टोरर (सुधारने वाले) के रूप में कार्य करता है। भारी मात्रा में प्रशिक्षण डेटा (जैसे कि एक छात्र हजारों उदाहरणों को रटता है) पर निर्भर रहने या केवल एक सरल ट्रिक का उपयोग करने के बजाय, SFP एक साथ दो अलग-अलग "सुपरपावर्स" का उपयोग करके तस्वीर को साफ करता है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. दो सुपरपावर्स: स्थानिक (Spatial) और आवृत्ति (Frequency)

एक छवि को एक गाने के रूप में सोचें।

स्पेशियल डोमेन (Spatial Domain) गाने के बोल और धुन (lyrics and melody) की तरह है। यह वह है जो आप अपनी आँखों से देखते हैं: आकृतियाँ, किनारे (edges), और दृश्य की सामान्य संरचना।
फ्रीक्वेंसी डोमेन (Frequency Domain) संगीत के वाद्य यंत्रों और लय (instrumentation and rhythm) की तरह है। यह डेटा की वह छिपी हुई परत है जो बताती है कि किनारे कितने तीखे हैं, रंग कितने जीवंत हैं, और छवि में कितना "टेक्सचर" मौजूद है।

पुराने तरीकों ने या तो केवल "बोल" (spatial) का उपयोग करके या केवल "लय" (frequency) का उपयोग करके छवि को ठीक करने की कोशिश की। लेखकों ने महसूस किया कि एक बिखरी हुई फोटो को वास्तव में ठीक करने के लिए, आपको इन दोनों को एक ही समय में ठीक करने की आवश्यकता है।

2. पहली ट्रिक: "इनवर्स प्रोजेक्शन" (Spatial)

पेपर एक चतुर अवलोकन का वर्णन करता है कि प्रकाश कैसे व्यवहार करता है जब वह कोहरे या रेत में फंस जाता है।

उपमा: कल्पना करें कि आपके पास एक गंदी खिड़की है। यदि आप खिड़की के कांच के अपने प्रतिबिंब (गंदगी) को देखते हैं, तो वह वास्तव में आपको बताता है कि गंदगी कहाँ सबसे अधिक घनी है।
SFP कैसे करता है: कंप्यूटर धुंधली छवि लेता है, उसे गणितीय रूप से उल्टा करता है, और उसे एक विशिष्ट "कलर डायरेक्शन" पर प्रोजेक्ट करता है। यह प्रोजेक्शन एक मानचित्र की तरह काम करता है जो दिखाता है कि कोहरा या रेत कितनी रोशनी को रोक रही है। एक बार जब कंप्यूटर जान जाता है कि रुकावट कहाँ है, तो वह स्पष्ट दृश्य को प्रकट करने के लिए कोहरे को गणितीय रूप से "घटा" (subtract) सकता है।

3. दूसरी ट्रिक: "फ्रीक्वेंसी ट्यून-अप" (Frequency)

कोहरा हटाने के बाद भी, छवि अभी भी थोड़ी फीकी दिख सकती है या उसके रंग अजीब हो सकते हैं। यहीं से दूसरा भाग आता है।

उपमा: एक रेडियो सिग्नल के बारे में सोचें जो स्टेटिक (शोर) से बाधित हुआ है। संगीत (छवि) वहां है, लेकिन बेस बहुत भारी है और ट्रेबल गायब है।
SFP कैसे करता है: लेखकों ने दो नियमों पर ध्यान दिया जो स्पष्ट छवियों के बारे में हैं:
1. "DC" नियम: एक स्पष्ट छवि की औसत चमक बहुत अनुमानित होती है, भले ही रंग बिगड़े हुए हों। SFP इसका उपयोग समग्र चमक को ठीक करने के लिए करता है।
2. "लो फ्रीक्वेंसी" नियम: एक स्पष्ट, तीखी फोटो में, "अत्यधिक कम" आवृत्तियाँ (धुंधले, कीचड़ जैसे हिस्से) कुल सिग्नल का केवल लगभग 1% हिस्सा बनाती हैं। यदि किसी फोटो में इस "कीचड़ वाले" सिग्नल का 1% से अधिक हिस्सा है, तो वह खराब हो चुकी है।
समाधान: SFP एक स्मार्ट फ़िल्टर (मास्क) बनाता है जो हाई-फ्रीक्वेंसी विवरणों को बढ़ाता है (किनारों को तीखा बनाता है) और रंगों को ठीक करता है, जिससे "स्टेटिक" को वापस एक स्पष्ट सिग्नल में बदल दिया जाता है।

4. अंतिम मिश्रण: दोनों दुनियाओं का सर्वश्रेष्ठ मेल

अब कंप्यूटर के पास छवि के दो संस्करण हैं:

एक जिसमें संरचना ठीक है लेकिन यह थोड़ा फीका लग सकता है।
एक जिसमें रंग और तीखापन ठीक है लेकिन इसमें अभी भी कुछ कोहरा हो सकता है।

केवल एक को चुनने के बजाय, SFP एक वेटेड फ्यूजन स्ट्रैटेजी (weighted fusion strategy) का उपयोग करता है। कल्पना करें कि एक साउंड इंजीनियर दो ट्रैक को मिक्स कर रहा है। वे केवल दोनों को पूरी आवाज़ पर नहीं बजाते; वे उन्हें सावधानी से मिलाते हैं, पहले ट्रैक से सर्वोत्तम संरचनात्मक विवरण और दूसरे ट्रैक से सर्वोत्तम रंग/तीखापन लेते हैं। परिणाम एक अंतिम छवि है जो स्वाभाविक, उज्ज्वल और स्पष्ट दिखती है।

यह एक बड़ी बात क्यों है?

कोई भारी ट्रेनिंग नहीं: कई आधुनिक AI टूल्स को सीखने के लिए लाखों कृत्रिम (सिंथेटिक) फोटो की आवश्यकता होती है। यदि वास्तविक दुनिया सिंथेटिक प्रशिक्षण डेटा से अलग है, तो AI विफल हो जाता है। SFP को इसकी आवश्यकता नहीं है। यह उन गणितीय नियमों (priors) का उपयोग करता है जो किसी भी छवि, असली या नकली, पर काम करते हैं।
हर जगह काम करता है: पेपर ने परीक्षण किया कि यह कोहरे वाले शहरों, रेत के तूफानों, पानी के नीचे के दृश्यों और यहाँ तक कि अंतरिक्ष से उपग्रह की तस्वीरों पर भी काम करता है। यह उन सभी पर अच्छी तरह से काम करता है।
रात का जादू: यह रात के दृश्यों पर भी काम करता है जहाँ रोशनी अजीब होती है और कोहरा स्ट्रीटलाइट्स के साथ मिश्रित होता है, एक ऐसा कार्य जो आमतौर पर अन्य तरीकों को भ्रमित कर देता है।
रोबोट को देखने में मदद करता है: पेपर दिखाता है कि जब वे इस साफ की गई छवि का उपयोग कंप्यूटर को वस्तुओं (जैसे कारों या लोगों) का पता लगाने में मदद करने के लिए करते हैं, तो कंप्यूटर अपने काम में बहुत बेहतर हो जाता है।

संक्षेप में: पेपर एक ऐसे टूल को प्रस्तुत करता है जो दो गणितीय "लेंसों" का एक साथ उपयोग करके गंदी, बिखराव-से-प्रभावित छवियों को साफ करता है—एक संरचना खोजने के लिए और दूसरा रंग और तीखापन ठीक करने के लिए। वे एक स्पष्ट तस्वीर बनाने के लिए उन्हें आपस में मिला देते हैं, जिसके लिए पहले से हजारों उदाहरणों को याद करने की आवश्यकता नहीं होती है।

तकनीकी सारांश: स्थानिक और आवृत्ति पूर्वग्रहों (Spatial and Frequency Priors) का उपयोग करके प्रकीर्णन-विकृत (Scattering-Degraded) छवियों के लिए वास्तविक-विश्व दृश्य पुनर्प्राप्ति

समस्या विवरण
प्रकीर्णन प्रभावों—जैसे धुंध, रेत के तूफान, पानी के नीचे की स्थिति और रिमोट सेंसिंग वातावरण—द्वारा विकृत छवियों से दृश्य पुनर्प्राप्ति (Scene recovery) कंप्यूटर विज़न में एक मौलिक चुनौती बनी हुई है। ये विकृतियाँ योगात्मक वेलिंग घटकों (additive veiling components) को पेश करती हैं और प्रत्यक्ष संचरण (direct transmission) को कम करती हैं, जिससे कंट्रास्ट में कमी, रंग विरूपण और संरचनात्मक विवरणों की हानि होती है। यह दृश्य धारणा और ऑब्जेक्ट डिटेक्शन तथा सेगमेंटेशन जैसे डाउनस्ट्रीम कार्यों के प्रदर्शन को महत्वपूर्ण रूप से बाधित करता है। मौजूदा समाधान आम तौर पर दो श्रेणियों में आते हैं: पूर्वग्रह-आधारित (prior-based) विधियाँ और सीखने-आधारित (learning-based) विधियाँ। पूर्वग्रह-आधारित दृष्टिकोण अक्सर विशिष्ट परिदृश्यों (जैसे, दिन के समय की धुंध) के लिए डिज़ाइन किए गए एकल पूर्वग्रह पर निर्भर करते हैं, जो विविध, विषम प्रकीर्णन विकृतियों में सामान्यीकरण करने में विफल रहते हैं। इसके विपरीत, सीखने-आधारित विधियाँ, हालांकि शक्तिशाली हैं, आमतौर पर बड़े पैमाने पर सिंथेटिक प्रशिक्षण डेटा की आवश्यकता होती है, वास्तविक दुनिया के परिदृश्यों में लागू होने पर डोमेन अंतराल (domain gaps) से ग्रस्त होती हैं, और पर्याप्त कम्प्यूटेशनल संसाधनों की मांग करती हैं।

कार्यप्रणाली: स्थानिक और आवृत्ति पूर्वग्रह (Spatial and Frequency Priors - SFP)
लेखक एक नवीन ढांचा, स्पेशियल एंड फ्रीक्वेंसी प्रायर्स (SFP) प्रस्तावित करते हैं, जिसे बड़े पैमाने पर प्रशिक्षण डेटा पर निर्भर किए बिना वास्तविक-विश्व की प्रकीर्णन-विकृत छवियों से दृश्यों को पुनर्प्राप्त करने के लिए डिज़ाइन किया गया है। यह ढांचा तीन मुख्य चरणों के माध्यम से कार्य करता है:

स्थानिक-डोमेन पूर्वग्रह (Spatial-Domain Prior - SDP):
- अवलोकन: लेखक देखते हैं कि एक प्रकीर्णन-विकृत छवि का व्युत्क्रम ( $1 - I(x)$ ) इसके स्पेक्ट्रल दिशा के साथ एक प्रोजेक्शन को प्रकट करता है जो अंतर्निहित दृश्य संचरण (scene transmission) के साथ सह-संबंधित है।
- तंत्र: स्पेक्ट्रल दिशा $S(x)$ को तीन कलर चैनलों के ग्रेडिएंट्स के रूप में मॉडल किया जाता है। विधि दृश्य संचरण मानचित्र $t(x)$ का अनुमान लगाने के लिए विकृत छवि को इस स्पेक्ट्रल दिशा पर प्रोजेक्ट करती है।
- पुनर्स्थापन: एक बार जब $t(x)$ और वैश्विक वायुमंडलीय प्रकाश $A$ का अनुमान लग जाता है, तो वायुमंडलीय प्रकीर्णन मॉडल (ASM) को उलटने (inverting) द्वारा दृश्य विकिरण $J(x)$ को पुनर्प्राप्त किया जाता है।
आवृत्ति-डोमेन पूर्वग्रह (Frequency-Domain Priors - FDP):
- अवलोकन 1 (DC घटक): स्पष्ट छवियों में, चैनलों के बीच डायरेक्ट करंट (DC) घटकों की औसत तीव्रता, संबंधित विकृत छवि के औसत DC मान के समीप होती है।
- अवलोकन 2 (निम्न रेडियल आवृत्तियाँ): स्पष्ट छवियों में, निम्न रेडियल आवृत्तियाँ (एक संकीर्ण बैंड के भीतर, $\rho(x) < 0.001$ ) कुल स्पेक्ट्रम के केवल एक छोटे अनुपात (लगभग 1%) में योगदान देती हैं। उच्च अनुपात गंभीर क्षरण का संकेत देते हैं।
- तंत्र: इन अवलोकनों के आधार पर, फ्रीक्वेंसी-डोमेन एन्हांसमेंट करने के लिए एक एडेप्टिव मास्क $M_C(x)$ बनाया जाता है। मास्क पैरामीटर्स को एडेप्टिव रूप से DC घटकों को संरेखित करने और निम्न-आवृत्ति अनुपात को अपेक्षित 1% बेसलाइन तक बहाल करने के लिए निर्धारित किया जाता है, जो प्रकीर्णन-प्रेरित क्षीणन (attenuation) की भरपाई करता है।
वेटेड फ्यूजन रणनीति (Weighted Fusion Strategy):
- अंतिम पुनर्प्राप्त छवि को स्थानिक-डोमेन से बहाल छवि, फ्रीक्वेंसी-डोमेन से उन्नत छवि और मूल इनपुट को फ्यूज करके प्राप्त किया जाता है।
- फ्यूजन को Lab कलर स्पेस में किया जाता है। $a$ और $b$ चैनलों के लिए, रंग तटस्थता (color neutrality - शून्य के करीब माध्य मान) के आधार पर भार (weights) दिए जाते हैं। $L$ (ल्यूमिनेंस) चैनल के लिए, एक डिस्क्रीट वेवलेट ट्रांसफॉर्म (DWT) का उपयोग किया जाता है, जो स्थानिक परिणाम से निम्न-आवृत्ति घटकों को बनाए रखता है और उच्च-आवृत्ति घटकों को अधिकतम-मूल्य रणनीति का उपयोग करके फ्यूज करता है।
- दृश्य निरंतरता में सुधार के लिए पोस्ट-प्रोसेसिंग (गामा करेक्शन और HDR कम्प्रेशन) लागू की जाती है।

प्रमुख योगदान

नवीन ढांचा: SFP का परिचय, जो एकल-डोमेन या एकल-पूर्वग्रह दृष्टिकोणों की सीमाओं से आगे बढ़ते हुए, स्थानिक और आवृत्ति दोनों डोमेन में पूरक पूर्वग्रहों का संयुक्त रूप से उपयोग करता है।
नए पूर्वग्रह:
- एक स्थानिक पूर्वग्रह जो स्पेक्ट्रल गुणों का लाभ उठाता है ताकि विकृत छवि को स्पेक्ट्रल दिशा पर प्रोजेक्ट किया जा सके, जिससे दृश्य संचरण का अनुमान लगाया जा सके।
- दो आवृत्ति पूर्वग्रह जो DC घटकों और निम्न रेडियल आवृत्तियों के सांख्यिकीय लक्षणों का उपयोग करके क्षरण-जागरूक एन्हांसमेंट के लिए एक एडेप्टिव मास्क का निर्माण करते हैं।
सामान्यीकरण: विधि बिना किसी बड़े पैमाने के सिंथेटिक प्रशिक्षण डेटासेट के विविध वास्तविक-विश्व परिदृश्यों (धुंध, रेत का तूफान, पानी के नीचे, रिमोट सेंसिंग) में श्रेष्ठ प्रदर्शन प्राप्त करती है।
प्लग-एंड-प्ले क्षमता: फ्रीक्वेंसी-डोमेन पूर्वग्रह को मौजूदा स्थानिक-डोमेन पूर्वग्रहों के प्रदर्शन को बेहतर बनाने के लिए उनके साथ एकीकृत किया जा सकता है, जो इसकी लचीलापन प्रदर्शित करता है।

प्रायोगिक परिणाम
FTD, DHQ, HSTS, Fattal (धुंध); DID, DAWN (रेत का तूफान); UIEB, U45, UCCS, UHTS (पानी के नीचे); और UAV, RRSHID, RRSD (रिमोट सेंसिंग) सहित विविध वास्तविक-विश्व डेटासेट पर व्यापक प्रयोग किए गए। इसके अतिरिक्त, विधि का परीक्षण मिश्रित क्षरण डेटासेट (RUSH) और जटिल रात के धुंधले दृश्यों (NHRW, RealNightHaze) पर भी किया गया।

मात्रात्मक प्रदर्शन: SFP ने कई मेट्रिक्स (NIMA, FADE, NIQE, UCIQE) पर 50 से अधिक अत्याधुनिक (state-of-the-art) विधियों (दोनों पूर्वग्रह-आधारित और सीखने-आधारित) को लगातार पछाड़ दिया। उदाहरण के लिए, वास्तविक-विश्व के धुंधले डेटासेट पर, इसने औसत NIMA स्कोर में लगभग 0.66% का सुधार किया और FADE को 17.64% कम किया। पानी के नीचे के डेटासेट पर, इसने UCIQE स्कोर में 6.70% का सुधार किया।
दृश्य गुणवत्ता: दृश्य तुलनाओं ने प्रदर्शित किया कि SFP धुंध और रंग पूर्वाग्रह को प्रभावी ढंग से हटाता है जबकि सूक्ष्म संरचनात्मक विवरणों को संरक्षित करता है और प्राकृतिक रंग उपस्थिति बनाए रखता है, जिससे अन्य विधियों में सामान्य दिखने वाले हेलो आर्टिफैक्ट्स (halo artifacts) या ओवर-एन्हांसमेंट से बचा जा सके।
डाउनस्ट्रीम कार्य: इस ढांचे ने उच्च-स्तरीय विज़न कार्यों में प्रदर्शन में महत्वपूर्ण सुधार किया। ऑब्जेक्ट डिटेक्शन (YOLOv8) के लिए प्रीप्रोसेसिंग स्टेप के रूप में उपयोग किए जाने पर, SFP ने अन्य डीहेज़िंग विधियों की तुलना में विभिन्न श्रेणियों (व्यक्ति, साइकिल, कार, मोटरसाइकिल, बस) में उच्चतम औसत परिशुद्धता (average precision) प्राप्त की। इसने कीपॉइंट डिटेक्शन और इमेज सेगमेंटेशन के परिणामों में भी सुधार किया।

महत्व और दावे
पेपर का दावा है कि SFP मौजूदा विधियों की महत्वपूर्ण सीमाओं को संबोधित करता है: एकल-डोमेन पूर्वग्रहों की अनुकूलन क्षमता की कमी और वास्तविक दुनिया के परिदृश्यों के लिए डेटा-संचालित विधियों का खराब सामान्यीकरण। स्थानिक और आवृत्ति दोनों डोमेन में क्षरण विशेषताओं को संयुक्त रूप से मॉडल करके, SFP एक मजबूत, पैरामीटर-मुक्त समाधान प्रदान करता है जो भारी कम्प्यूटेशनल संसाधनों या सिंथेटिक डेटा पर निर्भर नहीं है। लेखक इस बात पर जोर देते हैं कि यह विधि विशेष रूप से जटिल, युग्मित क्षरण परिदृश्यों, जैसे कि रात के धुंधले दृश्यों में प्रभावी है, और वास्तविक अनुप्रयोगों में विज़न-आधारित प्रणालियों की विश्वसनीयता बढ़ाने के लिए एक विश्वसनीय प्रीप्रोसेसिंग स्टेप के रूप में कार्य करती है।

1. दो सुपरपावर्स: स्थानिक (Spatial) और आवृत्ति (Frequency)

2. पहली ट्रिक: "इनवर्स प्रोजेक्शन" (Spatial)

3. दूसरी ट्रिक: "फ्रीक्वेंसी ट्यून-अप" (Frequency)

4. अंतिम मिश्रण: दोनों दुनियाओं का सर्वश्रेष्ठ मेल

यह एक बड़ी बात क्यों है?

इसी तरह के और पेपर