💻 computer science

RTE-FM-Dehazer: Radiative Transfer Equation Inspired Flow Matching for Real-World Image Dehazing

यह शोध पत्र RTE-FM-Dehazer का परिचय देता है, जो एक नवीन डिहेज़िंग फ्रेमवर्क है जो रेडिएटिव ट्रांसफर इक्वेशन (Radiative Transfer Equation) का लाभ उठाकर एक फ्लो मैचिंग मॉडल को निर्देशित करता है और पारंपरिक वायुमंडलीय प्रकीर्णन धारणाओं की सीमाओं को दूर करने तथा वास्तविक दुनिया की धुंधली छवियों पर बेहतर प्रदर्शन प्राप्त करने के लिए विजन-लैंग्वेज मॉडल्स द्वारा निर्मित एक बड़े पैमाने के सिंथेटिक डेटासेट (P-HAZE) का उपयोग करता है।

मूल लेखक: Chenfeng Wei, Chun Wang, Boyang Zhao, Si Zuo, Shenhong Wang, Chenguang Yang

प्रकाशित 2026-07-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenfeng Wei, Chun Wang, Boyang Zhao, Si Zuo, Shenhong Wang, Chenguang Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुंदर बगीचे को देखने के लिए एक गंदी, धुंधली खिड़की से झाँकने की कोशिश कर रहे हैं। कांच धुएं और धूल की एक मोटी, असमान परत से ढका हुआ है। आपका लक्ष्य उस दृश्य को "साफ" करना है ताकि आप फूलों और पेड़ों को फिर से स्पष्ट रूप से देख सकें। कंप्यूटर के लिए इमेज डीहेज़िंग (image dehazing) बिल्कुल यही करता है: यह एक धुंधली, धूसर फोटो को वापस एक स्पष्ट और रंगीन फोटो में बदलने की कोशिश करता है।

लंबे समय तक, कंप्यूटरों ने इसे हल करने के लिए एक सरल, पुराने नियम पुस्तिका का उपयोग किया जिसे "एटमॉस्फेरिक स्कैटरिंग मॉडल" (Atmospheric Scattering Model) कहा जाता है। सोचिए कि यह नियम पुस्तिका एक बच्चे के अनुमान की तरह है: "यदि तस्वीर धूसर (gray) है, तो बस थोड़ा रंग वापस जोड़ दें।" समस्या यह है कि वास्तविक दुनिया का कोहरा बहुत अव्यवset होता है। यह केवल एक समान धूसर चादर नहीं है; यह घूमता है, कुछ जगहों पर घना हो जाता है, और प्रकाश के साथ अलग-अलग तरह से व्यवहार करता है। पुरानी नियम पुस्तिका इस जटिलता को नहीं संभाल सकी, जिससे अक्सर पीछे धुंध का एक "भूत" (ghost) रह जाता था या रंग अजीब दिखने लगते थे (जैसे कि हरे पेड़ को नीला कर देना)।

पेश है, RTE-FM-Dehazer।

इस शोध पत्र के लेखकों ने इन तस्वीरों को साफ करने का एक नया, अधिक स्मार्ट तरीका बनाया है। उन्होंने तीन मुख्य विचारों को मिलाया है, जिन्हें हम रोजमर्रा के उदाहरणों से समझा सकते हैं:

1. बेहतर नियम पुस्तिका: "कोहरे का भौतिक विज्ञान" (RTE)

एक साधारण बच्चे के अनुमान के बजाय, टीम ने एक बहुत अधिक जटिल और सटीक भौतिक समीकरण का उपयोग किया जिसे रेडिएटिव ट्रांसफर इक्वेशन (Radiative Transfer Equation - RTE) कहा जाता है।

उदाहरण: कल्पना कीजिए कि पुराना तरीका खिड़की को सिर्फ एक सूखे कपड़े से पोंछने जैसा था। नया तरीका यह समझने जैसा है कि गंदगी कांच से ठीक कैसे चिपकी हुई है, यह प्रकाश को कैसे सोखती है, और इसे कैसे बिखेरती है। यह इस तथ्य को ध्यान में रखता है कि कोहरा केवल एक सपाट परत नहीं है; यह एक 3D बादल है जो प्रकाश को निगल लेता है और उसे इधर-उधर उछालता है। इस "कोहरे के भौतिक विज्ञान" का उपयोग करके, कंप्यूटर ठीक जानता है कि फूलों पर पेंट किए बिना या आसमान को बैंगनी बनाए बिना इस गंदगी को कैसे हटाया जाए।

2. मार्गदर्शक पथ: "फ्लो मैचिंग" (Flow Matching)

कंप्यूटर केवल एक बड़े कदम में उत्तर का अनुमान नहीं लगाता है। इसके बजाय, यह फ्लो मैचिंग (Flow Matching) नामक तकनीक का उपयोग करता है।

उदाहरण: कल्पना कीजिए कि आप घने कोहरे में खो गए हैं और घर जाने का रास्ता ढूंढ रहे हैं।
- पुराने तरीके शायद आपको तुरंत घर पहुँचाने की कोशिश करेंगे, लेकिन वे अक्सर आपको किसी दीवार या दलदल में पहुँचा देंगे क्योंकि उन्हें इलाके की जानकारी नहीं होती।
- RTE-FM-Dehazer एक GPS की तरह काम करता है जो आपको चरण-दर-चरण मार्गदर्शन करता है। यह यात्रा को छोटे, अदृश्य चरणों में विभाजित करता है। प्रत्येक चरण पर, यह पूछता है, "यदि मैं थोड़ा सा आगे बढ़ूँ, तो क्या यह एक साफ दिन जैसा दिखेगा?"
- महत्वपूर्ण रूप से, यह "कोहरे के भौतिक विज्ञान" (बिंदु #1 से) को एक कम्पास (दिशा सूचक) के रूप में उपयोग करता है। यह सुनिश्चित करता है कि आपके द्वारा लिया गया हर छोटा कदम उन प्राकृतिक नियमों का पालन करे जिनसे प्रकाश यात्रा करता है। यह कंप्यूटर को "अजीब रंगों की दुनिया" में भटकने से रोकता है और तस्वीर को स्वाभाविक बनाए रखता है।

3. अनंत प्रशिक्षण कक्षा: "AI कलाकार" (P-HAZE)

यह सीखने के लिए कि यह कैसे किया जाए, कंप्यूटर को हजारों "कोहरे वाली फोटो" और उनके मिलान वाली "साफ फोटो" के उदाहरणों पर अभ्यास करने की आवश्यकता होती है। लेकिन वास्तविक दुनिया में, यह पाना लगभग असंभव है कि एक ही दृश्य की साफ फोटो और कोहरे वाली फोटो बिल्कुल एक ही क्षण में ली गई हो।

उदाहरण: लेखकों ने महसूस किया कि वे प्रकृति के अनुकूल प्रशिक्षण परीक्षणों का इंतजार नहीं कर सकते। इसलिए, उन्होंने एक आभासी प्रशिक्षण फैक्ट्री बनाई।
- उन्होंने एक सुपर-स्मार्ट AI (एक विजन-लैंग्वेज मॉडल) का उपयोग किया जो एक डिजिटल कलाकार की तरह काम करता है। आप कलाकार को एक साफ फोटो देते हैं और कहते हैं, "इस पर घना, घूमता हुआ धुआं बनाओ, लेकिन पेड़ों और कारों को बिल्कुल वहीं रहने दो जहाँ वे हैं।"
- कलाकार एक यथार्थवादी कोहरे वाला संस्करण बनाता है। फिर, कंप्यूटर एक "डिजिटल रूलर" का उपयोग करता है ताकि यह सुनिश्चित हो सके कि कोहरे वाला संस्करण मूल साफ संस्करण के साथ पूरी तरह से मेल खाता है।
- उन्होंने इसे 50,000 बार किया, जिससे P-HAZE नामक एक विशाल लाइब्रेरी तैयार हुई। इसने कंप्यूटर को वास्तविक दुनिया के कोहरे वाले दिनों की आवश्यकता के बिना, अनंत अभ्यास करने का अवसर दिया।

परिणाम

जब उन्होंने इस नए सिस्टम का परीक्षण किया, तो यह पुराने तरीकों की तुलना में जादू की तरह काम कर रहा था:

कोई भूत (Ghost) नहीं: इसने बिना किसी धूसर "भूत" या धुंधले धब्बों के कोहरे को पूरी तरह से हटा दिया।
असली रंग: इसने गलती से धूप वाले दिन को सूर्यास्त या हरे जंगल को बैंगनी दलदल में नहीं बदला।
वास्तविक दुनिया के लिए तैयार: इसने धुएं, भारी कोहरे और असमान धुंध वाली तस्वीरों पर बेहतरीन काम किया, यहाँ तक कि उन तस्वीरों पर भी जिन्हें इसने पहले कभी नहीं देखा था।

संक्षेप में: यह शोध पत्र एक नया उपकरण प्रस्तुत करता है जो कोहरे वाली तस्वीरों को साफ करने के लिए प्रकाश और कोहरा वास्तव में कैसे परस्पर क्रिया करते हैं (भौतिक विज्ञान), सफाई की प्रक्रिया को GPS की तरह चरण-दर-चरण निर्देशित करने (फ्लो मैचिंग), और AI-जनित अभ्यास तस्वीरों की एक विशाल लाइब्रेरी (P-HAZE) पर प्रशिक्षित होने का उपयोग करता है। परिणाम एक स्पष्ट, स्वाभाविक दिखने वाली छवि है जो मूल दृश्य के रंगों और विवरणों का सम्मान करती है।

तकनीकी सारांश: RTE-FM-Dehazer

समस्या विवरण

सिंगल-इमेज डिहेज़िंग (Single-image dehazing) का लक्ष्य धुंधले अवलोकन से एक स्पष्ट दृश्य को पुनः प्राप्त करना है, लेकिन यह एक 'इल-पोज़्ड' (ill-posed) समस्या बनी हुई है। मौजूदा दृष्टिकोणों के सामने दो प्राथमिक सीमाएँ हैं:

सरलीकृत भौतिक पूर्वधारणाओं (Physical Priors) पर निर्भरता: प्रचलित विधियाँ एटमॉस्फेरिक स्कैटरिंग मॉडल (ASM) का उपयोग करती हैं। ASM सिंगल स्कैटरिंग और होमोजेनियस मीडिया का अनुमान लगाता है, जो ऐसे वास्तविक परिदृश्यों में अक्सर विफल हो जाते हैं जहाँ धुंध स्थानिक रूप से गैर-समान (non-uniform) होती है और प्रकाश मल्टीपल स्कैटरिंग से गुजरता है। इसके परिणामस्वरूप अवशिष्ट धुंध (residual haze), कलर ड्रिफ्ट और ओवर-एनहैंस्ड आर्टिफैक्ट्स उत्पन्न होते हैं।
डेटा की कमी और सिंथेसिस सीमाएँ: बड़े पैमाने पर, वास्तविक युग्मित (paired) धुंधले/स्पष्ट डेटासेट एकत्र करना अव्यावहारिक है। मौजूदा सिंथेसिस विधियाँ अक्सर उन्हीं प्रतिबंधात्मक ASM धारणाओं पर निर्भर करती हैं, जो प्राकृतिक धुंध (जैसे कि एनिसोट्रोपिक स्कैटरिंग, डेप्थ-डिपेंडेंट एटेन्यूएशन) की पूर्ण जटिलता को दोहराने में विफल रहती हैं। इसके अलावा, हालिया जनरेटिव दृष्टिकोण (Diffusion, VQGAN) स्टोकेस्टिक आर्टिफैक्ट्स, जैसे कि कलर ड्रिफ्ट या पैच ग्राफ्टिंग, पेश करते हैं क्योंकि उनमें भौतिक बाधाओं (physical constraints) का अभाव होता है।

कार्यप्रणाली: RTE-FM-Dehazer

लेखक RTE-FM-Dehazer प्रस्तावित करते हैं, जो एक ढांचा है जो डिहेज़िंग को रेडिएटिव ट्रांसफर इक्वेशन (RTE) द्वारा नियमित (regularized) किए गए एक फिजिक्स-इंस्पायर्ड फ्लो मैचिंग कार्य के रूप में पुनर्गठित करता है।

1. भौतिक-प्रेरित नियमितीकरण (RTE बनाम ASM)

ASM के बजाय, यह विधि RTE का उपयोग करती है, जो स्कैटरिंग और एब्जॉर्प्शन (अवशोषण) को संयुक्त रूप से नियंत्रित करती है, जिससे यह स्वाभाविक रूप से नॉन-होमोजेनियस और मल्टीपल-स्कैटरिंग मीडिया के अनुकूल हो जाती है।

फ्लो मैचिंग फॉर्मूलेशन: डिहेज़िंग प्रक्रिया को एक धुंधले लेटेंट स्टेट ( $z_0$ ) से एक स्वच्छ लेटेंट स्टेट ( $z_1$ ) तक के निरंतर प्रक्षेपवक्र (trajectory) के रूप में मॉडल किया गया है। एक न्यूरल नेटवर्क ( $v_\theta$ ) एक ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) के माध्यम से इमेज को विकसित करने के लिए एक वेलोसिटी फील्ड की भविष्यवाणी करता है।
RTE-व्युत्पन्न रेगुलराइज़र: लेखक RTE के डिफ्यूजन-एब्जॉर्प्शन टर्म और फ्लो मैचिंग के ODE के बीच एक संरचनात्मक समानता देखते हैं। वे एक रिड्यूस्ड RTE से एक वेलोसिटी टर्म निकालते हैं:
$\mathbf{v}_{\text{RTE}}(\mathbf{z}) \triangleq -D\nabla^2\mathbf{z} + \mu_a\mathbf{z}$
यहाँ, $-D\nabla^2\mathbf{z}$ स्थानिक डिफ्यूजन (ग्रेडिएंट्स को स्मूथ करना) को मॉडल करता है, और $\mu_a\mathbf{z}$ मीडियम एब्जॉर्प्शन (रेडिएंस का एक्सपोनेंशियल डिके) को मॉडल करता है।
संयुक्त लॉस (Combined Loss): नेटवर्क को एक संयुक्त लॉस फंक्शन को मिनिमाइज करने के लिए प्रशिक्षित किया जाता है जो प्रेडिक्टेड वेलोसिटी को ऑप्टिमल ट्रांसपोर्ट दिशा ( $z_1 - z_0$ ) और RTE-व्युत्पन्न वेलोसिटी दोनों के साथ संरेखित करता है:
$\mathcal{L} = \|\mathbf{v}_{\theta} - (\mathbf{z}_1 - \mathbf{z}_0)\|^2 + \lambda \|\mathbf{v}_{\theta} - \mathbf{v}_{\text{RTE}}\|^2$
यह सुनिश्चित करता है कि जनरेटेड प्रक्षेपवक्र भौतिक रूप से प्रशंसनीय (RTE डायनेमिक्स का पालन करने वाला) होने के साथ-साथ डेटा-ड्रिवन भी बना रहे।

2. स्केलेबल डेटा पाइपलाइन (P-HAZE)

वास्तविक युग्मित डेटा की कमी को दूर करने के लिए, लेखक एक बड़े पैमाने का डेटासेट, P-HAZE (50,000 पेयर्स) उत्पन्न करने के लिए एक पाइपलाइन पेश करते हैं:

VLM-संचालित जनरेशन: विजन-लैंग्वेज मॉडल्स (जैसे Qwen2.5-VL, Gemini-2-Flash) का लाभ उठाते हुए, सिस्टम टेक्स्ट प्रॉम्प्ट्स का उपयोग करके क्लीन रेफरेंस से यथार्थवादी धुंधली छवियां बनाता है। यह हैंडक्राफ्टेड डेप्थ मैप्स के बिना जटिल, नॉन-स्टेशनरी एरोसोल वितरण (जैसे घूमता हुआ धुआं) को कैप्चर करता है।
जियोमेट्रिक अलाइनमेंट: चूंकि VLM आउटपुट में मामूली ज्यामितीय विकृतियां हो सकती हैं, इसलिए पाइपलाइन घने कीपॉइंट्स (keypoints) निकालती है और क्लीन रेफरेंस के साथ पिक्सेल-वाइज अलाइनमेंट में धुंधली छवि को वार्प करने के लिए एक प्लेनर होमोग्राफी का अनुमान लगाती है।
फिल्टरिंग: सेमेंटिक आर्टिफैक्ट्स को हटाने के लिए एक दो-चरणीय फिल्टरिंग रणनीति (SAM2 सेगमेंटेशन + ह्यूमन-इन-द-लूप) का उपयोग किया जाता है।

3. आर्किटेक्चर और ट्रेनिंग

लेटेंट स्पेस: मॉडल टेक्सचर को संरक्षित करते हुए कंप्यूटेशनल लागत को कम करने के लिए Stable Diffusion v2.1 (64x64x4) के लेटेंट स्पेस में काम करता है।
नेटवर्क: एक U-Net बैकबोन वेलोसिटी फील्ड की भविष्यवाणी करता है।
इन्फरेंस (Inference): धुंधले से स्वच्छ अवस्था की ओर क्रमिक संक्रमण को सिम्युलेट करने के लिए मल्टी-स्टेप यूलर इंटीग्रेशन (अनुशंसित >10 स्टेप्स) के माध्यम से ODE को हल करके स्वच्छ छवि को पुनः प्राप्त किया जाता है।

मुख्य योगदान

RTE-रेगुलराइज्ड फ्लो मैचिंग: लेखकों ने रेडिएटिव ट्रांसफर इक्वेशन को फ्लो मैचिंग फ्रेमवर्क में एक सॉफ्ट प्रायर के रूप में एकीकृत करके सिंगल-इमेज डिहेज़िंग को पुनर्गठित किया है। यह प्रतिबंधात्मक ASM को बदल देता है, जिससे जनरेटिव प्रक्षेपवक्र भौतिक लाइट ट्रांसपोर्ट डायनेमिक्स के साथ संरेखित होता है, जो अधिक स्थिर और यथार्थवादी परिणाम देता है।
डिटरमिनिस्टिक जनरेशन: स्टोकेस्टिक नॉइज़ प्रॉयर्स को हटाकर और फ्लो को डिफ्यूजन-एब्जॉर्प्शन टर्म के साथ रेगुलराइज़ करके, यह विधि एक डिटरमिनिस्टिक लेटेंट प्रक्षेपवط प्रदान करती है जो रैंडम-सैंपलिंग बेसलाइन्स की तुलना में मूल कलर डिस्ट्रीब्यूशन को बेहतर ढंग से संरक्षित करती है।
P-HAZE डेटासेट: 50,000 यथार्थवादी धुंधले/स्वच्छ पेयर्स को सिंथेसाइज करने के लिए एक स्केलेबल, VLM-संचालित पाइपलाइन प्रस्तावित की गई है, जो दुर्लभ वास्तविक दुनिया के डेटा पर निर्भर किए बिना मजबूत प्रशिक्षण सक्षम करती है।

प्रयोगात्मक परिणाम

मॉडल को केवल सिंथेटिक P-HAZE डेटासेट पर प्रशिक्षित किया गया था और पांच विविध वास्तविक दुनिया के बेंचमार्क (I-HAZE, D-HAZE, SMOKE, NH-HAZE, RESIDE-6K) पर मूल्यांकन किया गया था।

मात्रात्मक प्रदर्शन (Quantitative Performance): RTE-FM-Dehazer ने चार डेटासेट्स पर उच्चतम PSNR और छह में से पांच बेंचमार्क्स पर निम्नतम LPIPS प्राप्त किया। विशेष रूप से, चुनौतीपूर्ण NH-HAZE डेटासेट पर, इसने सबसे मजबूत प्रतिस्पर्धी (LHTD) को PSNR में +3.9 dB से पीछे छोड़ दिया और LPIPS को 37% कम कर दिया।
सामान्यीकरण (Generalization): डोमेन शिफ्ट के कारण वास्तविक दुनिया के डेटा पर खराब प्रदर्शन करने वाले सुपरवाइज्ड मेथड्स के विपरीत, RTE-FM-Dehazer ने मजबूत क्रॉस-डोमेन जनरलाइजेशन दिखाया, जिससे इंडोर, आउटडोर और धुएं से भरे दृश्यों में प्रदर्शन बना रहा।
गुणात्मक विश्लेषण (Qualitative Analysis): विजुअल तुलना दर्शाती है कि विधि बारीक टेक्सचर और मूल लाइटिंग स्ट्रक्चर को संरक्षित करते हुए स्थानिक रूप से परिवर्तनशील धुंध और कलर कास्ट को प्रभावी ढंग से हटा देती है। यह CNN/Transformer मेथड्स की अवशिष्ट धुंध और जनरेटिव (GAN/Diffusion) बेसलाइन्स के कलर ड्रिफ्ट/आर्टिफैक्ट्स से बचती है।
एब्लेशन स्टडीज (Ablation Studies): RTE रेगुलराइज़र (Vanilla FM) को हटाने या इसके घटकों (केवल Absorb-only या केवल Diffusion-only) को अलग करने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जिससे पुष्टि हुई कि एकीकृत एब्जॉर्प्शन-डिफ्यूजन फॉर्मूलेशन नॉन-यूनिफॉर्म धुंध को संभालने के लिए महत्वपूर्ण है।

महत्व और दावे

पेपर का दावा है कि RTE-FM-Dehazer डेटा-ड्रिवन जनरेटिव मॉडल्स और भौतिक नियमों के बीच के अंतर को पाटकर वर्तमान डिहेज़िंग विधियों की मुख्य सीमाओं को संबोधित करता है। फ्लो मैचिंग वेलोसिटी फील्ड में सीधे RTE को एम्बेड करके, विधि एक "फिजिकली रेगुलराइज्ड ट्रांसपोर्ट इक्वेशन" प्राप्त करती है जो शार्पर, कलर-कंसिस्टेंट और आर्टिफेक्ट-मुक्त परिणाम देती है। लेखक दावा करते हैं कि यह दृष्टिकोण वास्तविक दुनिया के युग्मित डेटा की आवश्यकता के बिना वास्तविक दुनिया के डिहेज़िंग के लिए एक मजबूत समाधान प्रदान करता है, जो जनरेटिव प्रक्रिया को गाइड करने के लिए रेडिएटिव ट्रांसफर और फ्लो मैचिंग के बीच संरचनात्मक समानता का लाभ उठाता है।

भविष्य के कार्य में, जैसा कि लेखकों द्वारा उल्लेख किया गया है, VAE सूचना हानि को समाप्त करने के लिए लेटेंट स्पेस से पिक्सेल स्पेस में जाना और फुल-रेसोल्यूशन प्रोसेसिंग के लिए कुशल न्यूमेरिकल सॉल्वर की जांच करना शामिल है।