💻 computer science

PVRF: All-in-one Adverse Weather Removal via Prior-modulated and Velocity-constrained Rectified Flow

यह शोध पत्र PVRF का प्रस्ताव करता है, जो प्रतिकूल मौसम हटाने के लिए एक एकीकृत ढांचा है जो विषम क्षरण (heterogeneous degradations) के तहत वास्तविक दुनिया की छवियों के उच्च-निष्ठा (high-fidelity), सामान्यीकरण योग्य बहाली को प्राप्त करने के लिए फ्रोजन विजन-लैंग्वेज मॉडल से ज़ीरो-शॉट वेदर परसेप्शन को वेलोसिटी-कंस्ट्रेंड रेक्टिफाइड फ्लो के साथ एकीकृत करता है।

मूल लेखक: Wei Dong, Han Zhou, Terry Ji, Guanhua Zhao, Shahab Asoodeh, Yulun Zhang, Guangtao Zhai, Jun Chen, Xiaohong Liu

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei Dong, Han Zhou, Terry Ji, Guanhua Zhao, Shahab Asoodeh, Yulun Zhang, Guangtao Zhai, Jun Chen, Xiaohong Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुंदर परिदृश्य को देखने के लिए एक गंदी, धुंधली और बारिश वाली खिड़की के माध्यम से देखने की कोशिश कर रहे हैं। आपका लक्ष्य कांच को साफ करना है ताकि आप बिना किसी मूल विवरण को खोए दृश्य को स्पष्ट रूप से देख सकें। कंप्यूटर वैज्ञानिक इसे "एडवर्स वेदर रिमूवल" (Adverse Weather Removal) कहते हैं।

हालाँकि, वास्तविक दुनिया का मौसम बहुत जटिल होता है। कभी केवल बारिश होती है, कभी बर्फबारी, और अक्सर यह बारिश, कोहरे और अंधेरे का एक भ्रमित करने वाला मिश्रण होता है। पिछले कंप्यूटर प्रोग्रामों ने इन छवियों को ठीक करने की कोशिश की, लेकिन उन्होंने अक्सर दो गलतियाँ कीं:

"धुंधली फोटो" की समस्या: उन्होंने छवि को इतना अधिक साफ किया कि वह चिकनी और प्लास्टिक जैसी दिखने लगी, जिससे बारीक विवरण (जैसे पेड़ की छाल की बनावट) खो गए।
"गलत अनुमान" की समस्या: उन्होंने मौसम का अनुमान लगाने की कोशिश की (जैसे, "यह बारिश हो रही है!") और एक ही समाधान लागू किया। यदि उनका अनुमान गलत निकला, या यदि वास्तव में बारिश और कोहरा दोनों थे, तो समाधान विफल हो गया।

यह शोध पत्र एक नया सिस्टम पेश करता है जिसे PVRF कहा जाता है, जो एक चतुर तीन-चरणीय रणनीति का उपयोग करके इन समस्याओं को हल करता है। यह कैसे काम करता है, यहाँ सरल उपमाओं के साथ समझाया गया है:

1. "स्मार्ट डिटेक्टिव" (AWR-QA मॉड्यूल)

केवल "बारिश" या "बर्फबारी" जैसे एक लेबल चुनने के बजाय, PVRF एक पूर्व-प्रशिक्षित "स्मार्ट डिटेक्टिव" (एक फ्रोजन विजन-लैंग्वेज मॉडल) का उपयोग करता है।

यह कैसे काम करता है: कल्पना कीजिए कि आपके पास एक जासूस है जो एक अस्त-व्यस्त फोटो को देख सकता है और विशिष्ट प्रश्नों के उत्तर दे सकता है जैसे, "क्या बारिश हो रही है?" (हाँ/नहीं), "क्या कोहरा है?" (हाँ/नहीं), और "अंधेरा कितना है?" (अच्छा/खराब)।
नवाचार: केवल "हाँ" या "नहीं" देने के बजाय, यह जासूस एक कॉन्फिडेंस स्कोर (विश्वास स्कोर) देता है। यह कह सकता है, "मुझे 40% यकीन है कि यह बारिश है, 40% यकीन है कि यह कोहरा है, और 20% यकीन है कि यह बर्फबारी है।"
यह कैसे मदद करता है: यह "सॉफ्ट" समझ सिस्टम को मिश्रित मौसम को पूरी तरह से संभालने की अनुमति देती है। इसे केवल एक चीज़ चुनने की आवश्यकता नहीं है; यह जानता है कि छवि एक मिश्रण है, इसलिए यह एक मिश्रित समाधान तैयार करता है।

2. "कस्टम टेलर" (कंडीशनिंग डिज़ाइन)

एक बार जब जासूस कॉन्फिडेंस स्कोर दे देता है, तो सिस्टम को उस छवि को साफ करने के लिए उन स्कोर का उपयोग करने की आवश्यकता होती है। इमेज रेस्टोरेशन नेटवर्क को एक दर्जी के रूप में सोचें जो फटे हुए सूट को ठीक करने की कोशिश कर रहा है।

एट्रीब्यूट-मॉड्यूलेटेड नॉर्मलाइजेशन (AMN): यह एक दर्जी द्वारा नुकसान की गंभीरता की जाँच करने जैसा है। यदि "अंधेरे" का स्कोर उच्च है, तो दर्जी जानता है कि उसे छाया के साथ अतिरिक्त सावधानी बरतनी चाहिए। यदि "धुंधलापन" का स्कोर उच्च है, तो वह तीक्ष्णता (sharpness) पर ध्यान केंद्रित करना जानता है। यह क्षति कितनी खराब है इसके आधार पर सफाई प्रक्रिया की "टाइटनेस" को समायोजित करता है।
वेदर-वेटेड एडेप्टर्स (WWA): यह एक दर्जी के पास अलग-अलग समस्याओं के लिए अलग-अलग औजारों वाले टूलबॉक्स होने जैसा है (धूल के लिए ब्रश, तेल के लिए सॉल्वेंट, फटे कपड़ों के लिए सुई)। केवल एक टूल चुनने के बजाय, दर्जी एक साथ सभी टूल्स का उपयोग करता है, लेकिन जासूस के कॉन्फिडेंस स्कोर के आधार पर उन्हें भार (weight) देता है। यदि जासूस कहता है "40% बारिश, 40% कोहरा," तो दर्जी एक ही समय में 40% बारिश-टूल और 40% कोहरा-टूल का उपयोग करता है। यह "गलत अनुमान" की समस्या को रोकता है।

3. "स्थिर हाथ" (टर्मिनल-कंसिस्टेंट फ्लो)

अंतिम चरण वास्तविक सफाई प्रक्रिया है। यह शोध पत्र "रेक्टिफाइड फ्लो" नामक एक गणितीय अवधारणा का उपयोग करता है, जो एक अस्त-व्यस्त छवि से एक साफ छवि तक के मार्गदर्शक पथ की तरह है।

समस्या: आमतौर पर, जब आप "अस्त-व्यस्त" से "साफ" की ओर एक पथ निर्देशित करते हैं, तो पथ का अंत (साफ छवि) अस्थिर या डगमगा सकता है, जिससे अजीब आर्टिफैक्ट्स पैदा होते हैं।
समाधान: PVRF एक "स्थिर हाथ" तंत्र जोड़ता है। यह प्रक्रिया को एक विश्वसनीय शुरुआती बिंदु (जासूस के सर्वोत्तम अनुमान) से बांधता है और यह सुनिश्चित करता है कि जैसे-जैसे छवि साफ होती जाती है, गति पूरी तरह से अनुमानित और स्थिर होती जाती है।
एडेप्टिव परटर्बेशन: कल्पना कीजिए कि आप कंचों (marbles) के डिब्बे को स्थिर करने के लिए उसे हिला रहे हैं। यदि डिब्बा केवल थोड़ा सा अस्त-व्यस्त है, तो आप उसे हल्का सा हिलाते हैं। यदि यह पूरी तरह से आपदा है, तो आप उसे ज़ोर से हिलाते हैं। PVRF जासूस के स्कोर के आधार पर स्वचालित रूप से तय करता है कि छवि को कितनी ज़ोर से "हिलाना" है। यह सुनिश्चित करता है कि सिस्टम मामूली समस्याओं पर अत्यधिक सुधार न करे या गंभीर समस्याओं को कम न समझे।

परिणाम

एक स्मार्ट डिटेक्टिव (मिश्रित मौसम को समझने के लिए), एक कस्टम टेलर (सही मिश्रण लागू करने के लिए), और एक स्थिर हाथ (यह सुनिश्चित करने के लिए कि अंतिम परिणाम स्थिर और यथार्थवादी हो) को मिलाकर, PVRF ऐसी छवियां बनाता है जो हैं:

अधिक तीक्ष्ण (Sharper): वे उन बारीक विवरणों (जैसे घास या ईंट की बनावट) को बनाए रखते हैं जिन्हें अन्य तरीके धुंधला कर देते हैं।
अधिक यथार्थवादी (More Realistic): वे प्राकृतिक तस्वीरों की तरह दिखते हैं, न कि प्लास्टिक पेंटिंग की तरह।
बहुमुखी (Versatile): वे तब भी बेहतरीन काम करते हैं जब मौसम बारिश, बर्फबारी, कोहरा और अंधेरे का एक भ्रमित करने वाला मिश्रण हो, या जब सिस्टम को ऐसे मौसम का सामना करना पड़ता है जो उसने पहले कभी नहीं देखा हो।

संक्षेप में, PVRF केवल यह अनुमान नहीं लगाता कि फोटो में क्या गलत है; यह गंदगी की बारीकियों को समझता है और एक सटीक, संतुलित और स्थिर समाधान लागू करता है।

तकनीकी सारांश: PVRF

समस्या विवरण (Problem Statement)

वास्तविक दुनिया के परिदृश्यों में प्रतिकूल मौसम हटाना (Adverse Weather Removal - AWR) दो प्राथमिक चुनौतियों का सामना करता है। पहला, वास्तविक दुनिया की छवियां अक्सर विषम और मिश्रित क्षरण (heterogeneous and mixed degradations) से ग्रस्त होती हैं (जैसे, एक साथ बारिश, बर्फ और धुंध), जिनका अनुमान लगाना और उन पर आधारित होना कठिन होता है। मौजूदा दृष्टिकोण जो "हार्ड" वन-हॉट कंडीशनिंग (एक एकल असतत मौसम लेबल का अनुमान लगाना) पर निर्भर करते हैं, वे नाजुक (brittle) हैं; वे अस्पष्ट या संयुक्त क्षरण के साथ संघर्ष करते हैं और क्रॉस-डेटासेट अपीयरेंस शिफ्ट के प्रति संवेदनशील होते हैं। दूसरा, एक मौलिक परसेप्शन-डिस्टॉर्शन ट्रेड-ऑफ (perception-distortion trade-off) मौजूद है। डिस्टॉर्शन-संचालित विधियाँ (MSE को कम करना) अक्सर अत्यधिक स्मूथ परिणाम देती हैं, जबकि डिफ्यूजन-आधारित विधियाँ, यद्यपि दृश्य रूप से आकर्षक होती हैं, उनमें फिडेलिटी (fidelity) की कमी हो सकती है। एक ऐसा बहाली (restoration) प्राप्त करना जो ग्राउंड ट्रुथ के प्रति वफादार भी हो और फोटो-यथार्थवादी (photo-realistic) भी, सभी-इन-वन AWR मॉडलों के लिए एक महत्वपूर्ण बाधा बनी हुई है।

कार्यप्रणाली (Methodology)

लेखक PVRF (प्रायर-मॉड्यूलेटेड एंड वेलोसिटी-कंस्ट्रेंड रेक्टिफाइड फ्लो) प्रस्तावित करते हैं, जो एक एकीकृत ढांचा है जो ज़ीरो-शॉट सॉफ्ट वेदर परसेप्शन को वेलोसिटी-कंस्ट्रेंड रेक्टिफाइड-फ्लो रिफाइनमेंट प्रक्रिया के साथ जोड़ता है। यह विधि दो मुख्य चरणों में कार्य करती है:

1. AWR-QA के माध्यम से ज़ीरो-शॉट सॉफ्ट परसेप्शन प्रायर

एक क्लासिफायर को असतत मौसम लेबल की भविष्यवाणी करने के लिए प्रशिक्षित करने के बजाय, PVRF सॉफ्ट परसेप्शन प्रायर्स निकालने के लिए एक फ्रोजन विजन-लैंग्वेज मॉडल (VLM) का उपयोग करता है।

AWR-QA मॉड्यूल: सिस्टम परिभाषा-संवर्धित प्रश्नों (definition-augmented questions) का उपयोग करके VLM से क्वेरी करता है।
- टाइप परसेप्शन (Type Perception): प्रत्येक मौसम प्रकार के लिए (जैसे, "क्या यह छवि बारिश वाली है?"), VLM "हाँ" और "नहीं" के लिए रॉ लॉजिट्स (raw logits) प्रदान करता है। इन्हें सिग्मॉइड जैसी फलन का उपयोग करके सॉफ्ट प्रोबेबिलिटीज ( $P_{type}$ ) में परिवर्तित किया जाता है, जिससे अनिश्चितता बनी रहती है (यह अनुमति देता है कि कई प्रकारों के वेट गैर-नगण्य हो सकते हैं)।
- एट्रीब्यूट परसेप्शन (Attribute Perception): क्षरण की गंभीरता का आकलन करने के लिए VLM को लो-लेवल एट्रीब्यूट्स (दृश्यता, कंट्रास्ट, शार्पनेस) के लिए क्वेरी किया जाता है।
कंडीशनिंग मैकेनिज्म (Conditioning Mechanisms): ये सॉफ्ट प्रायर्स दो घटकों के माध्यम से बहाली बैकबोन (एक AWR-विशिष्ट नेटवर्क) को मॉड्यूलेट करते हैं:
- एट्रीब्यूट-मॉड्यूलेटेड नॉर्मलाइजेशन (AMN): लेयर-नॉर्मलाइज्ड फीचर्स पर फीचर-वाइज एफाइन ट्रांसफॉर्मेशन करने के लिए एट्रीब्यूट स्कोर का उपयोग करता है, जिससे निरंतर गंभीरता मॉड्यूलेशन मिलता है।
- वेदर-वेटेड एडेप्टर (WWA): कई समानांतर एडेप्टर शाखाओं (प्रत्येक मौसम प्रकार के लिए एक) को लागू करता है। सॉफ्ट टाइप प्रोबेबिलिटीज इन शाखाओं के आउटपुट को एकत्रित करने के लिए मिश्रण भार (mixture weights) के रूप में कार्य करती हैं, जिससे नेटवर्क मिश्रित क्षरण को बिना हार्ड स्विचिंग के संभालने में सक्षम होता है।

2. टर्मिनल-कंसिस्टेंट रेसिडुअल रेक्टिफाइड फ्लो

परसेप्शन-कंडीशन्ड बैकबोन द्वारा निर्मित प्रारंभिक एंकर अनुमान ( $\mu$ ) को परिष्कृत करने के लिए, PWRF एक रेक्टिफाइड फ्लो मॉडल का उपयोग करता है जो एक विक्षेपित स्रोत वितरण (perturbed source distribution) से क्लीन इमेज वितरण तक एक ट्रांसपोर्ट मैप सीखता है।

पोस्टीरियर-एंकोर्ड रेसिडुअल स्पेस (Posterior-Anchored Residual Space): फ्लो को एक रेसिडुअल स्पेस ( $r_t = Z_t - \mu$ ) में परिभाषित किया गया है जहाँ स्रोत $Z_0 = \mu + \delta\epsilon$ है। यह फॉर्मूलेशन सुनिश्चित करता है कि टर्मिनल स्टेट पर अपेक्षित रेसिडुअल रचना (by construction) से शून्य हो, जिससे लर्निंग ऑब्जेक्टिव सरल हो जाता है।
परसेप्शन-एडेप्टिव सोर्स परटर्बेशन: एक निश्चित ग्लोबल परटर्बेशन स्केल का उपयोग करने वाले मानक तरीकों के विपरीत, PVRF सॉफ्ट परसेप्शन के आधार पर परटर्बेशन मैग्नीट्यूड ( $\delta$ ) को गतिशील रूप से समायोजित करता है। एक 'डिफिकल्टी स्कोर' टाइप अनसर्टेंटी और एट्रीब्यूट सेवेरिटी से प्राप्त किया जाता है, जो हल्के मामलों को कम विक्षेपित होने (फिडेलिटी बनाए रखने) और गंभीर/अस्पष्ट मामलों को अधिक विक्षेपित होने (लर्निंग को स्थिर करने) की अनुमति देता है।
टर्मिनल-कंसिस्टेंट वेलोसिटी पैरामीट्राइजेशन: वेलोसिटी फील्ड को $v_\phi(r_t, t) = t r_t + t(1-t)\Phi_\phi(\dots)$ के रूप में पैरामीटराइज किया गया है। $t(1-t)$ वाला पद $t=1$ पर शून्य हो जाता है, जो यह गारंटी देता है कि टर्मिनल स्टेट पर वेलोसिटी नेटवर्क की भविष्यवाणी के बावजूद ठीक $r_1$ होगी। यह स्पष्ट रूप से टर्मिनल कंसिस्टेंसी को लागू करता है, जिससे $t \to 1$ के पास लर्निंग स्थिर होती है।

प्रमुख योगदान (Key Contributions)

डेफिनेशन-गाइडेड ज़ीरो-शॉट परसेप्शंस: AWR-QA मॉड्यूल का परिचय, जो फ्रोजन VLMs का लाभ उठाकर बिना किसी कार्य-विशिष्ट फाइन-ट्यूनिंग के सॉफ्ट, अनसर्टेंटी-अवेयर टाइप और एट्रीब्यूट प्रायर्स उत्पन्न करता है।
परसेप्शन-गाइडेड मॉड्यूलेशन: AMN और WWA मॉड्यूल का डिज़ाइन जो प्रभावी ढंग से सॉफ्ट प्रायर्स को बहाली बैकबोन में एकीकृत करता है, जिससे क्षरण-जागरूक पोस्टीरियर एस्टीमेशन सक्षम होता है।
टर्मिनल-कंसिस्टेंट रेसिडुअल फ्लो: एक नवीन रेक्टिफाइड फ्लो फॉर्मूलेशन जिसमें परसेप्शन-एडेप्टिव सोर्स परटर्बेशन और टर्मिनल-कंसिस्टेंट वेलोसिटी पैरामीट्राइजेशन शामिल है, जो फोटो-रियलिज्म और फिडेलिटी के बीच संतुलन बनाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन सेटिंग्स पर PVRF का मूल्यांकन किया:

सेटिंग I (3-टास्क AWR): डिहेज़िंग (Dehazing), डिरेनिंग (Deraining), और डिसनोइंग (Desnowing)। PVRF ने फिडेलिटी (PSNR, SSIM) और परसेप्चुअल क्वालिटी (LPIPS, FID, MUSIQ) दोनों में SOTA CNN, ट्रांसफार्मर और डिफ्यूजन-आधारित बेसलाइन्स (जैसे, AdaIR, UniRestore, PromptIR) को पछाड़ दिया। विशेष रूप से, इसने सर्वश्रेष्ठ SOTA पर 1.14 dB का औसत PSNR सुधार प्राप्त किया।
सेटिंग II (4-टास्क AWR): इसमें लो-लाइट एन्हांसमेंट शामिल था, जिसने निरंतर श्रेष्ठता दिखाई।
सेटिंग III (5-टास्क जनरल रेस्टोरेशन): इसमें डिब्लरिंग (Deblurring) शामिल था। PVRF ने सभी मेट्रिक्स में शीर्ष प्रदर्शन बनाए रखा।
सामान्यीकरण (Generalization): मॉडल ने अनदेखे डेटासेट्स (जैसे, HIDE, RealRain-1k) और महत्वपूर्ण रूप से, संयुक्त क्षरण (जैसे, Haze + Rain, Low-light + Snow) पर मजबूत सामान्यीकरण प्रदर्शित किया। इन चुनौतीपूर्ण मिश्रित-क्षरण परिदृश्यों में, PVRF ने परसेप्चुअल मेट्रिक्स (MUSIQ, MANIQA) में बेसलाइन्स को काफी पीछे छोड़ दिया, जहाँ अन्य तरीके अक्सर कई एक साथ होने वाले क्षरणों को संभालने में विफल रहते हैं।

महत्व (Significance)

पेपर का दावा है कि PVRF लचीले, परसेप्शन-ड्रिवन दृष्टिकोण की ओर बढ़ते हुए मौजूदा ऑल-इन-वन AWR मॉडलों की महत्वपूर्ण सीमाओं को संबोधित करता है। फ्रोजन VLMs से सॉफ्ट प्रायर्स के लिए उनके सिमेंटिक अंडरस्टैंडिंग का लाभ उठाकर और टर्मिनल-कंसिस्टेंट बाधाओं के साथ जेनेरेटिव रिफाइनमेंट प्रक्रिया को स्थिर करके, PVRF डिस्टॉर्शन मिनिमाइजेशन और परसेप्चुअल रियलिज्म के बीच एक बेहतर संतुलन प्राप्त करता है। लेखक इस बात पर जोर देते हैं कि बिना रिट्रेनिंग के मिश्रित और अनदेखे क्षरण को संभालने की इसकी क्षमता इसे वास्तविक दुनिया के अनुप्रयोगों के लिए विशेष रूप से उपयुक्त बनाती है जहाँ मौसम की स्थितियाँ जटिल और अप्रत्याशित होती हैं।