💻 computer science

Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis

यह शोध पत्र Dehaze-then-Splat पेश करता है, जो NTIRE 2026 चुनौती के लिए एक दो-चरणीय पाइपलाइन है जो मल्टी-व्यू विसंगतियों को हल करने और बेहतर धुआं-मुक्त नवीन दृश्य संश्लेषण (novel view synthesis) प्राप्त करने के लिए जनरेटिव डीहेज़िंग को भौतिकी-आधारित 3D गॉसियन स्प्लेटिंग और विशिष्ट रेगुलाइजेशन लॉस के साथ जोड़ता है।

मूल लेखक: Yuchao Chen, Hanqing Wang

प्रकाशित 2026-04-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuchao Chen, Hanqing Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जंगल का एक आदर्श 3D मॉडल बनाने की कोशिश कर रहे हैं, लेकिन आपके पास जो तस्वीरें हैं वे घने, घूमते हुए धुएं के बीच से ली गई हैं। आपका लक्ष्य दोहरा है: पहला, हर एक फोटो से धुएं को साफ करना, और दूसरा, उन साफ की गई तस्वीरों का उपयोग करके एक ऐसी 3D दुनिया बनाना जो हर कोण से वास्तविक दिखे।

यह शोध पत्र, "Dehaze-then-Splat," ठीक इसी समस्या को हल करने के लिए एक रेसिपी है। लेखकों ने महसूस किया कि इन दोनों चरणों को अलग-अलग करना मुश्किल है, जैसे कि एक ऐसा केक बनाना जहाँ फ्रॉस्टिंग तो एकदम सही हो, लेकिन उसकी परतें आपस में मेल न खाती हों।

यहाँ उनके समाधान की कहानी है, जिसे सरल भागों में विभाजित किया गया है:

1. समस्या: "सोलो आर्टिस्ट" बनाम "क्वायर" (समूह गान)

लेखकों ने एक शक्तिशाली AI टूल (जिसे Nano Banana Pro कहा जाता है) से शुरुआत की जो एक फोटो से धुआं हटाने में माहिर है। यह एक सोलो आर्टिस्ट की तरह है जो एक पेड़ की एक सुंदर, धुअस-मुक्त तस्वीर पेंट कर सकता है।

हालाँकि, जब आपके पास एक ही जंगल की अलग-अलग कोणों से ली गई 20 अलग-अलग तस्वीरें होती हैं, तो यह AI प्रत्येक को स्वतंत्र रूप से पेंट करता है।

समस्या: फोटो A में, पेड़ थोड़ा अधिक हरा हो सकता है। फोटो B में, पत्तियां थोड़ी पीली दिख सकती हैं। फोटो C में, एक शाखा थोड़ी अलग जगह पर हो सकती है क्योंकि AI ने उस विवरण का "अनुमान" (hallucinated) लगाया जो वहां मौजूद नहीं था।
परिणाम: यदि आप इन असंगत तस्वीरों का उपयोग करके 3D मॉडल बनाने की कोशिश करते हैं, तो कंप्यूटर भ्रमित हो जाता है। यह अंतरों को औसत निकालने की कोशिश करता है, जिसके परिणामस्वरूप एक धुंधला, डगमगाता हुआ या "भूतिया" (ghostly) 3D मॉडल बनता है। यह एक ऐसे क्वायर की तरह है जहाँ हर गायक एक ही गाना गा रहा है लेकिन थोड़े अलग सुर में; परिणाम संगीत नहीं, बल्कि शोर है।

2. समाधान: "Dehaze-then-Splat"

लेखकों ने इसे ठीक करने के लिए दो चरणों वाली पाइपलाइन बनाई। इसे तैयारी (Preparation) के बाद निर्माण (Construction) के रूप में सोचें।

चरण 1: सफाई दल (Dehazing)

सबसे पहले, वे हर फोटो से धुआं हटाने के लिए AI का उपयोग करते हैं।

चालकी: उन्होंने देखा कि धुआं हटाने के बाद भी, तस्वीरें चमक (brightness) में थोड़ी अलग दिख रही थीं (कुछ बहुत उज्ज्वल थीं, कुछ बहुत गहरी)। उन्होंने एक "ब्राइटनेस फ़िल्टर" लागू किया ताकि यह सुनिश्चित हो सके कि सभी तस्वीरों में प्रकाश का स्तर समान हो, जैसे एक ऑर्केस्ट्रा में हर वाद्य यंत्र की आवाज़ को एडजस्ट करना ताकि वे सभी समान रूप से तेज़ हों।

चरण 2: स्मार्ट बिल्डर (3D Splatting)

यहीं असली जादू होता है। वे इन साफ की गई तस्वीरों को एक 3D पुनर्निर्माण प्रणाली (जिसे 3D Gaussian Splatting कहा जाता है) में फीड करते हैं। लेकिन केवल सिस्टम को अनुमान लगाने देने के बजाय, वे इसे पालन करने के लिए तीन विशेष "भौतिकी के नियम" देते हैं, जो एक सख्त शिक्षक की तरह छात्र को सुधारने का काम करते हैं:

डेप्थ रूल (रूलर/पैमाना): वे वस्तुओं की दूरी का अनुमान लगाने के लिए एक अलग AI का उपयोग करते हैं (धुएं के माध्यम से भी)। वे 3D मॉडल को इन दूरी के अनुमानों से मेल खाने के लिए मजबूर करते हैं। यह ज्यामिति (geometry) को सीधा रखता है, जैसे घर की दीवारें सही कोण पर बनी हैं यह सुनिश्चित करने के लिए रूलर का उपयोग करना।
"नो-हेज़" रूल (डार्क चैनल): वे सिस्टम को सिखाते हैं कि एक साफ फोटो में सबसे अंधेरे हिस्सों में कोई "धूसर कोहरा" (gray fog) नहीं होना चाहिए। यदि मॉडल फिर से कोहरा डालने की कोशिश करता है, तो शिक्षक उसे डांटता है। यह छवि को स्पष्ट रखता है।
एज रूल (आउटलाइन): वे नए 3D मॉडल के किनारों की तुलना दृश्य के दूसरे, अलग AI के रेखाचित्र से करते हैं। यदि आउटलाइन मेल नहीं खाती, तो मॉडल को उसे ठीक करना होगा। यह सुनिश्चित करता है कि सभी दृश्यों में आकार सुसंगत रहें।

3. गुप्त नुस्खा: "जब तक आप आगे बढ़ें, रुक जाएं"

इस पेपर में सबसे आश्चर्यजनक खोज समय (timing) के बारे में है।

आमतौर पर, जब AI को ट्रेन किया जाता है, तो आप तब तक चलते रहते हैं जब तक कि त्रुटि (error) बहुत कम न हो जाए। लेकिन यहाँ, लेखकों ने पाया कि यदि वे AI को बहुत लंबे समय तक ट्रेन होने देते हैं, तो वह गलतियों को "याद" (memorize) करने लगता है।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि वह 10 मिनट पढ़ाई करता है, तो उसे सामान्य विचार मिल जाता है। यदि वह 10 घंटे पढ़ाई करता है, तो वह किताब में मौजूद विशिष्ट टाइपिंग की गलतियों को भी याद करना शुरू कर सकता है और उनसे भ्रमित हो सकता है।
समाधान: उन्होंने ट्रेनिंग को बहुत जल्दी रोक दिया (केवल कुछ हज़ार स्टेप्स के बाद)। इस बिंदु पर, 3D मॉडल इतना सरल था कि वह तस्वीरों के बीच के छोटे-मोटे अंतरों को अनदेखा कर सके और केवल दृश्य के "बड़े चित्र" को सीख सके। यदि वे इसे और अधिक चलने देते, तो मॉडल "घोस्ट्स" और "फ्लोटर्स" (दृश्य विसंगतियों) के साथ फट जाता।

अंतिम परिणाम

एक शक्तिशाली धुआं-हटाने वाले उपकरण को भौतिकी के सख्त नियमों के सेट के साथ मिलाने और यह जानने के बाद कि कब रुकना है, उन्होंने एक ऐसा 3D मॉडल बनाया जो तीक्ष्ण (sharp), स्पष्ट और सुसंगत है।

उनके बिना के तरीकों के साथ: 3D मॉडल धुंधला और डगमगाता हुआ था (जैसे कम गुणवत्ता वाला वीडियो)।
उनके तरीकों के साथ: 3D मॉडल स्पष्ट और यथार्थवादी है (जैसे एक हाई-डेफिनिशन मूवी)।

संक्षेप में: उन्होंने महसूस किया कि व्यक्तिगत तस्वीरों को एकदम सही दिखाना ही काफी नहीं है; आपको यह भी सुनिश्चित करना होगा कि वे एक-दूसरे के साथ सहमत हों। एक सख्त संपादक की तरह कार्य करके और संपादन प्रक्रिया को कब रोकना है यह जानकर, उन्होंने एक धुंधले ढेर को एक क्रिस्टल-क्लियर 3D दुनिया में बदल दिया।

यहाँ शोध पत्र "Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र 3D पुनर्निर्माण (reconstruction) के लिए मल्टी-व्यू स्मोक रिमूवल (धुआं हटाने) और नोवेल व्यू सिंथेसिस (NVS) की चुनौती को संबोधित करता है। विशेष रूप से, यह NTIRE 2026 3D रेस्टोरेशन एंड रिकंस्ट्रक्शन चैलेंज (ट्रैक 2) को लक्षित करता है, जिसमें मल्टी-व्यू छवियों (RealX3D बेंचमार्क पर आधारित) से भौतिक रूप से कैप्चर किए गए धुएं को हटाना और साफ नोवेल व्यू सिंथेसिस करना शामिल है।

मुख्य चुनौती:
प्रति-छवि बहाली गुणवत्ता (per-image restoration quality) और मल्टी-व्यू निरंतरता (multi-view consistency) के बीच एक मौलिक तनाव है:

जेनरेटिव डीहेज़िंग (Generative Dehazing): अत्याधुनिक जेनरेटिव मॉडल (जैसे Nano Banana Pro) उच्च गुणवत्ता वाले, दृष्टिगत रूप से आकर्षक सिंगल-फ्रेम परिणाम उत्पन्न करते हैं। हालांकि, वे प्रत्येक दृश्य को स्वतंत्र रूप से संसाधित करते हैं, जिनमें क्रॉस-व्यू कंडीशनिंग का अभाव होता है। इसके परिणामस्वरूप फ्रेमों के बीच रंग, बनावट (texture) और कल्पना की गई बारीकियों (hallucinated details) में स्टोकेस्टिक भिन्नताएं आती हैं।
3D पुनर्निर्माण विफलता: जब इन असंगत "स्यूडो-क्लीन" (pseudo-clean) छवियों का उपयोग 3D गॉसियन स्प्लेटिंग (3DGS) को प्रशिक्षित करने के लिए किया जाता है, तो ऑप्टिमाइज़र परस्पर विरोधी फोटोमेट्रिक संकेतों को सुलझाने का प्रयास करता है। इसके परिणामस्वरूप धुंधले रेंडर्स (blurred renders), टेक्सचर ड्रिफ्ट, ज्यामितीय अस्थिरता और "फ्लोटर" आर्टिफैक्ट्स (शोर को फिट करने के लिए आवंटित गॉसियन्स) उत्पन्न होते हैं।

2. कार्यप्रणाली: Dehaze-then-Splat

लेखक एक दो-चरणीय पाइपलाइन प्रस्तावित करते हैं जो 2D बहाली और 3D निरंतरता के बीच के अंतर को पाटने के लिए जेनरेटिव डीहेज़िंग को फिजिक्स-इन्फॉर्म्ड 3DGS प्रशिक्षण के साथ जोड़ती है।

चरण 1: जेनरेटिव डीहेज़िंग और प्रीप्रोसेसिंग (Generative Dehazing & Preprocessing)

मॉडल: प्रति-फ्रेम धुआं हटाने के लिए Nano Banana Pro (Gemini API के माध्यम से) का उपयोग करता है।
प्रॉम्प्ट इंजीनियरिंग: दृश्य ज्यामिति और फोटोरियलिज्म को संरक्षित करते हुए धुआं हटाने को सुनिश्चित करने के लिए एक संरचित 6-बिंदु प्रॉम्प्ट का उपयोग किया जाता है।
ब्राइटनेस नॉर्मलाइजेशन: फ्रेम-वार प्रोसेसिंग के कारण होने वाले इंटर-फ्रेम ब्राइटनेस शिफ्ट (0.12 तक का अंतर) को संबोधित करने के लिए, लेखक प्रति-चैनल मीन/स्टैंडर्ड डेविएशन (mean/std) नॉर्मलाइजेशन लागू करते हैं।
- यदि ग्राउंड ट्रुथ (GT) उपलब्ध है, तो नॉर्मलाइजेशन GT सांख्यिकी के साथ संरेखित होता है।
- अन्यथा, "सेल्फ-नॉर्मलाइजेशन" डेटासेट के मीडियन सांख्यिकी के साथ फ्रेमों को संरेखित करता है।
रेसोल्यूशन अलाइनमेंट: यह सुनिश्चित करने के लिए कि पिक्सेल-सटीक संरेखण हो, आउटपुट को कैमरा इंट्रिंसिक्स के अनुसार रीसाइज किया जाता है।

चरण 2: फिजिक्स-इन्फॉर्म्ड 3DGS प्रशिक्षण (Physics-Informed 3DGS Training)

मानक 3DGS को फिजिक्स-इन्फॉर्म्ड ऑक्सिलरी लॉस (auxiliary losses) के साथ सुदृढ़ किया गया है ताकि वे इम्पलिसिट मल्टी-व्यू कंसिस्टेंसी रेगुलराइज़र के रूप में कार्य कर सकें, जो चरण 1 में पेश की गई विसंगतियों की भरपाई करते हैं।

लॉस फंक्शन (The Loss Function):
$L = (1-\lambda_s)L_1 + \lambda_s L_{SSIM} + \lambda_d L_{DCP} + \lambda_p L_{depth} + \lambda_g L_{grad}$

डेप्थ सुपरविजन ( $L_{depth}$ ):
- मूल धुएँ वाली छवियों से स्यूडो-डेप्थ मैप जेनरेट करने के लिए Depth Anything V2 का उपयोग करता है (जो धुएं के प्रति मजबूत है)।
- रेंडर्ड डेप्थ और स्यूडो-डेप्थ के बीच एक स्केल-इनवेरिएंट वेटेड पियर्सन कोरिलेशन लॉस लागू करता है।
- प्रभाव: यह सबसे महत्वपूर्ण योगदानकर्ता (+0.79 dB) है, जो टेक्सचर विविधताओं के बावजूद ज्यामिति को स्थिर करता है।
डार्क चैनल प्रायर (DCP) रेगुलराइजेशन ( $L_{DCP}$ ):
- यह सुनिश्चित करता है कि रेंडर्ड इमेज का डार्क चैनल शून्य के करीब पहुंचे, जिससे अवशिष्ट धुएं के आर्टिफैक्ट्स को दबाया जा सके।
डुअल-सोर्स ग्रेडिएंट मैचिंग ( $L_{grad}$ ):
- संरचनात्मक निरंतरता सुनिश्चित करने के लिए एक माध्यमिक संरचनात्मक संदर्भ (MB-TaylorFormer आउटपुट) के विरुद्ध सोबेल ग्रेडिएंट्स का उपयोग करके एज स्ट्रक्चर को सुपरवाइज करता है।
MCMC डेंसिफिकेशन और अर्ली स्टॉपिंग (MCMC Densification & Early Stopping):
- MCMC रणनीति: मैनुअल स्प्लिट/क्लोन ह्यूरिस्टिक्स के बजाय स्टोकेस्टिक नॉइज़ इंजेक्शन/रीलोकेशन (gsplat से) का उपयोग करता है, जिससे PSNR में +0.47 dB का सुधार होता है।
- अर्ली स्टॉपिंग: लेखक पहचानते हैं कि देर से होने वाला डेंसिफिकेशन "फ्लोटर" आर्टिफैक्ट्स का कारण बनता है। वे डेंसिफिकेशन को जल्दी रोक देते हैं (स्टेप 3000, $\sim$ 104k–161k Gaussians)। यह मॉडल को प्रति-व्यू विसंगतियों को ओवरफिट करने से रोकता है, क्योंकि कम गॉसियन काउंट पर मॉडल के पास आर्टिफैक्ट्स को याद रखने की क्षमता नहीं होती है।

वैकल्पिक दृष्टिकोण (अस्वीकृत)

लेखकों ने एक एंड-टू-एंड स्कैटरिंग डिकंपोजिशन (Koschmieder वायुमंडलीय मॉडल को सीधे 3DGS में एकीकृत करना) का परीक्षण किया। यह विफल रहा (10.28 dB) क्योंकि, मजबूत सीन प्रायर के बिना, मॉडल एक ट्रिवियल सॉल्यूशन ( $\beta \to 0$ ) की ओर गिर गया, जिससे धुएं को कंटेंट से अलग करने में विफलता मिली। इसने "Dehaze-then-Splat" हाइब्रिड दृष्टिकोण की आवश्यकता को प्रमाणित किया।

3. मुख्य योगदान (Key Contributions)

कंसिस्टेंसी गैप की पहचान: पेपर इस बात पर प्रकाश डालता है कि उच्च-गुणवत्ता वाली प्रति-इमेज जेनरेटिव डीहेज़िंग मल्टी-व्यू निरंतरता की गारंटी नहीं देती है, और यही विसंगति 3D पुनर्निर्माण के लिए प्राथमिक बाधा है।
फिजिक्स-इन्फॉर्म्ड रेगुलराइजेशन: ज्यामितीय और फोटोमेट्रिक निरंतरता को लागू करने के लिए डेप्थ सुपरविजन (पियर्सन कोरिलेशन), डार्क चैनल प्रायर और डुअल-सोर्स ग्रेडिएंट मैचिंग को संयोजित करने वाले एक नवीन लॉस फंक्शन का परिचय।
कैपेसिटी कंट्रोल स्ट्रैटेजी: यह प्रदर्शन करना कि अर्ली स्टॉपिंग डेंसिफिकेशन के लिए महत्वपूर्ण है। यह मॉडल को जेनरेटिव डीहेज़िंग चरण की स्टोकेस्टिक विविधताओं को ओवरफिट करने से रोकता है, जो प्रभावी रूप से एक रेगुलराइज़र के रूप में कार्य करता है।
हाइब्रिड पाइपलाइन: एक शक्तिशाली 2D जेनरेटिव मॉडल (Nano Banana Pro) को 3D पुनर्निर्माण के साथ सफलतापूर्वक एकीकृत करना, जो शुद्ध 2D या शुद्ध 3D दृष्टिकोणों की सीमाओं को पार करता है।

4. परिणाम (Results)

Akikaze वैलिडेशन सीन (25 ट्रेनिंग व्यू, 4 टेस्ट व्यू) पर मूल्यांकन किया गया:

प्रदर्शन:
- PSNR: 20.98 dB
- SSIM: 0.683
- सुधार: अनरेगुलराइज्ड बेसलाइन (19.48 dB) की तुलना में +1.50 dB का सुधार।
एब्लेशन इनसाइट्स (Ablation Insights):
- डेप्थ सुपरविजन ने सबसे बड़ा लाभ (+0.79 dB) प्रदान किया।
- MCMC डेंसिफिकेशन ने डिफॉल्ट रणनीतियों पर +0.47 dB का लाभ दिया।
- अर्ली स्टॉपिंग (स्टेप 3k बनाम स्टेप 15k) ने आर्टिफैक्ट्स को रोकने के लिए +0.35 dB दिया।
- इष्टतम चेकपॉइंट जल्दी (स्टेप 2000–4000) आता है जब गॉसियन काउंट कम ( $\sim$ 104k) होता है, जो पुष्टि करता है कि मॉडल आर्टिफैक्ट्स को याद करने के बजाय एक व्यू-एवरेज प्रतिनिधित्व सीखता है।
तुलना: यह विधि क्लासिकल डीहेज़िंग (DCP, ~11.9 dB) और लर्निंग-बेस्ड 2D मेथड्स (MB-TaylorFormer, 17.00 dB) की तुलना में NVS के लिए एक पाइपलाइन के रूप में उपयोग किए जाने पर काफी बेहतर प्रदर्शन करती है।

5. महत्व (Significance)

2D और 3D को जोड़ना: यह पेपर शक्तिशाली 2D जेनरेटिव मॉडल्स का 3D कार्यों के लिए उपयोग करने हेतु एक मजबूत ढांचा प्रदान करता है, एक ऐसा क्षेत्र जहाँ वे आमतौर पर निरंतरता के मुद्दों के कारण विफल हो जाते हैं।
धुआं/धुंध के लिए व्यावहारिक समाधान: यह वास्तविक दुनिया के परिदृश्यों के लिए एक अत्याधुनिक समाधान प्रदान करता है जिसमें धुआं और कम रोशनी की स्थिति शामिल है, जो पारंपरिक भौतिकी-आधारित या डिस्क्रिमिनेटिव मॉडल्स के लिए कठिन है।
भविष्य की दिशा: लेखक सुझाव देते हैं कि भविष्य के कार्य को कंसिस्टेंसी-अवेयर डीहेज़िंग (जैसे, वीडियो-आधारित जेनरेटिव मॉडल या मल्टी-व्यू अटेंशन) पर ध्यान केंद्रित करना चाहिए ताकि पुनर्निर्माण और बहाली के बीच के अंतर को और कम किया जा सके।

संक्षेप में, Dehaze-then-Splat प्रदर्शित करता है कि जबकि जेनरेटिव डीहेज़िंग विसंगतियां पैदा करती है, उन्हें फिजिक्स-इन्फॉर्म्ड 3D बाधाओं और सावधानीपूर्वक कैपेसिटी मैनेजमेंट के माध्यम से प्रभावी ढंग से कम किया जा सकता है, जिससे उच्च-फिडेलिटी स्मोक-फ्री नोवेल व्यू सिंथेसिस प्राप्त होता है।