DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

कल्पना कीजिए कि आप केवल एक स्मार्टफोन से ली गई कुछ तस्वीरों का उपयोग करके एक कमरे का एक आदर्श, 3D होलोग्राम बनाने की कोशिश कर रहे हैं। यह 3D पुनर्निर्माण (3D reconstruction) की रोमांचक दुनिया है, जहाँ कंप्यूटर फ्लैट तस्वीरों से वास्तविक दुनिया के आकार और रूप को समझने की कोशिश करते हैं। आमतौर पर, ये कंप्यूटर "वास्तुकार" तब सबसे अच्छा काम करते हैं जब तस्वीरें एकदम स्पष्ट होती हैं। लेकिन क्या होता है जब मूसलाधार बारिश हो रही हो? तस्वीरें पानी की लकीरों, लेंस पर बूंदों के कारण धुंधले धब्बों और एक धुंधली ग्रे कोहरे से ढकी होती हैं। यदि आप इन अस्त-व्यस्त तस्वीरों के साथ अपना 3D मॉडल बनाने की कोशिश करते हैं, तो कंप्यूटर भ्रमित हो जाता है, और परिणामी होलोग्राम विकृत और टूटा हुआ दिखाई देता है। यह उन चीजों के लिए एक बड़ी समस्या है जैसे कि स्वायत्त वाहन (self-driving cars) या रोबोट, जिन्हें सुरक्षित रूप से नेविगेट करने के लिए मौसम खराब होने पर भी स्पष्ट रूप से "देखने" की आवश्यकता होती है।

लंबे समय तक, वैज्ञानिकों के पास इसे ठीक करने के दो मुख्य तरीके थे। एक तरीका यह था कि 3D मॉडल बनाने से पहले प्रत्येक फोटो को व्यक्तिगत रूप से साफ करने की कोशिश की जाए, जैसे कि किसी साफ दृश्य को देखने से पहले गंदी खिड़की को पोंछना। दूसरा तरीका यह था कि मॉडल को धीरे-धीरे बनाया जाए, जो प्रत्येक विशिष्ट बरसात वाले दृश्य के लिए बार-बार समायोजन करता है, जो अविश्वसनीय रूप से धीमा है। एक नया, तेज़ तरीका जिसे 3D गॉसियन स्प्लेटिंग (3D Gaussian Splatting) कहा जाता है, उभरा है, जो एक ही पल में एक 3D दृश्य बना सकता है। हालाँकि, यह तेज़ तरीका साफ दिनों के लिए डिज़ाइन किया गया था और बारिश का सामना करने पर विफल हो जाता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: क्या हम एक कंप्यूटर को कुछ बरसाती तस्वीरों को देखना और तुरंत उस साफ, सूखे 3D संसार को "देखना" सिखा सकते हैं, जो नीचे मौजूद है, बिना पहले तस्वीरों को साफ किए या परिणाम के लिए घंटों प्रतीक्षा किए?

यहाँ DerainSplat आता है, एक नया दृष्टिकोण जो कहता है, "हाँ, हम कर सकते हैं!" इस कार्य के पीछे के शोधकर्ताओं ने महसूस किया कि पहले तस्वीरों को साफ करना और फिर मॉडल बनाना एक बुरा विचार था क्योंकि साफ की गई तस्वीरें एक-दूसरे से सहमत नहीं थीं, जिससे एक अस्त-व्यस्त 3D परिणाम मिलता था। इसके बजाय, उन्होंने एक विशाल प्रशिक्षण मैदान बनाया जहाँ उन्होंने कंप्यूटर को बारिश को समझना सिखाया। उन्होंने एक सिंथेटिक डेटासेट बनाकर, सुंदर, स्पष्ट 3D दृश्यों में डिजिटल रूप से बारिश जोड़ी, जिसे चार यथार्थवादी चरणों में विभाजित किया गया: पहले, उन्होंने बादलों वाले आसमान की नकल करने के लिए रोशनी को कम किया; फिर, उन्होंने एक गहराई-निर्भर धुंध (depth-dependent haze) जोड़ी जो दूर की वस्तुओं के साथ घनी होती जाती है; इसके बाद, उन्होंने यथार्थवादी बारिश की लकीरें बनाईं; और अंत में, उन्होंने कैमरे के लेंस पर चिपकी पानी की बूंदें जोड़ीं जो दृश्य को विकृत करती हैं।

इस प्रशिक्षण डेटा का उपयोग करते हुए, DerainSplat एक सुपर-स्मार्ट जासूस की तरह कार्य करता है जो केवल खिड़की को पोंछता नहीं है; बल्कि यह समझता है कि बारिश दृश्य को कैसे बिगाड़ रही है। यह "मौसम कारकों" (weather factors) की भविष्यवाणी करता है—जैसे कि बारिश की लकीरों का नक्शा, कोहरा कितना घना है, और लेंस की बूंदें कहाँ छिपी हैं। फिर यह इन मानचित्रों का उपयोग 3D निर्माण प्रक्रिया को निर्देशित करने के लिए करता है। इसे एक निर्माण दल की तरह समझें जो जानता है कि कौन सी ईंटें कीचड़ से ढकी हुई हैं। कीचड़ को ईंटों से रगड़ने के बजाय, वे बस कीचड़ वाले हिस्सों को अनदेखा करते हैं और अन्य कोणों से साफ ईंटों का उपयोग करके रिक्त स्थानों को भर देते हैं, जबकि संरचना को खराब होने से बचाने के लिए कीचड़ वाले स्थानों के प्रति अपने विश्वास (confidence) को कम कर देते हैं।

परिणाम प्रभावशाली हैं। विभिन्न डेटासेट्स पर परीक्षण करते समय, जिसमें वास्तविक दुनिया के बरसाती दृश्य भी शामिल हैं, DerainSplat ने पिछले तरीकों की तुलना में बहुत अधिक स्वच्छ और सटीक 3D मॉडल बनाए। इसने मौजूदा तेज़ तरीकों को महत्वपूर्ण अंतर से पछाड़ दिया, कुछ परीक्षणों में इमेज क्वालिटी स्कोर में 4 dB से अधिक सुधार किया, और इसने यह काम एक सेकंड के एक अंश में किया। यह पेपर सुझाव देता है कि "मौसम" को "दृश्य" से एक साथ अलग करना सीखकर, हम अंततः बादल छाए रहने और जमीन गीली होने पर भी विश्वसनीय 3D दुनिया बना सकते हैं। इसका मतलब यह है कि भविष्य में, रोबोट और स्वायत्त वाहन बरसाती सड़कों पर भी उतनी ही आत्मविश्वास के साथ नेविगेट कर पाएंगे जितनी वे धूप वाले दिनों में करते हैं, और तूफान के बीच भी दुनिया के वास्तविक आकार को देख पाएंगे।