GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors

कल्पना कीजिए कि आप एक रेस कार के तेजी से गुजरने का हाई-स्पीड वीडियो लेने की कोशिश कर रहे हैं, लेकिन आपका कैमरा इतना धीमा है कि वह केवल एक एकल, धुंधली तस्वीर ही खींच सकता है। अब, कल्पना कीजिए कि वह एकल तस्वीर वास्तव में दौड़ के सैकड़ों अलग-अलग क्षणों का एक गुप्त कोड है, जो आपस में मिल गए हैं। यह स्नैपशॉट कम्प्रेसिव इमेजिंग (SCI) की अद्भुत दुनिया है। यह एक चतुर तकनीक है जहाँ कैमरा वीडियो नहीं लेता; इसके बजाय, यह एक फोटो लेता है जिसे एक विशेष मास्क द्वारा "मॉड्यूलेट" किया गया है, जिससे समय और स्थान एक एकल स्नैपशॉट में आपस में मिल जाते हैं। चुनौती क्या है? उस एक बिखरी हुई फोटो को वापस एक स्पष्ट, चलते हुए वीडियो में डिकोड करना। आमतौर पर, वैज्ञानिक इस बात का अनुमान लगाने की कोशिश करते हैं कि वीडियो फ्रेम कैसे दिखते हैं, लेकिन यदि कैमरा एक 3D दृश्य के चारों ओर घूम रहा है (जैसे कि एक इमारत के चारों ओर उड़ता हुआ ड्रोन), तो उनके अनुमान अक्सर विफल हो जाते हैं, जिससे आपको एक उलझा हुआ, भूतिया दृश्य मिलता है।

यहाँ 3D गॉसियन स्प्लेटिंग (3DGS) आता है, जो 3D दुनिया बनाने का एक नया, सुपर-फास्ट तरीका है। एक मूर्तिकार की तरह ठोस मेश बनाने के बजाय, 3DGS हजारों छोटे, धुंधले, 3D बादलों (गॉसियन्स) के साथ दृश्य को पेंट करता है जो चमक (glitter) की तरह दिखते हैं। जब आप उनके माध्यम से रोशनी (या कैमरा) डालते हैं, तो वे एक साथ मिलकर एक स्पष्ट छवि बनाते हैं। यह चमकते हुए कणों (glitter) से एक शहर बनाने जैसा है जो सही कोण से देखने पर तुरंत ठोस हो जाता है। लेकिन यह 'ग्लिटर-सिटी बिल्डर' भी संघर्ष करता है जब उसके पास एकमात्र सुराग के रूप में SCI कैमरे से ली गई वह एक बिखरी हुई फोटो होती है। गणित जटिल हो जाता है, धुंध के बादल गलत जगहों पर तैरने लगते हैं, और कैमरे का रास्ता खो जाता है।

यह पेपर GS2CI नामक एक नई विधि पेश करता है, जो इस पहेली को सुलझाने के लिए एक सुपर-स्मार्ट जासूस की तरह काम करती है। लेखकों ने महसूस किया कि केवल एक बिखरी हुई फोटो से 3D आकार और कैमरे के पथ का अनुमान लगाना बहुत कठिन है, इसलिए वे कुछ शक्तिशाली हथियारों को लेकर आए: लार्ज विजन मॉडल्स (VFMs)। इन्हें ऐसे AI मॉडल के रूप में सोचें जिन्होंने लाखों 3D दृश्यों को "देखा" है और वे जानते हैं कि प्रकाश, गहराई और कैमरा मूवमेंट आमतौर पर कैसे काम करते हैं। GS2CI इन AI दिमागों का उपयोग यह स्मार्ट अनुमान लगाने के लिए करता है कि कैमरा कहाँ था और 3D दृश्य कैसा दिखता है। फिर, यह दृश्य को व्यवस्थित करने के लिए एक विशेष, कस्टम-मेड नियम पुस्तिका का उपयोग करता है जिसे OSGR (ओपेसिटी-गाइडेड स्प्लिटिंग एंड ग्रोथ रेगुलेशन) कहा जाता है। यह नियम पुस्तिका उन बादलों को बहुत बड़ा होने या अजीब तरीकों से गुच्छे बनाने से रोकती है। अंत में, यह विवरणों को पॉलिश करने के लिए दूसरे AI का उपयोग करता है, जिससे यह सुनिश्चित होता है कि दृश्य हर कोण से स्पष्ट और वास्तविक दिखे। परिणाम? एक ऐसी विधि जो उस एक बिखरी हुई फोटो को लेकर एक उच्च-गुणवत्ता वाला, 3D दृश्य पुनर्गठित कर सकती है जो कैमरा हिलने पर भी सुसंगत रहता है, और गति एवं स्पष्टता दोनों में पिछले तरीकों से बेहतर प्रदर्शन करता है।

समस्या: "वन-शॉट" रहस्य

कल्पना कीजिए कि आप एक अपराध स्थल को फिर से बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक तस्वीर है। इससे भी बुरा यह है कि वह तस्वीर एक "कम्प्रेस्ड" संस्करण है जहाँ पुलिस ने दृश्य की 8 अलग-अलग समय पर ली गई तस्वीरों को एक विशेष फिल्टर के साथ मिला दिया है और आपको परिणाम थमा दिया है। आप नहीं जानते कि उन 8 क्षणों में कैमरा ठीक कहाँ था, और आप यह भी नहीं जानते कि किसी एक क्षण में दृश्य कैसा दिखता था। यह स्नैफट कंप्रेसिव इमेजिंग (SCI) की समस्या है।

मौजूदा तरीके इस समस्या को हल करने के लिए फ्रेम-दर-फ्रेम अनुमान लगाने की कोशिश करते हैं। लेकिन यदि कैमरा एक 3D वस्तु के चारों ओर घूम रहा है (जैसे कि मूर्ति के चारों around उड़ता हुआ ड्रोन), तो उनके अनुमान भ्रमित हो जाते हैं। उन्हें लग सकता है कि मूर्ति हिल रही है जबकि वास्तव में कैमरा हिल रहा होता है। वे संघर्ष करते हैं क्योंकि उनके पास गहराई और परिप्रेक्ष्य (perspective) को समझने के लिए कोई अच्छा "3D मस्तिष्क" नहीं होता। वे अंधेरे में 3D पहेली सुलझाने वाले व्यक्ति की तरह हैं, जो केवल मेज पर पड़ने वाली सपाट छायाओं पर निर्भर हैं।

समाधान: एक दो-चरणीय जासूसी टीम

इस पेपर के लेखक एक ढांचा प्रस्तावित करते हैं जिसे GS2CI कहा जाता है, जो तीन शक्तिशाली उपकरणों को जोड़कर इसे हल करता है: एक 3D AI मस्तिष्क, एक 3D ग्लिटर-बिल्डर, और एक कस्टम नियम पुस्तिका।

चरण 1: स्मार्ट अनुमान (3D VFM इनिशियलाइजेशन)
शून्य से शुरुआत करने के बजाय, GS2CI पहले "प्रॉक्सि व्यूज़" बनाता है। यह बिखरी हुई फोटो और ज्ञात फ़िल्टर पैटर्न का उपयोग करके एक रफ, अनुमानित संस्करण बनाता है कि 8 अलग-अलग फ्रेम कैसे दिख सकते हैं। फिर, यह इन रफ अनुमानों को एक 3D विजन फाउंडेशन मॉडल (VFM) में डालता है। आप इस VFM को एक ऐसे AI के रूप में सोच सकते हैं जिसने लाखों 3D दृश्यों का अध्ययन किया है। यह रफ अनुमानों को देखता है और कहता है, "आह, जो मैंने पहले देखा है उसके आधार पर, कैमरा शायद यहाँ था, और वस्तु का आकार ऐसा है।" यह सिस्टम को एक यादृच्छिक अनुमान के बजाय एक बहुत ही मजबूत शुरुआती बिंदु देता है।

चरण 2: ग्लिटर बिल्डर (3D गॉसियन स्प्लेटिंग)
एक बार जब AI के पास कैमरा पथ और दृश्य के आकार का एक रफ विचार हो जाता है, तो यह 3D गॉसियन स्प्लेटिंग पर स्विच करता है। यह वह विधि है जो हजारों छोटे, धुंधले 3D बादलों (गॉसियन्स) का उपयोग करके दृश्य का निर्माण करती है। सिस्टम इन बादलों को इस तरह व्यवस्थित करने की कोशिश करता है ताकि जब आप उन्हें 8 अलग-अलग कोणों से देखें, तो वे सटीक रूप से बिखरी हुई फोटो को फिर से बना सकें।

ट्विस्ट: OSGR नियम पुस्तिका
यहीं पर यह पेपर वास्तव में चतुर हो जाता है। जब आप बिखरी हुई फोटो के अनुकूल 3D बादल फिट करने की कोशिश करते हैं, तो गणित जटिल हो सकता है। सिस्टम गलती को छिपाने के लिए एक बादल को बहुत अधिक अपारदर्शी (opaque - बहुत ठोस) बनाकर गणित को "संतुष्ट" करने की कोशिश कर सकता है, बजाय इसके कि बादल को सही जगह पर ले जाए। इससे "ओपेसिटी पीक्स" (opacity peaks) बनते हैं जो 3D संरचना को खराब कर देते हैं।

इसे ठीक करने के लिए, लेखकों ने OSGR (ओपेसिटी-गाइडेड स्प्लिटिंग एंड ग्रोथ रेगुलेशन) का आविष्कार किया।

• ओपेसिटी-गाइडेड स्प्लिटिंग: यदि कोई बादल एक स्थान पर बहुत अधिक "ठोस" हो जाता है (एक ओपेसिटी पीक), तो OSGR कहता है, "यह संदिग्ध है! आइए इस एक बड़े बादल को दो छोटे, अधिक सटीक बादलों में विभाजित करें।" यह सिस्टम को मजबूर करता है कि वह एक ठोस गोले के पीछे छिपने के बजाय वास्तविक आकार खोजे।
• ग्रोथ रेगुलेशन: सिस्टम यह भी ट्रैक रखता है कि वह कितने बादलों का उपयोग कर सकता है। यह दृश्य को अनावश्यक बादलों से भरने से रोकता है, जिससे पुनर्निर्माण तेज़ और स्थिर रहता है।

चरण 3: पॉलिश (ऑक्सिलरी 2D VFM)
मुख्य 3D दृश्य बनने के बाद, सिस्टम अभी समाप्त नहीं हुआ है। यह नए, नकली दृष्टिकोण (सिंथेसाइज्ड व्यूज़) बनाता है जिन्हें कैमरे ने वास्तव में नहीं देखा था। फिर, यह एक 2D विजन फाउंडेशन मॉडल का उपयोग करता है कि वे दृश्य कैसे दिखने चाहिए। यह अपने 3D दृश्य की तुलना इन "सपनों वाली" छवियों से करता है और बादलों के विवरणों को और भी तीक्ष्ण और वास्तविक बनाने के लिए उन्हें ट्यून करता है। यह एक कलाकार द्वारा पेंटिंग में बारीक विवरण जोड़ने वाले अंतिम टच-अप जैसा है।

परिणाम: तेज़, स्पष्ट और अधिक मजबूत

लेखकों ने सरल वस्तुओं से लेकर जटिल बाहरी वातावरण तक, और यहाँ तक कि बहुत उच्च संपीड़न (जहाँ 32 अलग-अलग दृश्यों को एक फोटो में मिला दिया गया है) के साथ कई दृश्यों पर GS2CI का परीक्षण किया।

• बेहतर गुणवत्ता: अपने परीक्षणों में, GS2CI ने पिछले तरीकों की तुलना में कम त्रुटियों के साथ लगातार स्पष्ट चित्र बनाए। उदाहरण के लिए, "वेंडर" (Vender) नामक दृश्य पर, इसने 38.52 का PSNR (छवि गुणवत्ता का एक माप) प्राप्त किया, जो अगली सर्वश्रेष्ठ विधि (36.40) को पीछे छोड़ गया।
• गति: यह अविश्वसनीय रूप से तेज़ है। बिखरी हुई फोटो से अंतिम 3D दृश्य तक की पूरी प्रक्रिया में एक मानक हाई-एंड कंप्यूटर (NVIDIA RTX 4090) पर लगभग 68.4 मिनट लगे। तुलना के लिए, एक पिछला शीर्ष तरीका (SCINeRF) समान काम करने के लिए 12 घंटे से अधिक (746.84 मिनट) का समय लेता था।
• मजबूती (Robustness): भले ही कैमरा अजीब, अप्रत्याशित तरीकों से घूम रहा हो या फोटो अत्यधिक संपीड़ित हो, GS2CI विफल नहीं हुआ। इसने अपने प्रतिस्पर्धियों की तुलना में "अनबाउंडेड" दृश्यों (जहाँ दृश्य अनंत तक जाता है) और जटिल कैमरा पथों को बहुत बेहतर तरीके से संभाला।

यह क्या नहीं करता (अभी तक)

पेपर अपनी सीमाओं के बारे में ईमानदार है। हालांकि यह स्थिर दृश्यों (जहाँ वस्तु स्थिर है) के लिए बहुत अच्छा काम करता है, लेकिन यह डायनेमिक दृश्यों (जहाँ वस्तुएं स्वतंत्र रूप से चल रही हैं, जैसे कि दौड़ता हुआ व्यक्ति या उड़ता हुआ पक्षी) के लिए संघर्ष करता है। गतिशील वस्तुओं (जैसे "बियर" या "फ्लेमिंगो" वीडियो) के साथ परीक्षणों में, यह विधि कुछ अन्य विशिष्ट तकनीकों जितना अच्छा प्रदर्शन नहीं कर पाई। लेखक सुझाव देते हैं कि भविष्य में, उन्हें गतिशील वस्तुओं को बेहतर ढंग से संभालने के लिए "ग्लिटर क्लाउड्स" को 4D (समय को एक आयाम के रूप में जोड़ना) में अपग्रेड करने की आवश्यकता हो सकती है।

यह क्यों मायने रखता है

यह पेपर दिखाता है कि बड़े AI मॉडल्स की "सामान्य समझ" को 3D गॉसियन स्प्लेटिंग की गति के साथ जोड़कर, हम इमेजिंग की कुछ सबसे कठिन समस्याओं को हल कर सकते हैं। यह एक बिखरी हुई फोटो को एक समृद्ध, 3D दुनिया में बदल देता है जिसमें आप घूम सकते हैं, और वह भी इतना तेज़ कि व्यावहारिक रूप से उपयोग किया जा सके। यह छोटे, सस्ते और शक्तिशाली हाई-स्पीड, 3D कैमरों को बनाने की दिशा में एक बड़ा कदम है।