ImprovedVBGS: Real-time Continual Variational Bayes Gaussian Splatting
यह शोध पत्र ImprovedVBGS प्रस्तुत करता है, जो वास्तविक समय के निरंतर वेरिएशनल बेयस गॉसियन स्प्लेटिंग (Variational Bayes Gaussian Splatting) के लिए एक त्वरित ढांचा है, जो स्थानिक रूप से ट्रंकेटेड वेरिएशनल इन्फरेंस और अनुकूलित पुनर्नियुक्ति (reassignment) के माध्यम से प्रति-फ्रेम विलंबता में 1680x की गति वृद्धि प्राप्त करता है, जिससे गुणवत्ता से समझौता किए बिना ऑन-द-फ्लाई पुनर्निर्माण सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को देखना और चलते समय उसका 3D मैप बनाना सिखाने की कोशिश कर रहे हैं, बजाय इसके कि उसे पहले पूरी जगह की एक विशाल फोटो एल्बम दिखा दी जाए। यह "ऑन-द-फ्लाई" (on-the-fly) रिकंस्ट्रक्शन की चुनौती है, जो सेल्फ-ड्राइविंग कारों और उन रोबोटों के लिए एक बहुत ही महत्वपूर्ण कौशल है जिन्हें बिना टकराए नई जगहों पर नेविगेट करने की आवश्यकता होती है। इसे करने के लिए, वैज्ञानिक एक चतुर तकनीक का उपयोग करते हैं जिसे "गौसियन स्प्लेटिंग" (Gaussian Splatting) कहा जाता है। इसे ठोस ब्लॉकों के बजाय लाखों छोटे, धुंधले, रंगीन बादलों (गौसियन्स) के साथ एक 3D दृश्य को पेंट करने जैसा समझें। प्रत्येक बादल की एक स्थिति, एक आकार, एक रोटेशन और एक रंग होता है। पर्याप्त संख्या में इन धुंधले बादलों को एक के ऊपर एक रखकर, कंप्यूटर एक ऐसा चित्र बना सकता है जो इतना वास्तविक होता है कि आप इसे किसी भी कोण से देख सकते हैं।
हालाँकि, इसमें एक पेंच है। आमतौर पर, इन बादलों को पूर्ण बनाने के लिए, कंप्यूटर को दृश्य की हर एक फोटो को एक ही समय में देखने और बादलों को बार-बार ट्यून करने की आवश्यकता होती है। लेकिन सड़क पर चलते एक रोबोट के लिए, वह भविष्य को नहीं देख सकता; वह केवल एक समय में एक ही फ्रेम देखता है। यदि वह केवल नए फ्रेम से सीखने की कोशिश करता है, तो वह अक्सर वह सब कुछ भूल जाता है जो उसने पिछले फ्रेम के बारे में सीखा था—यह एक समस्या है जिसे "कैटैस्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है। एक पिछला तरीका जिसे VBGS (वेरिएशनल बेयस गौसियन स्प्लेटिंग) कहा जाता था, ने इस भूलने की समस्या को हल किया क्योंकि इसमें एक स्मार्ट गणितीय ट्रिक का उपयोग किया गया था जो रोबोट को पुराने डेटा को स्टोर किए बिना नए फोटो से सीखने में मदद करती है। लेकिन इसका एक बड़ा नुकसान था: यह अविश्वसनीय रूप से धीमा था। यह एक मास्टरपीस पेंट करने के लिए हर एक ब्रशस्ट्रोक के लिए पूरे ब्रह्मांड के हर सिंगल पिक्सेल को चेक करने जैसा था। एक फ्रेम को प्रोसेस करने में ही एक मिनट से अधिक का समय लग जाता था, जो चलते हुए रोबलेट के लिए बेकार है।
यह पेपर ImprovedVBGS पेश करता है, जो एक नया फ्रेमवर्क है जो इस प्रक्रिया को इतना तेज़ बनाता है कि यह कई अनुप्रयोगों के लिए व्यावहारिक हो जाता है, हालांकि यह अभी भी पूर्ण रियल-टाइम वीडियो से थोड़ा पीछे है। शोधकर्ताओं ने धीमी और सावधानीपूर्वक वाली VBGS विधि को लिया और उसे बहुत तेज़ बनाने के लिए एक बड़ा मेकओवर दिया।
सबसे पहले, उन्होंने महसूस किया कि जब रोबोट एक नई जगह देखता है, तो उसे यह देखने के लिए कि कौन सा बादल सबसे अच्छा फिट बैठता है, पूरे 3D जगत के हर एक धुंधले बादल की जांच करने की आवश्यकता नहीं है। अधिकांश बादल दूर हैं और अप्रासंगिक हैं। इसलिए, उन्होंने एक "स्पेशियली ट्रंकेटेड" (spatially truncated) चरण जोड़ा। कल्पना कीजिए कि आप एक अस्त-व्यस्त कमरे में अपनी खोई हुई चाबियाँ ढूंढ रहे हैं। पूरे घर के हर दराज को चेक करने के बजाय, आप केवल उन्हीं दराजों को चेक करते हैं जिनमें आप वर्तमान में खड़े हैं। ImprovedVBGS बिल्कुल यही करता है: यह एक त्वरित मानचित्र (एक KD-tree) बनाता है और केवल प्रत्येक नए डेटा के लिए निकटतम पड़ोसियों की जांच करता है। यह काम को लाखों संभावनाओं की जांच करने से घटाकर केवल कुछ चुनि few तक सीमित कर देता है।
दूसरा, उन्होंने "रीअसाइनमेंट" (reassignment) नामक एक भद्दी प्रक्रिया को ठीक किया। पुराने तरीके में, कंप्यूटर लगातार अपने ही कोड को मिटाता और फिर से लिखता था (एक प्रक्रिया जिसे डायनेमिक रीकंपाइलेशन कहा जाता है) जब भी "खराब" बादलों की संख्या बदलती थी। यह एक शेफ के अपने पूरे रेसिपी बुक को फिर से लिखने जैसा है जब वह तय करता है कि उसे नमक का एक चुटकी डालना है। नया तरीका "स्टैटिक टेंसर पैडिंग" (static tensor padding) का उपयोग करता है, जो एक निश्चित आकार की रेसिपी बुक रखने जैसा है जहाँ खाली स्लॉट्स को बस खाली छोड़ दिया जाता है। यह कंप्यूटर को अपने ही निर्देशों को फिर से लिखने में समय बर्बाद करने से रोकता है। उन्होंने जानकारी को "फॉरवर्ड" करने का एक तरीका भी खोजा, जिसका अर्थ है कि वे गणनाओं को दोबारा करने के बजाय उसी गणना का पुन: उपयोग करते हैं जो उन्होंने अभी की थी, जिससे चित्र की गुणवत्ता में एक बहुत ही मामूली गिरावट आती है लेकिन गति में भारी वृद्धि होती है।
इसके परिणाम आश्चर्यजनक हैं। एक मानक गेमिंग ग्राफिक्स कार्ड (RTX 3070 Ti) पर, मूल विधि को एक सिंगल फ्रेम को प्रोसेस करने में 84.0 सेकंड लगे। ImprovedVBGS ने सभी दृश्यों में औसत लेटेंसी को 0.133 सेकंड (लगभग 7.5 फ्रेम प्रति सेकंड) तक कम कर दिया। हालांकि पेपर नोट करता है कि रीअसाइनमेंट के बिना एक विशिष्ट कॉन्फ़िगरेशन 0.050 सेकंड तक पहुँच सकता है, लेकिन पूर्ण सिस्टम जो उच्च-गुणवत्ता वाला पुनर्निर्माण बनाए रखता है और रीअसाइनमेंट चरण को संभालता है, वह लगभग 7.5 fps पर चलता है। यह मूल विधि की तुलना में 1,680 गुना अधिक तेज़ है। जबकि पुराना तरीका चलते हुए रोबोट के लिए उपयोग करने हेतु बहुत धीमा था, नया तरीका काफी तेज़ है, जो इसे रियल-टाइम क्षमताओं के बहुत करीब लाता है, हालांकि यह अभी भी मानक 30fps वीडियो से थोड़ा पीछे हो सकता है। लेखक दिखाते हैं कि इन भारी स्पीड ट्रिक्स के बावजूद, 3D मैप की गुणवत्ता उच्च बनी रहती है, और पुनर्निर्मित चित्र धीमे, मूल संस्करण जितने ही अच्छे दिखते हैं। उन्होंने इसे 3D दृश्यों के एक मानक सेट (NeRF Synthetic dataset) पर परखा और पाया कि नया सिस्टम बिना किसी विशाल लाइब्रेरी को स्टोर किए काम कर सकता है, जो इसे रोबोटों और सीमित मेमोरी वाले उपकरणों के लिए एकदम सही बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।