Geometry-Aware Scene Configurations for Novel View Synthesis

तकनीकी सारांश: नवीन दृश्य संश्लेषण के लिए ज्यामिति-जागरूक दृश्य विन्यास (Geometry-Aware Scene Configurations for Novel View Synthesis)

समस्या विवरण
हालिया न्यूरल रेडिएंस फील्ड्स (NeRF) में प्रगति इमर्सिव 3D अनुभव सक्षम करती है, फिर भी जब इन्हें आकस्मिक, हाथ से पकड़े गए प्रक्षेप पथों (trajectories) द्वारा कैप्चर किए गए बड़े पैमाने के इनडोर दृश्यों पर लागू किया जाता है, तो वे महत्वपूर्ण चुनौतियों का सामना करती हैं। ये परिदृश्य अक्सर अनियमित अवलोकन पैटर्न, विरल डेटा (sparse data), और अव्यवस्था, अवरोध (occlusion), तथा सपाट, सजावटहीन सतहों वाले जटिल लेआउट प्रस्तुत करते हैं। मानक स्केलेबल दृश्य प्रतिनिधित्व आमतौर पर अपनी सीमित प्रतिनिधित्व क्षमता (आधार, जैसे कि NeRF ब्लॉक्स या फीचर ग्रिड) का उपयोग एकसमान रणनीतियों का उपयोग करके करते हैं—या तो स्थान को समान रूप से विभाजित करके या कैमरा प्रक्षेप पथ के साथ आधारों को वितरित करके। ये दृष्टिकोण इनडोर ज्यामिति की गैर-समान प्रकृति या इनपुट मापों के विशिष्ट सांख्यिकी का लेखा-जोखा रखने में विफल रहते हैं, जिससे संसाधनों का अक्षम उपयोग होता है और रेंडरिंग की गुणवत्ता घट जाती है, विशेष रूप से एक्सट्रपलेशन (extrapolation) परिदृश्यों या बनावटहीन क्षेत्रों में। इसके अलावा, ज्यामितीय निरंतरता की कमी के कारण मौजूदा विधियाँ कम-निर्धारित क्षेत्रों में तैरते हुए आर्टिफैक्ट्स (floating artifacts) के साथ संघर्ष करती हैं।

कार्यप्रणाली
लेखक एक व्यवस्थित, दृश्य-अनुकूलन योग्य ढांचा प्रस्तावित करते हैं जो आधारों के प्लेसमेंट और प्रशिक्षण दृश्य विन्यास दोनों को अनुकूलित करने के लिए आसानी से उपलब्ध ज्यामितीय पूर्व-ज्ञान (geometric priors) का लाभ उठाता है। यह विधि तीन प्राथमिक चरणों से मिलकर बनी है:

1. ज्यामितिक स्कैफोल्ड निष्कर्षण (Geometric Scaffold Extraction): पाइपलाइन इनपुट मल्टी-व्यू छवियों से एक अनुमानित ज्यामितिक स्कैफोल्ड निकालने के साथ शुरू होती है। इसे इनहेरेंट सरफेस रिकंस्ट्रक्शन विधियों (जैसे MonoSDF) या फीड-फॉरवर्ड डेप्थ प्रेडिक्टर्स (जैसे MapAnything) के माध्यम से प्राप्त किया जा सकता है। यह स्कैफोल्ड अंतर्निहित दृश्य सतह के एक सुसंगत अनुमान के रूप में कार्य करता है।
2. ज्यामिति-जागरूक आधार प्लेसमेंट अनुकूलन (Geometry-Aware Basis Placement Optimization): एकसमान वितरण के बजाय, यह विधि आधारों (NeRF ब्लॉक्स या न्यूरल लाइट फील्ड प्रोब्स) के सीमित सेट के स्थानों को अनुकूलित करती है। यह पहले सतह के बिंदुओं के लिए "कवरेज वेट्स" (coverage weights) की गणना करके ज्यामितिक स्कैफोल्ड पर अवलोकन सांख्यिकी को रिकॉर्ड करती है। ये वेट्स सभी प्रशिक्षण कैमरों से दृश्यता जानकारी को संचित करते हैं, जिसे दूरी और सतह के नॉर्मल अलाइनमेंट द्वारा भारित (weighted) किया जाता है। इसके बाद एक ऊर्जा फलन (energy function) को उन क्षेत्रों की ओर आधारों की स्थिति को स्थानांतरित करने के लिए मिनिमाइज किया जाता है जहाँ अवलोकन घनत्व और जटिल ज्यामिति अधिक है, जिससे यह सुनिश्चित होता है कि आधारों की निश्चित क्षमता का आवंटन वहीं हो जहाँ इसकी सबसे अधिक आवश्यकता है।
3. दृश्य-अनुकूलित ज्यामितिक नियमितीकरण (Scene-Adaptive Geometric Regularization): अपर्याप्त मापों (जैसे सपाट दीवारें या बाधित क्षेत्र) वाले क्षेत्रों को संबोधित करने के लिए, यह विधि दृश्य-जागरूक आभासी दृश्य बिंदुओं (virtual viewpoints) को पेश करती है। स्थानिक विविधता और फीचर को-विजिबिलिटी (feature co-visibility) पर विचार करने वाली एक 'नेक्स्ट-बेस्ट-व्यू' प्लानिंग रणनीति का उपयोग करके, सिस्टम दृश्य को कवर करने के लिए आभासी दृश्य बिंदुओं का चयन करता है। इन आभासी दृश्यों से प्राप्त डेप्थ, जो ज्यामितिक स्कैफोल्ड द्वारा निर्देशित होते हैं, प्रशिक्षण के दौरान मजबूत डेप्थ रेगुलाइजेशन लागू करने के लिए उपयोग किए जाते हैं। यह तैरते हुए आर्टिफैक्ट्स को दबाता है और विरल रूप से देखे गए क्षेत्रों में अनुकूलन को स्थिर करता है।

प्रमुख योगदान

• दृश्य-अनुकूलन योग्य आधार वितरण: लेखक एक अनुकूलन रणनीति पेश करते हैं जो दृश्य ज्यामिति और माप सांख्यिकी के बीच सहसंबंध के आधार पर आधारों को स्थापित करती है, जो एकसमान या प्रक्षेप पथ-आधारित आवंटन विधियों से बेहतर प्रदर्शन करती है।
• ऊर्जा-आधारित प्लेसमेंट अनुकूलन: एक नया ऊर्जा फलन ज्यामितिक स्कैफोल्ड पर परिभाषित किया गया है ताकि अवलोकन सांख्यिकी को संचित किया जा सके, जिससे इनपुट प्रक्षेप पथ को कुशलतापूर्वक कवर करने के लिए आधारों के सीमित सेट की इष्टतम स्थिति निर्धारित की जा सके।
• आभासी दृश्य बिंदु नियमितीकरण: शोध पत्र एक विधि का सुझाव देता है जो अनऑब्जर्व्ड क्षेत्रों में प्रशंसनीय पर्यवेक्षण प्रदान करने के लिए दृश्य-अनुकूलन योग्य आभासी दृश्य बिंदुओं को उत्पन्न करने और उपयोग करने के लिए है, जो अतिरिक्त वास्तविक दुनिया के कैप्चर की आवश्यकता के बिना पुनर्निर्माण को प्रभावी ढंग से नियमित करता है।
• व्यापक मूल्यांकन: ढांचे को ScanNet++ और Zip-NeRF डेटासेट पर वास्तविक दुनिया के इनडोर दृश्यों पर मान्य किया गया है, जो NeLF-Pro, LocalRF और विभिन्न 3D Gaussian Splatting (3DGS) वेरिएंट जैसे बेसलाइनों की तुलना में महत्वपूर्ण सुधार प्रदर्शित करता है।

परिणाम
ScanNet++ और Zip-NeRF डेटासेट पर प्रयोगात्मक परिणाम दर्शाते हैं कि प्रस्तावित विधि PSNR, SSIM और LPIPS के संदर्भ में पुनर्निर्माण की गुणवत्ता को काफी बढ़ाती है, विशेष रूप से चुनौतीपूर्ण एक्सट्रपलेशन परिदृश्यों में जहाँ बेसलाइन अक्सर विफल हो जाते हैं।

• प्रदर्शन: NeLF-Pro और LocalRF पर लागू होने पर, यह विधि NeRF-आधारित दृष्टिकोणों के बीच अत्याधुनिक (state-of-the-art) प्रदर्शन प्राप्त करती है, और अक्सर उन एक्सट्रपलेशन कार्यों में 3DGS वेरिएंट से बेहतर प्रदर्शन करती है जहाँ 3DGS गंभीर आर्टिफैक्ट्स से ग्रस्त होता है।
• दक्षता: यह दृष्टिकोण अपने मूल बेसलाइन आर्किटेक्चर की तुलना में मेमोरी उपयोग को बढ़ाए बिना ये लाभ प्राप्त करता है, क्योंकि यह समान संख्या में पैरामीटर्स का पुन: उपयोग करता है लेकिन उनके स्थानिक व्यवस्था को अनुकूलित करता है।
• मजबूती (Robustness): एब्लेशन अध्ययन पुष्टि करते हैं कि आधार प्लेसमेंट अनुकूलन और ज्यामितिक नियमितीकरण (आभासी दृश्यों का उपयोग करके) दोनों स्वतंत्र रूप से प्रदर्शन में योगदान देते हैं। यह विधि ज्यामितिक स्कैफोल्ड की अशुद्धियों के प्रति भी मजबूत है, जो शोर युक्त (noisy) पूर्व-ज्यामिति के बावजूद सुधार बनाए रखती है।

महत्व और दावे
शोध पत्र का दावा है कि अंतर्निहित ज्यामिति और पूर्व-कैप्चर किए गए कैमरा व्यू पॉइंट्स के बीच परस्पर क्रिया को स्पष्ट रूप से मॉडल करके, बड़े पैमाने के इनडोर दृश्य पुनर्निर्माण के लिए सीमित संसाधनों के उपयोग को अधिकतम करना संभव है। लेखक इस बात पर जोर देते हैं कि जबकि 3D Gaussian Splatting गति प्रदान करता है, NeRF-आधारित प्रतिनिधित्व बड़े पैमाने के, अनबाउंडेड दृश्यों के लिए मेमोरी दक्षता और ज्यामितिक निरंतरता में लाभ बनाए रखते हैं, विशेष रूप से बनावटहीन क्षेत्रों में। प्रस्तावित दृश्य-अनुकूलन योग्य रणनीतियाँ एक सामान्यीकृत वृद्धि के रूप में प्रस्तुत की गई हैं जिन्हें विभिन्न नवीन-दृश्य संश्लेषण (novel-view synthesis) प्रस्तुतियों पर लागू किया जा सकता है, जो जटिल इनडोर वातावरण में प्रतिनिधित्व क्षमता के आवंटन की गैर-तुच्छ चुनौती के लिए एक सिद्धांत आधारित समाधान प्रदान करती हैं। यह कार्य कैटास्ट्रोफिक फेल्योर (catastrophic failures) को हल करने का दावा नहीं करता है, बल्कि एक सफल ज्यामितिक स्कैफोल्ड मिलने के बाद पुनर्निर्माण की सटीकता में सुधार करने पर केंद्रित है।