💻 computer science

CylinderSplat: 3D Gaussian Splatting with Cylindrical Triplanes for Panoramic Novel View Synthesis

CylinderSplat पैनोरमिक 3D गॉसियन स्प्लेटिंग के लिए एक फीड-फॉरवर्ड फ्रेमवर्क है जो एक नवीन बेलनाकार (cylindrical) ट्रिप्लेन प्रतिनिधित्व और एक डुअल-ब्रांच आर्किटेक्चर पेश करता है ताकि $360^\circ$ दृश्यों में ऑक्लूजन और ज्यामितीय विरूपणों को प्रभावी ढंग से संभाला जा सके, जिससे सिंगल-व्यू और मल्टी-व्यू नवीन दृश्य संश्लेषण (novel view synthesis) दोनों में अत्याधुनिक परिणाम प्राप्त होते हैं।

मूल लेखक: Qiwei Wang, Xianghui Ze, Jingyi Yu, Yujiao Shi

प्रकाशित 2026-03-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qiwei Wang, Xianghui Ze, Jingyi Yu, Yujiao Shi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक 360-डिग्री कैमरा है जो कमरे की एक एकल, चारों ओर की फोटो लेता है। अब, कल्पना कीजिए कि आप उस फोटो के अंदर कदम रखना चाहते हैं और एक पूरी तरह से अलग कोण से चारों ओर देखना चाहते हैं, जैसे कि आप वास्तव में वहां मौजूद हों। इसे नोवेल व्यू सिंथेसिस (Novel View Synthesis) कहा जाता है।

लंबे समय तक, केवल एक या कुछ फोटो से ऐसा करना एक 2D ब्लूप्रिंट से 3D घर बनाने जैसा था: अंत में दीवारों में छेद रह जाते या छत ठीक से फिट नहीं बैठती।

यहाँ आता है CylinderSplat, एक नया AI तरीका जो इस समस्या को हल करता है। यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) के माध्यम से समझाया गया है।

1. समस्या: "फ्लैट मैप" बनाम "गोल दुनिया"

अधिकांश 3D कंप्यूटर विजन उपकरण फ्लैट मैप्स (कार्तीय ग्रिड/Cartesian grids) की तरह बने होते हैं। वे छोटे कमरों या पिनहोल कैमरों के लिए बेहतरीन हैं, लेकिन जब आप एक 360-डिग्री दुनिया को समझाने के लिए फ्लैट मैप का उपयोग करने की कोशिश करते हैं, तो चीजें अजीब हो जाती हैं।

उपमा: कल्पना कीजिए कि आप एक बास्केटबॉल के चारों ओर कागज का एक सपाट टुकड़ा पूरी तरह से लपेटने की कोशिश कर रहे हैं। आपको ऊपर और नीचे कागज को खींचना पड़ेगा, और किनारों पर वह फट जाएगा या इकट्ठा हो जाएगा।
परिणाम: मौजूदा AI तरीके इन 360-डिग्री फोटो को इन फ्लैट ग्रिडों में जबरदस्ती फिट करने की कोशिश करते हैं, जिससे विशेष रूप से फर्श या छत को देखते समय धुंधली, खिंची हुई या विकृत छवियां मिलती हैं।

2. समाधान: "सिलिंड्रिकल ट्राइन प्लेन" (Cylindrical Triplane)

इस शोध के लेखकों ने महसूस किया कि एक फ्लैट मैप के बजाय, उन्हें एक ऐसे आकार का उपयोग करना चाहिए जो दुनिया से मेल खाता हो: एक बेलन (cylinder)।

उपमा: एक टिनफॉइल कैन या सोडा कैन के बारे में सोचें। यदि आप सोडा कैन के चारों ओर एक लेबल लपेटते हैं, तो यह बिना खींचे या फटे पूरी तरह से फिट हो जाता है।
नवाचार: उन्होंने 3D डेटा को स्टोर करने का एक नया तरीका बनाया जिसे सिलिंड्रिकल ट्राइन प्लेन कहा जाता है। तीन सपाट कागजों (X, Y, Z) के बजाय, वे एक सिलेंडर के चारों ओर लिपटे हुए तीन शीट्स का उपयोग करते हैं।
- एक शीट दीवारों के चारों ओर लिपटी होती है (घरों में सीधी दीवारों के लिए एकदम सही)।
- एक शीट फर्श और छत को कवर करती है (सपाट जमीन के लिए एकदम सही)।
- यह इस बात से मेल खाता है कि वास्तविक दुनिया की इमारतें कैसे बनाई जाती हैं ("मैनहट्टन वर्ल्ड" धारणा), जिससे गणित बहुत आसान हो जाता है और परिणाम बहुत अधिक स्पष्ट होते हैं।

3. दो-मस्तिष्क प्रणाली (Dual-Branch Architecture)

AI केवल एक हीलात का उपयोग नहीं करता; यह एक 3D दृश्य बनाने के लिए मिलकर काम करने वाले दो "मस्तिष्कों" का उपयोग करता है।

मस्तिष्क A: "पिक्सेल डिटेक्टिव" (Pixel Branch)

यह क्या करता है: यह मस्तिष्क उन तस्वीरों को देखता है जो आपने इसे दी हैं और उन चीजों को ढूंढता है जिन्हें यह स्पष्ट रूप से देख सकता है। यह एक जासूस की तरह है जो केवल उन्हीं सुरागों की रिपोर्ट करता है जो उसके ठीक सामने हैं।
सीमा: यदि आपके पास केवल एक फोटो है, तो जासूस सोफे के पीछे या कोने में क्या है, यह नहीं देख पाएगा। 3D मॉडल में बड़े छेद रह जाएंगे।

मस्तिष्क B: "कल्पनाशील आर्किटेक्ट" (Volume Branch)

यह क्या करता है: यह मस्तिष्क खाली जगहों को भरने के लिए सिलिंड्रिकल ट्राइन प्लेन का उपयोग करता है। यह खाली स्थानों को देखता है और अपने ज्ञान का उपयोग यह अनुमान लगाने के लिए करता है कि वहां क्या होना चाहिए।
जादू: क्योंकि यह सिलिंड्रिकल आकार का उपयोग कर रहा है, यह दीवारों और फर्शों का सही अनुमान लगाता है, बजाय इसके कि वह एक फ्लैट मैप की तरह उन्हें खींचे।

साथ मिलकर: "डिटेक्टिव" छवि के स्पष्ट और तीखे हिस्सों का निर्माण करता है, और "आर्किटेक्ट" अंधेरे, छिपे हुए कोनों को भरता है। परिणाम एक पूर्ण, ठोस 3D दुनिया है।

4. यह क्यों महत्वपूर्ण है

गति: पुराने तरीकों को शून्य से 3D दृश्य बनाने में घंटों लग जाते थे। CylinderSplat इसे एक सेकंड के अंश में करता है (फीड-फॉरवर्ड), जैसे कि एक फोटो खींचना।
लचीलापन: यह तब भी काम करता है जब आप इसे एक फोटो देते हैं (जैसे पर्यटक की एक तस्वीर) या कई फोटो देते हैं (जैसे कमरे के माध्यम से उड़ता हुआ ड्रोन)।
यथार्थवाद: यह 360-डिग्री फोटो के कठिन हिस्सों—जैसे फर्श और छत—को बिना किसी अजीब विकृति के संभालता है जो अन्य AI टूल्स में देखी जाती है।

सारांश

CylinderSplat को एक मास्टर बिल्डर के रूप में समझें जिसने अंततः यह समझ लिया है कि 360-डिग्री फोटो से 3D घर बनाने के लिए, आपको एक फ्लैट ब्लूप्रिंट का उपयोग नहीं करना चाहिए। इसके बजाय, आपको एक सिलिंड्रिकल सांचे का उपयोग करना चाहिए जो दुनिया के आकार में पूरी तरह फिट बैठता है। एक तेज-नजर जासूस और एक रचनात्मक आर्किटेक्ट को मिलाकर, यह तुरंत एक सपाट, 360-डिग्री तस्वीर को एक ऐसे कमरे में बदल सकता है जिसके माध्यम से आप चल सकते हैं, चारों ओर देख सकते हैं और अन्वेषण कर सकते हैं।

यहाँ पेपर "CYLINDERSPLAT: 3D GAUSSIAN SPLATTING WITH CYLINDRICAL TRIPLANES FOR PANORAMIC NOVEL VIEW SYNTHESIS" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह पेपर पैनोरमिक नोवेल व्यू सिंथेसिस (NVS) के लिए 3D Gaussian Splatting (3DGS) का उपयोग करते हुए आने वाली चुनौतियों का समाधान करता है। जबकि 3DGS ने पिनहोल कैमरों के लिए रियल-टाइम रेंडरिंग में क्रांति ला दी है, मौजूदा फीड-फॉरवर्ड विधियों में 360° पैनोरमिक इमेजरी को अनुकूलित करने में दो प्राथमिक सीमाएँ आती हैं:

ज्यामितीय विरूपण और एलियासिंग (Geometric Distortion & Aliasing): मानक वॉल्यूमेट्रिक रिप्रजेंटेशन (जैसे कार्टेशियन ट्रिप्लेन) 360° दृश्यों के लिए उपयुक्त नहीं हैं। वे पैनोरमिक डेटा की अंतर्निहित ज्यामिति को कैप्चर करने में संघर्ष करते हैं, जिससे गंभीर विरूपण होता है, विशेष रूप से "मैनहट्टन-वर्ल्ड" वातावरण (लंबवत दीवारों और फर्श वाले इनडोर/शहरी दृश्य) में।
ओक्लूजन और स्पार्स व्यूज़ (Occlusion and Sparse Views): मौजूदा फीड-फॉरवर्ड विधियाँ अक्सर ज्यामिति को परिष्कृत करने के लिए मल्टी-व्यू कॉस्ट वॉल्यूम पर निर्भर करती हैं। ये दृष्टिकोण स्पार्स-व्यू या सिंगल-व्यू परिदृश्यों में विफल हो जाते हैं, विशेष रूप से जब बड़े बेसलाइन के कारण महत्वपूर्ण ओक्लूजन (आवरण) होता है, जिसके परिणामस्वरूप पुनर्निर्माण में छेद, आर्टिफैक्ट्स और गलत गहराई (depth) उत्पन्न होती है।

2. कार्यप्रणाली: CylinderSplat

लेखक CylinderSplat का प्रस्ताव करते हैं, जो एक तीन-चरणीय करिकुलम (curriculum) के माध्यम से प्रशिक्षित डुअल-ब्रांच आर्किटेक्चर का उपयोग करके परिवर्तनीय इनपुट व्यूज़ (एकल से लेकर कई पैनोरमा तक) को संभालने के लिए डिज़ाइन किया गया एक फीड-फॉरवर्ड फ्रेमवर्क है।

A. मुख्य नवाचार: सिलिंड्रिकल ट्रिप्लेन रिप्रजेंटेशन (Cylindrical Triplane Representation)

मानक कार्टेशियन या स्फेरिकल कोऑर्डिनेट सिस्टम के बजाय, यह विधि एक सिलिंड्रिकल ट्रिप्लेन रिप्रजेंटेशन पेश करती है।

प्रेरणा: "मैनहट्टन-वर्ल्ड" धारणा से प्रेरित होकर, सिलिंड्रिकल कोऑर्डिनेट्स स्वाभाविक रूप से मानव-निर्मित वातावरण की ऊर्ध्वाधर दीवारों और क्षैतिज फर्श के साथ संरेखित होते हैं।
संरचना: प्रत्येक इनपुट कैमरा के लिए, एक स्थानीय सिलिंड्रिकल वॉल्यूम $(R, \Theta, Z)$ आयामों के साथ परिभाषित किया जाता है। ट्रिप्लेन में तीन ऑर्थोगोनल फीचर प्लेन शामिल हैं: $F_{r\theta}$ , $F_{\theta z}$ , और $F_{zr}$ ।
दक्षता: यह प्रतिनिधित्व घने 3D फीचर ग्रिड को कंप्रेस करता है, जिससे स्टोरेज कॉम्प्लेक्सिटी $O(\Theta \cdot Z \cdot R)$ से घटकर $O(\Theta \cdot Z + Z \cdot R + R \cdot \Theta)$ हो जाती है।
लाभ: यह ध्रुवों (poles) पर विरूपण को न्यूनतम करता है (स्फेरिकल के विपरीत) और इक्वीरेक्टेंगुलर पैनोरमा पर प्रोजेक्ट किए जाने पर कार्टेशियन ग्रिड के खिंचाव वाले आर्टिफैक्ट्स से बचता है।

B. डुअल-ब्रांच आर्किटेक्चर (Dual-Branch Architecture)

पिक्सेल ब्रांच (अवलोकन - Observation):
- कार्य: अटेंशन-आधारित तंत्र (फ्रेम के भीतर सेल्फ-अटेंशन, फ्रेमों के बीच क्रॉस-अटेंशन) का उपयोग करके अच्छी तरह से देखे गए क्षेत्रों को पुनर्गठित करना।
- प्रक्रिया: यह उच्च-गुणवत्ता वाले Gaussians ( $G_{pixel}$ ) उत्पन्न करने के लिए 3D फीचर पॉइंट क्लाउड ( $P_{feat}$ ) में पिक्सेल को अनप्रोजेक्ट करके मल्टी-व्यू कॉन्टेक्स्ट को एकत्रित करता है और एक परिष्कृत डेप्थ मैप और फीचर मैप की भविष्यवाणी करता है।
- सीमा: यह ओक्लूडेड या स्पार्सली देखे गए क्षेत्रों में विफल रहता है, जिससे पुनर्निर्माण में छेद रह जाते हैं।
वॉल्यूम ब्रांच (पूर्णता - Completion):
- कार्य: सिलिंड्रिकल ट्रिप्लेन का उपयोग करके ओक्लूडेड क्षेत्रों में ज्यामिति को पूरा करना।
- प्रक्रिया:
  - इनिशियलाइजेशन: स्थानीय ट्रिप्लेन को पिक्सेल ब्रांच के उन फीचर्स से इनिशियलाइज किया जाता है जो उनके वॉल्यूम के भीतर आते हैं।
  - रिफाइनमेंट: तीन फीचर प्लेन के बीच सूचना का आदान-प्रदान करने के लिए क्रॉस-प्लेन अटेंशन और स्रोत छवियों से विजुअल साक्ष्य शामिल करने के लिए ट्रिप्लेन-टू-इमेज अटेंशन का उपयोग करता है।
  - डिकोडिंग: सिलिंड्रिकल वॉल्यूम के भीतर एक सघन ग्रिड को सैंपल करता है, परिष्कृत ट्रिप्लेन फीचर्स को क्वेरी करता है, और स्थानीय गॉसियन पैरामीटर्स (पोजीशन ऑफसेट्स, एनिसोट्रोपिक स्केल्स, रोटेशन, ओपेसिटी) की भविष्यवाणी करने के लिए एक MLP का उपयोग करता है।
  - कोऑर्डिनेट ट्रांसफॉर्मेशन: एक महत्वपूर्ण चरण में मानक 3DGS रस्टरइज़र में सही रेंडरिंग सुनिश्चित करने के लिए जैकोबियन मैट्रिक्स (Jacobian matrix) का उपयोग करके स्थानीय सिलिंड्रिकल एट्रिब्यूट्स (ऑफसेट्स और स्केल्स) को ग्लोबल कार्टेशियन कोऑर्डिनेट्स में बदलना शामिल है।
  - RGB रिट्रीवल: यह सुनिश्चित करने के लिए कि रंग फोटो-रियलिस्टिक हों, विधि एक RGB रिट्रीवल मैकेनिज्म का उपयोग करती है। यह गॉसियन सेंटर्स को सोर्स व्यूज़ में प्रोजेक्ट करती है, डेप्थ प्रायर के आधार पर विजिबिलिटी स्कोर की गणना करती है, और सबसे दृश्यमान, अन-ओक्लूडेड व्यूज़ से रंगों को एकत्रित करती है।

C. ट्रेनिंग करिकुलम (Training Curriculum)

मॉडल को स्थिरता और प्रदर्शन सुनिश्चित करने के लिए तीन चरणों में प्रशिक्षित किया जाता है:

चरण 1: केवल पिक्सेल ब्रांच को प्रशिक्षित करें (दृश्य क्षेत्रों के लिए एक उच्च-गुणवत्ता वाला बेसलाइन स्थापित करता है)।
चरण 2: पिक्सेल ब्रांच को फ्रीज करें और वॉल्यूम ब्रांच को प्रशिक्षित करें (ओक्लूडेड ज्यामिति को पूरा करना सीखता है)।
चरण 3: विवरण और पूर्णता को एक एकल उच्च-विश्वसनीय दृश्य में मिलाने के लिए दोनों शाखाओं को संयुक्त रूप से फाइन-ट्यून करें।

3. प्रमुख योगदान (Key Contributions)

सिलिंड्रिकल ट्रिप्लेन रिप्रजेंटेशन: एक अभिनव ज्यामितीय प्रतिनिधित्व जो विशेष रूप से पैनोरमिक 3DGS के लिए डिज़ाइन किया गया है जो मैनहट्टन-वर्ल्ड धारणा का पालन करता है, जो कार्टेशियन या स्फेरिकल विकल्पों की तुलना में विरूपण को काफी कम करता है।
डुअल-ब्रांच फीड-फॉरवर्ड फ्रेमवर्क: एक मजबूत आर्किटेक्चर जो देखे गए क्षेत्रों के लिए पिक्सेल-आधारित पुनर्निर्माण को ओक्लूडेड क्षेत्रों के लिए वॉल्यूम-आधारित पूर्णता के साथ जोड़ता है, जिससे एकल या कई इनपुट व्यूज़ को लचीले ढंग से संभालना संभव होता है।
डायरेक्ट पैनोरमिक रेंडरिंग: एक विशेष 3DGS रस्टरइज़र का उपयोग जो एक ही पास में पूर्ण इक्वीरेक्टेंगुलर इमेज रेंडर करता है, जिससे क्यूबमैप्स को जोड़ने की अक्षमता से बचा जा जा सकता है।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: सिंथेटिक और वास्तविक दुनिया के डेटासेट पर पुनर्निर्माण की गुणवत्ता (WS-PSNR, SSIM) और ज्यामितीय सटीकता (PCC) दोनों में श्रेष्ठ परिणाम प्रदर्शित किए।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन सिंथेटिक डेटासेट्स (Matterport3D, Replica, Residential) और एक वास्तविक दुनिया के डेटासेट (360Loc), साथ ही एक बड़े पैमाने के Kansas डेटासेट पर किया गया।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- सिंगल-व्यू और टू-व्यू: CylinderSplat सभी मेट्रिक्स पर SOTA विधियों (PanSplat, Splatter360, OmniScene, MVSplat) से बेहतर प्रदर्शन करता है। उदाहरण के लिए, Matterport3D (2.0m बेसलाइन) पर, इसने OmniScene के 0.732 PCC के मुकाबले 0.851 का PCC और 22.75 WS-PSNR के मुकाबले 23.76 WS-PSNR प्राप्त किया।
- वाइड-बेसलाइन परिदृश्य: अत्यधिक स्पार्स-व्यू परिदृश्यों में (जैसे, Kansas डेटासेट में 20m–30m बेसलाइन), प्रदर्शन का अंतर काफी बढ़ जाता है, जहाँ CylinderSplat ने सर्वश्रेष्ठ प्रतिस्पर्धी से WS-PSNR में +3.95 dB से अधिक बढ़त हासिल की।
- ज्यामिति: विधि बेहतर डेप्थ कंसिस्टेंसी दिखाती है, विशेष रूप रूप से फर्श और छत पर जहाँ अन्य विधियाँ आर्टिफैक्ट्स उत्पन्न करती हैं।
एब्लेशन स्टडीज (Ablation Studies):
- कोऑर्डिनेट सिस्टम: सिलिंड्रिकल ट्रिप्लेन ने कार्टेशियन और स्फेरिकल दोनों वेरिएंट्स की तुलना में काफी बेहतर प्रदर्शन किया।
  क ट्रेनिंग स्ट्रैटेजी: तीन-चरणीय करिकुलम ने एंड-टू-एंड ट्रेनिंग या शाखाओं के अकेले उपयोग की तुलना में बेहतर परिणाम दिए।
- RGB रिट्रीवल: उन हाई-फ्रीक्वेंसी विवरणों को रिकवर करने के लिए आवश्यक है जिन्हें केवल वॉल्यूम फीचर्स मिस कर देते हैं।
दक्षता (Efficiency):
- मॉडल हल्का (13.6M पैरामीटर्स) है और प्रतिस्पर्धियों (0.29s इन्फरेंस टाइम बनाम दूसरों के लिए 0.32s–0.54s) की तुलना में तेज़ है।
- यह बिना आर्किटेक्चरल बदलाव के 3 और 4 इनपुट व्यूज़ के लिए प्रभावी ढंग से स्केल करता है।

5. महत्व (Significance)

CylinderSplat फीड-फॉरवर्ड 3DGS की दक्षता और 360° इमेजरी की ज्यामितीय जटिलताओं के बीच के अंतर को पाटकर पैनोरमिक 3D पुनर्निर्माण में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

व्यावहारिक प्रभाव: यह स्पार्स इनपुट (यहाँ तक कि सिंगल व्यू) से उच्च-फिडेलिटी, रियल-टाइम नोवेल व्यू सिंथेसिस को सक्षम बनाता है, जो VR/AR अनुप्रयोगों, स्वायत्त ड्राइविंग और डिजिटल ट्विन्स के लिए महत्वपूर्ण है।
सैद्धांतिक योगदान: यह 3DGS में कार्टेशियन रिप्रजेंटेशन के प्रभुत्व को चुनौती देता है और यह प्रदर्शित करता है कि सीन प्रायर (मैनहट्टन-वर्ल्ड) और कैमरा ज्यामिति (सिलिंड्रिकल) के साथ संरेखित कोऑर्डिनेट सिस्टम बेहतर परिणाम देते हैं।
मजबूती (Robustness): विशिष्ट इनिशियलाइजेशन रणनीतियों के माध्यम से डायनेमिक सीन्स को संभालने की इसकी क्षमता और अत्यधिक बेसलाइन्स को संभालने की इसकी क्षमता इसे वास्तविक दुनिया में तैनाती के लिए एक मजबूत समाधान बनाती है जहाँ डेटा अक्सर अधूरा या शोर युक्त होता है।