💻 computer science

Pi-GS: Sparse-View Gaussian Splatting with Dense π^3 Initialization

यह शोध पत्र Pi-GS प्रस्तुत करता है, जो एक नवीन स्पार्स-व्यू (sparse-view) 3D गॉसियन स्प्लेटिंग विधि है जो सघन इनिशियलाइजेशन (dense initialization) के लिए रेफरेंस-फ्री $\pi^3$ नेटवर्क का लाभ उठाती है और कई डेटासेट्स पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए अनसर्टेन्टी-गाइडेड डेप्थ सुपरविजन, नॉर्मल कंसिस्टेंसी और डेप्थ वार्पिंग को समाहित करती है।

मूल लेखक: Manuel Hofer, Markus Steinberger, Thomas Köhler

प्रकाशित 2026-02-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Manuel Hofer, Markus Steinberger, Thomas Köhler

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कमरे का विस्तृत 3D मॉडल बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल अलग-अलग कोनों से ली गई कुछ धुंधली तस्वीरें हैं। अधिकांश 3D निर्माण उपकरण इसमें भ्रमित हो जाते हैं; वे गलत आकार का अनुमान लगा सकते हैं, हवा में तैरती हुई "भूतिया" वस्तुएं बना सकते हैं, या दीवारों को लहरदार बना सकते हैं। यह वही समस्या है जिसे Pi-GS हल करता है।

यहाँ इस पेपर की विधि का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:

समस्या: कम ब्लूप्रिंट के साथ घर बनाना

पारंपरिक 3D उपकरण (जैसे 3D Gaussian Splatting) वास्तविक समय में, उच्च-गुणवत्ता वाले 3D दृश्य बनाने में अद्भुत हैं, लेकिन उन्हें शुरू करने के लिए आमतौर पर बहुत सारे फोटो (जैसे ब्लूप्रिंट का एक पूरा सेट) की आवश्यकता होती है। यदि आप उन्हें केवल कुछ ही फोटो (एक "स्पार्स व्यू") देते हैं, तो वे यह समझने में संघर्ष करते हैं कि 3D स्पेस में चीजें कहाँ हैं।

परिणाम: वे "फ्लोटर्स" (भूतिया धब्बे जो वहां होने चाहिए जहाँ कुछ नहीं है) और असंगत दृश्य (वस्तु अलग-अलग कोणों से देखने पर अलग दिखती है) बनाते हैं।
कारण: उन्हें वास्तविक गहराई (चीजें कितनी दूर हैं) या दीवारों के वास्तविक आकार का ज्ञान नहीं होता है।

समाधान: Pi-GS (एक स्मार्ट आर्किटेक्ट)

लेखकों ने Pi-GS नामक एक नई विधि बनाई है। इसे एक ऐसे सुपर-स्मार्ट आर्किटेक्ट के रूप में सोचें जो केवल कुछ फोटो देखकर तुरंत कमरे का एक पूर्ण, सघन 3D मानचित्र तैयार कर सकता है, भले ही वह पहले कभी वहां न गया हो।

यहाँ चार मुख्य तरीके दिए गए हैं जिनका उपयोग Pi-GS करता है:

1. "मैजिक स्केच" (सघन $\pi^3$ इनिशियलाइजेशन)

आमतौर पर, 3D उपकरण फोटो के बीच मिलान वाले बिंदुओं की तलाश करके शुरुआती आकार का अनुमान लगाने की कोशिश करते हैं। कम फोटो होने पर, यह विफल हो जाता है।

समाधान: Pi-GS एक पूर्व-प्रशिक्षित AI नेटवर्क का उपयोग करता है जिसे $\pi^3$ कहा जाता है। इस नेटवर्क की कल्पना एक मास्टर ड्राफ्ट्समैन के रूप में करें जिसने लाखों कमरे देखे हैं। आप उसे अपने कुछ फोटो दिखाते हैं, और वह पारंपरिक तरीकों के धीमे, त्रुटिपूर्ण गणित की आवश्यकता के बिना तुरंत एक सघन पॉइंट क्लाउड (कमरे के आकार को दर्शाने वाला बिंदुओं का एक विशाल बादल) बना देता है।
उदाहरण: दो धुंधली तस्वीरों को देखकर कार के आकार का अनुमान लगाने के बजाय, आप एक विशेषज्ञ से पूछते हैं जो आपके लिए शुरुआत करने के लिए पूरी कार का चित्र तुरंत बना देता है।

2. "कॉन्फिडेंस फ़िल्टर" (अनसर्टेन्टी-गाइडेड डेप्थ)

"मैजिक स्केच" एकदम सटीक नहीं होता। कभी-कभी AI दीवार की गहराई का अनुमान लगाता है लेकिन वह शत-प्रतिशत सुनिश्चित नहीं होता।

समाधान: Pi-GS हर अनुमान पर आँख मूंदकर भरोसा नहीं करता है। यह एक विशेष गणितीय उपकरण (एक कॉन्फिडेंस-अवेयर लॉस) का उपयोग करता है जो कहता है, "यदि AI इस विशिष्ट स्थान के बारे में अनिश्चित है, तो इसे पूरी तरह से मैच करने के लिए मजबूर न करें। इसे थोड़ा हिलने-डुलने की अनुमति दें।"
उदाहरण: यदि आपका आर्किटेक्ट कहता है, "मुझे लगता है कि दरवाजा यहाँ है, लेकिन मैं इसके बारे में केवल 50% निश्चित हूँ," तो आप दरवाजे के फ्रेम को तुरंत ठोक नहीं देते। आप इसे बाद में समायोजित करने के लिए थोड़ी जगह छोड़ देते हैं ताकि आप इसे गलत जगह पर न बना दें।

3. "ग्रिड क्लीनर" (मास्क्ड नॉर्मल सुपरविज़न)

AI जो स्केच बनाता है, वह छवियों को छोटे वर्गों (एक मोज़ेक की तरह) में प्रोसेस करता है। कभी-कभी, इन वर्गों के किनारे टेढ़े-मेढ़े या "ग्रिड जैसे" दिखते हैं, जिससे अंतिम 3D मॉडल में बदसूरत आर्टिफैक्ट्स पैदा होते हैं।

समाधान: Pi-GS इन वर्गों के किनारों पर एक "मास्क" लगा देता है। यह 3D मॉडल को बताता है, "AI के स्केच के किनारों पर दिखने वाली अजीब ग्रिड लाइनों को अनदेखा करें; बस बीच के चिकने हिस्सों पर ध्यान केंद्रित करें।"
उदाहरण: यदि आप टाइल्स से बने भित्ति चित्र (म्यूरल) को पेंट कर रहे हैं, और ग्राउट की रेखाएं गंदी दिख रही हैं, तो आप पेंटर को टाइल्स के बीच के हिस्से में पेंट को चिकना करने और मिलन स्थल के गंदे किनारों को अनदेखा करने के लिए कहते हैं।

4. "फेक विंडो" (डेप्थ वार्पिंग और स्यूडो-व्यूज़)

जब आपके पास केवल कुछ ही फोटो होते हैं, तो AI "ओवरफिट" हो सकता है, जिसका अर्थ है कि यह उन विशिष्ट फोटो को पूरी तरह से याद कर लेता है, लेकिन जब आप दृश्य को एक नए कोण से देखते हैं तो यह विफल हो जाता है।

समाधान: Pi-GS नकली नए दृश्य (स्यूडो-व्यूज़) बनाता है। यह उपलब्ध फोटो को लेता है, उन्हें 3D स्पेस में प्रोजेक्ट करता है, और फिर उन्हें थोड़ा अलग कोण से लिया गया दिखाने के लिए "री-प्रोजेक्ट" करता है। यह मॉडल को अधिक लचीला बनाने के लिए इन नकली दृश्यों का उपयोग करता है।
उदाहरण: यदि आप केवल दो वीडियो से डांस स्टेप सीखने की कोशिश कर रहे हैं, तो आप फंस सकते हैं। लेकिन यदि आप कमरे में थोड़ी अलग जगह से खुद को कल्पना करके स्टेप्स का अभ्यास करते हैं, तो आप रूटीन को बेहतर ढंग से सीखते हैं और इसे किसी भी कोण से कर पाते हैं।

परिणाम

एक स्मार्ट शुरुआती स्केच, अनिश्चित अनुमानों के लिए एक फ़िल्टर, ग्रिड त्रुटियों के लिए एक क्लीनअप, और अतिरिक्त अभ्यास दृश्यों को जोड़कर, Pi-GS ऐसे 3D दृश्य बनाता है जो:

कम भूतिया वस्तुओं (फ्लोटर्स) वाले होते हैं।
हर कोण से सुसंगत दिखते हैं।
दृश्य की वास्तविक ज्यामिति (geometry) के साथ पूरी तरह से संरेखित होते हैं।

पेपर ने विभिन्न डेटासेट्स (जैसे इनडोर कमरे और आउटडोर दृश्य) पर इसका परीक्षण किया और दिखाया कि जब केवल कुछ ही फोटो उपलब्ध होते हैं, तो यह पिछले तरीकों की तुलना में बेहतर काम करता है, और इसके लिए जटिल, धीमे पारंपरिक 3D स्कैनिंग सेटअप की आवश्यकता भी नहीं होती है।

तकनीकी सारांश: Pi-GS: सघन $\pi^3$ इनिशियलाइजेशन के साथ स्पार्स-व्यू गाऊसी स्प्लेटिंग

समस्या विवरण
3D गाऊसी स्प्लेटिंग (3DGS) ने नवीन दृश्य संश्लेषण (NVS) के लिए एक अग्रणी विधि के रूप में अपनी स्थिति स्थापित की है, जो रीयल-टाइम रेंडरिंग और तीव्र प्रशिक्षण प्रदान करती है। हालांकि, इसका प्रदर्शन सटीक कैमरा पोज और उच्च गुणवत्ता वाले पॉइंट क्लाउड इनिशियलाइजेशन पर अत्यधिक निर्भर करता है, जो आमतौर पर स्ट्रक्चर फ्रॉम मोशन (SfM) पाइपलाइनों से प्राप्त होते हैं। स्पार्स-व्यू परिदृश्यों (जैसे 3 से 12 इनपुट इमेज) में, पारंपरिक SfM अक्सर सीमित इमेज ओवरलैप के कारण विफल हो जाता है, जिसके परिणामस्वरूप स्पार्स या गैर-मौजूद पॉइंट क्लाउड बनते हैं। इससे खराब इनिशियलाइजेशन, डेप्थ एम्बिग्युटी (गहराई संबंधी अस्पष्टता), ट्रेनिंग व्यूज पर ओवरफिटिंग, और पुनर्निर्मित दृश्य में "फ्लोटर्स" (आर्टिफैक्ट्स) का उदय होता है। जबकि मौजूदा लर्निंग-आधारित विकल्प मौजूद हैं, उनमें से कई को अभी भी विश्वसनीय संदर्भ दृश्यों की आवश्यकता होती है या वे पोज और डेप्थ त्रुटियों के प्रति संवेदनशील होते हैं।

कार्यप्रणाली
प्रस्तावित विधि, Pi-GS, एक सघन, रेफरेंस-फ्री पॉइंट क्लाउड एस्टिमेशन नेटवर्क ( $\pi^3$ ) को एक संशोधित 3DGS फ्रेमवर्क (विशेष रूप से PGSR) और ज्यामितीय नियमितीकरण (geometric regularization) तकनीकों के एक समूह के साथ एकीकृत करके इन चुनौतियों का समाधान करती है।

$\pi^3$ के माध्यम से सघन इनिशियलाइजेशन:
पारंपरिक SfM (जैसे COLOMAP) पर निर्भर रहने के बजाय, जो कम ओवरलैप वाले सेटिंग्स में स्पार्स पॉइंट क्लाउड उत्पन्न करता है, Pi-GS इनपुट इमेजेस से सीधे सघन पॉइंट क्लाउड्स और कैमरा पोज का अनुमान लगाने के लिए एक प्री-ट्रेन्ड, फीड-फॉरवर्ड परम्यूटेशन-इक्विवैरिएंट नेटवर्क ( $\pi^3$ ) का उपयोग करता है। प्रयोगों से पता चलता है कि $\pi^3$ एक दृश्य के लिए दस लाख से अधिक पॉइंट्स जेनरेट करता है जहाँ COLOMAP केवल ~1,000 पॉइंट्स बनाता है, जो अनुकूलन (optimization) के लिए एक मजबूत ज्यामितीय आधार प्रदान करता है।
अनुकूलित PGSR फ्रेमवर्क:
यह विधि प्लेनर-आधारित गाऊसी स्प्लेटिंग फॉर एफिशिएंट एंड हाई-फिडेलिटी सरफेस रिकंस्ट्रक्शन (PGSR) पर आधारित है। स्पार्स व्यूज को समायोजित करने के लिए, लेखक "मल्टी-व्यू ऑब्जर्वर ट्रिम" (जिसके लिए पॉइंट्स को कई कैमरों द्वारा देखा जाना आवश्यक है) और "ओपेसिटी रिसेट" तंत्र को निष्क्रिय कर देते हैं। ओपेसिटी रिसेट को अक्षम करने से ट्रेनिंग के दौरान बैकग्राउंड विवरणों का नुकसान और आर्टिफैक्ट्स का निर्माण रुक जाता है। इसके अतिरिक्त, गाऊसी डेंसिफिकेशन के लिए स्प्लिटिंग रणनीति को भी निष्क्रिय कर दिया गया है, क्योंकि $\pi^3$ से प्राप्त सघन इनिशियलाइजेशन पहले से ही पर्याप्त ज्यामितीय विवरण प्रदान करता है।
अनिश्चितता-जागरूक डेप्थ सुपरविजन:
ज्यामिति को नियमित करने के लिए, Pi-GS एक कॉन्फिडेंस-अवेयर पियर्सन कोरिलेशन लॉस ( $L_{pearson}$ ) का उपयोग करता है। मानक $L_1$ या $L_2$ लॉस के विपरीत, जो शोर वाले डेप्थ अनुमानों पर ओवरफिटिंग कर सकते हैं, यह लॉस $\pi^3$ द्वारा प्रदान किए गए कॉन्फिडेंस स्कोर को शामिल करता है। यह अनिश्चित क्षेत्रों को कम महत्व देता है, जिससे मॉडल संरचनात्मक निरंतरता बनाए रखते हुए उच्च-आवृत्ति विवरणों को पुनः प्राप्त करने में सक्षम होता है।
आर्टिफैक्ट-मुक्त नॉर्मल सुपरविजन:
सरफेस नॉर्मल्स को डेप्थ मैप्स से प्राप्त किया जाता है। हालांकि, क्योंकि $\pi^3$ इमेजेस को $14 \times 14$ पिक्सेल पैचेस में प्रोसेस करता है, ग्रेडिएंट विच्छेदन (discontinuities) नॉर्मल मैप्स में ग्रिड जैसे आर्टिफैक्ट्स पैदा करते हैं। Pi-GS एक मास्किंग रणनीति पेश करता है जो लॉस कंप्यूटेशन के दौरान इन पैचेस के आंतरिक बॉर्डर्स को अनदेखा करता है, जिससे अंतिम पुनर्निर्माण से ग्रिड आर्टिफैक्ट्स प्रभावी रूप से हट जाते हैं। सुपरविजन रेंडर किए गए और अनुमानित नॉर्मल्स के बीच $L_1$ लॉस का उपयोग करता है।
छद्म-दृश्यों (Pseudo-Views) के लिए डेप्थ वार्पिंग:
सामान्यीकरण (generalization) में सुधार करने और ओवरफिटिंग को कम करने के लिए, विधि डेप्थ वार्पिंग के माध्यम से छद्म-दृश्य उत्पन्न करती है। दो निकटतम ज्ञात कैमरा पोज के बीच सर्कल इंटरपोलेशन का उपयोग करके, नए वर्चुअल व्यूपॉइंट्स सिंथेसाइज किए जाते हैं। इस प्रोजेक्शन के दौरान कम कॉन्फिडेंस वाले पिक्सेल्स को मास्क आउट कर दिया जाता है। इन छद्म-दृश्यों का उपयोग प्रशिक्षण के दौरान कम वेट (0.1) के साथ अतिरिक्त फोटोमेट्रिक सुपरविजन (SSM और $L_1$ ) के लिए किया जाता है।

मुख्य योगदान

रेफरेंस-फ्री सघन इनिशियलाइजेशन: $\pi^3$ का एकीकरण पारंपरिक SfM पाइपलाइनों पर निर्भरता को समाप्त करता है, जो स्पार्स-व्यू 3DGS के लिए एक सघन ज्यामितीय प्रायर (prior) प्रदान करता है और इनिशियलाइजेशन विफलताओं को दूर करता है।
कॉन्फिडेंस-अवेयर पियर्सन लॉस: एक नवीन डेप्थ लॉस फॉर्मूलेशन जो संरचनात्मक निरंतरता और उच्च-आवृत्ति विवरणों की रिकवरी के बीच संतुलन बनाने के लिए अनिश्चितता अनुमानों का लाभ उठाता है, जिससे शोर वाले डेप्थ प्रेडिक्शन पर ओवरफिटिंग से बचा जा सके।
मजबूत स्पार्स-व्यू ऑप्टिमाइजेशन: एक संशोधित PGSR फ्रेमवर्क जो विशिष्ट डेंसिफिकेशन और ट्रिमिंग रणनीतियों को अक्षम करता है जो स्पार्स डेटा के लिए अनुपयुक्त हैं, साथ ही ग्रिड आर्टिफैक्ट्स को हटाने के लिए मास्क किया गया नॉर्मल सुपरविजन।
ज्यामितीय निरंतरता: डेप्थ वार्पिंग और छद्म-दृश्यों का उपयोग दृश्य निरंतरता को बढ़ाता है और जनरेटिव प्रायर या व्यू हैलुसिनेशन पर निर्भर किए बिना फ्लोटर्स को कम करता है।

प्रायोगिक परिणाम
Pi-GS का मूल्यांकन चार मानक डेटासेट्स: Tanks and Temples, MipNeRF360, LLFF, और DTU पर, 3-व्यू और 12-व्यू सेटिंग्स के तहत किया गया।

प्रदर्शन: यह विधि हालिया स्पार्स-व्यू विधियों जैसे Intern-GS, InstantSplat, SparseGS, और DNGaussian की तुलना में अधिकांश मेट्रिक्स (PSNR, SSIM, LPIPS) में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करती है।
गुणात्मक सुधार: विजुअल परिणाम मानक 3DGS और PGSR की तुलना में काफी कम फ्लोटर्स, सतह की ज्यामिति के साथ बेहतर संरेखण, और उच्च-आवृत्ति बनावट (textures) के बेहतर संरक्षण को प्रदर्शित करते हैं।
एब्लेशन स्टडीज: प्रयोग पुष्टि करते हैं कि प्रत्येक घटक अंतिम प्रदर्शन में योगदान देता है। विशेष रूप से, सघन इनिशियलाइजेशन सबसे बड़ा लाभ प्रदान करता है, उसके बाद डेप्थ रेगुलराइजेशन, नॉर्मल रेगुलराइजेशन और डेप्थ वार्पिंग का स्थान आता है। अध्ययन यह भी नोट करता है कि इस संदर्भ में गाऊसी स्प्लिटिंग को सक्षम करने से प्रदर्शन थोड़ा घट जाता है, जो इसके निष्क्रिय होने को न्यायसंगत बनाता है।
पोज सटीकता: $\pi^3$ द्वारा अनुमानित कैमरा पोज को Tanks and Temples डेटासेट पर 0.0293 के एब्सोल्यूट ट्रजेक्टरी एरर (ATE) के साथ मान्य किया गया, जो उच्च-फिडेलिटी पुनर्निर्माण के लिए उनकी उपयुक्तता की पुष्टि करता है।

महत्व और सीमाएं
पेपर का दावा है कि Pi-GS पुनरावृत्त, विफल होने वाली SfM पाइपलाइनों से हटकर मजबूत, फीड-फॉरवर्ड ज्यामितीय इनिशियलाइजेशन पर ध्यान केंद्रित करके स्पार्स-व्यू 3D पुनर्निर्माण को महत्वपूर्ण रूप से आगे बढ़ाता है। दृश्य हैलुसिनेशन के बजाय ज्यामितीय निरंतरता और सामान्यीकरण पर ध्यान केंद्रित करके, विधि दृश्य-सुसंगत नवीन दृश्य (novel views) उत्पन्न करती है जो बेहतर सतह संरेखण के साथ आते हैं।

लेखक विशिष्ट सीमाओं को स्वीकार करते हैं:

मेमोरी बाधाएं: $\pi^3$ के साथ बड़ी संख्या में इनपुट व्यूज को प्रोसेस करने के लिए महत्वपूर्ण GPU मेमोरी की आवश्यकता होती है, जिससे बहुत बड़े डेटासेट्स के लिए इसे वर्तमान में उपभोक्ता हार्डवेयर पर निष्पादित करना कठिन हो जाता है।
डेप्थ एस्टिमेशन त्रुटियां: विशिष्ट चुनौतीपूर्ण दृश्यों (जैसे LLFF में "लीव्स" सीन) में गलत डेप्थ अनुमान अभी भी पुनर्निर्माण की गुणवत्ता को प्रभावित कर सकते हैं।
अनदेखे क्षेत्र: अन्य गैर-जनरेटिव विधियों की तरह, Pi-GS उन क्षेत्रों में ज्यामिति को पुनर्निर्मित नहीं कर सकता जो इनपुट व्यूज द्वारा पूरी तरह से अनऑब्जर्वड (unobserved) हैं, हालांकि यह देखे गए क्षेत्रों को बिना ओवरस्मूथिंग के सटीक रूप से पुनर्निर्मित करता है।

लेखकों द्वारा सुझाए गए भविष्य के कार्यों में कैमरा पोज और गाऊसी सीन का संयुक्त अनुकूलन, और छिपे हुए क्षेत्रों को अधिक प्रभावी ढंग से संभालने के लिए जनरेटिव प्रायर का संभावित एकीकरण शामिल है।