🤖 AI

UniqueSplat: View-conditioned 3D Gaussian Splatting for Generalizable 3D Reconstruction

UniqueSplat एक नवीन दृश्य-सशर्त (view-conditioned) फीड-फॉरवर्ड 3D गॉसियन स्प्लेटिंग मॉडल है जो विशिष्ट लक्षित दृश्यों के आधार पर गॉसियन्स को गतिशील रूप से समायोजित करने के लिए एक दो-शाखा वाले हाइपरनेटवर्क (two-branch hyperNetwork) का उपयोग करता है, जिससे यह निश्चित गॉसियन्स पर निर्भर मौजूदा विधियों की तुलना में बेहतर सामान्यीकरण और पुनर्निर्माण गुणवत्ता प्राप्त करता है।

मूल लेखक: Haixu Song, Xiaoke Yang, Shengjun Zhang, Jiwen Lu, Yueqi Duan

प्रकाशित 2026-08-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haixu Song, Xiaoke Yang, Shengjun Zhang, Jiwen Lu, Yueqi Duan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कैमरा पकड़े हुए हैं, लेकिन केवल एक सपाट तस्वीर लेने के बजाय, आप पूरी दुनिया को इस तरह से कैद करना चाहते हैं जिससे आप उस फोटो के अंदर घूम सकें। यह "नोवेल व्यू सिंथेसिस" (novel view synthesis) का सपना है, जो कंप्यूटर विज़न की एक शाखा है जो मशीनों को यह सिखाने की कोशिश करती है कि 2D छवियों से 3D स्थान को कैसे समझा जाए। लंबे समय तक, कंप्यूटर इसे तेज़ी से या वास्तविकता के साथ करने में संघर्ष करते रहे। या तो वे हर छोटे विवरण की गणना करने में बहुत अधिक समय लेते थे (जैसे हर एक फोटो के लिए ईंट-दर-ईंट घर बनाने की कोशिश करना) या वे धुंधले, ग्लिच वाले परिणाम देते थे जो टूटे हुए दर्पण की तरह दिखते थे। हाल ही में, "3D गॉसियन स्प्लेटिंग" (3D Gaussian Splatting) नामक एक चतुर तकनीक आई, जो एक दृश्य को एक ठोस वस्तु के रूप में नहीं, बल्कि लाखों छोटे, धुंधले, रंगीन गोलों (गॉसियन्स) के बादल के रूप में दर्शाती है। ये गोले एक स्क्रीन पर बहुत तेज़ी से पेंट किए जा सकते हैं, जिससे सुंदर, रियल-टाइम 3D दृश्य बनते हैं। लेकिन इसमें एक पेंच था: अधिकांश मौजूदा तरीकों ने पूरे दृश्य के लिए इन गोलों का एक एकल, स्थिर बादल बनाया और उम्मीद की कि यह हर कोण से अच्छा दिखेगा। यह एक ही जोड़ी जूते पहनने जैसा था जिससे आप मैराथन दौड़ सकें, एक लैप तैर सकें और पहाड़ पर चढ़ सकें; यह एक के लिए ठीक काम कर सकता है, लेकिन सभी के लिए कभी भी पूर्ण नहीं होता।

यहीं पर "यूनिकस्प्लेट" (UniqueSplat) एक नए विचार के साथ आता है। शोधकर्ताओं ने, त्सिंगहुआ विश्वविद्यालय के हायक्सु सॉन्ग और सहयोगियों के नेतृत्व में, महसूस किया कि एक आदर्श दृश्य प्राप्त करने के लिए, कंप्यूटर को केवल गोलों का एक एकल स्थिर बादल नहीं बनाना चाहिए। इसके बजाय, उसे हर एक नए कोण के लिए जिसे आप देखना चाहते हैं, गोलों का एक कस्टम बादल बनाना चाहिए। वे अपने तरीके को "व्यू-कंडीशन्ड" (view-conditioned) कहते हैं, जो एक फैंसी तरीका है यह कहने का कि मॉडल अपना मन बदल लेता है कि आप कहाँ देख रहे हैं। उन्होंने एक "डुअल-ब्रांच" (dual-branch) प्रणाली पेश की। इसे एक मास्टर शेफ (AI) की तरह समझें जिसके पास जानकारी के दो स्रोत हैं: एक सामान्य कुकबुक ("व्यू-एग्नोस्टिक" ब्रांच) जो किसी भी व्यंजन के लिए खाना पकाने के बुनियादी नियम सिखाती है, और एक विशिष्ट ऑर्डर टिकट ("व्यू-स्पेसिफिक" ब्रांच) जो शेफ को बताता है कि ग्राहक को अभी वास्तव में क्या चाहिए—शायद अतिरिक्त तीखा, या बिना प्याज के। इन दोनों को मिलाकर, यूनिकस्प्लेट विशिष्ट दृश्य बिंदु (viewpoint) के अनुकूल ढलने के लिए 3D दृश्य को गतिशील रूप से समायोजित कर सकता है, जिससे उन दरारों और धुंधलेपन को ठीक किया जा सकता है जो अन्य विधियाँ छोड़ देती हैं।

पेपर सुझाव देता है कि यह दृष्टिकोण एक महत्वपूर्ण कदम है। जब RealEstate10K (हजारों रियल एस्टेट वीडियो), ACID (प्राकृतिक परिदृश्य), और DTU (ऑब्जेक्ट स्कैन) जैसे लोकप्रिय डेटासेट्स पर परीक्षण किया गया, तो यूनिकस्प्लेट ने न केवल अच्छा प्रदर्शन किया; बल्कि इसने वर्तमान सर्वोत्तम विधियों को भी पीछे छोड़ दिया। RealEstate10K डेटासेट पर, इसने 27.28 dB का स्कोर प्राप्त किया (जो छवि गुणवत्ता का एक माप है), जो पिछले लीडर MVSplat से अधिक है, जिसने 26.39 dB स्कोर किया था। और भी अधिक प्रभावशाली बात यह है कि जब टीम ने मॉडल का परीक्षण उस डेटा पर किया जिसे उसने पहले कभी नहीं देखा था (क्रॉस-डेटासेट टेस्टिंग), तब भी इसने उन मॉडलों की तुलना में बेहतर प्रदर्शन किया जो विशेष रूप से उन नए डेटासेट्स पर प्रशिक्षित थे। उदाहरण के लिए, DTU डेटासेट पर, यूनिकस्प्लेट ने 16.01 dB का स्कोर प्राप्त किया, जबकि पिछले सर्वश्रेष्ठ तरीके ने केवल 14.93 dB हासिल किया था। लेखक तर्क देते हैं कि हर चीज़ के लिए एक एकल "निश्चित" दृश्य थोपने के बजाय विशिष्ट दृश्यों के अनुकूल होने को सीखकर, मॉडल अधिक यथार्थवादी चित्र बनाता है जिसमें दरारें या धुंधलापन जैसे आर्टिफैक्ट्स कम होते हैं।

हालाँकि, पेपर सावधानी से यह नोट करता है कि यह कोई जादुय छड़ी नहीं है जो सब कुछ हल कर देती है। शोधकर्ता एक विशिष्ट सीमा की ओर इशारा करते हैं: क्योंकि मॉडल इनपुट छवियों में जो देखता है उसके आधार पर 3D संरचना की भविष्यवाणी करता है, इसलिए यह कभी-कभी दृश्य के उन हिस्सों के साथ संघर्ष करता है जो पूरी तरह से छिपे हुए या "अनदेखे" हैं। इन कठिन स्थानों में, मॉडल भ्रमित हो सकता है या आर्टिफैक्ट्स बना सकता है, जैसा कि उनके फेल्योर केस (failure case) चित्रों में दिखाया गया है। वे सुझाव देते हैं कि भविष्य के कार्यों को उन गायब अंतरालों को भरने के लिए और भी अधिक शक्तिशाली उपकरणों, जैसे कि जेनेरेटिव मॉडल्स, को लाने की आवश्यकता हो सकती है। लेकिन फिलहाल के लिए, यूनिकस्प्लेट इस बात का एक मजबूत प्रदर्शन है कि कंप्यूटर को हर एक नज़र के लिए अपनी 3D समझ को "कस्टमाइज़" करने की क्षमता देने से अधिक स्पष्ट, तीक्ष्ण और इमर्सिव आभासी दुनिया बनती है।

UniqueSplat का तकनीकी सारांश: सामान्यीकरण योग्य 3D पुनर्निर्माण के लिए व्यू-कंडीशनड (View-conditioned) 3D गॉसियन स्प्लेटिंग

समस्या विवरण
नोवल व्यू सिंथेसिस (NVS) कंप्यूटर विज़न में एक मौलिक चुनौती है जिसके अनुप्रयोग वर्चुअल रियलिटी, रोबोटिक्स और ऑटोनॉमस ड्राइविंग में हैं। जबकि 3D गॉसियन स्प्लेटिंग (3DGS) 3D गॉसियन प्रिमिटिव्स के साथ दृश्यों का प्रतिनिधित्व करके रीयल-टाइम रेंडरिंग के लिए एक अत्यधिक कुशल तरीका बनकर उभरा है, मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं, जो सामान्यीकरण (generalizability) के मामले में हैं। पारंपरिक 3DGS प्रत्येक विशिष्ट दृश्य के लिए लाखों मापदंडों (parameters) को अनुकूलित करने की आवश्यकता रखता है, जो कम्प्यूटेशनल रूप से महंगा है और इसमें स्थानांतरणीयता (transferability) का अभाव है।

हाल के फीड-फॉरवर्ड तरीके, जैसे कि pixelSplat और MVSplat, स्पार्स इनपुट व्यूज से एक सिंगल फॉरवर्ड पास में गॉसियन मापदंडों की भविष्यवाणी करके इसे संबोधित करते हैं। हालाँकि, ये विधियाँ पूरे दृश्य के लिए फिक्स्ड गॉसियंस (fixed Gaussians) उत्पन्न करती हैं, चाहे लक्षित दृश्य (target viewpoint) कोई भी हो। वे सभी दृश्यों और ग्राउंड ट्रुथ के बीच त्रुटि को कम करते हैं, लेकिन भविष्यवाणी प्रक्रिया के दौरान विशिष्ट लक्षित दृश्य की जानकारी को शामिल करने में विफल रहते हैं। परिणामस्वरूप, ये फिक्स्ड रिप्रजेंटेशन विशिष्ट दृष्टिकोणों के अनुकूल होने में संघर्ष करते हैं, जिससे दरारें (cracks), धुंधलापन (blurs) और विरूपण (distortions) जैसे आर्टिफैक्ट्स उत्पन्न होते हैं, विशेष रूप से क्रॉस-डेटासेट मूल्यांकन या बड़े बेसलाइन परिदृश्यों में।

कार्यप्रणाली: UniqueSplat
लेखक UniqueSplat का प्रस्ताव करते हैं, जो एक व्यू-कंडीशनड फीड-फॉरवर्ड 3D गॉसियन स्प्लेटिंग मॉडल है जिसे प्रत्येक विशिष्ट व्यू क्वेरी के लिए कस्टमाइज्ड 3D रेडिएंस फील्ड्स को पुनर्गठित करने के लिए डिज़ाइन किया गया है। एक दृश्य के लिए स्थिर गॉसियन्स का सेट भविष्यवाणी करने के बजाय, UniqueSplat लक्षित दृश्य के आधार पर गॉसियन मापदंडों को गतिशील रूप से समायोजित करता है।

मुख्य नवाचार एक डुअल-ब्रांच व्यू-कंडीशनड हाइपरनेटवर्क (dual-branch view-conditioned hypernetwork) है जो प्राइमरी नेटवर्क के प्रेडिक्टर लेयर्स में व्यू-डिपेंडेंट प्रायर्स (priors) को इंजेक्ट करता है। इसकी आर्किटेक्चर निम्नलिखित है:

प्राइमरी नेटवर्क (Primary Network): इसमें एक एनकोडर ( $E_p$ ) और एक प्रेडिक्टर शामिल है। एनकोडर स्पार्स इनपुट इमेजेस को प्रोसेस करके फीचर वॉल्यूम्स जेनरेट करता है। प्रेडिक्टर 3D गॉसियन प्रिमिटिव्स के मापदंडों (सेंटर $\mu$ , कोवेरिएंस $\Sigma$ , ओपेसिटी $\alpha$ , और कलर $c$ ) का अनुमान लगाता है।
व्यू-कंडीशनड हाइपरनेटवर्क (View-Conditioned Hypernetwork): यह घटक प्रेडिक्टर के कन्वेल्शनल लेयर्स के लिए वेट्स (weights) को गतिशील रूप से जेनरेट करता है। इसे दो पूरक शाखाओं में विभाजित किया गया है:
- व्यू-एग्नोस्टिक ब्रांच (View-Agnostic Branch): यह विविध दृश्यों में साझा करने योग्य, सामान्यीकरण योग्य विशेषताओं को कैप्चर करने के लिए लर्नबल एम्बेडिंग्स ( $e_a$ ) का उपयोग करता है। एक हाइपरनेटवर्क ( $H_a$ ) इन एम्बेडिंग्स को वेट्स ( $W_a$ ) में मैप करता है, जो विशिष्ट दृष्टिकोणों से स्वतंत्र दृश्य समझ के लिए एक स्थिर आधार प्रदान करता है।
- व्यू-स्पेसिफिक ब्रांच (View-Specific Branch): इसे लक्षित दृश्य (target view) के अद्वितीय गुणों को कैप्चर करने के लिए डिज़ाइन किया गया है। यह इनपुट व्यूज से फीचर्स निकालता है, उन्हें एपिपोलर ज्योमेट्री और प्रोजेक्शन मैट्रिसेस ( $P_t$ ) का उपयोग करके लक्षित दृश्य में प्रोजेक्ट करता है, और उन्हें व्यू-स्पेसिफिक एम्बेडिंग ( $e_s$ ) में फ्यूज करता है। एक दूसरा हाइपरनेटवर्क ( $H_s$ ) इस एम्बेडिंग के आधार पर एडजस्टमेंट वेट्स ( $\Delta W$ ) जेनरेट करता है।
वेट फ्यूजन (Weight Fusion): प्रेडिक्टर के अंतिम वेट्स को व्यू-एग्नोस्टिक वेट्स ( $W_a$ ) और व्यू-स्पेसिफिक एडजस्टमेंट्स ( $\Delta W$ ) को फ्यूज करके कंप्यूट किया जाता है। यह मॉडल को साझा दृश्य ज्ञान का लाभ उठाने और साथ ही विशिष्ट दृश्य की ज्यामिति (geometry) और दिखावट (appearance) के अनुसार गतिशील रूप से अनुकूलित होने की अनुमति देता है।

मॉडल को MSE और LPIPS लॉस के संयोजन का उपयोग करके प्रशिक्षित किया जाता है ताकि पिक्सेल-लेवल सटीकता और पर्सेप्चुअल क्वालिटी दोनों सुनिश्चित की जा सकें।

प्रमुख योगदान
पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

UniqueSplat फ्रेमवर्क: प्रत्येक व्यू क्वेरी के लिए गॉसियन्स को गतिशील रूप से कस्टमाइज़ करने वाला पहला फीड-फॉरवर्ड 3D गॉसियन स्प्लेटिंग मॉडल, जो पूर्ववर्ती स्टेट-ऑफ-द-आर्ट विधियों द्वारा उपयोग किए जाने वाले फिक्स्ड गॉसियन्स की सीमा से आगे बढ़ता है।
डुअल-ब्रांच हाइपरनेटवर्क: एक अभिनव आर्किटेक्चर जो दृश्य ज्ञान को व्यू-एग्नोस्टिक (शेयरेबल) और व्यू-स्पेसिफिक (एडेप्टिव) घटकों में अलग करता है। पिछले हाइपरनेटवर्क-आधारित NVS तरीकों के विपरीत, जो केवल इनपुट सिग्नल्स से वेट्स जेनरेट करते हैं, यह दृष्टिकोण लक्षित दृश्य को एक कंडीशन के रूप में स्पष्ट रूप से मॉडल करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: व्यापक प्रयोगों से पता चलता है कि UniqueSplat मानक बेंचमार्क (RealEstate10K, ACID, DTU) पर बेहतर मात्रात्मक और गुणात्मक परिणाम प्राप्त करता है और क्रॉस-डेटासेट मूल्यांकन में उल्लेखनीय सामान्यीकरण क्षमता प्रदर्शित करता है।

प्रायोगिक परिणाम
लेखकों ने RealEstate10K, ACID, और DTU डेटासेट्स पर pixelNeRF, GPNR, pixelSplat, MVSplat, और TranSplat जैसे तरीकों के साथ तुलना करते हुए UniqueSplat का मूल्यांकन किया।

इंट्रा-डेटासेट प्रदर्शन: RealEstate10K पर, UniqueSplat ने 27.28 dB का PSNR प्राप्त किया, जो MVSplat (26.39 dB) और TranSplat (26.69 dB) से बेहतर है। ACID पर, इसने 29.06 dB प्राप्त किया, जो पिछले सर्वश्रेष्ठ से काफी अधिक है।
क्रॉस-डेटासेट सामान्यीकरण: ज़ीरो-शॉट सेटिंग्स (RealEstate10K पर प्रशिक्षित, ACID और DTU पर परीक्षण) में, UniqueSplat ने मजबूत सामान्यीकरण दिखाया। उदाहरण के लिए, DTU डेटासेट पर, इसने 16.01 dB का PSNR प्राप्त किया, जो MVSplat (13.94 dB) और pixelSplat (12.89 dB) से काफी बेहतर है।
दक्षता (Efficiency): हालांकि हाइपरनेटवर्क जोड़ने से MVSplat की तुलना में जटिलता बढ़ती है, फिर भी UniqueSplat कुशल बना हुआ है। इसके लिए 38.1M पैरामीटर्स की आवश्यकता होती है और एक A6000 GPU पर इसका इन्फरेंस टाइम 0.065s है, जो भारी ट्रांसफार्मर-आधारित मॉडल्स जैसे TransSplat की तुलना में प्रदर्शन और कम्प्यूटेशनल लागत के बीच एक बेहतर संतुलन प्रदान करता है।
गुणात्मक सुधार: विजुअल तुलना दर्शाती है कि UniqueSplat उच्च-फिडेलिटी इमेज बनाता है जिसमें बेसलाइन विधियों की तुलना में कम आर्टिफेक्ट्स (दरारें, धुंधलापन) और बेहतर स्ट्रक्चरल प्रिजर्वेशन होता है, विशेष रूप से बड़े कोणीय रूपांतरणों (angular transformations) और अनदेखे क्षेत्रों में।

महत्व और सीमाएं
पेपर का दावा है कि UniqueSplat फिक्स्ड गॉसियन रिप्रजेंटेशन की कठोरता को संबोधित करके सामान्यीकरण योग्य 3D पुनर्निर्माण में एक महत्वपूर्ण कदम है। व्यू-कंडीशनड जानकारी को एक प्रायर के रूप में शामिल करके, मॉडल सफलतापूर्वक विशिष्ट दृष्टिकोणों के अनुकूल होता है, जिससे अधिक यथार्थवादी और उच्च-गुणवत्ता वाला नोवल व्यू सिंथेसिस प्राप्त होता है। डुअल-ब्रांच डिज़ाइन सामान्य दृश्य समझ और व्यू-स्पेसिफिक अनुकूलन की आवश्यकता के बीच प्रभावी ढंग से संतुलन बनाता है।

हालाँकि, लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं। चूंकि यह विधि इनपुट व्यूज के लिए पिक्सेल-अलाइन्ड गॉसियन्स की भविष्यवाणी करती है, इसलिए यह दृश्य के अनदेखे क्षेत्रों (जैसे कि स्पार्स इनपुट व्यूज में दिखाई न देने वाले ऑक्लूडेड क्षेत्र) को रेंडर करते समय अभी भी आर्टिफेक्ट्स पेश कर सकती है। लेखक सुझाव देते हैं कि भविष्य के कार्य इन चुनौतीपूर्ण क्षेत्रों को बेहतर ढंग से संभालने के लिए जनरेटिव मॉडल्स, जैसे कि डिफ्यूजन मॉडल्स को एकीकृत करके इसे संबोधित कर सकते हैं।

इसी तरह के और पेपर