💻 computer science

LocusGS: Spatially Grounded Tokens for Feed-Forward 3D Gaussian Splatting

LocusGS स्पष्ट 3D एंकर अवस्थाओं (केंद्र और त्रिज्या) को गॉसियन प्रश्नों (Gaussian queries) के लिए पेश करके फीड-फॉरवर्ड 3D गॉसियन स्प्लेटिंग को बढ़ाता है, जो शुद्ध लेटेंट निरूपणों (latent representations) की तुलना में रेंडरिंग गुणवत्ता और संरचनात्मक संरेखण में सुधार करने के लिए स्थानिक रूप से सुसंगत फीचर एकत्रीकरण और डिकोडिंग को निर्देशित करता है।

मूल लेखक: Wenyu Li, Sidun Liu, Tongrui Hu, Peng Qiao, Yong Dou

प्रकाशित 2026-08-14

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Wenyu Li, Sidun Liu, Tongrui Hu, Peng Qiao, Yong Dou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप कुछ अलग-अलग कोणों से ली गई तस्वीरों को देखकर एक विशाल, जटिल लेगो (Lego) महल को फिर से बनाने की कोशिश कर रहे हैं। कंप्यूटर विज़न की दुनिया में, यह एक क्लासिक चुनौती है जिसे "3D रिकंस्ट्रक्शन" (3D reconstruction) कहा जाता है। लंबे समय तक, कंप्यूटरों को हर नए महल के लिए लाखों छोटे आभासी ईंटों (virtual bricks) को एक-एक करके सावधानीपूर्वक व्यवस्थित करना पड़ता था, जो एक धीमी और महंगी प्रक्रिया थी। हाल ही में, "3D गॉसियन स्प्लेटिंग" (3D Gaussian Splating) नामक एक चतुर शॉर्टकट आया। कठोर ब्लॉकों से निर्माण करने के बजाय, यह तरीका लाखों नरम, धुंधले 3D "बादलों" (जिन्हें गॉसियन कहा जाता है) का उपयोग करता है जिन्हें दृश्य के आकार और रूप से पूरी तरह मेल खाने के लिए सिकोड़ा, खींचा और रंगा जा सकता है। इन बादलों को तुरंत नई तस्वीरों में बदला जा सकता है, जिससे वे वर्चुअल रियलिटी और रोबोटिक्स के लिए एकदम सही बन जाते हैं।

हालाँकि, इस तकनीक के नवीनतम, सबसे तेज़ संस्करण के साथ एक समस्या है। प्रक्रिया को और तेज़ करने के लिए, कुछ शोधकर्ताओं ने "क्वेरी-आधारित" (query-based) दृष्टिकोण का उपयोग करना शुरू किया। इसे ऐसे समझें कि एक अदृश्य जासूसों की टीम (जिन्हें "टोकन" कहा जाता है) को महल के आकार का पता लगाने के लिए काम पर रखा गया है। प्रत्येक जासूस को तस्वीरों को देखना चाहिए, सुराग इकट्ठा करने चाहिए, और फिर महल के एक हिस्से को बनाने के लिए धुंधले बादलों के एक विशिष्ट समूह के बारे में चिल्लाकर बताना चाहिए। आदर्श रूप से, जासूस A को सामने का दरवाजा बनाना चाहिए और जासूस B को छत बनानी चाहिए। लेकिन समस्या यह है कि वर्तमान तरीकों में, जासूस भ्रमित हो जाते हैं। जासूस A एक साथ सामने के दरवाजे, छत और चिमनी के लिए बादल चिल्ला सकता है, जिससे वे पूरे महल में बिखर जाते हैं। परिणाम एक अस्त-व्यस्त, धुंधला पुनर्निर्माण होता है जहाँ बादल सही जगहों पर नहीं टिक पाते, और दृश्य ऐसा दिखता है जैसे कोई सपना जहाँ वस्तुएं गलत जगहों पर तैर रही हों।

यहीं पर "LocusGS" नामक पेपर इस स्थिति को सुधारने के लिए आता है। लेखकों की टीम (नेशनल यूनिवर्सिटी ऑफ डिफेंस टेक्नोलॉजी से) ने महसूस किया कि इन अदृश्य जासूसों के पास एक महत्वपूर्ण जानकारी की कमी थी: एक भौतिक पता (physical address)। उनके नए सिस्टम, LocusGS में, वे प्रत्येक जासूस को एक "3D एंकर" (3D anchor) देते हैं। यह केवल एक अस्पष्ट विचार नहीं है; यह 3D स्पेस में एक विशिष्ट निर्देशांक (केंद्र बिंदु) और एक त्रिज्या (उनके "ज़ोन ऑफ़ रिस्पॉन्सिबिलिटी" या जिम्मेदारी के क्षेत्र का आकार) है। जैसे-जैसे जासूस काम करते हैं, वे केवल अनुमान नहीं लगाते; वे लगातार अपने पते को परिष्कृत करते रहते हैं। यदि एक जासूस को सामने के दरवाजे के लिए सौंपा गया है, तो उनका एंकर उन्हें वहीं टिकाए रखता है, जिससे उन्हें छत की ओर भटकने से रोका जा सके। यह "स्थानिक ग्राउंडिंग" (spatial grounding) धुंधले बादलों को व्यवस्थित, सघन समूहों में रहने के लिए मजबूर करती है जो वास्तव में उस वस्तु के आकार से मेल खाते हैं जिसका वे प्रतिनिधित्व करने के लिए जिम्मेदार हैं।

पेपर सुझाव देता है कि इस भौतिक एंकर को जोड़ने से बहुत बड़ा अंतर पड़ता है। जब उन्होंने RealEstate10K और DL3DV जैसे मानक डेटासेट्स पर अपने तरीके का परीक्षण किया, तो उन्होंने पाया कि LocusGS ने पिछले सर्वोत्तम तरीकों की तुलना में स्पष्ट और अधिक तीक्ष्ण चित्र बनाए, भले ही उन्होंने धुंधले बादलों की बिल्कुल समान संख्या का उपयोग किया हो। "जासूस" (टोकन) ने बादलों को हर जगह बिखेरना बंद कर दिया और इसके बजाय उन्होंने टाइट, संगठित क्लस्टर बनाए जो दृश्य की ज्यामिति का पूरी तरह से पालन करते थे। लेखकों ने इसे यह दिखाकर मापा कि एक एकल टोकन द्वारा उत्पन्न बादल एक-दूसरे के बहुत करीब (अधिक सघन) थे और समग्र 3D संरचना अधिक सुसंगत थी। उन्होंने यह भी पाया कि एंकर स्वयं दृश्य में एक तार्किक "स्कैफोल्ड" (scaffold) बनाते हैं, जो अंतिम विवरणों को बनाने से पहले ही प्रभावी रूप से वस्तु के विभिन्न हिस्सों का मानचित्र तैयार कर देते हैं।

संक्षेप में, पेपर तर्क देता है कि इन डिजिटल बिल्डरों को एक स्पष्ट, भौतिक स्थान प्रदान करके, आप उन्हें खो जाने और अपने काम को बिखेरने से रोक सकते हैं। परिणाम एक ऐसा 3D दृश्य है जो अधिक वास्तविक दिखता है, जिसमें तैरते हुए आर्टिफैक्ट्स कम हैं और बेहतर परिभाषित आकार हैं। लेखक दिखाते हैं कि यह दृष्टिकोण कैमरा व्यू के विभिन्न संख्या में भी अच्छी तरह से काम करता है और बेहतर परिणाम प्राप्त करने के लिए सिस्टम को धीमा करने या अधिक कंप्यूटिंग पावर का उपयोग करने की आवश्यकता नहीं होती है। यह एक याद दिलाता है कि कभी-कभी, एक अराजक डिजिटल दुनिया को व्यवस्थित करने का सबसे अच्छा तरीका यह है कि हर चीज़ को खड़े होने के लिए एक स्पष्ट स्थान दिया जाए।

तकनीकी सारांश: LocusGS

समस्या विवरण (Problem Statement)

हाल के फीड-फॉरवर्ड 3D गॉसियन स्प्लेटिंग (3DGS) तरीकों ने लागतपूर्ण प्रति-दृश्य अनुकूलन (per-scene optimization) से हटकर सीधे इनपुट दृश्यों से भविष्यवाणी करने की ओर रुख किया है। इनमें से, क्वेरी-आधारित दृष्टिकोण (जैसे, TokenGS) एक दृश्य को फिक्स्ड सेट के लर्न करने योग्य क्वेरीज़ (टोकन्स) का उपयोग करके प्रस्तुत करते हैं। प्रत्येक टोकन एक ट्रांसफॉर्मर डिकोडर के माध्यम से मल्टी-व्यू साक्ष्य (multi-view evidence) को एकत्रित करता है और उसे 3D गॉसियनों के एक समूह में डिकोड किया जाता है।

हालाँकि, लेखक मौजूदा क्वेरी-आधारित तरीकों में एक महत्वपूर्ण सीमा देखते हैं: कम स्थानिक सुसंगतता (weak spatial coherence)। जबकि आदर्श रूप से, विभिन्न क्वेरीज़ को दृश्य के विशिष्ट, सुसंगत स्थानीय क्षेत्रों में विशेषज्ञता रखनी चाहिए, एक ही लेटेंट क्वेरी से डिकोड किए गए गॉसियन अक्सर दूरस्थ, असंबंधित दृश्य क्षेत्रों में बिखरे हुए होते हैं। इसके परिणामस्वरूप एक स्थानिक रूप से विसरित (diffuse) वितरण होता है जो अंतर्निहित दृश्य संरचना के साथ ठीक से संरेखित नहीं हो पाता है। लेखक इस विफलता का कारण मौजूदा गॉसियन क्वेरीज़ का शुद्ध रूप से लेटेंट प्रतिनिधित्व (purely latent representation) मानते हैं, जिनमें यह स्पष्ट धारणा नहीं होती कि एक क्वेरी 3D स्थान में कहाँ कार्य करती है या वह कितने बड़े क्षेत्र को कवर करती है। फलस्वरूप, एक क्वेरी द्वारा एकत्रित किया गया मल्टी-व्यू साक्ष्य और परिणामी गॉसियन एक सुसंगत स्थानीय क्षेत्र तक सीमित नहीं रह पाते।

कार्यप्रणाली (Methodology): LocusGS

इसे संबोधित करने के लिए, लेखक LocusGS (Spatially Grounded Tokens) का प्रस्ताव करते हैं, जो प्रत्येक गॉसियन क्वेरी को एक स्पष्ट 3D एंकर स्टेट (3D anchor state) के साथ जोड़ता है। यह स्टेट एक 3D केंद्र ( $\mu$ ) और एक सपोर्ट रेडियस ( $r$ ) से मिलकर बना है।

मुख्य घटक (Key Components)

स्पष्ट 3D एंकर स्टेट्स (Explicit 3D Anchor States):
एक क्वेरी को केवल एक लेटेंट फीचर वेक्टर के रूप में दर्शाने के बजाय, LocusGS प्रत्येक डिकोडर लेयर $l$ पर क्वेरी $i$ को एक एंकर स्टेट $a^l_i = (\mu^l_i, r^l_i)$ के साथ जोड़ता है।
- केंद्र ( $\mu$ ): क्वेरी के वर्तमान 3D संदर्भ स्थान को निर्दिष्ट करता है।
- त्रिज्या ( $r$ ): क्वेरी के स्थानीय सपोर्ट क्षेत्र के विस्तार को परिभाषित करता है। त्रिज्या को एक अनकन्स्ट्रेंड वेरिएबल $\rho$ के माध्यम से पैरामीटराइज़ किया जाता है जिसे धनात्मकता सुनिश्चित करने के लिए softplus फंक्शन से गुजारा जाता है।
- ये स्टेट्स लर्न करने योग्य हैं, दृश्यों के बीच साझा किए जाते हैं, और डिकोडर लेयर्स के दौरान क्रमिक रूप से परिष्कृत (refine) किए जाते हैं।
एंकर-गाइडेड डिकोडर (Anchor-Guided Decoder):
डिकोडर एंकर स्टेट्स का उपयोग सेल्फ-अटेंशन और क्रॉस-अटेंशन मैकेनिज्म दोनों को निर्देशित करने के लिए करता है:
- एंकर-अवेयर सेल्फ-अटेंशन (Anchor-Aware Self-Attention): एंकर सेंटर $\mu$ से प्राप्त एक पोजीशनल एम्बेडिंग को टोकन फीचर्स में इंजेक्ट किया जाता है। यह सुनिश्चित करता है कि गॉसियन टोकन्स के बीच इंटरैक्शन केवल लेटेंट फीचर समानता पर नहीं, बल्कि उनके सापेक्ष 3D स्थानों पर निर्भर करें।
- एंकर-टू-रे ज्योमेट्रिक बायस (क्रॉस-अटेंशन) (Anchor-to-Ray Geometric Bias): मल्टी-व्यू साक्ष्य को एकत्रित करने के लिए, यह विधि इमेज टोकन्स से जुड़े कैमरा रेज़ $\ell_j$ $ℓ_{j}$ और क्वेरी के एंकर सेंटर $\mu^l_i$ $μ_{i}^{l}$ के बीच की दूरी के आधार पर एक ज्योमेट्रिक बायस पेश करती है।
  - बायस को $b^l_{ij} = -\frac{1}{2} \left( \frac{D(\mu^l_i, \ell_j)}{\sigma_0 r^l_i} \right)^2$ के रूप में परिभाषित किया गया है, जहाँ $D$ बिंदु से रे (ray) की यूक्लिडियन दूरी है।
  - यह बायस उन इमेज टोकन्स को दंडित करता है जिनकी रेज़ एंकर से दूर हैं, जिससे क्वेरी को ज्यामितीय रूप से प्रासंगिक अवलोकनों पर ध्यान केंद्रित करने में मदद मिलती है। रेडियस $r^l_i$ इस स्थानिक प्राथमिकता के बैंडविड्थ को नियंत्रित करता है।
डायनामिक एंकर रिफाइनमेंट (Dynamic Anchor Refinement):
प्रत्येक डिकोडर लेयर के बाद, टोकन फीचर्स एंकर सेंटर और रेडियस के लिए रेसिडुअल अपडेट ( $\Delta \mu, \Delta \rho$ ) का अनुमान लगाते हैं। यह एंकर स्टेट को डिकोडर के आगे बढ़ने के साथ विशिष्ट इनपुट दृश्य के अनुसार अपने 3D स्थान और सपोर्ट स्केल को अनुकूलित करने की अनुमति देता है।
एंकर-सेंटर्ड गॉसियन डिकोडिंग (Anchor-Centered Gaussian Decoding):
अंतिम डिकोडिंग चरण में, गॉसियन पूरी तरह से अनकन्स्ट्रेंड तरीके से अनुमानित नहीं किए जाते हैं। इसके बजाय, मॉडल अंतिम रिफाइंड एंकर सेंटर के सापेक्ष स्थानीय ऑफसेट्स ( $\delta$ ) का अनुमान लगाता है। अंतिम गॉसियन सेंटर की गणना इस प्रकार की जाती है:
$\mu^G_{i,k} = \mu^L_i + r^L_i \delta_{i,k}$
यहाँ, एंकर सेंटर ग्लोबल रेफरेंस प्रदान करता है, और रेडियस लोकल ऑफसेट्स को स्केल करता है। यह फॉर्मूलेशन गॉसियनों को एक सिंगल टोकन से स्वतंत्र रूप से बिखरने के बजाय, एंकर के चारों ओर एक कॉम्पैक्ट लोकल ग्रुप बनाने के लिए मजबूर करता है।
मल्टी-लेयर रेंडरिंग सुपरविजन (Multi-layer Rendering Supervision):
ट्रेनिंग ऑब्जेक्टिव में (अंतिम लेयर के अलावा) इंटरमीडिएट डिकोडर लेयर्स पर रेंडरिंग सुपरविजन शामिल है। लॉस इमेज रिकंस्ट्रक्शन (MSE + SSIM) को डिकोड किए गए गॉसियन सेंटर्स और एंकर सेंटर्स दोनों पर लागू विजिबिलिटी रेगुलराइजेशन के साथ जोड़ता है, जो पूरी डिकोडिंग प्रक्रिया के दौरान सुसंगत स्थानिक संगठन को प्रोत्साहित करता है।

मुख्य योगदान (Key Contributions)

क्वेरीज़ का स्थानिक ग्राउंडिंग (Spatial Grounding of Queries): क्वेरी-आधारित 3DGS में स्पष्ट 3D एंकर स्टेट्स (सेंटर और रेडियस) का परिचय, जो विशुद्ध रूप से लेटेंट रिप्रेजेंटेशन से आगे बढ़ता है।
एंकर-अवेयर मैकेनिज्म (Anchor-Aware Mechanisms): क्रॉस-अटेंशन (एंकर-टू-रे) के लिए ज्योमेट्रिक बायस और सेल्फ-अटेंशन के लिए पोजीशनल एम्बेडिंग्स का डिज़ाइन जो स्थानिक सुसंगतता को लागू करने के लिए एंकर स्टेट का उपयोग करते हैं।
स्ट्रक्चर्ड गॉसियन जनरेशन (Structured Gaussian Generation): एक डिकोडिंग रणनीति जो एंकर रेडियस द्वारा स्केल किए गए लोकल ऑफसेट्स को प्रेडिक्ट करती है, जिससे यह सुनिश्चित होता है कि टोकन्स स्थानिक रूप से कॉम्पैक्ट गॉसियन ग्रुप्स जेनरेट करें।
प्रोग्रेसिव रिफाइनमेंट (Progressive Refinement): एंकर लोकेशन्स और सपोर्ट रेडियस को डिकोडर लेयर्स के माध्यम से इटरेटिवली रिफाइन करने का एक तंत्र, जो मॉडल को दृश्य ज्यामिति के अनुकूल होने की अनुमति देता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक नवीन व्यू सिंथेसिस बेंचमार्क, विशेष रूप से RealEstate10K (RE10K) और DL3DV पर LocusGS का मूल्यांकन करते हैं, और TokenGS, MVSplat, और DepthSplat जैसे बेसलाइन्स के साथ तुलना करते हैं।

रेंडरिंग क्वालिटी (Rendering Quality): समान टोकन और गॉसियन बजट के तहत, LocusGS, PSNR, SSIM और LPIPS में क्वेरी-आधारित बेसलाइन्स (TokenGS) को लगातार पछाड़ता है। उदाहरण के लिए, 4 इनपुट व्यू के साथ DL3DV पर, LocusGS (4096 टोकन्स) TokenGS के 23.44 के मुकाबले 24.80 का PSNR प्राप्त करता है।
स्थानिक संगठन (Spatial Organization): गुणात्मक और मात्रात्मक विश्लेषण दिखाते हैं कि LocusGS काफी अधिक स्ट्रक्चर्ड गॉसियन डिस्ट्रीब्यूशन बनाता है।
- टोकन-लेवल कॉम्पैक्टनेस (Token-Level Compactness): पेपर में एक टोकन के भीतर गॉसियनों के फैलाव को मापने के लिए एक मेट्रिक $C_{centroid}$ पेश किया गया है। LocusGS इस फैलाव को नाटकीय रूप से कम करता है (उदाहरण के लिए, RE10K पर 5.11 से 0.19 तक), जो दर्शाता है कि एक सिंगल टोकन से निकलने वाले गॉसियन कसकर क्लस्टर्ड हैं।
- एंकर लेआउट्स (Anchor Layouts): सीखे गए एंकर्स दृश्य के ऊपर एक मोटे, सुसंगत स्थानिक स्कैफोल्ड (scaffold) का निर्माण करते हैं, जो मुख्य संरचनाओं को कवर करते हैं और स्थानीय जटिलता के अनुसार अपने रेडियस को अनुकूलित करते हैं (स्पार्स क्षेत्रों में बड़े रेडियस, विस्तृत क्षेत्रों में छोटे रेडियस)।
सामान्यीकरण (Generalization): मॉडल इनपुट व्यू की संख्या के स्वतंत्र रूप से एक फिक्स्ड गॉसियन बजट बनाए रखता है, जो डेंस पिक्सेल-अलाइन्ड तरीकों से अलग है। यह DL3DV पर विभिन्न संख्या में कॉन्टेक्स्ट व्यूज़ (2, 4, और 6 व्यूज़) के साथ परीक्षण किए जाने पर मजबूत प्रदर्शन प्रदर्शित करता है।
दक्षता (Efficiency): हालांकि LocusGS में थोड़ा अधिक पैरामीटर काउंट (241.5M बनाम TokenGS के लिए 222.0M) और फॉरवर्ड लेटेंसी है, यह प्रेडिक्ट किए गए गॉसियनों की संख्या बढ़ाए बिना बेहतर रिकंस्ट्रक्शन क्वालिटी प्राप्त करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि स्पष्ट 3D एंकर स्टेट्स क्वेरी-आधारित फीड-फॉरवर्ड 3DGS के लिए एक प्रभावी स्थानिक प्रायर (spatial prior) प्रदान करते हैं। क्वेरीज़ को 3D स्पेस में ग्राउंड करके, LocusGS गॉसियन टोकन्स को इम्प्लिसिट लेटेंट एम्बेडिंग्स से व्याख्या योग्य (interpretable) स्थानिक रिकंस्ट्रक्शन क्वेरीज़ में बदल देता है।

लेखक तर्क देते हैं कि यह दृष्टिकोण न केवल रेंडरिंग सटीकता में सुधार करता है, बल्कि प्रतिनिधित्व की स्थानिक संगठन और व्याख्यात्मकता (interpretability) को भी मौलिक रूप से बढ़ाता है। परिणाम दर्शाते हैं कि स्पष्ट स्थानिक अवस्थाएँ (spatial states) क्वेरीज़ को सुसंगत स्थानीय क्षेत्रों में विशेषज्ञता हासिल करने के लिए प्रोत्साहित करती हैं, जिससे अधिक स्ट्रक्चर्ड गॉसियन डिस्ट्रीब्यूशन मिलते हैं जो दृश्य ज्यामिति के साथ बेहतर ढंग से संरेखित होते हैं। यह कार्य सुझाव देता है कि क्वेरी मैकेनिज्म में ज्योमेट्रिक स्टेट्स को शामिल करना अधिक मजबूत और स्ट्रक्चर्ड 3D सीन रिकंस्ट्रक्शन की दिशा में एक महत्वपूर्ण कदम है।