💻 computer science

Grassmannian Splatting I: Moving rank-2 Spacetime Surfels for Dynamic Scene Rendering

यह शोधपत्र ग्रासमैनियन स्प्लेटिंग (Grassmannian Splatting) का परिचय देता है, जो $\mathbb{R}^4$ में 3-प्लेन द्वारा परिभाषित रैंक-2 स्पेसटाइम सर्फल्स (spacetime surfels) का उपयोग करने वाला एक गतिशील दृश्य प्रतिनिधित्व है, जो मानक 3D गॉसियन स्प्लेटिंग रास्टराइज़र के अनुकूल एक क्लोज्ड-फॉर्म मोशन मॉडल को नियोजित करके काफी तेज़ प्रशिक्षण गति के साथ अत्याधुनिक रेंडरिंग गुणवत्ता प्राप्त करता है।

मूल लेखक: Aaron Maurice Berman, Shantanu Dave

प्रकाशित 2026-07-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aaron Maurice Berman, Shantanu Dave

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त सड़क का दृश्य फिल्माने की कोशिश कर रहे हैं जहाँ कारें तेज़ी से गुज़र रही हैं, लोग हाथ हिला रहे हैं, और एक गुब्बारा ऊपर की ओर तैर रहा है। इस दृश्य को कंप्यूटर पर फिर से बनाने के लिए, अधिकांश विधियाँ हर वस्तु का 3D मॉडल बनाने और फिर उसे समय के साथ हिलने, खिंचने या बदलने के लिए सिखाने की कोशिश करती हैं। यह एक मिट्टी की मूर्ति को मैन्युअल रूप से हर फ्रेम में दबाने और खींचने जैसा है।

लेकिन इस शोध पत्र के लेखक, आरोन मॉरिस बर्मन और शांतनु 데व (Shantanu Dave) का एक अलग विचार है। वे सुझाव देते हैं कि हमें मिट्टी को दबाना बंद करना चाहिए और "स्पेसटाइम शीट्स" (spacetime sheets) के बारे में सोचना शुरू करना चाहिए।

बड़ा विचार: कागज़ की चलती हुई चादरें

3D उभारों (blobs) को आकार बदलने के बजाय, लेखक गॉसियंस (Gaussians - जो रंग के नरम, धुंधले बादलों की तरह होते हैं) का उपयोग करने का प्रस्ताव देते हैं जो एक 4-आयामी दुनिया में तैरते हुए सपाट, 3-आयामी कागज़ों (sheets) पर रहते हैं। इस 4D दुनिया को आप तीन आयाम स्थान (ऊपर/नीचे, बाएँ/दाएँ, आगे/पीछे) और एक आयाम समय के रूप में सोच सकते हैं।

उनके सिस्टम में, हर छोटा "स्प्लैट" (रंग का धुंधला बिंदु) एक विशिष्ट सपाट शीट से चिपका होता है। क्योंकि वह शीट सपाट है और स्पेसटाइम में मौजूद है, इसलिए इसमें एक बहुत विशेष गुण है: यह एक निरंतर गति से एक सीधी रेखा में चलती है।

यहाँ एक जादू का नुस्खा है:

शीट (The Sheet): कल्पना कीजिए कि हवा में तैरता हुआ कागज़ का एक टुकड़ा है। इस 4D दुनिया में, वह कागज़ सिर्फ स्थिर नहीं है; वह समय के माध्यम से फिसल रहा है।
स्लाइस (The Slice): जब आप किसी विशिष्ट क्षण (जैसे दोपहर 2:00 बजे) में दृश्य को देखना चाहते हैं, तो आप उस समय पर 4D दुनिया को "स्लाइस" करते हैं (काटते हैं)।
परिणाम (The Result): जब आप उस चलते हुए 4D शीट को स्लाइस करते हैं, तो आपको अपने 3D दृश्य में एक पूर्ण, सपाट 2D डिस्क (एक सर्फेल) प्राप्त होता है। जैसे-जैसे समय आगे बढ़ता है, वह डिस्क स्क्रीन पर एक स्थिर गति से फिसलती है, ठीक उसी शीट की तरह जो वह स्वयं है।

शोध पत्र इसे ग्रासमैनियन स्प्लैटिंग (Grassmannian splatting) कहता है। यह एक फैंसी नाम है एक सरल अवधारणा के लिए: यदि आप अपनी वस्तुओं को समय के माध्यम से फिसलने वाली सपाट चादरों के रूप में परिभाषित करते हैं, तो आपको उन्हें सिखाने की आवश्यकता नहीं है कि कैसे हिलना है। गति उस शीट की ज्यामिति (geometry) में ही समाहित है।

वे किस चीज़ को "ना" कहते हैं

लेखक स्पष्ट रूप से बताते हैं कि वे क्या नहीं कर रहे हैं।

कोई विरूपण क्षेत्र नहीं (No Deformation Fields): वे स्पष्ट रूप से जटिल "विरूपण क्षेत्रों" (Deformation Fields - गणितीय मानचित्र जो हर बिंदु को बताता है कि कैसे मुड़ना या विकृत होना है) के विचार को खारिज करते हैं। उनकी विधि यह नहीं सीखती कि कैसे झुकना या खिंचना है; यह केवल स्लाइड करना जानती है।
कोई कस्टम कोड नहीं (No Custom Code): उन्हें यह काम करने के लिए विशेष, जटिल कंप्यूटर कोड (कस्टम CUDA कर्नेल) लिखने की आवश्यकता नहीं है। वे मानक "रास्टराइज़र" (वह इंजन जो 3D डेटा को 2D छवियों में बदलता है) का उपयोग करते हैं जिसका उपयोग अन्य सभी स्थिर 3D दृश्यों के लिए करते हैं। वे बस एक थोड़ा अलग प्रकार का डेटा फीड करते हैं।
कोई "रैंक-4" उभार नहीं (No "Rank-4" Blobs): अन्य विधियाँ "फुल-रैंक" 4D गॉसियंस का उपयोग करती हैं, जो 3D अंडों में कटने वाले 4D अंडों की तरह होते हैं। लेखक तर्क देते हैं कि गतिशील दृश्यों के लिए, हमें वास्तव में "रैंक-2" डिस्क (सपाट पैनकेक्स) चाहिए, न कि 3D अंडे। उनका गणित सिद्ध करता है कि उनकी विशिष्ट 4D शीट को स्लाइस करने से हमेशा ये सपाट पैनकेक्स मिलते हैं।

वे कितने आश्वस्त हैं?

लेखक अपने गणित और परिणामों को लेकर काफी आश्वस्त हैं, लेकिन वे अपने दावों के प्रति सावधान भी हैं।

गणित प्रमाणित है: उन्होंने गणितीय रूप से सिद्ध किया है कि यदि वे उनकी 4D शीट को स्लाइस करते हैं, तो आपको एक सपाट 2D डिस्क प्राप्त होती है जो एक निरंतर गति से चलती है। उन्होंने इसे ज्यामिति और रैखिक बीजगणित (विशेष रूप से "शूर कॉम्प्लीमेंट" जिसे Schur complement कहा जाता है) का उपयोग करके सिद्ध किया है।
गति मापी गई है: उन्होंने 17 विभिन्न वीडियो दृश्यों (एक बेंचमार्क जिसे MonoDyGauS-Bench कहा जाता है) पर परीक्षण किया। उन्होंने पाया कि उनकी विधि गुणवत्ता पर ध्यान केंद्रित करने वाली प्रतिस्पर्धी विधियों की तुलना में 4.9 से 5.6 गुना तेज़ प्रशिक्षित होती है। उन्होंने लगभग 1,814 सेकंड (लगभग 30 मिनट) में प्रशिक्षण लिया, जबकि अगली सबसे अच्छी विधि को 8,000 सेकंड से अधिक समय लगा।
गुणवत्ता उच्च है, लेकिन पूर्ण नहीं: छवि गुणवत्ता के मामले में (PSNR, MS-SSIM और LPIPS द्वारा मापा गया), उनकी विधि परीक्षण की गई विधियों में दूसरे स्थान पर आई। यह विजेता (4DGS) के बहुत करीब थी, लेकिन उससे थोड़ी पीछे रह गई।
- उन्होंने एक विशिष्ट सीमा को स्वीकार किया: उनकी विधि उन वस्तुओं के साथ संघर्ष करती है जो घूमते हैं या समन्वित तरीके से स्पिन करते हैं (जैसे घूमता हुआ पंखा या कार्टव्हील करता हुआ व्यक्ति)। क्योंकि उनकी शीट केवल सीधी रेखाओं में फिसलती हैं, उन्हें रोटेशन का दिखावा करने के लिए सैकड़ों छोटी, अल्पकालिक शीटों का उपयोग करना पड़ता है। यही कारण है कि वे उन विशिष्ट प्रकार के मोशन के लिए "विरूपण" (deformation) विधियों को नहीं हरा सके।

"सीक्रेट सॉस" विवरण

"सॉफ्ट क्लैंप" (The "Soft Clamp"): गणित में एक पेचीदा क्षण आता है जब एक शीट पूरी तरह से स्थिर होती है (समय के माध्यम से नहीं चल रही होती)। वहां गणित विफल हो सकता है। लेखकों ने एक "सॉफ्ट क्लंप" (एक छोटा संख्यात्मक सुरक्षा जाल) जोड़ा है जो एक चलती हुई शीट और एक स्थिर शीट के बीच के अंतर को सुचारू रूप से पाटता है, ताकि कंप्यूटर क्रैश न हो।
"लिफ्ट" (The "Lift"): चूंकि उनकी डिस्क पूरी तरह से सपाट (गणितीय रूप से "रैंक-2") हैं, वे तकनीकी रूप से "सिंगुलर" (कंप्यूटर के लिए कठिन) हैं। इसे ठीक करने के लिए, वे छवि बनाने से ठीक पहले एक बहुत ही सूक्ष्म, अदृश्य मोटाई (जिसे "रैंक-लिफ्ट" कहा जाता है) जोड़ते हैं। यह बिना वास्तविक रूप से छवि को बदले गणित को काम करने योग्य बनाता है।
परिणाम: 17 परीक्षण दृश्यों पर, उनकी विधि ने 25.05 dB का PSNR प्राप्त किया, जो शीर्ष स्कोर 25.70 dB के बहुत करीब है। उन्होंने NVIDIA A10G पर 1,814 सेकंड में प्रशिक्षण लिया, जबकि शीर्ष प्रतिस्पर्धी (4DGS) को RTX 3090 पर 10,171 सेकंड लगे।

निचोड़

यह शोध पत्र यह सुझाव देता है कि 3D वस्तुओं के बारे में सोचने के तरीके को बदलकर—उन्हें स्क्विशी ब्लब्स के बजाय समय के माध्यम से फिसलने वाली सपाट चादरों के रूप में देखकर—हम गतिशील दृश्य रेंडरिंग को बहुत तेज़ और सरल बना सकते हैं। यह एक चतुर ज्यामितीय शॉर्टकट है जो जटिल विरूपणों को सीखने के भारी काम से बचता है। हालांकि यह हर प्रकार के मोशन (विशेष रूप से घूमने वाली चीजों) के लिए सबसे अच्छा नहीं है, लेकिन यह गति और सरलता के लिए एक बड़ी जीत है, जो यह सिद्ध करता है कि कभी-कभी, किसी दृश्य को चलाने का सबसे अच्छा तरीका बस गणित को फिसलने देना है।

तकनीकी सारांश: ग्रासमैनियन स्प्लेटिंग I (Grassmannian Splatting I)

समस्या विवरण (Problem Statement)
मौजूदा डायनेमिक सीन रेंडरिंग विधियाँ प्रतिनिधित्व संबंधी लचीलेपन (representational flexibility) और कम्प्यूटेशनल दक्षता के बीच एक ट्रेड-ऑफ का सामना करती हैं। विरूपण-आधारित (deformation-based) दृष्टिकोण (जैसे 4DGS, DeformableGS) कैनोनिकल प्रिमिटिव्स को वार्प करने के लिए जटिल विरूपण क्षेत्रों (deformation fields) को सीखते हैं, जबकि नेटिव 4D गॉसियन स्प्लेटिंग विधियाँ (जैसे RTGS) स्पेसटाइम $\mathbb{R}^4$ में फुल-रैंक 4D गॉसियन्स को रखती हैं। हालाँकि, नेटिव विधियाँ एक मौलिक ज्यामितीय बेमेल (geometric mismatch) से ग्रस्त हैं: एक फुल-रैंक 4D गॉसियन को समय (time) पर कंडीशन करने से 3D स्लाइस में एक रैंक-3 वॉल्यूमेट्रिक एलिप्सॉइड प्राप्त होता है। यह वॉल्यूमेट्रिक प्रकृति पतली सतहों (thin surfaces) का प्रतिनिधित्व करने के लिए अक्षम है और इसके लिए महत्वपूर्ण कम्प्यूटेशनल ओवरहेड की आवश्यकता होती है। इसके विपरीत, स्पष्ट प्रक्षेपवक्र (explicit trajectories) या विरूपण क्षेत्रों का उपयोग करने वाली विधियों के लिए कस्टम CUDA कर्नेल और सीखे गए मोशन मॉडल की आवश्यकता होती है, जिनमें स्टैटिक 3DGS जैसी क्लोज्ड-फॉर्म सरलता का अभाव होता है।

कार्यप्रणाली (Methodology)
लेखक ग्रासमैनियन स्प्लेटिंग पेश करते हैं, जो एक डायनेमिक रिप्रजेंटेशन है जहाँ प्रिमिटिव्स स्पेसटाइम $\mathbb{R}^4$ में 3-प्लेन्स पर समर्थित गॉसियन्स हैं। ये 3-प्लेन्स स्थानिक 2-प्लेन्स (डिस्क) के अनुरूप हैं जो अपने नॉर्मल्स के साथ समान अनुवाद (uniform translation) कर रहे हैं।

ज्यामितीय प्रिमिटिव (Geometric Primitive): प्रत्येक प्रिमिटिव को एक यूनिट नॉर्मल $n \in S^3/\{\pm 1\} \cong Gr(3, 4)$ और एक अनकन्स्ट्रेंड फैक्टर $L \in \mathbb{R}^{4 \times 3}$ द्वारा परिभाषित किया जाता है। 4D कोवेरिएंस को इस प्रकार निर्मित किया जाता है:
$\Sigma_{4D} = (P_n L)(P_n L)^T$
जहाँ $P_n = I - nn^T$ है $n$ पर ऑर्थोगोनल प्रोजेक्टर। यह निर्माण सुनिश्चित करता है कि $\Sigma_{4D}$ का रैंक अधिकतम 3 है, जिसका कर्नल डायरेक्शन $n$ के साथ संरेखित है।
टाइम कंडीशनिंग (Time Conditioning): जब किसी विशिष्ट समय $t_0$ पर कंडीशन किया जाता है, तो 4D गॉसियन $\mathbb{R}^3$ में एक रैंक-2 सर्फेल (एक डिस्क) में स्लाइस हो जाता है। इस डिस्क का नॉर्मल और नॉर्मल वेलोसिटी सीधे स्पेसटाइम नॉर्मल $n$ से प्राप्त होते हैं, जबकि डिस्क का आकार और टेंगेंशियल ड्रिफ्ट $L$ द्वारा निर्धारित होता है। यह बिना सीखे गए विरूपण क्षेत्रों के एक क्लोज्ड-फॉर्म मोशन मॉडल प्रदान करता है।
स्टैटिक ओरिएंटेशन को संभालना (Handling Static Orientations): एक सिंगुलैरिटी तब उत्पन्न होती है जब प्लेन नॉर्मल स्टैटिक ओरिएंटेशन ( $n = \pm e_0$ ) के करीब पहुँचता है, जहाँ टेम्पोरल वेरिएंस शून्य हो जाता है। लेखक इस सिंगुलैरिटी को रेगुलराइज करने के लिए शूर डिनोमिनेटर ( $\sqrt{(\Sigma_{tt}^{pure})^2 + \epsilon^2}$ ) में एक सॉफ्ट क्लैंप का उपयोग करते हैं। यह डायनेमिक रैंक-2 व्यवहार और स्टैटिक रैंक-3 व्यवहार के बीच एक निरंतर सेतु बनाता है, जिससे यह विधि एक ही परिवार के प्रिमिटिव्स के भीतर गतिशील और स्थिर दोनों वस्तुओं का प्रतिनिधित्व करने में सक्षम होती है।
रेंडरिंग पाइपलाइन (Rendering Pipeline): कंडीशन किए गए रैंक-2 डिस्क को स्टैंडर्ड CUDA कर्नेल्स के लिए इनवर्टीबिलिटी सुनिश्चित करने हेतु एक छोटे आइसोट्रोपिक वेरिएंस ( $\sigma_{lift}^2 I_3$ ) द्वारा लिफ्ट किया जाता है। फिर इसे प्रीकंप्यूटेड कोवेरिएंस इंटरफेस के माध्यम से एक अनमॉडिफाइड 3DGS रस्टरइज़र में फीड किया जाता है। टेम्पोरल ओपेसिटी को टेम्पोरल वेरिएंस से प्राप्त वेट द्वारा मॉड्युलेट किया जाता है, जिससे प्रिमिटिव्स बिना किसी स्पष्ट क्रिएशन/डिस्ट्रक्शन लॉजिक के फेड-इन और फेड-आउट हो सकते हैं।

मुख्य योगदान (Key Contributions)

रैंक-डेफिशिएंट नेटिव प्रिमिटिव्स: यह पेपर पहला नेटिव स्पेसटाइम गॉसियन रिप्रजेंटेशन प्रस्तुत करता है जिसके टाइम-कंडीशन्ड स्लाइस वॉल्यूमेट्रिक एलिप्सॉइड के बजाय रैंक-2 सर्फल्स हैं। यह प्रिमिटिव ज्योमेट्री को सतहों की भौतिक प्रकृति के साथ संरेखित करता है।
क्लोज्ड-फॉर्म मोशन मॉडल: प्रत्येक प्रिमिटिव की गति पूरी तरह से सपोर्टिंग 3-प्लेन की ज्यामिति से प्रेरित होती है। इसमें विरूपण क्षेत्रों या स्पष्ट प्रक्षेपवक्र वक्रों को सीखने की आवश्यकता नहीं है; कांस्टेंट-वेलोसिटी मोशन प्लेन का एक अंतर्निहित गुण है।
स्टैंडर्ड रस्टरइज़र्स के साथ अनुकूलता: इस विधि के लिए कोई कस्टम CUDA कर्नेल की आवश्यकता नहीं है। एक रैंक-लिफ्ट और प्रीकंप्यूटेड कोवेरिएंस इंटरफेस का उपयोग करके, यह मौजूदा, अत्यधिक अनुकूलित 3DGS रस्टरइज़ेशन कोड का लाभ उठाता है।
एकीकृत स्टैटिक-डायनेमिक रिप्रजेंटेशन: न्यूमेरिकल ब्रिज (सॉफ्ट क्लैंप) के माध्यम से, यह विधि स्टैटिक (रैंक-3) और डायनेमिक (रैंक-2) रिजीम के बीच सहजता से इंटरपोलेट करती है, जिससे अलग स्टैटिक और डायनेमिक घटकों की आवश्यकता नहीं रहती।

परिणाम (Results)
MonoDyGauBench बेंचमार्क के 17 HyperNeRF सीन्स पर मूल्यांकन किया गया:

ट्रेनिंग स्पीड: ग्रासमैनियन स्प्लेटिंग सभी तुलना किए गए बेसलाइन्स में सबसे तेज़ विधि है, जो सबसे मजबूत क्वालिटी बेसलाइन्स (जैसे 4DGS) की तुलना में 4.9 से 5.6 गुना तेज़ और स्टैटिक 3DGS की तुलना में 1.4 गुना तेज़ ट्रेनिंग करती है।
क्वालिटी: यह PSNR, MS-SSIM और LPIPS में दूसरे स्थान पर है। यह 25.05 dB का PSNR प्राप्त करता है, जो DeformableGS से 0.47 dB बेहतर है लेकिन 4DGS से 0.65 dB पीछे है।
दक्षता (Efficiency): यह 196k प्रिमिटिव्स के औसत के साथ लगभग 88 FPS (11.3 ms/frame) पर रेंडर करता है।

महत्व और सीमाएं (Significance and Limitations)
पेपर का दावा है कि यह डायनेमिक सीन रेंडरिंग के लिए सीखे गए विरूपण क्षेत्रों के एक कम्प्यूटेशनल रूप से कुशल, क्लोज्ड-फॉर्म विकल्प के रूप में महत्वपूर्ण है। प्रत्येक प्लेन को केवल एक सिंगल कांस्टेंट-वेलोसिटी ट्रांसलेशन को एनकोड करने के लिए प्रतिबंधित करके, यह विधि उच्च गति और सरलता प्राप्त करती है।

हालाँकि, लेखक प्रिमिटिव डिज़ाइन में निहित एक सीमा को स्पष्ट रूप से स्वीकार करते हैं: क्योंकि प्रत्येक प्लेन केवल एक सिंगल कांस्टेंट-वेलोससिटी ट्रांसलेशन को एनकोड करता है, इसलिए विस्तारित वस्तुओं के समन्वित रोटेशन (coordinated rotation of extended objects) को एक सिंगल प्रिमिटिव द्वारा प्रदर्शित नहीं किया जा सकता है। इसके बजाय, ऐसे मोशन को कई अल्पकालिक प्रिमिटिव्स को असेंबल करके अनुमानित किया जाना चाहिए। लेखक नोट करते हैं कि यह विशिष्ट क्लास ऑफ मोशन उनके मेथड और सबसे मजबूत डेफॉर्मेशन-आधारित बेसलाइन्स के बीच के शेष क्वालिटी गैप का कारण है। वे सुझाव देते हैं कि प्रिमिटिव्स को बदलने के बजाय, उनके बीच मोशन को साझा करना भविष्य के विस्तार के लिए एक स्वाभाविक दिशा है।

बड़ा विचार: कागज़ की चलती हुई चादरें

वे किस चीज़ को "ना" कहते हैं

वे कितने आश्वस्त हैं?

"सीक्रेट सॉस" विवरण

निचोड़

इसी तरह के और पेपर