💻 computer science

LagrangeGS: Non-Conservative Lagrangian System on Dynamic 3D Gaussian Splatting

LagrangeGS डायनेमिक 3D गॉसियन स्प्लेटिंग के लिए एक नॉन-कंजर्वेटिव लैग्रेंजियन फ्रेमवर्क पेश करता है जो आइडेंटिटी-मैट्रिक्स एप्रोक्सिमेशन, टाइम-इंडिपेंडेंट फोर्स कंस्ट्रेंट्स और लोकल रिजिड अलाइनमेंट के माध्यम से भौतिक विसंगति, अपरिवर्तनीयता और ज्यामितीय पतन की समस्याओं को हल करता है, जिससे स्थिर दीर्घकालिक एक्सट्रपलेशन और काउंटरफैक्चुअल फिजिक्स-आधारित संपादन सक्षम होता है।

मूल लेखक: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

प्रकाशित 2026-08-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक चलते हुए दृश्य को कैद करने की कल्पना करें, जैसे कि घूमता हुआ पंखा या गिरती हुई गेंद, न कि केवल एक सपाट वीडियो के रूप में, बल्कि एक ऐसे त्रि-आयामी (थ्री-डी) संसार के रूप में जिसके भीतर आप घूम सकें। वर्षों से, वैज्ञानिकों ने तस्वीरों से इन डिजिटल दुनियाओं को बनाने के तरीके विकसित किए हैं, जिससे स्थिर दृश्य अविश्वसनीय रूप से वास्तविक दिखते हैं। हाल ही में, उन्होंने इन दुनियाओं को गतिशील बनाना सीखा है, जिससे एक कैमरा एक हलचल भरे कमरे या घूमती हुई वस्तु के वीडियो के माध्यम से उड़ सकता है। हालाँकि, इन गतिशील डिजिटल दुनियाओं की एक बड़ी कमजोरी है: वे मूल रूप से उन चीजों की चतुराई भरी नकल हैं जो वीडियो में घटित हुईं। यदि आप कंप्यूटर से पूछते हैं कि वीडियो समाप्त होने के एक सेकंड बाद क्या होगा, या वीडियो को पीछे ले जाकर यह देखने के लिए कि शुरुआत से पहले क्या हुआ था, तो डिजिटल दुनिया अक्सर बिखर जाती है। वस्तुएं अजीब आकृतियों में खिंच सकती हैं, गायब हो सकती हैं, या भौतिकी के नियमों की अवहेलना करते हुए चल सकती हैं, क्योंकि कंप्यूटर वास्तव में यह नहीं सीख पाया कि गुरुत्वाकर्षण या संवेग (मोमेंटम) कैसे काम करता है; उसने केवल यह सीखा कि पिक्सेल कैसे बदले।

जापान में NTT के शोधकर्ताओं की एक टीम ने 'लैग्रेंज जीएस' (LagrangeGS) नामक एक नया दृष्टिकोण पेश किया है जो इसे इस बात से ठीक करता है कि डिजिटल दुनिया भौतिकी के नियमों का पालन करना सीखे। केवल दृश्य में बदलाव को देखने के बजाय, उनका सिस्टम गति को एक मौलिक ढांचे के रूप में वर्णित करता है जिसे 'लैग्रेंज यांत्रिकी' (लैग्रेंजियन मैकेनिक्स) कहा जाता है। सरल शब्दों में, यह ढांचा दृश्य के प्रत्येक गतिशील भाग को द्रव्यमान, ऊर्जा और उस पर कार्य करने वाले बलों वाले एक भौतिक पिंड के रूप में मानता है। ऐसा करके, कंप्यूटर केवल यह अनुमान नहीं लगाता कि आगे क्या होगा; बल्कि यह गणना करता है कि ऊर्जा कैसे संचित होती है और बल कैसे धकेलते और खींचते हैं। यह सिस्टम को भविष्य की भविष्यवाणी करने, समय को पीछे ले जाकर अतीत को देखने, या दृश्य के नियमों को बदलने (जैसे कि गुरुत्वाकर्षण को कमजोर करना) की अनुमति देता है, और इसके लिए नए डेटा पर फिर से प्रशिक्षित होने की आवश्यकता नहीं होती है।

शोधकर्ताओं ने अपना सिस्टम एक ऐसी तकनीक पर बनाया है जो एक दृश्य को लाखों छोटे, रंगीन, धुंधले गोलाकार कणों जिन्हें 'गौसियन पार्टिकल्स' कहा जाता है, के रूप में प्रस्तुत करती है। पिछले तरीकों में, इन कणों को वीडियो से मेल खाने के लिए स्वतंत्र रूप से बहने और विकृत होने की अनुमति दी जाती थी, जो वीडियो रिकॉर्ड किए जाने के समय के लिए तो अच्छा काम करता था, लेकिन जब सिस्टम यह अनुमान लगाने की कोशिश करता था कि आगे क्या होगा, तो बुरी तरह विफल हो जाता था। नया तरीका इन कणों को एक भौतिक प्रणाली की तरह व्यवहार करने के लिए मजबूर करता है। इसे संभव बनाने के लिए, टीम ने उन जटिल गणितीय गणनाओं को सरल बनाया जो आमतौर पर यह निर्धारित करने के लिए आवश्यक होती हैं कि ये कण कैसे परस्पर क्रिया करते हैं। उन्होंने प्रत्येक कण को एक समान सरल भार के रूप में माना और उन्हें स्वतंत्र रूप से चलते हुए दिखाया, जिससे एक बहुत बड़ी कम्प्यूटेशनल बाधा दूर हो गई। उन्होंने यह भी सुनिश्चित किया कि कणों पर कार्य करने वाले बल समय के साथ मनमाने ढंग से न बदलें, जो एक प्रमुख आवश्यकता है जो उनके सिस्टम को समय में आगे जाने की तरह ही आसानी से पीछे जाने की अनुमति देती है।

डिजिटल वस्तुओं को बिखरने से बचाने के लिए, शोधकर्ताओं ने एक चतुर बाधा (कन्स्ट्रेंट) जोड़ी है जो कणों के समूहों को एक ठोस वस्तु के कठोर हिस्सों की तरह एक साथ चलते रहने के लिए प्रेरित करती है, जैसे कि पंखे के ब्लेड या गेंद का शरीर। यह कणों को शोर के बादल में बिखरने से रोकता है जब सिस्टम मूल वीडियो से बहुत आगे के समय का अनुकरण (सिमुलेशन) करने की कोशिश करता है। जब उन्होंने एक घूमते हुए पंखे और गिरती हुई गेंद वाले दृश्यों पर इस नए सिस्टम का परीक्षण किया, तो परिणाम आश्चर्यजनक थे। जहाँ पुराने तरीके घूमते हुए पंखे को एक धुंधले ढेर में बदल देते थे या गिरती हुई गेंद को पिक्सेल के विशाल बादल में विस्फोटित कर देते थे, वहीं नए सिस्टम ने आकृतियों को बरकरार रखा और गति को सुचारू बनाए रखा, यहाँ तक कि मूल वीडियो की तुलना में तीन गुना लंबे समय की भविष्यवाणी करते हुए भी।

इस कार्य का सबसे सम्मोहक प्रदर्शन समय को उलटने की क्षमता है। क्योंकि सिस्टम भौतिक नियमों पर आधारित है जो इस बात की परवाह नहीं करते कि समय किस दिशा में बह रहा है, शोधकर्ता बस कंप्यूटर को सिमुलेशन को पीछे चलाने के लिए कह सकते हैं। परिणाम एक दृश्य का सटीक 'रिवाइंड' (पीछे की ओर चलना) था, जहाँ गेंद अपनी शुरुआती ऊंचाई तक वापस ऊपर लुढ़क गई और पंखा उल्टा घूमा, और कण ठीक अपनी मूल स्थिति में वापस आ गए। यह कुछ ऐसा है जो पिछले सिस्टम नहीं कर सके; वे पीछे जाने के लिए कहे जाने पर या तो विफल हो जाते थे या एक अस्त-व्यस्त कचरा उत्पन्न करते थे। शोधकर्ताओं ने यह भी दिखाया कि वे चलते-फिरते भौतिकी को संपादित कर सकते हैं। एक सेटिंग को बदलकर, वे गेंद को चंद्रमा की तरह बहुत धीरे गिरने या गुरुत्वाकर्षण मजबूत होने के कारण बहुत तेजी से गिरने के लिए प्रेरित कर सकते थे। उन्होंने यह मॉडल को फिर से प्रशिक्षित करके नहीं, बल्कि सिमुलेशन में बलों को परिभाषित करने वाली संख्याओं को बदलकर किया।

यह अध्ययन पुष्टि करता है कि इन डिजिटल निरूपणों को भौतिकी के वास्तविक नियमों में स्थापित करके, गतिशील 3D दुनिया बनाना संभव है जो स्थिर, प्रतिवर्ती (रिवर्सिबल) और परिवर्तनीय है। शोधकर्ताओं ने पाया कि हालांकि उनका तरीका विशिष्ट इनडोर दृश्यों में सबसे उन्नत शुद्ध दृश्य विधियों की तुलना में कभी-कभी कम स्पष्ट चित्र बनाता है, लेकिन इसने लंबी सिमुलेशन के दौरान होने वाले ज्यामितीय पतन (जियोमेट्रिक कोलैप्स) को पूरी तरह से समाप्त कर दिया। उन्होंने यह भी नोट किया कि उनका वर्तमान दृष्टिकोण तब सबसे अच्छा काम करता है जब दृश्य की वस्तुएं आपस में टकराती नहीं हैं या जटिल रूप से टकराती नहीं हैं, क्योंकि सिस्टम कणों को स्वतंत्र रूप से चलते हुए मानता है। इस सीमा के बावजूद, यह कार्य गतिशील 3D दृश्यों को स्थिर दृश्य रिकॉर्डिंग से जीवित, भौतिक मॉडलों में बदलकर एक महत्वपूर्ण प्रगति का प्रतीक है, जिन्हें उसी तर्क के साथ खोजा, उलटा और हेरफेर किया जा सकता है जिसका उपयोग हम वास्तविक दुनिया को समझने के लिए करते हैं।

तकनीकी सारांश: LagrangeGS

समस्या विवरण
डायनेमिक 3D गॉसियन स्प्लेटिंग (3DGS) ने समय-परिवर्ती दृश्यों के फोटो-यथार्थवादी पुनर्निर्माण (photorealistic reconstruction) को प्राप्त कर लिया है, फिर भी मौजूदा भौतिकी-जागरूक विस्तार मौलिक सीमाओं से ग्रस्त हैं। जबकि हाल के तरीके एक्सट्रपोलेशन (extrapolation) को सक्षम करने के लिए वेग या त्वरण क्षेत्रों की भविष्यवाणी करते हैं, वे केवल विजुअल विरूपण (visual deformations) के साथ वेक्टर क्षेत्रों को फिट करते हैं और लैग्रेंजियन मैकेनिक्स (Lagrangian mechanics) का पालन नहीं करते हैं। यह भौतिक आधार की कमी तीन महत्वपूर्ण समस्याओं की ओर ले जाती है:

भौतिक रूप से असंगत प्रक्षेपवक्र (Physically inconsistent trajectories): गति संरक्षण नियमों (conservation laws) या ऊर्जा सिद्धांतों का पालन नहीं करती है।
समय-प्रतिवर्तीता का अभाव (Lack of time-reversibility): सिस्टम वर्तमान अवलोकनों से पिछले अवस्थाओं का निरंतर पुनर्निर्माण नहीं कर सकते।
ज्यामितीय पतन (Geometric collapse): दीर्घकालिक एक्सट्रपोलेशन अक्सर अनियंत्रित वॉल्यूम विचलन या अस्पष्ट धुंध (indistinct haze) का परिणाम होता है।

इसके अलावा, मानक जनरलाइज्ड लैग्रेंजियन न्यूरल नेटवर्क (G-LNNs) को सीधे डायनेमिक 3DGS पर लागू करना कम्प्यूटेशनल रूप से अव्यवहार्य है। इसके लिए प्रत्येक एकीकरण चरण (integration step) में लाखों गॉसियन कणों के लिए एक विशाल वेग-हेसियन मैट्रिक्स ( $\partial^2 L / \partial \dot{q}^2$ ) के व्युत्क्रमण (inversion) की आवश्यकता होती है। इसके अतिरिक्त, मानक G-LNNs अक्सर समय-निर्भर बलों (time-dependent forces) का उपयोग करते हैं, जो गणितीय रूप से सटीक समय प्रतिवर्तन (time reversal) को असंभव बना देते हैं।

कार्यप्रणाली (Methodology)
लेखक LagrangeGS प्रस्तावित करते हैं, जो एक ढांचा है जो डायनेमिक 3DGS को पोटेंशियल एनर्जी ( $U$ ), प्रारंभिक वेग ( $v_0$ ), और नॉन-कंजर्वेटिव फोर्सेज ( $Q$ ) द्वारा पैरामीटराइज्ड एक नॉन-कंजर्वेटिव लैग्रेंजियन सिस्टम के रूप में तैयार करता है। इस आर्किटेक्चर में तीन मुख्य घटक शामिल हैं:

टाइम-इंडिपेंडेंट डिकपल्ड LNN (TD-LNN):
हेसियन व्युत्क्रमण की कम्प्यूटेशनल बाधा को हल करने के लिए, यह विधि वेग-हेसियन को एक आइडेंटिटी मैट्रिक्स के रूप में अनुमानित करती है। यह भौतिक रूप से सभी गॉसियन कणों को एक समान यूनिट मास असाइन करने और उनके जड़त्वीय गतिकी (inertial dynamics) को डिकपल करने के समान है। गतिज ऊर्जा (Kinetic energy) को $T(\dot{q}) = \frac{1}{2}\|\dot{q}\|^2$ के रूप में सरल बनाया गया है।
समय प्रतिवर्तन (time reversal) को सक्षम करने के लिए, नॉन-कंसर्वेटिव फोर्स को स्पष्ट रूप से समय-स्वतंत्र (time-independent) होने के लिए प्रतिबंधित किया गया है, $F(q, \dot{q}, t) = Q(q, \dot{q})$ । यह सिस्टम को नकारात्मक टाइम स्टेप का उपयोग करके समय में पीछे की ओर एकीकृत करने की अनुमति देता है, जिससे स्टेट रिकवरी के लिए गणितीय सुसंगतता सुनिश्चित होती है। प्रत्येक कण $j$ के लिए परिणामी त्वरण एक क्लोज्ड-फॉर्म समाधान है:
$\ddot{q} = -\nabla_q U(q) + Q(q, \dot{q})$
$U$ और $Q$ दोनों को मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) द्वारा पैरामीटराइज किया गया है।
लोकल रिजिड अलाइनमेंट (LRA):
डिकपल्ड पार्टिकल डायनेमिक्स के कारण होने वाले ज्यामितीय पतन को संबोधित करने के लिए, यह विधि एक रेगुलाइजेशन स्टेप पेश करती है। प्रत्येक कण के लिए, प्रारंभिक अवस्था में उसके $k$ -निकटतम पड़ोसियों (k-nearest neighbors) का उपयोग करके एक लोकल रिजिड सपोर्ट परिभाषित किया जाता है। रोलआउट के दौरान, TD-LNN द्वारा अनुमानित कैंडिडेट पोजीशन को इस सपोर्ट की स्थानीय कठोर गति (locally rigid motion) के साथ एक डिफरेंशिएबल कबश सॉल्वर (Kabsch solver) का उपयोग करके संरेखित किया जाता है। यह कणों को स्थानीय रूप से कठोर संरचनाओं में बांधता है जबकि वैश्विक निरंतर विरूपण (global continuous deformations) की अनुमति देता है।
तीन-चरणीय अनुकूलन (Three-Stage Optimization):

चरण 1 (ट्रैजेक्टरी डिस्टिलेशन): TD-LNN को एक पूर्व-प्रशिक्षित डायनेमिक 3DGS मॉडल (जैसे DefGS या FreeGave) से निकाले गए प्रक्षेपवक्रों और अपने एकीकृत प्रक्षेपव melalui MSE को कम करने के लिए प्रशिक्षित किया जाता है। एक पेनल्टी टर्म यह प्रोत्साहित करती है कि जहाँ तक संभव हो गतिकी कंजर्वेटिव रहे।
चरण 2 (TD-LNN फाइन-ट्यूनिंग): मॉडल को रेंडर की गई छवियों पर फोटोमेट्रिक लॉस (SSIM और $L_1$ ) का उपयोग करके फाइन-ट्यून किया जाता है। ग्रेडिएंट्स डिफरेंशिएबल कबश अलाइनमेंट के माध्यम से TD-LNN पैरामीटर्स तक प्रवाहित होते हैं, जिससे मॉडल को सोर्स ट्रैजेक्टरीज के ओवरफिटिंग से बचने में मदद मिलती है।
चरण 3 (गॉसियन पैरामीटर फाइन-ट्यूनिंग): भौतिकी मापदंडों को फ्रीज कर दिया जाता है, और अवशिष्ट विजुअल त्रुटियों (residual visual errors) को सोखने के लिए प्रारंभिक गॉसियन मापदंडों (स्थिति, रोटेशन, स्केल, ओपेसिटी, कलर) को परिष्कृत किया जाता है।

प्रमुख योगदान

लैग्रेंजियन फॉर्मूलेशन: डायनेमिक 3DGS को स्पष्ट रूप से एक नॉन-कंजर्वेटिव लैग्रेंजियन सिस्टम के रूप में तैयार करने वाला पहला ढांचा, जो भौतिक रूप से असंगत प्रक्षेपवक्रों को मौलिक रूप से हल करता है और भौतिक हेरफेर के लिए एक सैद्धांतिक आधार परिभाषित करता है।
TD-LNN आर्किटेक्चर: एक नवीन न्यूरल आर्किटेक्चर जो कम्प्यूटेशनल सुगमता के लिए वेग-हेसियन को आइडेंटिटी मैट्रिक्स के रूप में अनुमानित करता है और सुसंगत समय प्रतिवर्तन को सक्षम करने के लिए समय-स्वतंत्र बलों का उपयोग करता है।
लोकल रिजिड अलाइनमेंट (LRA): एक तंत्र जो डिकपल्ड कणों को स्थानीय रूप से कठोर संरचनाओं में बांधकर दीर्घकालिक एक्सट्रपोलेशन के दौरान ज्यामितीय पतन को रोकता है।
फिजिक्स मैनिपुलेशन: यह इन्फरेंस के समय बिना रिट्रेनिंग के काउंटरफैक्टुअल फिजिक्स-आधारित एडिटिंग (जैसे ग्रेविटी या प्रारंभिक वेग को स्केल करना) और टाइम रिवर्सल करने की क्षमता प्रदान करता है।

परिणाम
प्रयोग डायनेमिक ऑब्जेक्ट और डायनेमिक इनडोर सीन बेंचमार्क पर किए गए, जिसमें LagrangeGS की तुलना डेफॉर्मेशन-आधारित तरीकों (T-NeRF, DefGS) और फिजिक्स-अवेयर बेसलाइन्स (NVFi, TRACE, FreeGave) से की गई।

एक्सट्रपोलेशन: LagrangeGS स्थिर दीर्घकालिक एक्सट्रपोलेशन प्रदर्शित करता है। जहाँ DefGS अस्वाभाविक गति से ग्रस्त है और FreeGave ज्यामितीय ड्रिफ्ट और वॉल्यूम विचलन प्रदर्शित करता है, वहीं LagrangeGS भौतिक रूप से सुसंगत और सुचारू गति बनाए रखता है। मात्रात्मक रूप से, DefGS से डिस्टिल करते समय LagrangeGS PSNR में +5.05 का सुधार दिखाता है। FreeGave से डिस्टिल करते समय, यह फोटोमेट्रिक मेट्रिक्स में मामूली गिरावट दिखाता है लेकिन ज्यामितीय स्थिरता में काफी सुधार करता है (वॉल्यूम एक्सपेंशन को 1.9 $\times$ से घटाकर 1.1 $\times$ करना)।
टाइम रिवर्सल: सिस्टम उच्च निरंतरता के साथ पिछली अवस्थाओं ( $t < 0$ ) को सफलतापूर्वक पुनर्प्राप्त करता है। एक फॉरवर्ड-बैकवर्ड साइकिल टेस्ट ने केवल 1.3% (डायनेमिक ऑब्जेक्ट) और 0.19% (डायनेमिक इनडोर सीन) की औसत स्थिति त्रुटि दिखाई।
काउंटरफैक्टुअल एडिटिंग: ढांचा भौतिक मापदंडों के स्पष्ट हेरफेर की अनुमति देता है। सीखे गए पोटेंशियल फील्ड ( $U$ ) को स्केल करने से गिरने के समय (falling time) में अनुमानित परिवर्तन होता है जो सैद्धांतिक संबंध $t \propto \beta^{-0.5}$ ( $R=0.999$ ) के बहुत करीब है।
एब्लेशन (Ablation): LRA को हटाने से दीर्घकालिक रोलआउट में ज्यामितीय पतन होता है। नॉन-कंसर्वेटिव फोर्स $Q$ को हटाने से नॉन-कंसर्वेटिव मोशन वाले दृश्यों (डायनेमिक ऑब्जेक्ट) पर प्रदर्शन कम हो जाता है लेकिन कड़ाई से कंजर्वेटिव दृश्यों (इनडोर) पर स्कोर में थोड़ा सुधार होता है, जो मॉडल की अनुकूलन क्षमता की पुष्टि करता है।

महत्व
यह पेपर दावा करता है कि LagrangeGS डायनेमिक दृश्यों को लैग्रेंजियन सिस्टम के रूप में एक स्पष्ट फॉर्मूलेशन स्थापित करता है, जो विजुअल फिडेलिटी और भौतिक संभाव्यता के बीच के अंतर को पाटता है। मानक LNNs की कम्प्यूटेशनल अव्यवहार्यता को हल करके और समय-स्वतंत्रता को लागू करके, यह कार्य स्थिर दीर्घकालिक एक्सट्रपोलेशन, सुसंगत समय प्रतिवर्तन और व्याख्या योग्य भौतिकी-आधारित संपादन को सक्षम बनाता है। यह भौतिक रूप से आधारित मॉडलिंग और हेरफेर के लिए मार्ग प्रशस्त करता है, जो रोबोट मोशन प्लानिंग और एम्बॉडीड एआई (embodied AI) जैसे डाउनस्ट्रीम अनुप्रयोगों के लिए महत्वपूर्ण है। लेखक सीमाओं का उल्लेख करते हैं, जिसमें प्रारंभिक अवस्था के लिए पूर्व-प्रशिक्षित काइनेमैटिक ट्रैजेक्टरीज पर निर्भरता और डिकपल्ड डायनेमिक्स की धारणा शामिल है, जो जटिल टकरावों (collisions) को कैप्चर नहीं कर सकती है, और इन्हें भविष्य के कार्य के लिए दिशा के रूप में सुझाते हैं।

इसी तरह के और पेपर