💻 computer science

NewtonGS: Physics-Structured Object-Level Neural Newtonian Dynamics for Gaussian Scene Animation

NewtonGS एक भौतिकी-संरचित ढांचे (physics-structured framework) को पेश करता है जो स्थिर 3D गॉसियन दृश्यों को एक संक्षिप्त 22-आयामी अवस्था और एक हाइब्रिड गॉसियन न्यूरल न्यूटोनियन डायनेमिक्स मॉडल के साथ निरूपित करके उन्हें एनिमेट करता है, जो मौजूदा विधियों की तुलना में बेहतर अवस्था भविष्यवाणी और नियंत्रणीय वस्तु-स्तरीय गति सक्षम करता है।

मूल लेखक: Lianlei Shan, Feiyang Ye, Yan Chen, Yong Wu

प्रकाशित 2026-08-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lianlei Shan, Feiyang Ye, Yan Chen, Yong Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डिजिटल सैंडबॉक्स के साथ खेल रहे हैं जहाँ आप लाखों छोटे, चमकते हुए मोतियों से पूरी दुनिया बना सकते हैं। ये साधारण मोती नहीं हैं; ये "3D Gaussians" हैं, जो एक विशेष प्रकार के डिजिटल निर्माण खंड (building blocks) हैं जो कंप्यूटर को दृश्यों को इतना तेज़ और स्पष्ट रूप से रेंडर करने की अनुमति देते हैं कि वे वास्तविक जीवन जैसे दिखते हैं। लंबे समय तक, ये डिजिटल दुनिया दीओरामा (dioramas) की तरह थीं: देखने में सुंदर, लेकिन समय में पूरी तरह से जमी हुई। यदि आप चाहते थे कि एक गेंद मेज पर लुढ़के, तो आपको हर एक मोती को, एक-एक करके, हर फ्रेम में मैन्युअल रूप से हिलाना पड़ता था। यह एनिमेटरों और गेम डिजाइनरों के लिए एक बुरा सपना था।

हाल ही में, वैज्ञानिकों ने यह पता लगाया कि इन मोतियों को कैसे चलाया जाए, लेकिन उन्होंने ज्यादातर पूरे दृश्य को एक विशाल, हिलते हुए जेली की तरह माना। वे एक चरित्र को नाचने या कपड़े को लहरों की तरह लहराने में सक्षम बना सकते थे, लेकिन वे आसानी से किसी विशिष्ट वस्तु, जैसे कि कॉफी मग को, पकड़कर यह नहीं कह सकते थे कि, "हे, मेज पर लुढ़को और दीवार से टकराओ।" कंप्यूटर को यह पता नहीं था कि मग का विशिष्ट वजन, एक विशिष्ट गति, या टकराने का एक विशिष्ट तरीका होगा। वह केवल यह जानता था कि पिक्सेल कैसे दिखते हैं। इन डिजिटल दुनियाओं को वास्तव में इंटरैक्टिव और अनुमानित बनाने के लिए, हमें प्रत्येक वस्तु को अपना एक "मस्तिष्क" देने की आवश्यकता है जो भौतिकी के नियमों (जैसे गुरुत्वाकर्षण, घर्षण और संवेग) को समझता हो, ताकि हम इसे एक असली खिलौने की तरह नियंत्रित कर सकें।

यहीं पर NewtonGS नामक एक नई विधि आती है। इसे एक डिजिटल कठपुतली को भौतिकी के वास्तविक नियमों द्वारा नियंत्रित अदृश्य धागों का एक सेट देने के रूप में समझें। शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो प्रत्येक 3D Gaussian दृश्य में प्रत्येक वस्तु को बिखरे हुए लाखों छोटे बिंदुओं के ढेर के रूप में नहीं, बल्कि एक एकल, स्मार्ट चरित्र के रूप में मानता है जिसके पास एक विशिष्ट "अवस्था" (state) है। यह अवस्था एक वीडियो गेम के 'कैरेक्टर शीट' की तरह है, जिसमें ठीक 22 सूचनाएं शामिल हैं: वस्तु कहाँ है, वह किस दिशा में देख रही है, वह कितनी तेज़ी से घूम रही है, वह कितनी तेज़ी से चल रही है, वह कितनी बड़ी है, और यहाँ तक कि यह भी कि वह कितनी भारी है और कितनी उछलने वाली (bouncy) है।

जादू तब होता है जब NewtonGS पुराने ज़माने के भौतिकी गणित और थोड़े से मशीन लर्निंग "अंतर्ज्ञान" (intuition) के मिश्रण का उपयोग करता है। यह यह अनुमान लगाने के लिए कि एक वस्तु को कैसे हिलना चाहिए, भौतिकी के कठिन नियमों (जैसे न्यूटन के नियमों) से शुरू होता है। लेकिन चूंकि वास्तविक जीवन अव्यवस्थित है और कंप्यूटर पूर्ण नहीं होते, इसलिए यह एक "सीखा हुआ अवशेष" (learned residual) जोड़ता है। कल्पना कीजिए कि एक भौतिकी शिक्षक है जो पाठ्यपुस्तक के उत्तरों को पूरी तरह से जानता है, लेकिन उसके पास एक छात्र भी है जिसने गेंदों के उछलने के लाखों वीडियो देखे हैं। शिक्षक गणित जानता है, लेकिन छात्र जानता है कि कभी-कभी एक गेंद अजीब तरह से उछलती है क्योंकि वहाँ कोई छिपा हुआ उभार होता है। NewtonGS भौतिक रूप से सही और आश्चर्यजनक रूप से यथार्थवादी गति की भविष्यवाणी करने के लिए शिक्षक के गणित और छात्र के अनुभव दोनों को जोड़ता है।

टीम ने 32 अलग-अलग प्रकार की गतिविधियों पर इसका परीक्षण किया, जिसमें साधारण फिसलने और लुढ़कने से लेकर जटिल उछलने और घूमने तक शामिल हैं। उन्होंने State-32 नामक एक डिजिटल प्लेग्राउंड बनाया जिसमें दस लाख से अधिक सिम्युलेटेड परिदृश्य थे। इन परीक्षणों में, NewtonGS सख्त गणितीय सूत्रों पर निर्भर पांच अन्य तरीकों की तुलना में यह अनुमान लगाने में बहुत बेहतर था कि एक वस्तु कहाँ होगी, वह कितनी तेज़ गति से जा रही होगी, और वह कैसे घूम रही होगी। इसने पथ, अंतिम रुकने बिंदु और गति की भविष्यवाणी करने में कम गलतियाँ कीं।

महत्वपूर्ण रूप से, यह शोध पत्र बताता है कि यह केवल संख्याओं के बारे में नहीं है। एक बार जब सिस्टम भविष्यवाणी कर लेता है कि वस्तु को कहाँ होना चाहिए, तो यह तुरंत लाखों छोटे चमकते मोतियों को उस नई स्थिति के अनुरूप अपडेट कर देता है। यह एक कंडक्टर की तरह है जो ऑर्केस्ट्रा के प्रत्येक संगीतकार को बताता है कि उन्हें अपना नोट कब बजाना है, जिससे यह सुनिश्चित होता है कि पूरा दृश्य पूर्ण सामंजस्य में चले। शोधकर्ताओं ने यह भी दिखाया कि यह तब भी काम करता है जब वस्तुएं विभिन्न वातावरणों में होती हैं, जैसे कि लिविंग रूम की मेज पर एक खिलौना कार या पार्क में एक फुटबॉल।

हालाँकि, शोध पत्र इस बात को स्पष्ट करने में सावधान है कि यह सिस्टम अभी क्या नहीं करता है। यह केवल एक वीडियो को देखकर भौतिकी को जादुई रूप से नहीं समझ लेता; इसे पहले शुरुआती गति और वजन बताया जाना आवश्यक है। यह भी वस्तुओं के टूटने या जटिल रूप से आकार बदलने (जैसे मिट्टी के टुकड़े का पिचकना) को नहीं संभाल सकता; यह केवल उन वस्तुओं को संभालता है जो ठोस रहती हैं लेकिन थोड़ी बड़ी या छोटी हो सकती हैं। और जबकि यह एक बार में एक वस्तु को चलाने में बहुत अच्छा है, यह अभी भी दो वस्तुओं के आपस में टकराने और एक-दूसरे से टकराकर दूर जाने की पहेली को हल नहीं करता है।

संक्षेप में, NewtonGS डिजिटल दुनिया को वास्तविक महसूस कराने की दिशा में एक महत्वपूर्ण कदम है। यह स्थिर 3D कला और इंटरैक्टिव भौतिकी के बीच के अंतर को पाटता है, जिससे हम वास्तविक दुनिया में उपयोग किए जाने वाले समान नियमों के साथ डिजिटल वस्तुओं को नियंत्रित कर सकते हैं। यह सुझाव देता है कि डिजिटल वस्तुओं को एक स्पष्ट "अवस्था" और भौतिकी-आधारित मस्तिष्क देकर, हम ऐसे एनिमेशन बना सकते हैं जो न केवल दृष्टिगत रूप से शानदार हैं बल्कि अनुमानित और नियंत्रणीय भी हैं, जो बेहतर वीडियो गेम, वर्चुअल रियलिटी और इंटरैक्टिव स्टोरीटेलिंग के द्वार खोलते हैं।

तकनीकी सारांश: NewtonGS

समस्या विवरण

एक स्थिर 3D Gaussian Splatting (3DGS) दृश्य के भीतर वस्तुओं को एनिमेट करने के लिए एक स्पष्ट वस्तु-स्तरीय गतिशील अवस्था (object-level dynamic state) और वस्तु की गति के लिए एक नियंत्रणीय मॉडल की आवश्यकता होती है। मौजूदा गतिशील Gaussian विधियाँ मुख्य रूप से समय-परिवर्तित दृश्यों के पुनर्निर्माण या निरंतर विरूपण (जैसे 4DGS, विरूपण क्षेत्र) के अनुकरण पर ध्यान केंद्रित करती हैं। इन दृष्टिकोणों में एक संक्षिप्त, स्पष्ट वस्तु-स्तरीय अवस्था प्रतिनिधित्व का अभाव है जो मौजूदा Gaussian वस्तु की गति के प्रत्यक्ष नियंत्रण, भविष्यवाणी और संपादन की अनुमति दे सके। इसके अलावा, शुद्ध विश्लेषणात्मक मॉडल अक्सर मॉडल मिसमैच और अनमॉडल किए गए प्रभावों को समझने में विफल रहते हैं, जबकि अनियंत्रित न्यूरल प्रेडिक्टर ऐसी गतियां उत्पन्न करते हैं जिन्हें नियंत्रित करना और व्याख्या करना कठिन होता है। मुख्य चुनौती एक Gaussian वस्तु को एक संक्षिप्त अवस्था के साथ प्रस्तुत करने की है जो स्पष्ट ज्यामितीय और गतिशील अर्थों को बनाए रखती है, निरंतर गति और असतत घटनाओं (जैसे संपर्क) दोनों को कैप्चर करके समय के साथ इस अवस्था को विकसित करती है, और प्रत्येक प्रिमिटिव (primitive) को अलग ट्रैजेक्टरी असाइन किए बिना अनुमानित गति को सुसंगत रूप से वापस Gaussian प्रिमिटिव्स पर मैप करती है।

कार्यप्रणाली: NewtonGS

लेखक NewtonGS का प्रस्ताव करते हैं, जो वस्तु-स्तरीय अवस्था रोलआउट और Gaussian दृश्य एनीमेशन के लिए एक भौतिक-संरचित ढांचा है। यह विधि तीन चरणों में कार्य करती है: अवस्था प्रतिनिधित्व, हाइब्रिड डायनेमिक्स भविष्यवाणी, और अवस्था-से-Gaussian रूपांतरण।

1. वस्तु-केंद्रित Gaussian अवस्था प्रतिनिधित्व

प्रत्येक गतिशील वस्तु $k$ को एक संक्षिप्त 22-आयामी अवस्था वेक्टर $Z_k$ द्वारा सारांशित किया जाता है:
$Z_k = [p_k, q_k, v_k, \omega_k, s_k, u_k, m_k, e_k, \mu_k]$
जहाँ:

$p_k \in \mathbb{R}^3$ : वस्तु केंद्र स्थिति।
$q_k \in \mathbb{H}$ : यूनिट ओरिएंटेशन क्वाटर्नियन।
$v_k, \omega_k \in \mathbb{R}^3$ : रैखिक और कोणीय वेग।
$s_k, u_k \in \mathbb{R}^3$ : एगोग्रेट एनिसोट्रोपिक स्केल (aggregate anisotropic scale) और इसकी दर।
$m_k, e_k, \mu_k \in \mathbb{R}$ : द्रव्यमान, रेस्टीट्यूशन (restitution), और टेंगेंशियल एटेनुएशन (tangential attenuation) (सामग्री गुण)।

यह अवस्था एक वस्तु समूह का वर्णन करती है न कि व्यक्तिगत प्रिमिटिव का। स्केल $s_k$ एक उच्च-आयामी विरूपण कोड पेश किए बिना आकार बदलने और सरल विरूपण प्रक्षेपवक्रों को कवर करता है।

2. Gaussian न्यूरल न्यूटोनियन डायनेमिक्स (Gaussian-NND)

इस ढांचे का मूल एक संरचित हाइब्रिड डायनेमिक्स मॉडल है जो एक विश्लेषणात्मक पूर्ववर्ती (analytic prior) को सीखे गए अवशेषों (learned residuals) के साथ जोड़ता है।

निरंतर गति (Continuous Dynamics): संपर्कों के बीच, अवस्था एक संरचित वेक्टर फील्ड के माध्यम से विकसित होती है जो अनुवाद (translation), क्वाटर्नियन किनेमैटिक्स, गुरुत्वाकर्षण, डैम्पिंग और स्केल रेस्टोरेशन को एकीकृत करती है। एक न्यूरल नेटवर्क $f_\theta$ विश्लेषणात्मक पूर्ववर्ती को ठीक करने के लिए बाउंडेड त्वरण अवशेष $[r_v, r_\omega, r_s]$ की भविष्यवाणी करता है। सिस्टम को RK4 का उपयोग करके एकीकृत किया जाता है।
असतत संपर्क घटनाएँ (Discrete Contact Events): प्रभाव के समय तात्कालिक वेग परिवर्तन को संभालने के लिए, एक अलग इवेंट मैप क्षैतिज फर्श ( $y=0$ ) के साथ संपर्क का पता लगाता है। पता चलने पर, एक विश्लेषणात्मक प्रतिक्रिया (restitution और tangential attenuation) लागू की जाती है, जिसके बाद एक सीखा गया संपर्क अवशेष नेटवर्क $h_\phi$ पोस्ट-इम्पैक्ट वेग और कोणीय वेग में सुधार की भविष्यवाणी करता है।
आरंभीकरण (Initialization): दोनों अवशेष नेटवर्क शून्य आउटपुट उत्पन्न करने के लिए आरंभीकृत किए जाते हैं, यह सुनिश्चित करते हुए कि प्रारंभिक रोलआउट सख्ती से विश्लेषणात्मक मॉडल का पालन करता है, जबकि अवशेष डेटा से सीखे जाते हैं।

3. अवस्था-से-Gaussian रूपांतरण

अनुमानित वस्तु अवस्था को एक साझा एफाइन ट्रांसफॉर्मेशन (shared affine transformation) में परिवर्तित किया जाता है जो वस्तु के सभी Gaussians पर लागू होता है।

प्रारंभिक अवस्था के सापेक्ष अनुमानित अवस्था से एक सापेक्ष रोटेशन मैट्रिक्स $R_t$ और स्केल रेश्यो वेक्टर $\rho_t$ की गणना की जाती है।
Gaussian माध्य $g_i$ और कोवेरियेंस $\Sigma_i$ को एक साझा ट्रांसफॉर्मेशन मैट्रिक्स $A_t$ के माध्यम से अपडेट किया जाता है:
$g_i^t = A_t(g_i^0 - p_0) + p_t$
$\Sigma_i^t = A_t \Sigma_i^0 A_t^\top$
यह सुनिश्चित करता है कि पूरे क्लस्टर के सुसंगत रूप से चलने के दौरान वस्तु की आंतरिक संरचना सुरक्षित रहती है।

मुख्य योगदान

NewtonGS ढांचा: एक वस्तु-स्तरीय ढांचा जो Gaussian एनीमेशन को एक स्पष्ट 22-आयामी अवस्था के रोलआउट के रूप में तैयार करता है, जिसके बाद वस्तु के Gaussian प्रिमिटिव्स का एक नियत, साझा रूपांतरण होता है।
Gaussian-NND मॉडल: एक संरचित हाइब्रिड डायनेमिक्स मॉडल जो निरंतर क्वाटर्नियन/स्केल विकास, असतत क्षैतिज-फर्श संपर्क घटनाओं और शून्य-आरंभीकृत सीखे गए अवशेषों को जोड़ता है। यह भौतिक व्याख्यात्मकता को मॉडल मिसमैच को ठीक करने की क्षमता के साथ संतुलित करता है।
प्रक्रियात्मक बेंचमार्क पर मूल्यांकन: State-32 (स्टेट-रोलआउट मूल्यांकन के लिए) और Gaussian-32 (स्टेट-टू-Gaussian ट्रांसफॉर्मेशन के लिए) का परिचय। प्रयोग दर्शाते हैं कि NewtonGS इन-डिस्ट्रीब्यूशन और वेलोसिटी-रेंज-शिफ्ट स्प्लिट दोनों में पांच विश्लेषणात्मक बेसलाइनों की तुलना में कम प्रक्षेपवक्र, एंडपॉइंट और वेग त्रुटियां प्राप्त करता है।

परिणाम

लेखकों ने NewtonGS का मूल्यांकन State-32 डेटासेट पर किया, जिसमें 1,048,764 प्रशिक्षण अनुक्रम और इन-डिस्ट्रीब्यूशन (ID) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) स्प्लिट (जहाँ OOD में बढ़ी हुई वेग रेंज शामिल है) के लिए 131,072 अनुक्रम शामिल हैं।

अवस्था भविष्यवाणी: ID और OOD स्प्लिट दोनों पर, NewtonGS ने पांच विश्लेषणात्मक बेसलाइनों (जिसमें Hold-Z0, Constant Velocity, Damped Velocity, Gravity-Bounce, और Physics-Prior शामिल हैं) के मुकाबले सबसे कम Trajectory RMSE, Final Displacement Error (FDE), और Velocity RMSE प्राप्त किया।
- ID पर, NewtonGS ने सर्वश्रेष्ठ बेसलाइन के सापेक्ष प्रक्षेपवक्र, एंडपॉइंट और वेग त्रुटियों को क्रमशः 3.61%, 2.57%, और 2.34% कम किया।
- OOD पर, क्रमशः 3.06%, 5.25%, और 2.27% की कमी आई, जो वेग बदलाव के प्रति मजबूती को दर्शाता है।
क्रॉस-रिप्रेजेंटेशन: Gaussian-32 और Same-32 उपसमुच्चयों पर, NewtonGS ने प्रक्षेपवक्र, एंडपॉइंट और क्वाटर्नियन त्रुटियों में L4GM वीडियो-टू-4DGS विधि को पछाड़ दिया, जो अनुमानित अवस्थाओं से एनिमेटेड Gaussian वस्तुओं में प्रभावी रूपांतरण को प्रदर्शित करता है।
वीडियो प्रॉक्सी तुलना: एक "Common-12" तुलना में वीडियो जनरेशन मॉडल्स (Sora, Veo 3, Wan, आदि) के विरुद्ध, NewtonGS ने भौतिक निरंतरता (PISp), बैकग्राउंड स्थिरता (BCp), और मोशन स्मूथनेस (MSp) में उच्च स्कोर प्राप्त किया, और मोशन श्रेणियों में कम भिन्नता दिखाई।

महत्व और दावे

पेपर का दावा है कि NewtonGS स्थिर 3D Gaussian प्रतिनिधित्व और नियंत्रणीय, भौतिक-निर्देशित गति के बीच एक आवश्यक सेतु प्रदान करता है। Gaussian वस्तुओं को स्पष्ट गतिशील अवस्थाएं असाइन करके, यह विधि अनुमानित और संपादन योग्य गति को सक्षम बनाती है, जो दृश्य एनीमेशन और इंटरैक्टिव कंटेंट क्रिएशन के लिए महत्वपूर्ण है।

लेखक जोर देते हैं कि उनका दृष्टिकोण स्वतंत्र रूप से अनुमानित प्रिमिटिव मोशन के बजाय एक सुसंगत ऑब्जेक्ट फ्रेम और प्रत्यक्ष स्टेट-स्पेस कंट्रोल को प्राथमिकता देकर मौजूदा 4DGS विधियों से भिन्न है। संरचित हाइब्रिड डायनेमिक्स मॉडल विविध गति पैटर्न (बैलिस्टिक, बाउंसिंग, रोलिंग, ऑसिलेटरी) को कैप्चर करने की अनुमति देता है जिन्हें निश्चित विश्लेषणात्मक नियम पकड़ने में विफल रहते हैं, जबकि अंतर्निहित भौतिक पूर्ववर्तीों के माध्यम से व्याख्यात्मकता बनाए रखता है।

पेपर अपने दायरे के संबंध में विनम्र रहता है:

यह वस्तु-स्तरीय डायनेमिक्स पर केंद्रित है और आर्टिकुलेटेड जॉइंट्स, टोपोलॉजी परिवर्तन, या जटिल मल्टी-ऑब्जेक्ट इंटरैक्शन (जैसे कि pairwise collisions को स्पष्ट रूप से मॉडल नहीं किया गया है) को मॉडल नहीं करता है।
वर्तमान कार्यान्वयन क्षैतिज फर्श के साथ संपर्क को संभालता है; दीवार और ढलान के संपर्कों को अवशेषों के माध्यम से सीखा जाता है न कि स्पष्ट सॉल्वर के माध्यम से।
रिपोर्ट किए गए परिणाम लेबल किए गए प्रारंभिक अवस्थाओं से शुरू होते हैं; पेपर कच्चे वीडियो से स्वचालित अवलोकन-से-अवस्था निष्कर्ष (observation-to-state inference) की समस्या को हल करने का दावा नहीं करता है, हालांकि यह ग्रुपिंग और स्टेट लिफ्टिंग के लिए नियत इंटरफेस प्रदान करता है।
मूल्यांकन प्रक्रियात्मक रूप से उत्पन्न सिंथेटिक डेटासेट पर किया गया है; जबकि विधि प्रभावी एनीमेशन प्रदर्शित करती है, यह सामान्य जनरेशन कार्यों में टेक्स्ट-टू-वीडियो सिस्टम की तुलना में फोटो-यथार्थवादी 4D पुनर्निर्माण या श्रेष्ठता का दावा नहीं करती है।