💻 computer science

Structured 4D Latent Predictive Model for Robot Planning

यह शोध पत्र एक स्ट्रक्चर्ड 4D लेटेंट प्रेडिक्टिव मॉडल पेश करता है जो मौजूदा वीडियो-आधारित प्लानर्स की 2D सीमाओं को पार करने के लिए एक स्ट्रक्चर्ड लेटेंट स्पेस में 3D दृश्य विकास (scene evolution) का पूर्वानुमान लगाता है, जिससे जटिल रोबोटिक मैनिपुलेशन कार्यों के लिए बेहतर 3D निरंतरता, दृश्य गुणवत्ता और सुदृढ़ सामान्यीकरण प्राप्त होता है।

मूल लेखक: Zhiyi Li, Peilin Wu, Xiaoshen Han, Ruojin Cai, Yilun Du

प्रकाशित 2026-07-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhiyi Li, Peilin Wu, Xiaoshen Han, Ruojin Cai, Yilun Du

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक ब्लॉक उठाने और उसे एक कटोरे में रखने के लिए सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (द "2D मूवी" अप्रोच)
वर्तमान में अधिकांश रोबोट 2D वीडियो देखकर सीखते हैं, जैसे कि एक सपाट स्क्रीन पर फिल्म देखना। वे पिछले फ्रेम के आधार पर यह अनुमान लगाने की कोशिश करते हैं कि फिल्म का अगला फ्रेम कैसा दिखेगा।

समस्या: यदि रोबट एक मूवी प्रोजेक्टर है, तो वह वास्तव में गहराई (depth) को नहीं समझता। वह एक ब्लॉक की सपाट तस्वीर देखता है। यदि कैमरा थोड़ा सा हिल जाए, या रोशनी बदल जाए, तो रोबोट भ्रमित हो जाता है क्योंकि वह केवल पिक्सेल को मैच कर रहा है, न कि यह समझ रहा है कि ब्लॉक एक ठोस 3D वस्तु है। यह एक भूलभुलैया (maze) में केवल एक सपाट मानचित्र देखकर नेविगेट करने जैसा है; आप कागज पर तो दीवारों के बारे में जान सकते हैं, लेकिन जब आप उनसे टकराते हैं तो आप दीवारों को महसूस नहीं कर पाते।

नया तरीका (द "3D क्ले" अप्रोच)
यह पेपर एक नई विधि पेश करता है जिसे स्ट्रक्चर्ड 4D लेटेंट प्रेडिक्टिव मॉडल (Structured 4D Latent Predictive Model) कहा जाता है। एक सपाट वीडियो की भविष्यवाणी करने के बजाय, रोबोट "डिजिटल क्ले" (एक स्ट्रक्चर्ड 3D स्पेस) का उपयोग करके दुनिया का एक मानसिक मॉडल बनाता है।

यह इस प्रकार काम करता है, चरण-दर-चरण:

1. "डिजिटल क्ले" बनाना (द 3D लेटेंट)

जब रोबोट अपने कैमरों के माध्यम से दुनिया को देखता है, तो वह केवल एक फोटो सेव नहीं करता। वह उस दृश्य को एक स्पार्स 3D ग्रिड (sparse 3D grid) में बदल देता है—इसे Minecraft ब्लॉक्स के 3D संस्करण के रूप में सोचें, लेकिन केवल वे ब्लॉक्स जो वास्तव में किसी चीज़ से भरे हैं, वही "सक्रिय" होते हैं।

जादू: यह ग्रिड कमरे में मौजूद हर चीज़ के आकार, रंग और स्थिति को रखता है। यह एक एकल, एकीकृत 3D मानचित्र है जिसे रोबोट किसी भी कोण से देख सकता है, न कि केवल कैमरे के कोण से।

2. भविष्य की भविष्यवाणी करना (द "टाइम मशीन")

रोबोट को एक टेक्स्ट निर्देश दिया जाता है, जैसे "पेग को उठाओ और उसे छेद में डालो।"

अगले वीडियो फ्रेम का अनुमान लगाने के बजाय, रोबोट अपने 3D क्ले मॉडल का उपयोग करके भविष्य का सिमुलेशन करता है। वह पूछता है, "यदि मैं अपना हाथ इस तरह हिलाता हूँ, तो 3D क्ले कैसे बदलेगा?"
यह भविष्य की 3D अवस्थाओं (states) की एक श्रृंखला उत्पन्न करता है। क्योंकि यह एक वास्तविक 3D मॉडल के साथ काम कर रहा है, इसलिए कल्पना किया गया भविष्य भौतिक रूप से सुसंगत (consistent) होता है। पेग वास्तव में छेद में फिट बैठता है; यह केवल एक कोण से ऐसा नहीं दिखता कि वह फिट है और दूसरे कोण से गायब हो जाता है।

3. "अनुवादक" (इनवर्स डायनेमिक्स)

रोबोट के पास अब भविष्य की एक परफेक्ट 3D मूवी है, लेकिन उसे यह जानने की आवश्यकता है कि उस मूवी को सच करने के लिए अपने भौतिक जोड़ों (joints) को कैसे हिलाना है।

यहीं पर इनवर्स डायनेमिक्स मॉड्यूल (Inverse Dynamics Module) आता है। इसे एक अनुवादक के रूप में समझें। यह "वर्तमान 3D अवस्था" और "भविष्य की 3D अवस्था" को देखता है और कहता है, "यहाँ से वहाँ तक पहुँचने के लिए, रोबोट के हाथ को अपने जोड़ों को इस विशिष्ट तरीके से हिलाने की आवश्यकता है।"
यह अमूर्त 3D भविष्यवाणी को ठोस मोटर कमांड (जैसे "कंधे को 15 डिग्री घुमाएं") में बदल देता है।

यह बेहतर क्यों है?
पेपर का दावा है कि यह विधि तीन मुख्य कारणों से श्रेष्ठ है:

इसे चक्कर नहीं आते: क्योंकि रोबोट 3D ज्यामिति (geometry) को समझता है, इसलिए यह वीडियो-आधारित रोबोटों की तुलना में प्रकाश परिवर्तन या कैमरा एंगल में बदलाव को बहुत बेहतर तरीके से संभाल सकता है। वह जानता है कि ब्लॉक वहीं है, भले ही छाया बदल गई हो।
यह पूरी तस्वीर देखता है: यह केवल एक कैमरे का दृश्य नहीं देखता; यह पूरी दुनिया को समझता है। यदि कोई वस्तु एक कैमरे से छिपी हुई है, तो 3D मॉडल अभी भी "जानता" है कि वह वहां है, अन्य कोणों के आधार पर।
यह वास्तविक दुनिया में काम करता है: लेखकों ने वास्तविक रोबोटों पर इसका परीक्षण किया (केवल सिमुलेशन में नहीं)। उन्होंने दिखाया कि उनका रोबोट सफलतापूर्वक ब्लॉक स्टैक कर सकता है, टूल्स खींच सकता है और पेग डाल सकता है, भले ही रोशनी कम हो या बैकग्राउंड वैसा न हो जैसा कि प्रशिक्षण के दौरान था।

संक्षेप में:
पुराने रोबोट एक सपाट मूवी के अगले फ्रेम का अनुमान लगाने की कोशिश करते हैं। यह नया रोबोट दुनिया की एक 3D मूर्ति बनाता है, यह सिमुलेशन करता है कि वह मूर्ति समय के साथ कैसे बदलती है, और फिर यह पता लगाता है कि उस सिमुलेशन को वास्तविक बनाने के लिए अपने शरीर को ठीक से कैसे हिलाना है। यह इसे स्थान को समझने और जटिल कार्यों को संभालने में बहुत बेहतर बनाता है।

तकनीकी सारांश: रोबोट प्लानिंग के लिए स्ट्रक्चर्ड 4D लेटेंट प्रेडिक्टिव मॉडल

समस्या विवरण

वर्तमान रोबोटिक्स प्लानिंग प्रतिमान (paradigms) सामान्यीकरण (generalization) और स्थानिक तर्क (spatial reasoning) में महत्वपूर्ण सीमाओं का सामना कर रहे हैं। जबकि एंड-टू-एंड पॉलिसी-आधारित एजेंट (जो अवलोकनों को सीधे क्रियाओं में मैप करते हैं) संकीर्ण, इंस्ट्रूमेंटेड सेटिंग्स में अच्छा प्रदर्शन करते हैं, वे वितरण बदलावों (distribution shifts) जैसे कि प्रकाश में परिवर्तन, व्यूपॉइंट या कार्य संरचना में बदलाव के साथ संघर्ष करते हैं। इसके विपरीत, वीडियो-आधारित प्रेडिक्टिव मॉडल, जो दीर्घ-क्षितिज (long-horizon) प्लानिंग के लिए एक आशाजनक विकल्प के रूप में उभरे हैं, स्वाभाविक रूप से 2D पिक्सेल स्पेस में कार्य करते हैं। यह 2D प्रकृति वास्तविक 3D दुनिया के साथ भौतिक विसंगतियों (physical inconsistencies) की ओर ले जाती है, जिसके परिणामस्वरूप सटीक स्थानिक समझ और मल्टी-व्यू सुसंगतता (multi-view coherence) की कमी होती है। 3D संकेतों (जैसे कि RGB के साथ डेप्थ और नॉर्मल्स का अनुमान लगाना) को शामिल करने के मौजूदा प्रयास अक्सर सतही प्रोजेक्शन तक ही सीमित रहते हैं, जो ऑक्लूजन (occlusions) और व्यूपॉइंट शिफ्ट के प्रति संवेदनशील होते हैं। पारंपरिक 3D प्रतिनिधित्व (पॉइंट क्लाउड्स, मेश) में सिमेंटिक समझ के लिए आवश्यक समृद्ध दृश्य विवरण की कमी होती है, जबकि फोटो-रियलिस्टिक प्रतिनिधित्व (NeRFs, 3D Gaussian Splatting) गणनात्मक रूप से गहन होते हैं और गतिशील रूप से मॉडल करना कठिन होता है। संबोधित किया जाने वाला मुख्य चुनौती यह है कि एक ऐसा मॉडल बनाना जो दुनिया की गतिशील 3D संरचनाओं को स्वाभाविक रूप से सिम्युलेट कर सके ताकि सटीक, 3D-सुसंगत रोबोट प्लानिंग सक्षम हो सके।

कार्यप्रणाली (Methodology)

1. स्ट्रक्चर्ड 3D लेटेंट रिप्रजेंटेशन

लेखक एक स्ट्रक्चर्ड 4D लेटेंट प्रेडिक्टिव मॉडल का प्रस्ताव करते हैं जो पिक्सेल स्पेस के बजाय एक स्ट्रक्चर्ड लेटेंट स्पेस में कार्य करता है।

रिप्रजेंटेशन: दृश्य को स्पार्स वोक्सेल ग्रिड्स (sparse voxel grids) की एक श्रृंखला में एनकोड किया जाता है। प्रत्येक सक्रिय वोक्सेल $p_i$ एक कॉम्पैक्ट फीचर वेक्टर $f_i$ धारण करता है जो स्थानीय ज्यामिति और रंग को एनकोड करता है। यह डेंस ग्रिड्स (जिन्हें $64^3$ तत्वों की आवश्यकता होती है) की तुलना में लगभग 8,000 सक्रिय वोक्सेल्स और 8-आयामी फीचर्स का उपयोग करके संरचनात्मक जानकारी और लेटेंट संपीड़न (compression) के बीच संतुलन बनाता है।
एनकोडिंग: मल्टी-व्यू RGB-D अवलोकनों को कैमरा ज्योमेट्री का उपयोग करके अनप्रोजेक्ट किया जाता है ताकि एक 3D पॉइंट क्लाउड बनाया जा सके, जिसे फिर वोक्सेलाइज किया जाता है। प्री-ट्रेन्ड DINOv2 एनकोडर्स छवियों से पैच-लेवल एम्बेडिंग्स निकालते हैं, जिन्हें अनप्रोजेक्ट और वोक्सेल ग्रिड में औसत (average) किया जाता है ताकि स्ट्रक्चर्ड 3D लेटेंट्स $z_t$ उत्पन्न किए जा सकें।
डिकोडिंग: एक लेटेंट डिकोडर वोक्सेल फीचर्स को 3D Gaussians के सेट में मैप करता है। इन Gaussians को किसी भी व्यूपॉइंट से छवियों में रेंडर किया जा सकता है या स्पष्ट पॉइंट क्लाउड्स में बदला जा सकता है, जो कच्चे विजुअल परसेप्शन और आंतरिक 3D स्टेट के बीच के अंतर को पाटता है।

2. प्रेडिक्टिव मॉडल आर्किटेक्चर

मॉडल वर्तमान स्थिति $z_t$ और टेक्स्ट निर्देश $c$ की स्थिति में 3D दृश्य के विकास ( $z_{t+1}, \dots, z_{t+T}$ ) की भविष्यवाणी करता है। यह दो-चरणीय पाइपलाइन का उपयोग करता है:

सिंगल डायनेमिक्स मॉडल (SD): मोटे ज्यामितीय परिवर्तनों (coarse geometric changes) पर ध्यान केंद्रित करता है। यह कंडीशनल फ्लो मैचिंग के साथ एक ट्रांसफार्मर बैकबोन का उपयोग करके अगले स्टेट के लिए स्पार्स वोक्सेल पोजीशन की भविष्यवाणी करता है। यह वर्तमान लेटेंट और टेक्स्ट निर्देश को इनपुट के रूप में लेता है।
लेटेंट जनरेटर (LG): उपस्थिति और दृश्य विवरणों पर ध्यान केंद्रित करता है। SD द्वारा अनुमानित वोक्सेल पोजीशन को देखते हुए, LG उन वोक्सेल्स के लिए फीचर वेक्टर्स को भरता है, जो फ्लो-मैचिंग फ्रेमवर्क का भी उपयोग करता है।
ट्रेनिंग: दोनों घटकों को स्वतंत्र रूप से कंडीशनल फ्लो-मैचिंग मॉडल के रूप में प्रशिक्षित किया जाता है। ट्रेनिंग ऑब्जेक्टिव क्लीन डेटा और गॉसियन नॉइज़ के बीच इंटरपोलेशन में प्रेडिक्टेड वेलोसिटी फील्ड और वास्तविक नॉइज़ वेक्टर के बीच की दूरी को कम करता है।

3. प्लानिंग पाइपलाइन

प्रेडिक्टिव मॉडल एक हाई-लेवल प्लानर के रूप में कार्य करता है, जो भविष्य के 3D स्टेट्स जेनरेट करता है जिन्हें एक गोल-कंडीशन्ड इनवर्स डायनेमिक्स मॉड्यूल के माध्यम से निष्पादन योग्य क्रियाओं (executable actions) में अनुवादित किया जाता है:

लेटेंट टू एक्शन: मॉडल लेटेंट सबगोल्स (subgoals) की एक श्रृंखला की भविष्यवाणी करता है। एक इनवर्स डायनेमिक्स मॉड्यूल वर्तमान स्थिति और अगले सबगोल को एक शॉर्ट-होराइजन एक्शन चंक (जॉइंट पोजीशंस) में मैप करता है।
कार्यान्वयन विकल्प:
1. लर्न्ड इनवर्स डायनेमिक्स: लेटेंट्स को पॉइंट क्लाउड्स में डिकोड करता है, उन्हें एक पिरामिड कन्वोल्यूशनल बैकबोन के साथ एनकोड करता है, और क्रियाओं की भविष्यवाणी करने के लिए एक डिफ्यूजन हेड का उपयोग करता है।
2. लर्निंग-फ्री पोस एस्टीमेशन: प्रेडिक्टेड सबगोल को पॉइंट क्लाउड में डिकोड करता है, रोबोट ग्रिपर टेम्पलेट को प्रेडिक्टेड ग्रिपर ज्योमेट्री के साथ अलाइन करने के लिए एक रिजिड ट्रांसफॉर्मेशन का अनुमान लगाता है (FPFH, RANSAC, और ICP का उपयोग करके), और टारगेट पोस को मोशन प्लानर को पास करता है।
एग्जीक्यूशन: सिस्टम ओपन-लूप (अनुमानित क्रियाओं को निष्पादित करना) या क्लोज्ड-लूप (नए अवलोकनों के आधार पर प्रत्येक स्टेप के बाद री-प्लानिंग करना) में काम कर सकता है।

प्रमुख योगदान

स्ट्रक्चर्ड 4D लेटेंट प्रेडिक्टिव मॉडल: एक नवीन मॉडल जो अवलोकनों और टेक्स्ट की स्थिति में भविष्य की 3D संरचनाओं की भविष्यवाणी करता है, जो पिक्सेल स्पेस के बजाय स्ट्रक्चर्ड लेटेंट स्पेस में कार्य करके मजबूत विजुअल क्वालिटी, 3D निरंतरता और मजबूत व्यूपॉइंट जनरलाइजेशन प्राप्त करता है।
प्लानिंग फ्रेमवर्क: एक ऐसा फ्रेमवर्क जो इनवर्स डायनेमिक्स मॉड्यूल के लिए ज्यामितीय रूप से समृद्ध लक्ष्यों के रूप में विस्तृत 3D भविष्यवाणियों का लाभ उठाता है, जिससे सटीक और स्थानिक रूप से जागरूक हेरफेर (manipulation) संभव होता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): जनरेशन क्वालिटी और डाउनस्ट्रीम रोबोटिक टास्क परफॉरमेंस दोनों में स्टेट-ऑफ-द-आर्ट वीडियो-आधारित प्लानर्स (जैसे UniPi, TesserAct) को पछाड़ते हुए प्रदर्शन प्रदर्शित किया। इसमें विजुअल बदलावों के प्रति मजबूत ज़ीरो-शॉट जनरलाइजेशन और वास्तविक-दुनिया के प्लेटफॉर्म्स पर प्रभावशीलता शामिल है।

प्रयोगात्मक परिणाम

4D जनरेशन क्वालिटी

मेट्रिक्स: इमेज क्वालिटी (PSNR, SSIM, LPIPS) और 3D कंसिस्टेंसी (Chamfer Distance, depth error, multi-view PSNR/SSIM/LPIPS) पर मूल्यांकन किया गया।
प्रदर्शन: प्रस्तावित विधि ने Wan-2.1, TesserAct, और OpenSora-1.3 जैसे बेसलाइन्स की तुलना में बेहतर 3D निरंतरता और मल्टी-व्यू सुसंगतता प्राप्त की। उदाहरण के लिए, इसने बेसलाइन्स के ~42-44 की तुलना में 5.95 का Chamfer Distance प्राप्त किया, और बेसलाइन्स के ~16-17 की तुलना में 27.42 का मल्टी-व्यू cPSNR प्राप्त किया।
विजुअल फिडेलिटी: जेनरेटेड सीक्वेंस ने मल्टी-कैमरा व्यू के माध्यम से टेम्पोरल कंसिस्टेंसी और उच्च विजुअल फिडेलिटी बनाए रखी।

रोबोट प्लानिंग प्रदर्शन

सिमुलेशन (ManiSkill3 और RLBench): StackCube, ToolPull, और PegInsertion जैसे कार्यों पर, विधि ने ManiSkill3 पर 61.3% की औसत सफलता दर प्राप्त की, जो UniPi (29.3%) और TesserAct (24.7%) को काफी पीछे छोड़ते हुए स्पेशलाइज्ड इमिटेशन लर्निंग पॉलिसी के करीब पहुंच गई। RLBench कार्यों पर, इसने 55.0% (UniPi) और 61.7% (TesserAct) की तुलना में 75.3% की औसत सफलता दर हासिल की।
ज़ीरो-शॉट जनरलाइजेशन: मॉडल ने अनदेखे विजुअल कंडीशंस (लाइटिंग बदलाव, नॉइज़, बैकग्राउंड शिफ्ट) और नए व्यूपॉइंट्स (10° रोटेशन तक) के प्रति मजबूती प्रदर्शित की, जहाँ बेसलाइन्स के प्रदर्शन में भारी गिरावट आई (जैसे लाइटिंग बदलाव के तहत DP घटकर 7% रह गया)।
रियल-वर्ल्ड वैलिडेशन: ब्लॉक-इन-बास्केट टास्क के 50 एपिसोड में, विधि ने 80% सफलता दर प्राप्त की, जो डिफ्यूजन पॉलिसी बेसलाइन (62%) से बेहतर है।

एब्लेशन स्टडीज (Ablation Studies)

इनपुट रिप्रजेंटेशन: पाया गया कि डिकोडेड पॉइंट क्लाउड्स इनवर्स डायनेमिक्स मॉड्यूल के लिए सबसे प्रभावी इनपुट थे, जो कच्चे वोक्सेल्स या पूर्ण 3D लेटेंट्स की तुलना में ज्यामितीय फिडेलिटी और कम्प्यूटेशनल दक्षता का संतुलन प्रदान करते हैं।
व्यूपॉइंट काउंट: हालांकि अधिक व्यूज (40) के साथ ट्रेनिंग करने से 3D कंसिस्टेंसी में सुधार हुआ, लेकिन मॉडल क्लोज्ड-लूप री-प्लानिंग का उपयोग करने पर सीमित ट्रेनिंग व्यूज (4) के साथ भी प्रभावी रहा, जिसने सफलता दर को काफी बढ़ा दिया।

महत्व और दावे

यह पेपर दावा करता है कि 2D वीडियो-आधारित दृष्टिकोणों से हटकर एक स्ट्रक्चर्ड 4D लेटेंट स्पेस की ओर बढ़ने से, प्रस्तावित मॉडल वर्तमान वीडियो जेनेरेटिव प्लानर्स में अंतर्निहित भौतिक विसंगतियों और स्थानिक तर्क की कमी को दूर करता है। इसका महत्व निम्नलिखित में निहित है:

समग्र 3D समझ: संपूर्ण 3D सीन स्ट्रक्चर को एनकोड और प्रेडिक्ट करने की क्षमता, जो मल्टी-व्यू सुसंगतता और भौतिक निरंतरता सुनिश्चित करती है।
जनरलाइजेशन: बिना रिट्रेनिंग के नए विजुअल कंडीशंस और व्यूपॉइंट्स के अनुकूल होने की क्षमता, जो वास्तविक दुनिया में तैनाती के लिए एक महत्वपूर्ण आवश्यकता है।
मॉड्यूलर प्लानिंग: प्रेडिक्टिव मॉडल (प्लानिंग) और इनवर्स डायनेमिक्स मॉड्यूल (कंट्रोल) का अलगाव विभिन्न रोबोट सेटअप और कार्यों के लिए लचीले एकीकरण और ट्रांसफर की अनुमति देता है।
वास्तविक-दुनिया की प्रयोज्यता: सिमुलेशन से वास्तविक-वर्ल्ड रोबोटिक प्लेटफॉर्म्स पर विधि का सफल ट्रांसफर जटिल हेरफेर कार्यों के लिए व्यावहारिक तैनाती की क्षमता को प्रदर्शित करता है।

लेखक नोट करते हैं कि हालांकि वर्तमान कार्यान्वयन प्रारंभिक पुनर्निर्माण के लिए कैलिब्रेटेड मल्टी-व्यू इनपुट मानता है, कमजोर इनपुट सेटिंग्स तक इस दृष्टिकोण का विस्तार करना भविष्य के कार्य की दिशा है।