🤖 AI

NovaPlan: Zero-Shot Long-Horizon Manipulation via Closed-Loop Video Language Planning

नोवाप्लान (NovaPlan) एक पदानुक्रमित ढांचा है जो उच्च-स्तरीय कार्य अपघटन और त्रुटि सुधार के लिए क्लोज्ड-लूप विजन-लैंग्वेज प्लानिंग को वीडियो-जनरेटेड काइनेमैटिक प्रायर्स (kinematic priors) के साथ एकीकृत करके ज़ीरो-शॉट लॉन्ग-होरिज़ॉन रोबोटिक मैनिपुलेशन को सक्षम बनाता है।

मूल लेखक: Jiahui Fu, Junyu Nan, Lingfeng Sun, Hongyu Li, Jianing Qian, Jennifer L. Barry, Kris Kitani, George Konidaris

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiahui Fu, Junyu Nan, Lingfeng Sun, Hongyu Li, Jianing Qian, Jennifer L. Barry, Kris Kitani, George Konidaris

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को लेगो (Lego) का एक जटिल किला बनाना सिखा रहे हैं, लेकिन आपने उसे पहले कभी यह नहीं दिखाया है कि इसे कैसे करना है, और आप उसे स्टेप-बाय-स्टेप निर्देश भी नहीं दे सकते। आप बस कहते हैं, "यह किला बनाओ," और ब्लॉक्स के ढेर की ओर इशारा करते हैं।

अधिकांश रोबोट फ्रीज हो जाएंगे। वे शायद एक ब्लॉक उठाने की कोशिश करेंगे, उसे गिरा देंगे, और फिर अटक जाएंगे क्योंकि उन्हें आगे क्या करना है, यह नहीं पता होगा।

NovaPlan रोबोट को सिखाने का एक नया तरीका है जो एक टाइम मशीन वाले क्रिएटिव डायरेक्टर की तरह काम करता है। केवल अनुमान लगाने के बजाय, रोबोट भविष्य की कल्पना करने के लिए एक "वीडियो जनरेटर" का उपयोग करता है, यह जांचता है कि क्या उसकी कल्पना तर्कसंगत है, और फिर सबसे अच्छे वर्जन पर अमल करता है।

यह कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:

1. "डे ड्रीम" चरण (वीडियो प्लानिंग)

रोबोट के दिमाग को अपने अंदर एक मूवी स्टूडियो की तरह समझें।

जब रोबोट को कुछ करने की आवश्यकता होती है (जैसे "लाल ब्लॉक को स्टैक करना"), तो वह केवल गणित की गणना नहीं करता है। वह कई छोटी वीडियो क्लिप्स के रूप में सपने बुनता है कि वह क्रिया कैसी दिख सकती है।
वह कल्पना कर सकता है: "क्या होगा अगर मैं ब्लॉक को बाईं ओर से पकड़ूँ?" बनाम "क्या होगा अगर मैं इसे दाईं ओर से पकड़ूँ?"
वह इन वीडियो को तुरंत जेनरेट करता है, जिसमें रोबोट का हाथ ब्लॉक को पूरी तरह से हिलाते हुए दिखाया जाता है।

2. "क्रिटिक" चरण (स्क्रिप्ट की जांच करना)

अब, रोबोट के पास एक फिल्म क्रिटिक (एक AI जो भाषा और तर्क को समझता है) है।

क्रिटिक सभी जेनरेट किए गए वीडियो क्लिप्स को देखता है।
वह पूछता है: "क्या ब्लॉक वास्तव में हिला? क्या वह मेज के आर-पार गिर गया (जो कि असंभव है)? क्या रोबोट ने गलत ब्लॉक पकड़ लिया?"
यदि कोई वीडियो दिखाता है कि ब्लॉक हवा में तैर रहा है या पिघल रहा है, तो क्रिटिक उसे कचरे में फेंक देता है।
वह एक ऐसा वीडियो चुनता है जो सबसे वास्तविक और भौतिक रूप से संभव दिखता है।

3. "एक्शन" चरण (डांस को कॉपी करना)

एक बार जब सबसे अच्छा वीडियो चुन लिया जाता है, तो रोबोट को उस 2D मूवी को 3D मांसपेशियों की गतिविधियों में बदलना होता है। यहीं पर NovaPlan चतुर हो जाता है।

समस्या: कभी-कभी रोबोट ब्लॉक को स्पष्ट रूप से नहीं देख पाता क्योंकि उसका अपना हाथ दृश्य को बाधित कर रहा होता है (occlusion)। यदि वह ब्लॉक को ट्रैक करने की कोशिश करता है, तो वह भटक जाता है।
समाधान: NovaPlan जेनरेट किए गए वीडियो में मानव हाथ को देखता है।
- उपमा: कल्पना कीजिए कि आप एक डांस मूव सीखने की कोशिश कर रहे हैं, लेकिन डांसर ने एक ढीला कोट पहना है जिसने उनके पैरों को छिपा दिया है। उसे कॉपी करना कठिन है। लेकिन यदि आप उनके हाथों और कंधों को स्पष्ट रूप से देख सकते हैं, तो आप अंदाजा लगा सकते हैं कि उनके पैर कहाँ जा रहे हैं।
- NovaPlan जेनरेट किए गए वीडियो में मानव हाथ को ट्रैक करता है। भले ही ब्लॉक छिपा हुआ हो, हाथ आमतौर पर दिखाई देता है। रोबोट अपने ग्रिपर को कहाँ ले जाना है, यह समझने के लिए हाथ की गति की नकल करता है।

4. "सेफ्टी नेट" (क्लोज्ड-लूप रिकवरी)

यह सबसे महत्वपूर्ण हिस्सा है। वास्तविक दुनिया में, चीजें गलत हो जाती हैं। ब्लॉक फिसल सकता है, या मेज डगमगा सकती है।

पुराने रोबोट योजना का आँख बंद करके पालन करते थे, असफल होते थे, और फिर हमेशा के लिए रुक जाते थे।
NovaPlan एक GPS की तरह है जो रास्ता दोबारा कैलकुलेट करता है।
- हर मूव के बाद, रोबट चेक करता है: "क्या मैं वास्तव में वहां पहुँच गया जहाँ वीडियो ने कहा था?"
- यदि उत्तर "नहीं" है (जैसे, ब्लॉक अभी भी मेज पर है), तो रोबोट घबराता नहीं है। वह वापस "डे ड्रीम" चरण में जाता है।
- वह कहता है, "ठीक है, ब्लॉक अभी भी यहाँ है। मुझे एक नया वीडियो सोचना चाहिए जहाँ मैं ब्लॉक को अपनी जगह पर लाने के लिए धीरे से धक्का दूँ।"
- वह एक नया "रिकवरी वीडियो" जेनरेट करता है, सबसे अच्छा वीडियो चुनता है, और फिर से प्रयास करता है।

यह एक बड़ी बात क्यों है?

जीरो-शॉट (Zero-Shot): इसे इस विशिष्ट कार्य के लिए हजारों घंटों के वीडियो पर प्रशिक्षित होने की आवश्यकता नहीं है। यह दुनिया के काम करने के तरीके की अपनी सामान्य समझ का उपयोग करके एक नए प्रकार के पहेली को हल कर सकता है जिसे इसने पहले कभी नहीं देखा है।
लॉन्ग-होराइजन (Long-Horizon): यह कई चरणों वाले कार्यों (जैसे पूरा टावर बनाना) को बिना भ्रमित हुए संभाल सकता है।
डेक्सटरस (Dexterous): यह जटिल चीजें कर सकता है, जैसे किसी फंसी हुई वस्तु को मुक्त करने के लिए उंगली से उसे धकेलना, बजाय इसके कि उसे बार-बार पकड़ने की कोशिश की जाए।

निचोड़

NovaPlan रोबोट को एक सुपरपावर देने जैसा है: भविष्य की कल्पना करने, यह जांचने की क्षमता कि कल्पना वास्तविक है या नहीं, और बिना किसी इंसान के हाथ थामे अपनी गलतियों को खुद सुधारने की क्षमता। यह एक रोबोट को एक कठोर मशीन से एक लचीले समस्या-समाधानकर्ता में बदल देता है जो कार्य करने से पहले "सोच" सकता है।

यहाँ शोध पत्र "NovaPlan: Closed-Loop Video Language Planning के माध्यम से Zero-Shot Long-Horizon Manipulation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र zero-shot long-horizon robotic manipulation की चुनौती को संबोधित करता है। जबकि विजन-लैंग्वेज मॉडल्स (VLMs) और वीडियो जनरेशन मॉडल्स कार्यों को विभाजित कर सकते हैं और परिणामों की "कल्पना" कर सकते हैं, उनमें अक्सर वास्तविक दुनिया के निष्पादन के लिए आवश्यक भौतिक आधार (physical grounding) की कमी होती है। मौजूदा विधियाँ तीन प्राथमिक सीमाओं का सामना करती हैं:

टेम्पोरल इनकंसिस्टेंसी (Temporal Inconsistency): वीडियो मॉडल अक्सर लंबी अवधि के दौरान मतिभ्रम (hallucinations) और टेम्पोरल ड्रिफ्ट (temporal drift) से ग्रस्त होते हैं, जिससे प्रदर्शन गिर जाता है।
निष्पादन की भंगुरता (Execution Fragility): वास्तविक दुनिया का निष्पादन विफल हो जाता है जब रोबोट ऑक्लूजन (occlusion), गहराई की अशुद्धियों, या उत्पन्न वीडियो में ज्यामितीय विकृति (geometric warping) के कारण विजुअल प्लान को ट्रैक नहीं कर पाते।
कठोर नियोजन (Rigid Planning): ओपन-लूप रणनीतियाँ रणनीतिक दूरदर्शिता (जो युग्मित असेंबली के लिए आवश्यक है) और प्रतिक्रियात्मकता (जो त्रुटि सुधार के लिए आवश्यक है) के बीच संतुलन बनाने में विफल रहती हैं।

वर्तमान दृष्टिकोण जटिल, बहु-चरणीय कार्यों (विशेष रूप से ऑक्लूजन या गैर-प्रेहेन्साइल इंटरैक्शन वाले कार्यों) को निपटने के लिए, बिना किसी कार्य-विशिष्ट प्रशिक्षण या प्रदर्शन के, उच्च-स्तरीय वीडियो योजनाओं को सटीक, निम्न-स्तरीय नियंत्रण में बदलने में संघर्ष करते हैं।

2. कार्यप्रणाली: NovaPlan फ्रेमवर्क (Methodology: NovaPlan Framework)

NovaPlan एक पदानुक्रमित (hierarchical), क्लोज्ड-लूप फ्रेमवर्क है जो उच्च-स्तरीय VLM तर्क को निम्न-स्तरीय ज्यामितीय रूप से ग्राउंडेड निष्पादन के साथ एकीकृत करता है। यह एक generate-then-verify लूप के माध्यम से संचालित होता है।

A. उच्च-स्तरीय: क्लोज्ड-लूप वीडियो लैंग्वेज प्लानिंग (High-Level: Closed-Loop Video Language Planning)

सिस्टम एक VLM का उपयोग उच्च-स्तरीय मध्यस्थ के रूप में करता है जो कार्यों को उप-लक्ष्यों (sub-goals) में विभाजित करता है और निष्पादन की निगरानी करता है।

कार्य विभाजन (Task Decomposition): VLM सिमेंटिक रीजनिंग के आधार पर उप-लक्ष्य उम्मीदवारों का प्रस्ताव देता है।
वीडियो रोलआउट (Video Rollout): वीडियो जनरेशन मॉडल प्रत्येक उप-लक्ष्य के लिए कई उम्मीदवार वीडियो सिंथेसाइज करता है ताकि भौतिक परिणामों का अनुकरण किया जा सके।
सत्यापन और चयन (Validation & Selection): VLM चार मेट्रिक्स के आधार पर रोलआउट का मूल्यांकन करता है:
1. टारगेट (Target): क्या सही वस्तु का हेरफेर किया जा रहा है?
2. फिजिक्स (Physics): क्या गति भौतिक नियमों (गुरुत्वाकर्षण, कठोरता) का पालन करती है?
3. मोशन (Motion): क्या प्रवाह भाषा कमांड से मेल खाता है?
4. परिणाम (Result): क्या अंतिम अवस्था उप-लक्ष्य के अनुरूप है?
प्लानिंग होराइजन (Planning Horizon): सिस्टम गतिशील रूप से एक प्लानिंग होराइजन ( $h$ ) चुनता है। यह स्ट्रैटेजिक मोड ( $h > 1$ ) का उपयोग उन युग्मित कार्यों के लिए करता है जिनमें सख्त क्रम की आवश्यकता होती है (जैसे असेंबली) और क्रीडी मोड ( $h=1$ ) का उपयोग स्वतंत्र या अन्वेषणात्मक कार्यों के लिए करता है।
सत्यापन और रिकवरी (Verify and Recover): निष्पादन के बाद, VLM वास्तविक दुनिया के स्टेट ट्रांजिशन की तुलना लक्षित वीडियो से करता है। यदि कोई विफलता (जैसे ग्रैस्प स्लिप) का पता चलता है, तो सिस्टम एक स्वायत्त रिकवरी रूटीन को ट्रिगर करता है, जो स्थिति को बहाल करने के लिए एक सुधारात्मक कार्रवाई (जैसे कि "पोक" या चुभाना) को सिंथेसाइज करता है।

B. निम्न-स्तरीय: हाइब्रिड फ्लो मैकेनिज्म (Low-Level: Hybrid Flow Mechanism)

जनरेटेड वीडियो और रोबोट नियंत्रण के बीच के अंतर को पाटने के लिए, NovaPlan Object Flow और Hand Flow के बीच एक हाइब्रिड स्विचिंग मैकेनिज्म का उपयोग करके प्रक्षेपवक्र (trajectories) निकालता है।

ऑब्जेक्ट फ्लो (Object Flow): लक्षित वस्तु के 3D की-पॉइंट्स को ट्रैक करता है। इसका उपयोग तब किया जाता है जब वस्तु दृश्यमान और स्थिर होती है।
हैंड फ्लो (Hand Flow): एक काइनेमैटिक प्रायोर (kinematic prior) के रूप में मानव हाथ के पोज़ (HaMeR का उपयोग करके) को ट्रैक करता है।
डायनेमिक स्विचिंग (Dynamic Switching): यदि वस्तु का रोटेशन थ्रेशोल्ड ( $\theta_{max}$ ) से अधिक हो जाता है या यदि ऑक्लूजन के कारण ऑब्जेक्ट ट्रैकिंग अविश्वसनीय हो जाती है, तो सिस्टम हैंड फ्लो पर स्विच हो जाता है। यह सुनिश्चित करता है कि जब लक्ष्य वस्तु हाथ द्वारा छिपी हो, तब भी स्थिरता बनी रहे।
ज्यामितीय अंशांकन (Geometric Calibration): एक महत्वपूर्ण घटक ड्यूल-एंकर कैलिब्रेशन (dual-anchor calibration) प्रक्रिया है:
1. स्केल रिकवरी (Scale Recovery): संपर्क के समय, सिस्टम जेनरेटेड वीडियो में स्केल की अशुद्धियों को ठीक करने के लिए हाथ की उंगलियों के पोरों (fingertips) को वस्तु के मेट्रिक 3D पॉइंट क्लाउड से जोड़ता है।
2. ड्रिफ्ट कंपनसेशन (Drift Compensation): रिलीज के समय, यह सुनिश्चित करने के लिए कि प्रक्षेपवक्र मेट्रिक रूप से सटीक बना रहे, यह प्रोजेक्टिव ड्रिफ्ट (कैमरे के सापेक्ष हाथ के हिलने के कारण स्केल परिवर्तन) की भरपाई करता है।

C. गैर-प्रेहेन्साइल सुधार (Non-Prehensile Correction)

उन कार्यों के लिए जहाँ वस्तुएँ फंस जाती हैं, NovaPlan गैर-प्रेहेन्साइल रिकवरी क्रियाएं (जैसे पोकिंग) उत्पन्न कर सकता है। VLM वीडियो प्रॉम्प्ट में वस्तु पर विशिष्ट संपर्क बिंदु को एनोटेट करता है, और ज्यामितीय ग्राउंडिंग प्रक्रिया जेनरेटेड हाथ के आकार में विकृति को हल करने के लिए निर्दिष्ट उंगली और वस्तु की सतह के बीच संपर्क को लागू करती है।

3. मुख्य योगदान (Key Contributions)

क्लोज्ड-लूप वीडियो लैंग्वेज प्लानिंग: एक नया आर्किटेक्चर जो जीरो-शॉट लॉन्ग-होराइजन प्लानिंग और स्वायत्त त्रुटि रिकवरी को सक्षम करने के लिए VLM सत्यापन को वीडियो जनरेशन के साथ एकीकृत करता है।
हाइब्रिड ट्रैकिंग मैकेनिज्म: ऑब्जेक्ट फ्लो और हैंड फ्लो के बीच एक डायनेमिक स्विचिंग सिस्टम, जो भारी ऑक्लूजन या डेप्थ इनएक्यूरेसी के तहत भी रोबोट को स्थिर नियंत्रण बनाए रखने की अनुमति देता है।
ज्यामितिक अंशांकन (Geometric Calibration): स्केल और वार्पिंग इनकंसिस्टेंसी को ड्यूल-एंकर कैलिब्रेशन के माध्यम से हल करके "जनरेटेड" मानव हाथों को भौतिक रूप से निष्पादनीय रोबोट प्रक्षेपवक्रों में ग्राउंड करने की एक विधि।
जीरो-शॉट प्रदर्शन: बिना किसी पूर्व प्रदर्शन या प्रशिक्षण के जटिल असेंबली और गैर-प्रेहेन्साइल एरर रिकवरी कार्यों को हल करने का प्रदर्शन।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने NovaPlan का मूल्यांकन तीन लॉन्ग-होराइजन कार्यों और फंक्शनल मैनिपुलेशन बेंचमार्क (FMB) पर किया।

लॉन्ग-होराइजन कार्य:
- फोर-लेयर ब्लॉक स्टैकिंग (Four-Layer Block Stacking): चार ब्लॉकों को स्टैक करने के लिए NovaPlan ने 70% सफलता दर (10 में से 7 परीक्षण) प्राप्त की, जो $\pi_{0.5}$ (जो 2 परतों के बाद विफल हो गया) और NovaFlow (जो ऑब्जेक्ट फ्लो अस्थिरता के कारण चौथे ब्लॉक पर 30% तक गिर गया) जैसे बेसलाइन से काफी बेहतर प्रदर्शन करता है।
- कलर सॉर्टिंग (Color Sorting): टाइट-फिटिंग कंटेनरों में ब्लॉकों को सॉर्ट करने में मजबूती प्रदर्शित की, हालांकि विफलताएं डेप्थ एस्टीमेशन त्रुटियों के कारण थीं।
- हिडन ऑब्जेक्ट सर्च (Hidden Object Search): ड्रॉअर में वस्तुओं को खोजने और उन्हें रखने में 100% सफलता प्राप्त की, जो उन बेसलाइन से बेहतर था जो ड्रॉअर खोलने या वस्तु निकालने में संघर्ष करते हैं।
शॉर्ट-होराइजन कार्य: NovaFlow बेंचमार्क (ब्लॉक इंसर्शन, वॉटर प्लांट, ओपन ड्रॉअर) पर, NovaPlan लगातार मूल NovaFlow से बेहतर रहा, जो यह प्रमाणित करता है कि हैंड फ्लो को रेफरेंस के रूप में उपयोग करने से ऑब्जेक्ट ट्रैकिंग शोरपूर्ण होने पर भी स्थिरता में सुधार होता है।
फंक्शनल मैनिपुलेशन बेंचमार्क (FMB): NovaPlan ने मिलीमीटर सटीकता वाले जटिल, बहु-चरणीय असेंबली कार्यों को सफलतापूर्वक पूरा किया। इसने त्रुटियों से उबरने के लिए गैर-प्रेहेन्साइल पोकिंग का उपयोग करने की क्षमता भी प्रदर्शित की, जो मानक ग्रैस्पिंग-आधारित बेसलाइन में अनुपस्थित है।
बेसलाइन्स: इसकी तुलना $\pi_{0.5}$ (VLA), MOKA (VLM प्लनर), और NovaFlow से की गई। NovaPlan एकमात्र ऐसा सिस्टम था जिसने लगातार लॉन्ग-होराइजन डिपेंडेंसी को संभाला और बिना ऑरेकल टास्क डिकम्पोजिशन के रनटाइम एरर से रिकवर किया।

5. महत्व (Significance)

NovaPlan सामान्य-उद्देश्य वाले रोबोटिक मैनिपुलेशन (general-purpose robotic manipulation) की ओर एक महत्वपूर्ण कदम है। वीडियो जनरेशन को केवल एक स्टैटिक प्रक्षेपवच (trajectory) स्रोत के रूप में नहीं, बल्कि 'वेरिफाई-एंड-रिकवर' लूप के भीतर एक डायनेमिक क्वेरी के रूप में मानकर, यह उस "एम्बॉडिमेंट गैप" (embodiment gap) को दूर करता है जो पिछले वीडियो-टू-रोबोट तरीकों को प्रभावित करता है।

मजबूती (Robustness): हाइब्रिड हैंड-ऑब्जेक्ट ट्रैकिंग मैकेनिज्म ऑक्लूजन की समस्या को हल करता है, जो शुद्ध रूप से ऑब्जेक्ट-सेंट्रिक दृष्टिकोणों के लिए एक प्रमुख विफलता बिंदु है।
स्केलेबिलिटी (Scalability): फ्रेमवर्क की जीरो-शॉट प्रकृति का अर्थ है कि इसे बिना रिट्रेनिंग के नए कार्यों और वातावरणों में लागू किया जा सकता है, जो फाउंडेशन मॉडल्स की रीजनिंग क्षमताओं पर निर्भर करता है।
त्रुटि रिकवरी (Error Recovery): गैर-प्रेहेन्साइल इंटरैक्शन (जैसे पोकिंग) के माध्यम से सुधारात्मक कार्यों को "इम्प्रोवाइज" करने की क्षमता रोबोट को जटिल, वास्तविक दुनिया के परिदृश्यों को संभालने में सक्षम बनाती है, जहाँ साधारण पिक-एंड-प्लेस प्रिमिटिव विफल हो जाते हैं।

संक्षेप में, NovaPlan यह प्रदर्शित करता है कि क्लोज्ड-लूप फ्रेमवर्क के साथ वीडियो मॉडल्स को ज्यामितीय अंशांकन (geometric calibration) के माध्यम से ग्राउंड करना, रोबोट को जटिल, लॉन्ग-होराइजन कार्यों को करने की ऐसी दक्षता और लचीलापन प्रदान करता है जो पहले जीरो-शॉट सेटिंग्स में अप्राप्य था।