EmboAlign: Aligning Video Generation with Compositional Constraints for Zero-Shot Manipulation

यहाँ शोध पत्र "EmboAlign: Aligning Video Generation with Compositional Constraints for Zero-Shot Manipulation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र जीरो-शॉट रोबोटिक मैनिपुलेशन (zero-shot robotic manipulation) की चुनौती को संबोधित करता है, जहाँ एक रोबोट को बिना किसी कार्य-विशिष्ट पुन: प्रशिक्षण (task-specific retraining) के विविध कार्यों को निष्पादित करना होता है। यद्यपि बड़े पैमाने पर इंटरनेट डेटा पर प्रशिक्षित हालिया वीडियो जनरेटिव मॉडल्स (VGMs) वस्तुओं की गतिशीलता के सुसंगत वीडियो उत्पन्न कर सकते हैं, लेकिन रोबोटिक्स में अनुप्रयोग के दौरान वे दो महत्वपूर्ण विफलताओं का सामना करते हैं:

1. भौतिक मतिभ्रम (Physical Hallucinations): VGMs अक्सर भौतिक रूप से अवास्तविक रोलआउट (जैसे, वस्तुओं का आपस में घुसना, गैर-रूढ़िवादी गति, या वस्तुओं का गायब होना) उत्पन्न करते हैं क्योंकि उनमें भौतिकी की जमीनी समझ (grounded understanding) का अभाव होता है।
2. रिटारगेटिंग त्रुटियाँ (Retargeting Errors): पिक्सेल-स्पेस वीडियो मोशन को ज्योमेट्रिक रिटारगेटिंग (डेप्थ एस्टीमेशन और कीपॉइंट ट्रैकिंग) के माध्यम से रोबोटिक क्रियाओं में बदलने से संचयी त्रुटियाँ (cumulative errors) उत्पन्न होती हैं, जिससे निष्पादन विफल हो जाता है, भले ही वीडियो देखने में दृष्टिगत रूप से सुसंगत लगे।

वर्तमान पाइपलाइनों में उन कंपोजिशनल बाधाओं (compositional constraints) को लागू करने के लिए तंत्रों का अभाव है जो सफल मैनिपुलेशन के लिए आवश्यक हैं (जैसे स्थानिक संबंध, किनेमैटिक आवश्यकताएं, सुरक्षा स्थितियाँ)।

2. कार्यप्रणाली: EmboAlign

EmboAlign एक डेटा-मुक्त (data-free) फ्रेमवर्क है जो इन्फरेंस के समय विज़न-लैंग्वेज मॉडल्स (VLMs) द्वारा उत्पन्न बाधाओं के साथ VGM आउटपुट को संरेखित (align) करता है। यह VGMs (समृद्ध मोशन प्रायर) और VLMs (संरचित स्थानिक तर्क) की पूरक शक्तियों का लाभ उठाता है। यह पाइपलाइन चार मुख्य चरणों में कार्य करती है:

A. कंपोजिशनल बाधा निर्माण (Compositional Constraint Generation)

एक प्रारंभिक RGB-D अवलोकन और एक भाषा निर्देश दिए जाने पर, एक VLM कार्य को कंपोजिशनल बाधाओं ($\mathcal{C}$) के एक सेट में स्वतः विघटित कर देता है।

• प्रतिनिधित्व (Representation): कार्यों को स्पार्स 3D कीपॉइंट्स (sparse 3D keypoints) द्वारा दर्शाया जाता है।
• बाधा के प्रकार: VLM पायथन फंक्शन उत्पन्न करता है जो कीपॉइंट कॉन्फ़िगरेशन को स्केलर लागत (scalar costs) में मैप करते हैं। इनमें शामिल हैं:
  • लक्ष्य-अवस्था स्थितियाँ (Goal-state conditions): जैसे, "ब्लॉक A को ब्लॉक B पर होना चाहिए।"
  • प्रक्रिया-स्तरीय आवश्यकताएं (Process-level requirements): जैसे, "ऊपर से दृष्टिकोण करें," "वस्तु का विरूपण न हो।"
  • सुरक्षा स्थितियाँ (Safety conditions): जैसे, "बाधाओं से बचें।"

B. बाधा-निर्देशित रोलआउट चयन (Constraint-Guided Rollout Selection)

एक एकल VGM आउटपुट के बजाय, सिस्टम $N$ उम्मीदवार रोलआउट वीडियो का नमूना लेता है। यह दो-चरणीय फ़िल्टरिंग प्रक्रिया का उपयोग करके सर्वश्रेष्ठ उम्मीदवार का चयन करता है:

1. दृश्य सुसंगतता स्कोरिंग (Visual Plausibility Scoring): एक लेटेंट वर्ल्ड मॉडल (V-JEPA-2) भौतिक सुसंगतता के आधार पर वीडियो को स्कोर करता है। यह भविष्य के लेटेंट रिप्रजेंटेशन की भविष्यवाणी करता है; उच्च विचलन मतिभ्रम (जैसे, वस्तुओं का आकार बदलना) को दर्शाता है।
2. स्थानिक बाधा स्कोरिंग (Spatial Constraint Scoring): शीर्ष-रैंक वाले दृश्य उम्मीदवारों के लिए, सिस्टम कीपॉइंट ट्रैकिंग और डेप्थ एस्टीमेशन का उपयोग करके 3D प्रक्षेपवक्र (trajectories) को पुनर्गठित करता है और एक बाधा उल्लंघन लागत (constraint violation cost) की गणना करता है।
3. चयन (Selection): पहला रोलआउट जो दृश्य सुसंगतता और कम बाधा उल्लंघन लागत ($\le \epsilon$) दोनों को संतुष्ट करता है, उसे चुना जाता है।

C. ग्रैस्प-कंडीशन्ड रिटारगेटिंग (Grasp-Conditioned Retargeting)

चयनित वीडियो को एक प्रारंभिक एंड-इफेक्टर प्रक्षेपवक्र ($\xi^{(0)}$) में परिवर्तित किया जाता है:

• ग्रैस्प एस्टीमेशन (Grasp Estimation): एक ग्रैस्प प्रेडिक्टर (AnyGrasp) और 3D पुनर्निर्माण (SAM 3D) एक स्थिर ग्रैस्प पोज़ ($T_{grasp}$) निर्धारित करते हैं।
• मोशन रिटारगेटिंग (Motion Retargeting): ग्रिपर और वस्तु के बीच एक निश्चित ट्रांसफॉर्म मानकर, वीडियो में वस्तु की 3D गति को रोबोट के एंड-इफेक्टर पोज़ अनुक्रम में मैप किया जाता है।

D. बाधा-आधारित प्रक्षेपवक्र अनुकूलन (Constraint-Based Trajectory Optimization)

रिटारगेटिंग त्रुटियों को सुधारने और बाधाओं का कड़ाई से पालन सुनिश्चित करने के लिए प्रारंभिक प्रक्षेपवक्र को परिष्कृत किया जाता है। एक नॉन-लीनियर ऑप्टिमाइज़ेशन समस्या को हल किया जाता है:
$$\xi^*_{1:T} = \arg \min_{\xi_{1:T}} \sum_{c \in \mathcal{C}} \sum_{t=1}^T [\max(0, c(k_t))]^2 + \lambda \sum_{t=1}^T \|\xi_t - \xi^{(0)}_t\|^2$$

• पद 1 (Term 1): बाधा उल्लंघन को दंडित करता है (हार्ड/सॉफ्ट बाधाएं)।
• पद 2 (Term 2): मूल VGM मोशन प्रायर के प्रति निष्ठा बनाए रखता है (ड्रिफ्ट को रोकने के लिए)।
• सॉल्वर (Solver): रिटारगेटेड प्रक्षेपवक्र से इनिशियलाइज्ड 'सीक्वेंशियल लीस्ट स्क्वायर्स प्रोग्रामिंग' (SLSQP) का उपयोग किया जाता है।

3. प्रमुख योगदान (Key Contributions)

1. नया फ्रेमवर्क (EmboAlign): एक एकीकृत पाइपलाइन जो VGM रोलआउट को VLM-व्युत्पन्न कंपोजिशनल बाधाओं के साथ संरेखित करती है, जिससे प्री-ट्रेंड मॉडल वेट को बदले बिना सटीक जीरो-शॉट निष्पादन सक्षम होता है।
2. दो-चरणीय संरेखण तंत्र (Two-Stage Alignment Mechanism):
   • चयन (Selection): निष्पादन से पहले भौतिक रूप से अवास्तविक VGM नमूनों को फ़िल्टर करता है।
   • अनुकूलन (Optimization): उसी बाधा सेट का उपयोग करके वास्तविक समय में ज्योमेट्रिक रिटारगेटिंग त्रुटियों को ठीक करता है।
3. पूरक एकीकरण (Complementary Integration): यह प्रदर्शित करता है कि VGMs इनिशियलाइजेशन संवेदनशीलता को हल करने के लिए विविध मोशन प्रायर प्रदान करते हैं, जबकि VLMs सुरक्षा और व्यवहार्यता सुनिश्चित करने के लिए भौतिक ग्राउंडिंग प्रदान करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क का मूल्यांकन Dobot Nova2 रोबोट का उपयोग करके छह वास्तविक-रोबोट मैनिपुलेशन कार्यों (जैसे ब्लॉकों को स्टैक करना, स्टेपलर दबाना, पानी डालना) पर किया गया।

• प्रदर्शन (Performance): EmboAlign ने औसत सफलता दर 68.3% प्राप्त की, जो सबसे मजबूत बेसलाइनों से काफी बेहतर है:
  • ReKep (केवल बाधा-आधारित): 21.7% (इनिशियलाइजेशन/लोकल मिनिमा के साथ संघर्ष करता है)।
  • NovaFlow (केवल वीडियो-आधारित): 25.0% (भौतिक मतिभ्रम और रिटारगेटिंग त्रुटियों से ग्रस्त है)।
• एब्लेशन स्टडीज (Ablation Studies):
  • बाधाओं को हटाने पर (केवल वीडियो-आधारित) सफलता दर 23.3% रही।
  • वीडियो मार्गदर्शन को हटाने पर (केवल बाधा-आधारित) सफलता दर 28.3% रही।
  • केवल Selection जोड़ने से प्रदर्शन बढ़कर 48.3% हुआ, और Optimization (पूर्ण विधि) जोड़ने पर 68.3% तक पहुँच गया।
• विफलता विश्लेषण (Failure Analysis): प्राथमिक विफलता मोड वीडियो जेनरेशन क्वालिटी (31.57%) और VLM कीपॉइंट रेफरिंग त्रुटियाँ (26.31%) थे, जो इंगित करते हैं कि हालांकि संरेखण मदद करता है, फिर भी अंतर्निहित जनरेटिव मॉडल्स की सटीक भौतिक सिमुलेशन में सीमाएँ हैं।

5. महत्व (Significance)

EmboAlign इंटरनेट-स्केल जनरेटिव AI और वास्तविक-विश्व रोबोटिक कंट्रोल के बीच के अंतर को पाटने के लिए एक सिद्धांत-आधारित दृष्टिकोण का प्रतिनिधित्व करता है।

• जीरो-शॉट क्षमता: यह कार्य-विशिष्ट प्रशिक्षण डेटा या VGM के फाइन-ट्यूनिंग की आवश्यकता को समाप्त करता है।
• सुरक्षा और सटीकता: कंपोजिशनल बाधाओं को लागू करके, यह जनरेटिव मॉडल्स की "ब्लैक बॉक्स" प्रकृति को कम करता है, जिससे यह सुनिश्चित होता है कि उत्पन्न योजनाएं भौतिक रूप से सुरक्षित और ज्यामितीय रूप से व्यवहार्य हैं।
• स्केलेबिलिटी: यह विधि केवल भाषा निर्देश बदलकर कार्यों की एक विस्तृत श्रृंखला के लिए लागू की जा सकती है, क्योंकि VLM गतिशील रूप से आवश्यक बाधाओं को उत्पन्न करता है।

संक्षेप में, EmboAlign यह प्रदर्शित करता है कि वीडियो जेनरेशन की विविधता (diversity) को बाधा-आधारित अनुकूलन की कठोरता (rigor) के साथ जोड़ना सामान्यीकरण योग्य रोबोटिक मैनिपुलेशन को आगे बढ़ाने के लिए एक अत्यधिक प्रभावी रणनीति है।