Inverse Manipulation through Symbolic Planning and Residual Operator Learning

तकनीकी सारांश: प्रतीकात्मक योजना और अवशिष्ट ऑपरेटर लर्निंग के माध्यम से व्युत्क्रम हेरफेर (Inverse Manipulation)

समस्या विवरण (Problem Statement)

यह शोधपत्र रोबोटिक हेरफेर (robotic manipulation) में कौशल व्युत्क्रम (skill inversion) की चुनौती को संबोधित करता है: एक भौतिक वातावरण को उसके पूर्ववर्ती अवस्था में बहाल करने की क्षमता, जैसा कि वह किसी 'फॉरवर्ड निष्पादन' (forward execution) से पहले था। लेखक तर्क देते हैं कि केवल मोटर प्रक्षेपवक्र (motor trajectories) को उलटना (rewind करना) कई कार्यों के लिए अपर्याप्त है, विशेष रूप से गैर-प्रेसेंटाइल इंटरैक्शन (non-prehensile interactions) जैसे कि धक्का देना (pushing) में, जहाँ रोबोट वस्तु को पकड़ता नहीं है। जबकि प्रतीकात्मक योजना (symbolic planning) व्युत्क्रम अनुक्रम उत्पन्न कर सकती है, यह सीमित एक्शन प्रिमिटिव्स और सटीकता आवश्यकताओं के कारण निरंतर भौतिक अवस्थाओं को पूरी तरह से बहाल करने में विफल हो सकती है। इसके विपरीत, शुद्ध प्रक्षेपवक्र उत्क्रमण (pure trajectory reversal) अक्सर भौतिक रूप से लागू करने योग्य नहीं होता है। मुख्य समस्या उच्च-स्तरीय प्रतीकात्मक बहाली उद्देश्यों और निम्न-स्तरीय निरंतर नियंत्रण के बीच के अंतर को पाटने की है ताकि भौतिक रूप से सुदृढ़ व्युत्क्रम कौशल प्राप्त किया जा सके।

कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा एक हाइब्रिड सिस्टम है जो प्रतीकात्मक योजना को 'रेसिडुअल रीइन्फोर्समेंट लर्निंग' (Residual Reinforcement Learning - RL) के साथ जोड़ता है। यह प्रक्रिया तीन मुख्य चरणों में संचालित होती है:

1. प्रतीकात्मक ऑपरेटर निष्कर्षण (Symbolic Operator Extraction)

सिस्टम फॉरवर्ड स्किल प्रदर्शनों (demonstrations) का विश्लेषण करके स्वचालित रूप से STRIPS फॉर्मलिज्म (Fikes and Nilsson 1971) में प्रतीकात्मक ऑपरेटर निकालता है।

• सॉफ्ट प्रेडिकेट्स (Soft Predicates): एक पूर्व-निर्धारित प्रेडिकेट रिपर्टरी (जैसे, AT POSE, GRIPPER OPEN) को सीन ग्राफ पर सॉफ्ट, डिफरेंशिएबल ज्योमेट्रिक प्रेडिकेट्स के आधार पर ग्राउंड किया जाता है। ये साइन्ड मार्जिन $m_p(s)$ के आधार पर निरंतर स्कोर $V_p(s) \in [0, 1]$ प्रदान करते हैं।
• ऑपरेटर परिभाषा: एक ऑपरेटर $o = \langle Pre, Add, Del \rangle$ को प्रदर्शनों के स्टार्ट और एंड स्टेट का विश्लेषण करके बनाया जाता है। उच्च स्टार्ट स्कोर वाले प्रेडिकेट्स प्रीकंडिशन सेट ($Pre$) बनाते हैं, जबकि स्कोर में परिवर्तन एड ($Add$) और डिलीट ($Del$) प्रभावों को निर्धारित करते हैं।

2. व्युत्क्रम लक्ष्य निर्माण और प्रतीकात्मक योजना (Inverse Target Generation and Symbolic Planning)

व्युत्क्रम उद्देश्य को समय-उलटाव (time-reversal) के रूप में नहीं, बल्कि एक बहाली समस्या (restoration problem) के रूप में परिभाषित किया गया है। लक्ष्य अवस्था $I(o)$ को मूल प्रीकंडिशन्स को संतुष्ट करने, डिलीट किए गए प्रभावों को बहाल करने और जोड़े गए प्रभावों को नकारने के लिए निर्मित किया जाता है:
$$I(o) = Pre \cup Del \cup \neg Add$$
एक ब्रैडथ-फर्स्ट सर्च (BFS) प्लानर एक सीमित स्क्रिप्टेड एक्शन प्रिमिटिव्स (जैसे, PICK, PLACE) का उपयोग करके $I(o)$ को संतुष्ट करने का प्रयास करता है।

3. अवशिष्ट ऑपरेटर लर्निंग (Residual Operator Learning)

चूंकि प्रतीकात्मक योजना आंशिक रूप से ही व्युत्क्रम लक्ष्य को संतुष्ट कर सकती है, इसलिए सिस्टम शेष उद्देश्यों को विभाजित करता है:

• फेंस सेट ($F$): वे प्रेडिकेट्स जो प्रतीकात्मक योजना ($\pi_{sym}$) द्वारा पहले से ही संतुष्ट हैं और जिन्हें संरक्षित किया जाना चाहिए।
• सक्रिय अवशिष्ट सेट ($A$): अनसुलझे प्रेडिकेट्स जो अवशिष्ट उद्देश्य (residual objective) का निर्माण करते हैं।

एक रेसिडुअल RL पॉलिसी ($\pi_{res}$) को सक्रिय सेट $A$ को संतुष्ट करने और फेंस सेट $F$ को बनाए रखने के लिए प्रशिक्षित किया जाता है।

• रिवॉर्ड फंक्शन: रिवॉर्ड सीधे प्रतीकात्मक योजना के प्रेडिकेट्स से प्राप्त होता है।
  • सक्रिय प्रेडिकेट्स ($A$) के लिए: बहाली के लिए बाउंडेड रिवॉर्ड प्रदान करने हेतु $\tanh$ का उपयोग करते हुए एक साइन्ड नॉर्मलाइज्ड मार्जिन।
  • फेंस प्रेडिकेट्स ($F$) के लिए: उल्लंघन को दंडित करने के लिए एक वन-साइडेड पेनल्टी $\min(0, \cdot)$ का उपयोग, बिना "कुछ न करने" के व्यवहार को पुरस्कृत किए।
• निष्पादन: अंतिम व्युत्क्रम कौशल प्रतीकात्मक अनुक्रम $\pi_{sym}$ और सीखी गई रेसिडुअल पॉलिसी $\pi_{res}$ का संयोजन है।

मुख्य योगदान (Key Contributions)

यह शोधपत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

1. हाइब्रिड फॉर्मूलेशन: कौशल व्युत्क्रम को एक हाइब्रिड प्रतीकात्मक-निरंतर बहाली समस्या के रूप में संबोधित करना, जहाँ व्युत्क्रम लक्ष्य को समय-उलटाव पर निर्भर रहने के बजाय प्रदर्शनों से निकाले गए प्रतीकात्मक फॉरवर्ड ऑपरेटर्स से प्राप्त किया जाता है।
2. रेसिडुअल ऑपरेटर लर्निंग फ्रेमवर्क: एक ऐसी प्रणाली पेश करना जहाँ RL को केवल तभी सक्रिय किया जाता है जब प्रतीकात्मक योजना व्युत्क्रम उद्देश्य को पूरी तरह से संतुष्ट करने में विफल रहती है, जो प्रभावी रूप से कार्य के "अवशिष्ट" भाग को संभालती है।
3. प्रेडिकेट-व्युत्पन्न रिवॉर्ड्स: प्रतीकात्मक योजना के ऑपरेटर प्रभावों से सीधे RL रिवॉर्ड सिग्नल प्राप्त करना, जिससे प्रत्येक विशिष्ट कार्य के लिए मैन्युअल रिवॉर्ड इंजीनियरिंग की आवश्यकता समाप्त हो जाती है।

प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन फ्रैंका पांडा मैनिपुलेटर के साथ ManiSkill3 PushCube कार्य पर किया गया। फॉरवर्ड स्किल में क्यूब को लक्ष्य स्थिति तक धकेलना शामिल था। व्युत्क्रम कार्य में क्यूब को मूल स्रोत स्थिति में बहाल करना आवश्यक था।

• प्रदर्शन: हाइब्रिड दृष्टिकोण (प्रतीकात्मक + RL) ने 1 सेमी टॉलरेंस के भीतर 90% सफलता दर हासिल की, जिसमें औसत सटीकता 1.4 मिमी थी।
• तुलना:
  • केवल प्रतीकात्मक प्रीफिक्स: केवल 10% सफलता प्राप्त की, जिससे 16.6 मिमी की औसत अवशिष्ट दूरी रह गई।
  • प्रतीकात्मक + रैंडम एक्शन: उच्च वेरिएंस (18.8 मिमी माध्य) के साथ 50% सफलता प्राप्त की, जो दर्शाता है कि रैंडम एक्सप्लोरेशन कभी-कभी संयोग से सफल हो जाता है लेकिन विश्वसनीय नहीं है।
  • शुद्ध प्रक्षेपवक्र उत्क्रमण (Pure Trajectory Inverse): फॉरवर्ड पुश की गैर-प्रेसेंटाइल प्रकृति के कारण इसे लागू करने योग्य नहीं माना गया।
• एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि फेंस प्रेडिकेट्स के लिए वन-साइडेड $\tanh$ पेनल्टी का उपयोग करना महत्वपूर्ण था। पेनल्टी हटाने से एजेंट स्थिर (saturated rewards) हो गया, जबकि $\tanh$ फंक्शन को पूरी तरह से हटाने से वैल्यू फंक्शन में विचलन और बड़े रिवॉर्ड ड्रिफ्ट की समस्या हुई।

महत्व और दावे (Significance and Claims)

यह शोधपत्र दावा करता है कि प्रेडिकेट-व्युत्पन्न रेसिडुअल कंट्रोल एक अनुमानित प्रतीकात्मक व्युत्क्रम को भौतिक रूप से सुदृढ़ व्युत्क्रम कौशल में बदल सकता है। व्युत्क्रम कौशलों को अपने स्वयं के बहाली उद्देश्यों वाले विशिष्ट प्रतीकात्मक ऑपरेटरों के रूप में मानकर, यह प्रणाली पूर्व के कार्यों (जैसे, Nair et al. 2020; Edwards et al. 2018) में पाई जाने वाली समय-उलटाव धारणाओं की सीमाओं से बचती है।

लेखक इस कार्य को मानव-रोबोट सहयोग और असेंबली-डिस्असेंबली लाइनों को सक्षम करने की दिशा में एक कदम के रूप में देखते हैं जहाँ कार्यों को "अनडू" (undo) करने की क्षमता आवश्यक है। वे उल्लेख करते हैं कि हालांकि वर्तमान में सिस्टम हस्त-निर्मित प्रेडिकेट्स और स्क्रिप्टेड लो-लेवल प्रिमिटिव्स पर निर्भर है, फिरseits के परिणाम बताते हैं कि व्युत्क्रम कौशलों को एक प्लानिंग समस्या के बाद एक व्युत्पन्न रिवॉर्ड वाले रेसिडुअल RL समस्या के रूप में प्रभावी ढंग से हल किया जा सकता है। शोधपत्र अपने दायरे के संबंध में विनम्र रहता है, प्रेडिकेट डिजाइन और स्क्रिप्टेड प्रिमिटिव्स पर निर्भरता जैसी सीमाओं को स्वीकार करता है, और इन घटकों को प्रदर्शनों से सीखने के लिए भविष्य के कार्य का सुझाव देता है।