तकनीकी सारांश: हाइब्रिड संपर्क गतिकी (Hybrid Contact Dynamics) के तहत भौतिकी-सूचित लक्ष्य-सशर्त सुदृढीकरण शिक्षण (Physics-informed Goal-Conditioned Reinforcement Learning)

समस्या विवरण

लक्ष्य-सशर्त सुदृढीकरण शिक्षण (Goal-Conditioned Reinforcement Learning - GCRL) का उद्देश्य ऐसी नीतियों को सीखना है जो विरल फीडबैक (sparse feedback) का उपयोग करके किसी भी लक्ष्य के लिए सामान्यीकरण (generalize) कर सकें। जबकि भौतिकी-सूचित GCRL (Pi-GCRL) ने नेविगेशन और ऑब्जेक्ट-मुक्त लक्ष्य-प्राप्ति में अनुकूलतम-नियंत्रण-प्रेरित इंडक्टिव बायस (विशेष रूप से आंशिक आंशिक अंतर समीकरण बाधाओं) को सफलतापूर्वक लागू किया है, संपर्क-समृद्ध रोबोटिक हेरफेर (contact-rich robotic manipulation) में इसका अनुप्रयोग समस्यात्मक बना हुआ है।

संपर्क-समृद्ध वातावरण में, सिस्टम की गतिकी हाइब्रिड (hybrid) होती है, जो मुक्त-स्थान गति (free-space motion), संपर्क-मध्यस्थ अंतःक्रिया (contact-mediated interaction), और वस्तु परिवहन (object transport) के बीच बदलती रहती है। ये संक्रमण मोड-निर्भर नियंत्रणीयता (mode-dependent controllability) को प्रेरित करते: कुछ अवस्था निर्देशांक (जैसे, वस्तु की स्थिति) विशिष्ट संपर्क मोड (जैसे, पकड़े जाने पर नहीं) में स्थानीय रूप से अनियंत्रित हो सकते हैं। लेखक तर्क देते हैं कि मौजूदा Pi-GCRL विधियाँ, जो आमतौर पर पूर्ण-अवस्था ईकलॉनल नियमितीकरण (full-state Eikonal regularization) लागू करती हैं, इन सेटिंग्स में विफल रहती हैं क्योंकि ईकलॉनल समीकरण की अंतर्निहित धारणाएँ (समदैशिक/isotropic, पूर्णतः नियंत्रणीय गतिकी) यहाँ खंडित हो जाती हैं। यह बेमेल स्थिति मान फलन (value function) को विकृत कर देती है, जिससे वैध विविधताओं को अनियंत्रित निर्देशांकों के साथ दंडित किया जाता है और नीति का प्रदर्शन गिर जाता है।

कार्यप्रणाली (Methodology)

लेखक इस विफलता मोड का एक सिद्धांतपूर्ण विश्लेषण प्रस्तावित करते हैं और इसे संबोधित करने के लिए दो पूरक स्वरूप पेश करते हैं: संपर्क-जागरूक नियमितीकरण (Contact-Aware Regularization) और पदानुक्रमित अपघटन (Hierarchical Decomposition)।

1. सैद्धांतिक विश्लेषण: ईकलॉनल बेमेल (Eikonal Mismatch)

लेखक हाइब्रिड सिस्टम में पूर्ण-अवस्था ईकलॉनल नियमितीकरण की विफलता को औपचारिक रूप देते हैं। वे हेरफेर को एक हाइब्रिड सिस्टम के रूप में मॉडल करते है जहाँ अवस्था $s = (x, z)$ में नियंत्रणीय निर्देशांक $x$ और स्थानीय रूप से अनियंत्रित निर्देशांक $z$ (जैसे, पकड़े जाने पर वस्तु का पोज़) शामिल हैं।

• प्रपोजिशन 4.1 प्रदर्शित करता है कि यदि इष्टतम लागत-से-जाना (optimal cost-to-go) $d^*$ स्थानीय रूप से अनियंत्रित निर्देशांकों पर निर्भर करता है ($\nabla_z d^* \neq 0$), तो पूर्ण-अवस्था ईकलॉनल बाधा ($\|\nabla_s d^*\| = 1$) स्थानीय हैमिल्टन-जैकोबी-बेलमैन (HJB) लक्षण वर्णन के विरुद्ध होती है।
• ईकलॉनल बाधा उन दिशाओं में ग्रेडिएंट बजट को गलत तरीके से आवंटित करती है जहाँ तात्कालिक गति संभव नहीं है, जबकि HJB समीकरण केवल व्यवहार्य दिशाओं के साथ ही ग्रेडिएंट को सही ढंग से प्रतिबंधित करता है।

2. संपर्क-जागरूक भौतिकी-सूचित मान शिक्षण (Contact-Aware Physics-Informed Value Learning)

इस बेमेल को हल करने के लिए, लेखक पूर्ण-अवस्था ग्रेडिएंट नॉर्म के स्थान पर देखे गए व्यवहार्य संक्रमणों के अनुरूप एक दिशात्मक बाधा (directional constraint) प्रस्तावित करते हैं।

• पूर्ण-ग्रेडिएंट नॉर्म को दंडित करने के बजाय, विधि अनुभवजन्य संक्रमण वेक्टर $(s' - s)$ का उपयोग करके निरंतर-समय गतिकी दिशा का अनुमान लगाती है।
• इससे एक संपर्क-जागरूक HJB-शैली का अवशेष (residual) प्राप्त होता है (समीकरण 4):
  $$\mathcal{L}_{CA-HJB} = \mathbb{E} \left[ \left( \nabla_s d_\theta(s, g)^\top \frac{s' - s}{\|s' - s\| + \epsilon} + 1 \right)^2 \right]$$
• यह स्वरूप सुनिश्चित करता है कि मान ग्रेडिएंट केवल उन दिशाओं में प्रतिबंधित हों जहाँ गति वास्तव में देखी गई है, जिससे विशिष्ट संपर्क मोड के दौरान अनियंत्रित निर्देशांकों को प्रभावी रूप से अनदेखा किया जा सके।

3. भौतिकी-सूचित पदानुक्रमित प्रवाह (Physics-informed Hierarchical Flow - Pi-H-Flow)

लेखक नियंत्रणीयता के साथ नियमितीकरण को और अधिक संरेखित करने के लिए एक पदानुक्रमित ढांचे को पेश करते हैं:

• उच्च-स्तरीय नीति ($\pi_{hi}$): एक फ्लो-आधारित मॉडल एक नियंत्रणीय प्रतिनिधित्व $X$ (वस्तु-पोज़ निर्देशांकों को छोड़कर) में उप-लक्ष्य $x_g$ उत्पन्न करता है। यह उच्च-स्तरीय वस्तु-केंद्रित तर्क को निम्न-स्तरीय निष्पादन से अलग करता है।
• निम्न-स्तरीय नीति ($\pi_{lo}$): पूरी तरह से नियंत्रणीय प्रतिनिधित्व $X$ के भीतर कार्य करती है, वर्तमान अवस्था और उप-लक्ष्य को मौलिक क्रियाओं (primitive actions) में मैप करती है।
• नियमितीकरण: भौतिकी-सूचित बाधाएं (Eikonal या HJB) केवल निम्न स्तर पर $X$ के भीतर लागू की जाती हैं, जहाँ गतिकी पूर्णतः नियंत्रणीय है और समदैशिक (isotropic) धारणाएं अधिक मान्य हैं।
• उच्च-स्तरीय फ्लो भविष्य के नियंत्रणीय अवस्थाओं को उत्पन्न करने के लिए प्रशिक्षित किया जाता है, जबकि निम्न-स्तरीय शिक्षार्थी मान फलन सीखने के लिए संपर्क-जागरूक HJB अवशेष का उपयोग करता है।

मुख्य योगदान

1. सिद्धांतिक विश्लेषण: लेख में यह पहचाना और सिद्ध किया गया है कि पूर्ण-अवस्था ईकलॉनल नियमितीकरण हाइब्रिड संपर्क गतिकी के साथ संरचनात्मक रूप से बेमेल है, जो कि केवल एनिसोट्रोपिक (anisotropic) गतिकी से भिन्न है।
2. नवीन स्वरूप:
   • एक संपर्क-जागरूक अवशेष जो मान ग्रेडिएंट को केवल व्यवहार्य संक्रमण दिशाओं के साथ प्रतिबंधित करता है।
   • एक पदानुक्रमित अपघटन जो वस्तु-केंद्रित अवस्था चरों को अलग करके नियंत्रणीय गतिकी को आइसोलेट करता है।
3. अनुभवजन्य सत्यापन: लेखकों ने सिमुलेशन (OGBench) और एक वास्तविक दुनिया के UR5e रोबोट पर अपने दृष्टिकोण को मान्य किया है।

प्रयोगात्मक परिणाम

प्रस्तावित विधियों का मूल्यांकन OGBench सुइट (डबल, ट्रिपल और क्वाड्रपल क्यूब पुनर्व्यवस्था कार्यों) और एक वास्तविक दुनिया के पिक-एंड-प्लेस कार्य पर किया गया।

• सिमुलेशन (OGBench):

  • बेसलाइन की विफलता: मानक ईकलॉनल-नियमित विधियाँ (Eik-GCIVL, Eik-QRL) विश्वसनीय रूप से अभिसरण (converge) करने में विफल रहीं, जो सैद्धांतिक बेमेल की पुष्टि करती हैं।
  • संपर्क-जागरूक सुधार: संपर्क-जागरूक HJB संस्करण (HJB-GCIVL) ने पूर्ण-अवस्था ईकलॉनल विधियों की तुलना में काफी बेहतर प्रदर्शन किया, विशेष रूप से जटिल बहु-वस्तु परिदृश्यों में।
  • पदानुक्रमित लाभ: पदानुक्रमित ढांचे (Pi-H-Flow-HJB-GCIVL) ने उच्चतम सफलता दर और सबसे तेज़ अभिसरण प्राप्त किया।
  • एब्लेशन (Ablation): निम्न स्तर पर नियंत्रणीय "जॉइंट्स+कॉन्टैक्ट्स" प्रतिनिधित्व का उपयोग करने से पूर्ण अवस्था के उपयोग की तुलना में सफलता दर में लगातार सुधार (10-20% की वृद्धि) हुआ, जो अवस्था अपघटन के लाभ को प्रमाणित करता है।

• वास्तविक दुनिया के प्रयोग:

  • एक स्क्रिप्टेड MPC नीति से एकत्र किए गए ~60k स्टेप्स के ऑफलाइन डेटासेट पर प्रशिक्षित।
  • प्रस्तावित Pi-H-Flow-HJB-GCIVL ने उच्चतम सफलता दर (10cm थ्रेसहोल्ड पर 75%, 5cm पर 60%, 3cm पर 50%) प्राप्त की, जो गैर-भौतिकी-सूचित बेसलाइन और गैर-पदानुक्रमित भौतिकी-सूचित वेरिएंट दोनों से बेहतर थी।
  • गुणात्मक परिणामों ने दिखाया कि नीति गलत ग्रैस्प (misaligned grasps) से उबर सकती है और वैकल्पिक अंतःक्रिया मोड (जैसे, वस्तुओं को स्लाइड करना) का उपयोग कर सकती है।

महत्व और दावे

लेख दावा करता है कि यह संपर्क-समृद्ध हेरफेर के लिए Pi-GCRL को विस्तारित करने की दिशा में एक सिद्धांतपूर्ण कदम प्रदान करता है। हाइब्रिड गतिकी के साथ ईकलॉनल बाधाओं के ज्यामितीय बेमेल का विश्लेषण करके, लेखक दर्शाते हैं कि भौतिकी-सूचित पूर्वाग्रहों का सीधा अनुप्रयोग हानिकारक हो सकता है।

महत्व निम्नलिखित है:

1. एक सैद्धांतिक दोष को सुधारना: यह दिखाना कि हाइब्रिड सिस्टम के लिए लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) पर्याप्त नहीं है और बाधाओं को स्थानीय नियंत्रणीयता का सम्मान करना चाहिए।
2. व्यावहारिक ढांचा: एक स्केलेबल, पदानुक्रमित आर्किटेक्चर प्रदान करना जो फ्लो-आधारित उप-लक्ष्य पीढ़ी को संपर्क-जागरूक मान शिक्षण के साथ जोड़ता है।
3. वास्तविक दुनिया की प्रयोज्यता: यह प्रदर्शित करना कि ये सैद्धांतिक अंतर्दृष्टि सीमित ऑफलाइन डेटा का उपयोग करके भौतिक रोबोटों पर प्रदर्शन में सुधार करती हैं।

लेखक अपनी सीमाओं के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि वर्तमान एल्गोरिदम अभी भी डेटा-गहन (data-hungry) हैं और HJB रेगुलराइज़र स्वाभाविक रूप से सुरक्षा या एक्चुएटर सीमाओं का अनुपालन सुनिश्चित नहीं करता है। वे सुझाव देते हैं कि भविष्य के कार्य अधिक स्पष्ट भौतिकी मॉडल और सुरक्षा बाधाओं को एकीकृत करने चाहिए।