3D RL-DWA: A Hybrid Reinforcement Learning and Dynamic Window Approach for Goal-Directed Local Navigation in Multi-DoF Robots

तकनीकी सारांश: उच्च-DoF रोबोट नेविगेशन के लिए 3D RL-DWA

समस्या विवरण
जटिल, प्रतिबंधित 3D वातावरण में स्वायत्त नेविगेशन, विशेष रूप से विरल संवेदी (sparse sensory) स्थितियों में कार्य करने वाले उच्च-डिग्री-ऑफ-फ्रीडम (DoF) रोबोटिक सिस्टम के लिए एक महत्वपूर्ण चुनौती बना हुआ है। पारंपरिक वैश्विक नियोजन (global planning) विधियाँ अक्सर गतिशील, आंशिक रूप से ज्ञात वातावरण में विफल हो जाती हैं, जबकि मानक स्थानीय प्लैनर जैसे कि डायनेमिक विंडो अप्रोच (DWA), निश्चित पैरामीटर ट्यूनिंग पर निर्भर करते हैं जो अनुकूलन क्षमता को सीमित करता है। इसके अलावा, मौजूदा हाइब्रिड सुदृढीकरण शिक्षण (Reinforcement Learning - RL) और DWA दृष्टिकोण मुख्य रूप से संरचित सेटिंग्स में 2D गति पर केंद्रित रहे हैं, जिससे विकृत (deformable), उच्च-DoF रोबॉट्स (जैसे कि माइक्रोरोबोट्स) के 3D नियंत्रण के लिए समाधानों में एक अंतर रह गया है, जिन्हें संवहनी नेटवर्क (vascular networks) जैसी टेढ़ी-मेढ़ी संरचनाओं में नेविगेट करने के लिए गति और आकार दोनों को एक साथ अनुकूलित करना होता है।

कार्यप्रणाली
लेखक 3D RL-DWA का प्रस्ताव करते हैं, जो एक 9-DoF विकृत रोबोट के स्थानीय नेविगेशन के लिए एक अनुकूलित 3D डायनेमिक विंडो अप्रोच (DWA) के साथ सुदृढीकरण शिक्षण (RL) को एकीकृत करने वाला एक हाइब्रिड ढांचा है। इस प्रणाली को एक दीर्घवृत्त (ellipsoid) के रूप में मॉडल किया गया है जिसमें पोज़ (स्थिति और अभिविन्यास) के लिए 6 DoF और अपनी समरूपता अक्षों (symmetry axes) के साथ आकार विरूपण (shape deformation) के लिए 3 DoF हैं।

• नियंत्रण वास्तुकला (Control Architecture): यह ढांचा एक क्लोज्ड लूप में कार्य करता है जहाँ एक RL एजेंट वातावरण (कार्य अवस्था और विरल लेजर स्कैन डेटा) का अवलोकन करता है और दो प्रकार के कमांड आउटपुट देता है:

  1. DWA पैरामीटर्स: एजेंट DWA लागत फलन (cost function) के वेटिंग फैक्टर्स ($\alpha, \beta, \gamma, \zeta$) को गतिशील रूप से समायोजित करता है, जो गति, दिशा, बाधा से बचाव, और लक्ष्य संरेखण के बीच संतुलन बनाता है।
  2. वेलोसिटी कमांड्स: एजेंट सीधे कोणीय वेग ($\omega_x$) और विरूपण वेग ($\dot{\delta}$) आउटपुट करता है।
     इसके बाद DWA मॉड्यूल इन मापदंडों का उपयोग करके एक स्वीकार्य सेट से इष्टतम रैखिक वेग (linear velocity) का चयन करता है, जो एक 3D डायनेमिक विंडो के भीतर टकराव-मुक्त प्रक्षेपवक्र (trajectories) सुनिश्चित करता है।

• सुदृढीकरण शिक्षण (RL) सूत्रीकरण: इस समस्या को सॉफ्ट एक्टर-क्रिटिक (SAC) एल्गोरिदम का उपयोग करके एक मार्कोव निर्णय प्रक्रिया (MDP) के रूप में तैयार किया गया है। एजेंट को एक सघन रिवॉर्ड फंक्शन (dense reward function) को अधिकतम करने के लिए प्रशिक्षित किया जाता है जो आगे की प्रगति, टकराव से बचाव, और वाहिका (vessel) के भीतर रोबोट के व्याप्त आयतन (occupied volume) को अधिकतम करने को प्रोत्साहित करता है। अवलोकन स्थान (observation space) में रोबोट की विरूपण अवस्था, सामान्यीकृत वेग, लक्ष्य की ओर विस्थापन वेक्टर, और $N$ लेजर स्कैन दूरियां शामिल हैं।

• काइनेमैटिक्स (Kinematics): रोबोट की गति एक सरलीकृत काइनेमैटिक मॉडल द्वारा नियंत्रित होती है जो फेरोफ्लुइडिक प्रणालियों से प्रेरित है। एक प्रमुख बाधा यह है कि रोबोट का x-अक्ष गति की दिशा के साथ संरेखित है, जो नियंत्रणीय घूर्णी DoF को एकल अक्ष ($\omega_x$) तक सीमित कर देता है, जबकि शेष घूर्णी घटक संरेखण बाधाओं द्वारा निष्क्रिय रूप से प्रेरित होते हैं।

प्रमुख योगदान

1. नवाचारी हाइब्रिड ढांचा: यह शोध पत्र उच्च-DoF विकृत रोबोटों के 3D स्थानीय नेविगेशन के लिए विशेष रूप से RL-DWA हाइब्रिड के पहले अनुप्रयोग को प्रस्तुत करता है, जो ऐसे सिस्टम के 3D मोशन कंट्रोल के अंतराल को संबोधित करता है।
2. अनुकूली पैरामीटर ट्यूनिंग: पारंपरिक DWA के विपरीत, जिसे मैन्युअल ट्यूनिंग की आवश्यकता होती है, प्रस्तावित विधि पर्यावरणीय स्थितियों और सेंसर की विरलता के आधार पर वास्तविक समय में DWA लागत फलन भार को समायोजित करने के लिए RL का उपयोग करती है।
3. एक साथ गति और आकार नियंत्रण: ढांचा पोज़ और आकार विरूपण को सह-अनुकूलित (co-optimizes) करता है, जिससे रोबोट को संकुचित स्थानों में नेविगेट करते समय अपने आयतन के व्याप्त होने को अधिकतम करने में सक्षम बनाया जा सके।
4. विरल सेंसिंग के प्रति मजबूती: प्रणाली का मूल्यांकन विभिन्न स्तरों के एक्सटेरोसेप्टिव डेटा (15, 25, और 50 सेंसर पॉइंट्स) के तहत किया गया है, जो उन स्थितियों में अनुकूलन क्षमता प्रदर्शित करता है जहाँ उच्च-रिज़ॉल्यूशन सेंसिंग सीमित होती है, जैसा कि बायोमेडिकल अनुप्रयोगों में सामान्य है।

प्रायोगिक परिणाम
इस ढांचे का मूल्यांकन प्रशिक्षण और अनदेखे परीक्षण परिदृश्यों में 1,080 प्रायोगिक परीक्षणों का उपयोग करके एक सिम्युलेटेड संवहनी नेटवर्क वातावरण में किया गया।

• प्रदर्शन तुलना: 3D RL-DWA ने शुद्ध RL बेसलाइन (SAC) और एक मॉडल-आधारित नियंत्रक (डेलाने त्रिकोणीकरण और वोरोनोई ग्राफ का उपयोग करके) दोनों को काफी पीछे छोड़ दिया।
  • पथ पूर्णता (Path Completion): उच्च-रिज़ॉल्यूशन सेंसिंग ($N=50$) वाले अनदेखे परीक्षण परिदृश्यों में, 3D RL-DWA ने लगभग पूर्ण पथ पूर्णता (मध्यिका ~99.22%) प्राप्त की, जबकि शुद्ध RL बेसलाइन संघर्ष करती रही (मध्यिका ~45.75%) और मॉडल-आधारित विधि कम रिज़ॉल्यूशन पर पूरी तरह विफल रही।
  • विरूपण (Deformation): हाइब्रिड दृष्टिकोण ने रिज़ॉल्यूशन केAcross उच्च विरूपण क्षमताएं (मध्यिका ~53-57% आयतन व्याप्तता) बनाए रखी, जबकि शुद्ध RL ने नेविगेशन विफलताओं के कारण कम सेंसर घनत्व पर खराब विरूपण प्रदर्शन दिखाया।
• सेंसर रिज़ॉल्यूशन का प्रभाव: उच्च सेंसर रिज़ॉल्यूशन ($N=50$) ने अभिसरण गति (convergence speed) और पुनरुत्पादकता में सुधार किया। हालांकि, प्रणाली ने मध्यवर्ती रिज़ॉल्यूशन ($N=25$) पर भी मजबूती प्रदर्शित की, जबकि $N=15$ के परिणामस्वरूप नेविगेशन विश्वसनीयता में कमी आई लेकिन कुछ विरूपण क्षमता सुरक्षित रही।
• संगणकीय दक्षता (Computational Efficiency): प्रणाली ने प्रति नियंत्रण चरण लगातार 2 मिलीसेकंड से कम के औसत अनुमान समय (inference time) के साथ वास्तविक समय की उपयुक्तता प्रदर्शित की। RL घटक समय में स्थिर था, जबकि DWA घटक सेंसर बिंदुओं के साथ रैखिक रूप से स्केल हुआ लेकिन कुशल बना रहा।
• शोर (Noise) के प्रति मजबूती: बढ़ते गॉसियन शोर के तहत, 3D RL-DWA ने बेसलाइन्स की तुलना में बेहतर पथ पूर्णता दर बनाए रखी, हालांकि शोर के साथ प्रदर्शन स्वाभाविक रूप से कम हुआ। विरूपण नियंत्रण, नेविगेशन की तुलना में सेंसर शोर के प्रति स्वाभाविक रूप से अधिक मजबूत साबित हुआ।

महत्व और दावे
लेखक दावा करते हैं कि 3D RL-DWA ढांचा सीखने पर आधारित विधियों की अनुकूलन क्षमता और शास्त्रीय प्लैनर्स के संरचित मार्गदर्शन के बीच के अंतर को प्रभावी ढंग से पाटता है। इस हाइब्रिड दृष्टिकोण को एक ऐसे समाधान के रूप में प्रस्तुत किया गया है जो उस संतुलन को प्राप्त करता है जो न तो शुद्ध शिक्षण और न ही पूरी तरह से मॉडल-आधारित विधियां प्रदान कर सकती हैं।

यह शोध पत्र विशेष रूप से उभरते बायोमेडिकल अनुप्रयोगों, जैसे कि माइक्रोरोबोट्स के स्वायत्त नियंत्रण के लिए प्रभावी है, जो न्यूनतम आक्रामक हस्तक्षेप (minimally invasive interventions) के लिए आवश्यक हैं, जहाँ रोबोटों को असंरचित, विरल-सेंसिंग वातावरण में नेविगेट करना होता है। परिणाम बताते हैं कि DWA मापदंडों को ट्यून करने के लिए RL को एकीकृत करने से मजबूत, अनुकूलन योग्य नेविगेशन मिलता है जो अनदेखी वेपॉइंट अनुक्रमों और सेंसर अनिश्चितताओं के साथ अच्छी तरह से सामान्य (generalize) होता है, जो इसे जटिल 3D स्थानों में वास्तविक समय की तैनाती के लिए एक व्यवहार्य उम्मीदवार बनाता है।