SmoothTurn: Learning to Turn Smoothly for Agile Navigation with Quadrupedal Robots

यहाँ शोध पत्र "SmoothTurn: Learning to Turn Smoothly for Agile Navigation with Quadrupedal Robots" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

क्वाड्रुपेडल रोबोट्स (चार पैरों वाले रोबोट) का उपयोग तेजी से बढ़ते समय-संवेदनशील अनुप्रयोगों जैसे कि आग से बचाव और औद्योगिक निरीक्षण में किया जा रहा है, जहाँ उच्च गति पर चपल नेविगेशन (agile navigation) अत्यंत महत्वपूर्ण है। जबकि मौजूदा सुदृढीकरण शिक्षण (reinforcement learning - RL) विधियों ने मजबूत सीधी रेखा की चाल (locomotion) और एकल-लक्ष्य तक पहुँचने में सफलता प्राप्त की है, वे बार-बार दिशा परिवर्तन वाले क्रमिक स्थानीय नेविगेशन (sequential local navigation) में संघर्ष करती हैं।

पहचाने गए मुख्य चुनौतियाँ:

• रुकने और चलने का व्यवहार (Stop-and-Go Behavior): मौजूदा एकल-लक्ष्य नीतियां लक्ष्य तक पहुँचने और वहाँ रुक जाने के लिए प्रशिक्षित की जाती हैं ताकि रिवॉर्ड को अधिकतम किया जा सके। जब इन्हें क्रमिक लक्ष्यों के लिए तैनात किया जाता है, तो यह रोबोट को प्रत्येक वेपॉइंट (waypoint) पर महत्वपूर्ण रूप से धीमा कर देता है या पूरी तरह से रोक देता है, जिससे मोमेंटम (गतिज ऊर्जा) नष्ट हो जाती है और पारगमन समय (traversal time) बढ़ जाता है।
• पूर्वानुमान का अभाव (Lack of Anticipation): मानक नीतियां केवल वर्तमान लक्ष्य के आधार पर कार्यों को निर्धारित करती हैं। वे आगामी मोड़ों का पूर्वानुमान लगाने में विफल रहती हैं, जिससे उच्च गति पर दिशा बदलने के दौरान अस्थिर, आक्रामक पैंतरेबाज़ी या गिरावट (falls) होती है।
• भंगुर लक्ष्य स्विचिंग (Brittle Goal Switching): वर्तमान विधियाँ लक्ष्य बदलने के लिए सख्त थ्रेशोल्ड (सीमाओं) पर निर्भर करती हैं। यदि थ्रेशोल्ड बहुत ढीले हैं, तो रोबोट बहुत तेज़ गति से चलते हुए लक्ष्य बदल लेता है और गिर जाता है; यदि बहुत सख्त हैं, तो वह अनावश्यक रूप से रुक जाता है।

2. कार्यप्रणाली: SmoothTurn फ्रेमवर्क (Methodology: SmoothTurn Framework)

लेखक SmoothTurn प्रस्तावित करते हैं, जो एक लर्निंग-आधारित कंट्रोल फ्रेमवर्क है जिसे लक्ष्यों के एक अनुक्रम (sequence) के माध्यम से सुचारू रूप से मुड़ने में सक्षम बनाने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क तीन मुख्य नवाचारों से बना है:

A. क्रमिक स्थानीय नेविगेशन सूत्रीकरण (Sequential Local Navigation Formulation)

कार्य को एक एकल टर्मिनल लक्ष्य तक पहुँचने के बजाय लक्ष्यों के एक क्रमबद्ध अनुक्रम $G = \{g_1, ..., g_N\}$ को पार करने के रूप में पुनर्गठित किया गया है।

• दोहरी पहुँच स्थितियाँ (Dual Reaching Conditions): लक्ष्यों के बीच संक्रमण को मजबूती से संभालने के लिए, सिस्टम दो स्थितियों का उपयोग करता है:
  1. डायरेक्ट स्विच (Direct Switch): यह लक्ष्य बदलने की अनुमति देता है यदि रोबोट लक्ष्य के करीब है और तेज़ गति से चल रहा है (अनावश्यक रुकने को रोकने के लिए)।
  2. स्टॉप स्विच (Stop Switch): एक शिथिल (relaxed) स्थिति जो केवल तभी सक्रिय होती है जब रोबोट लगभग स्थिर होता है, जो एक सुरक्षा बैकअप के रूप में कार्य करती है।

B. नवीन रिवॉर्ड फंक्शन (Novel Reward Function)

लेखक मानक एकल-लक्ष्य रिवॉर्ड (जो रुकने के लिए प्रेरित करता है) के स्थान पर क्रमिक लक्ष्य-पहुँच रिवॉर्ड (Sequential Goal-Reaching Reward) ($r_t^{seq}$) का उपयोग करते हैं:

• निरंतर प्रगति (Continuous Progress): रिवॉर्ड, प्राप्त किए गए लक्ष्यों की संख्या ($k_t$) और वर्तमान लक्ष्य की दूरी का एक स्मूथ फंक्शन है।
• कोई विच्छिन्नता नहीं (No Discontinuities): पिछली विधियों के विपरीत, जहाँ लक्ष्य बदलते समय रिवॉर्ड अचानक गिर जाता है, यह रिवॉर्ड अगले लक्ष्य के करीब पहुँचने पर सुचारू रूप से बढ़ता है, जो बिना रुके निरंतर गति को प्रोत्साहित करता है।
• डायनेमिक हेडिंग पेनल्टी (Dynamic Heading Penalty): रिवॉर्ड हेडिंग एरर (दिशा त्रुटि) को गतिशील रूप से वेट देता है, जो पहले दूरी कम करने को प्राथमिकता देता है और लक्ष्य के करीब पहुँचने पर ही ओरिएंटेशन (अभिविन्यास) को सूक्ष्म रूप से ठीक करता है।

C. लुकअहेड ऑब्जर्वेशन और करिकुलम (Lookahead Observation & Curriculum)

• लुकअहेड विंडो (Lookahead Window): ऑब्जर्वेशन स्पेस को भविष्य के लक्ष्यों ($g_{k+1}, ..., g_{k+n}$) की एक विंडो को शामिल करने के लिए विस्तारित किया गया है। यह नीति को आगामी मोड़ों का पूर्वानुमान लगाने की अनुमति देता है, जिससे यह वर्तमान लक्ष्य तक पहुँचने से पहले ही अपने मोमेंटम और ओरिएंटेशन को समायोजित कर सकती है।
• स्वचालित लक्ष्य करिकुलम (Automatic Goal Curriculum): एक करिकुलम लर्निंग तंत्र रोबोट की सफलता दर के आधार पर लक्ष्य अनुक्रमों (मोड़ने के कोण और दूरियों) की कठिनाई को धीरे-धीरे बढ़ाता है। यह सरल, सीधे और छोटे पथों से शुरू होकर जटिल ज़िगज़ैग पैटर्न तक विकसित होता है, जिससे स्थिर प्रशिक्षण सुनिश्चित होता है।

3. प्रमुख योगदान (Key Contributions)

1. कार्य सूत्रीकरण: क्रमिक स्थानीय नेविगेशन कार्य को परिभाषित किया, जो विशेष रूप से उच्च गति वाले लोकोमोशन के दौरान सुचारू दिशा परिवर्तन की चुनौती को लक्षित करता है।
2. RL फ्रेमवर्क डिज़ाइन: एक नवीन रिवॉर्ड स्ट्रक्चर, एक लुकअहेड ऑब्जर्वेशन स्पेस और एक स्वचालित करिकुलम पेश किया, जो सामूहिक रूप से रोबोट को मोमेंटम बनाए रखने और सुचारू मोड़ निष्पादित करने में सक्षम बनाता है।
3. उभरते व्यवहार (Emergent Behaviors): सिस्टम ने स्वायत्त रूप से जटिल व्यवहार सीखे, जिन्हें स्पष्ट रूप से प्रोग्राम नहीं किया गया था, जैसे कि:
   • वर्तमान लक्ष्य की ओर बढ़ते हुए भी अगले लक्ष्य की ओर ओरिएंट करना।
   • जब टॉलरेंस (सहनशीलता) अनुमति दे, तो छोटे रास्ते लेने के लिए कोनों को काटना (cutting corners)।
   • तीखे मोड़ों के दौरान गिरने से बचने के लिए मोमेंटम का प्रबंधन करना।
4. वास्तविक दुनिया में तैनाती: इसे ऑनबोर्ड सेंसर और कंप्यूटेशन के साथ एक Unitree Go2 क्वाड्रुपेडल रोबोट पर सफलतापूर्वक तैनात किया गया, जिसने सिमुलेशन और वास्तविक दुनिया दोनों में स्थिरता का प्रदर्शन किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिमुलेशन और भौतिक रोबोट पर एक बेसलाइन एकल-लक्ष्य नीति के विरुद्ध SmoothTurn का मूल्यांकन किया।

• सिमुलेशन प्रदर्शन:

  • सफलता दर और स्थिरता: SmoothTurn ने विभिन्न टर्निंग पैटर्न (60°, 90°, 120°, 150° ज़िगज़ैग) और थ्रेशोल्ड सेटिंग्स में लगभग पूर्ण सफलता दर (99%+) प्राप्त की। बेसलाइन नीति अस्थिरता के कारण ढीले थ्रेशोल्ड के तहत उच्च गिरावट दर (93% तक) का सामना करती है।
  • पारगमन समय (Traversal Time): SmoothTurn काफी तेज़ था। उदाहरण के लिए, 90° टर्न सीक्वेंस में, इसने बेसलाइन के 5.69s (सख्त थ्रेशोल्ड के तहत) की तुलना में कार्य को 4.31s में पूरा किया क्योंकि इसने मध्यवर्ती लक्ष्यों पर रुकना नहीं सीखा।
  • शिथिल स्थितियाँ (Relaxed Conditions): जब शिथिल लक्ष्य-पहुँच स्थितियों (हेडिंग एरर को अनदेखा करने या दूरी सहनशीलता बढ़ाने) के साथ प्रशिक्षित किया गया, तो रोबोट ने और भी अधिक कुशल पथ लेना सीखा, जिससे पारगमन समय और कम हो गया (जैसे, 60° टर्न के लिए 3.40s तक)।

• एब्लेशन स्टडीज (Ablation Studies):

  • लुकअहेड: लुकअहेड विंडो को हटाने ($n=1$) से प्रदर्शन में काफी गिरावट आई, जिससे पुष्टि हुई कि सुचारू टर्निंग के लिए भविष्य के लक्ष्यों का पूर्वानुमान लगाना आवश्यक है।
  • करिकुलम: करिकुलम के बिना प्रशिक्षण (कठिन कार्यों से शुरू करना) के परिणामस्वरूप प्रशिक्षण विफल रहा (शून्य के करीब सफलता), जो प्रगतिशील कठिनाई स्केलिंग की आवश्यकता को सिद्ध करता है।

• वास्तविक दुनिया के परिणाम:

  • Unitree Go2 पर तैनात होने पर, SmoothTurn ने सभी चार वास्तविक दुनिया के टर्निंग कार्यों में बेसलाइन को पछाड़ दिया, जिससे प्रति अनुक्रम औसत पारगमन समय में लगभग 1.5 से 2.0 सेकंड की कमी आई।
  • रोबोट ने उच्च गति बनाए रखी और बिना गिरे सुचारू मोड़ निष्पादित किए, जो सिम-टू-रियल ट्रांसफर की पुष्टि करता है।

5. महत्व (Significance)

SmoothTurn लेग्ड रोबोट की तैनाती में एक महत्वपूर्ण बाधा को संबोधित करता है: मैन्युवरेबिलिटी (maneuverability/संचालन क्षमता)। जबकि सीधी रेखा की गति पर अक्सर ध्यान केंद्रित किया जाता है, वास्तविक दुनिया के नेविगेशन के लिए बार-बार मुड़ना आवश्यक है। यह कार्य प्रदर्शित करता है कि रिवॉर्ड स्ट्रक्चर को "रुकने और रहने" के बजाय "निरंतर प्रगति" में बदलकर और एजेंट को दूरदर्शिता (lookahead) प्रदान करके, रोबोट अपने मोमेंटम को स्वायत्त रूप से प्रबंधित करना सीख सकते हैं।

लक्ष्यों के अनुक्रमों को बिना रुके सुचारू रूप से नेविगेट करने की क्षमता क्वाड्रुपेडल रोबोटों को समय-महत्वपूर्ण वास्तविक दुनिया के अनुप्रयोगों (जैसे खोज और बचाव, तीव्र लॉजिस्टिक्स) के लिए व्यवहार्य बनाती है जहाँ हर सेकंड मायने रखता है। "कोनों को काटने" और "प्री-टर्निंग" जैसे उभरते व्यवहारों को सीखने में इस फ्रेमवर्क की सफलता एक अधिक बुद्धिमान, अनुकूलन योग्य और कुशल स्वायत्त नेविगेशन सिस्टम की ओर संकेत करती है।