💻 संगणक विज्ञान

GPO: Growing Policy Optimization for Legged Robot Locomotion and Whole-Body Control

यह शोध पत्र ग्रोइंग पॉलिसी ऑप्टिमाइज़ेशन (GPO) को पेश करता है, जो एक प्रशिक्षण ढांचा है जो टॉर्क-आधारित लेग्ड रोबोट नियंत्रण में अन्वेषण चुनौतियों से निपटने के लिए एक समय-परिवर्तनीय एक्शन स्पेस को प्रगतिशील रूप से विस्तारित करता है, जिससे स्थिर शिक्षण और उत्कृष्ट ज़ीरो-शॉट हार्डवेयर परिनियोजन प्रदर्शन सुनिश्चित होता है।

मूल लेखक: Shuhao Liao, Peizhuo Li, Xinrong Yang, Linnan Chang, Zhaoxin Fan, Qing Wang, Lei Shi, Yuhong Cao, Wenjun Wu, Guillaume Sartoretti

प्रकाशित 2026-01-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuhao Liao, Peizhuo Li, Xinrong Yang, Linnan Chang, Zhaoxin Fan, Qing Wang, Lei Shi, Yuhong Cao, Wenjun Wu, Guillaume Sartoretti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कुत्ते या एक रोबोट कीट को चलना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह खुद से सीखे, परीक्षण और त्रुटि (trial and error) के माध्यम से, जिसे "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) कहा जाता है। यह बिल्कुल वैसा ही है जैसे किसी बच्चे को साइकिल चलाना सिखाने के लिए उसे कोई मैनुअल देने के बजाय, बस उसे चढ़ने देना और कोशिश करने देना।

हालाँकि, एक बड़ी समस्या है: यदि आप रोबोट को शुरुआत में ही सब कुछ आज़माने के लिए छोड़ देते हैं, तो वह अपने पैरों को बेतहाशा हिलाएगा, गिर जाएगा और कभी भी आगे बढ़ना नहीं सीख पाएगा। यह बिल्कुल वैसा ही है जैसे किसी नौसिखिए को एक फरारी दे दी जाए और उससे कहा जाए कि वह तुरंत पूरी रफ्तार से गाड़ी चलाए; वह मुड़ना सीखने से पहले ही दुर्घटनाग्रस्त हो जाएगा।

यह शोध पत्र इस समस्या को हल करने के लिए एक नई प्रशिक्षण विधि पेश करता है जिसे GPO (Growing Policy Optimization) कहा जाता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

मुख्य विचार: "बढ़ने वाले ट्रेनिंग व्हील्स"

रोबोट की गतिविधियों को संभावनाओं की एक सीमा के रूप में सोचें।

पुराना तरीका (Standard PPO): कल्पना कीजिए कि आपने रोबोट को एक विशाल, खुले मैदान में रख दिया और कहा, "चलो!" रोबोट एक साथ दौड़ने, कूदने और घूमने की कोशिश करता है। क्योंकि यह स्थान बहुत बड़ा है, वह भ्रमित हो जाता है, बड़ी गलतियाँ करता है और बहुत धीरे सीखता है।
GPO का तरीका: कल्पना कीजिए कि आप रोबोट को एक छोटे, घेरे हुए बगीचे में शुरू करते हैं। वह घेरा (fence) इस बात की सीमा है कि रोबोट अपने मोटरों को कितनी जोर से धक्का दे सकता है।
1. प्रारंभिक चरण: घेरा छोटा है। रोबोट केवल छोटे, कोमल कदम उठा सकता है। यह उसे बेतहाशा हाथ-पैर मारने के जोखिम के बिना संतुलन और बुनियादी समन्वय सीखने के लिए मजबूर करता है। वह "बुनियादी बातें" जल्दी सीख जाता है क्योंकि खेल का मैदान प्रबंधनीय है।
2. बढ़ने वाला चरण: जैसे-जैसे रोबोट बेहतर होता जाता है, घेरा धीरे-धीरे फैलता है। यह बिल्कुल वैसा ही है जैसे ट्रेनिंग व्हील्स धीरे-धीरे हटाए जा रहे हों। अब रोबोट को बड़े कदम उठाने और अधिक जोर लगाने की अनुमति है।
3. अंतिम चरण: अंततः, घेरा पूरी तरह से गायब हो जाता है। अब रोबोट पूरी गति से दौड़ सकता है और कठिन रास्तों को संभाल सकता है, लेकिन वह बुनियादी बातों में पहले ही महारत हासिल कर चुका होता है।

यह क्यों महत्वपूर्ण है

लेखकों का तर्क है कि छोटे से शुरुआत करके और बढ़ते हुए, रोबोट तेजी से और अधिक स्थिरता से सीखता है।

कम शोर (Less Noise): जब रोबोट को छोटी गतिविधियों तक सीमित रखा जाता है, तो उसके सीखने में "शोर" (यादृच्छिक गलतियाँ) कम होता है। एक रॉक कॉन्सर्ट की तुलना में एक शांत कमरे में फुसफुसाहट सुनना आसान होता है।
बेहतर परिणाम: क्योंकि उसने "छोटे बगीचे" में बुनियादी बातों को इतनी अच्छी तरह से सीखा, इसलिए वह अंततः सामान्य तरीके से प्रशिक्षित रोबोटों की तुलना में एक बेहतर चलने वाला बनता है।

गणित (सरलीकृत)

यह शोध पत्र सिद्ध करता है कि यह "बढ़ते हुए घेरे" वाली तकनीक सीखने के पीछे के गणित को खराब नहीं करती है। यह बिल्कुल वैसा ही है जैसे आप जिस मानचित्र को देख रहे हैं उसका आकार बदल रहे हों, लेकिन दिशा-सूचक यंत्र (compass) अभी भी सही दिशा में उत्तर की ओर संकेत करता है। उन्होंने दिखाया कि रोबोट बदलते हुए प्रतिबंधों से भ्रमित नहीं होता; वह बस उन्हें नेविगेट करने में बेहतर होता जाता है।

प्रयोग: वास्तविक रोबोट

टीम ने दो प्रकार के रोबोटों पर इसका परीक्षण किया:

एक क्वाड्रुपेड (चार पैरों वाला रोबोट): जैसे एक कुत्ता।
एक हेक्सापॉड (छह पैरों वाला रोबोट): जैसे एक बड़ा कीट।

उन्होंने कंप्यूटर सिमुलेशन में टॉर्क कंट्रोल (मोटरों को ठीक से कितना बल लगाना है, यह बताना, जो केवल यह बताने की तुलना में बहुत कठिन है कि उन्हें कहाँ जाना है) का उपयोग करके इन रोबोटों को प्रशिक्षित किया।

परिणाम:

सिमुलेशन में: GPO रोबोटों ने मानक तरीके की तुलना में तेजी से चलना सीखा और कमांड (जैसे "1 मीटर प्रति सेकंड की गति से आगे चलें") का बहुत सटीक रूप से पालन किया। मानक तरीका अक्सर सीधा चलने में विफल रहा या रोबोट के शरीर को बहुत नीचे रखता था।
वास्तविक दुनिया में: वे रोबोट के "दिमाग" को लेकर आए जिसे कंप्यूटर में प्रशिक्षित किया गया था और उसे एक वास्तविक रोबोट (Unitree Go2) पर लगा दिया।
- ज़ीरो-शॉट ट्रांसफर (Zero-Shot Transfer): इसका अर्थ है कि रोबोट को वास्तविक फर्श पर कभी प्रशिक्षित नहीं किया गया था; उसने पूरी तरह से कंप्यूटर में सीखा। फिर भी, वास्तविक जमीन पर रखे जाने पर, वह पूरी तरह से चला।
- डिस्टर्बेंस टेस्टिंग (Disturbance Testing): उन्होंने रोबोट को धक्का दिया, उस पर बास्केटबॉल फेंका, और यहाँ तक कि उसे कीचड़ भरे, फिसलन भरे ढलानों पर भी चलाया। GPO रोबलेट ने तुरंत अपना संतुलन बना लिया, जबकि पुराने तरीके से प्रशिक्षित रोबोट अक्सर गिर जाते थे या संघर्ष करते थे।

निष्कर्ष

शोध पत्र का दावा है कि GPO एक सामान्य उपकरण है जो रोबोट को चलाना सिखाना आसान और अधिक प्रभावी बनाता है। सख्त सीमाओं के साथ शुरुआत करके और उन्हें धीरे-धीरे ढीला करके, आप रोबोट को जटिल कौशल सीखने के लिए एक स्थिर मार्ग खोजने में मदद करते हैं, चाहे उसके चार पैर हों या छह। यह रोबोटिक बुद्धिमत्ता के लिए एक "अपना खुद का विकसित करें" (grow your own) वाला दृष्टिकोण है।

तकनीकी सारांश: लेग्ड रोबोट लोकोमोशन के लिए ग्रोइंग पॉलिसी ऑप्टिमाइज़ेशन (GPO)

1. समस्या विवरण

लेग्ड रोबोट्स के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) नीतियों को प्रशिक्षित करना, विशेष रूप से टॉर्क-आधारित नियंत्रण (torque-based control) के तहत, उच्च-आयामी निरंतर एक्शन स्पेस (high-dimensional continuous action spaces), सख्त हार्डवेयर बाधाओं और अन्वेषण (exploration) की कठिनाई के कारण महत्वपूर्ण चुनौतियों का सामना करता है। जबकि स्थिति-आधारित नियंत्रण (position-based control) का उपयोग करने वाली मौजूदा विधियाँ अक्सर विशिष्ट हेयुरिस्टिक्स (जैसे रिवॉर्ड शेपिंग, करिकुलम लर्निंग और मैनुअल इनिशियलाइजेशन) के माध्यम से सफल होती हैं, वे टॉर्क-आधारित नियंत्रण के साथ संघर्ष करती हैं। टॉर्क नियंत्रण में, क्रियाएं सीधे जॉइंट टॉर्क से जुड़ी होती हैं, जिससे मजबूत कपलिंग और सख्त स्थिरता आवश्यकताएं उत्पन्न होती हैं।

पहचाना गया मुख्य मुद्दा यह है कि मानक पॉलिसी ग्रेडिएंट विधियां, जैसे कि प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO), प्रशिक्षण के दौरान एक निश्चित एक्शन स्पेस (fixed action space) को अंतर्निहित रूप से मान लेती हैं। यह डिज़ाइन पॉलिसी को शुरुआत से ही पूर्ण, उच्च-विचरण वाले एक्शन स्पेस का अन्वेषण करने के लिए मजबूर करता है। परिणामस्वरूप, शुरुआती चरण का प्रशिक्षण निम्नलिखित कारणों से प्रभावित होता है:

उच्च ग्रेडिएंट विचरण (gradient variance) और अस्थिर अनुकूलन परिदृश्य (optimization landscapes)।
इष्टतम नीति तक पहुँचने से पहले विश्वसनीय, कम-आयाम (low-amplitude) वाले नियंत्रण व्यवहारों को सीखने में कठिनाई।
अन्वेषण के दौरान रोबोट को अस्थिर करने के जोखिम के कारण अक्षम डेटा संग्रह।

वर्तमान इंजीनियरिंग अभ्यास अक्सर प्रशिक्षण के शुरुआती चरणों में एक्शन सीमाओं को मैन्युअल रूप से प्रतिबंधित करते हैं और बाद में उन्हें ढीला कर देते हैं, लेकिन ऐसा कोई सिद्धांतिक ढांचा नहीं है जो एक्शन स्पेस के विकास को सीखने के एल्गोरिदम के एक अभिन्न अंग के रूप में मानता हो, और न ही इसके अनुकूलन गुणों पर प्रभाव का कोई स्पष्ट सैद्धांतिक विश्लेषण उपलब्ध है।

2. कार्यप्रणाली: ग्रोइंग पॉलिसी ऑप्टिमाइज़ेशन (GPO)

लेखक ग्रोइंग पॉलिसी ऑप्टिमाइज़ेशन (GPO) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो प्रशिक्षण के शुरुआती चरणों के दौरान प्रभावी एक्शन स्पेस को प्रतिबंधित करने और उसे धीरे-धीरे विस्तारित करने के लिए एक समय-परिवर्तनीय एक्शन ट्रांसफॉर्मेशन (time-varying action transformation) लागू करता है।

मुख्य तंत्र

GPO एक सुचारू, समय-निर्भर रूपांतरण पेश करता है जो पॉलिसी के लेटेंट एक्शन आउटपुट ( $a$ ) को एक निष्पादनीय क्रिया ( $\tilde{a}$ ) में मैप करता है:
$\tilde{a} = \beta_t \tanh\left(\frac{a}{\beta_t}\right)$
यहाँ, $\beta_t = a_{limit} f(t)$ प्रशिक्षण चरण $t$ का एक निरंतर बढ़ता हुआ ग्रोथ फंक्शन है, जहाँ $\lim_{t \to \infty} f(t) = 1$ है।

प्रारंभिक चरण: $\beta_t$ छोटा होता है, जिससे प्रभावी एक्शन स्पेस प्रतिबंधित हो जाता है। यह रूपांतरण छोटे एक्शन्स के लिए लगभग रैखिक शासन (linear regime) में कार्य करता है, जिससे एजेंट को कम ग्रेडिएंट शोर के साथ स्थिर, कम-आयाम वाले व्यवहार सीखने की अनुमति मिलती है।
अंतिम चरण: जैसे-जैसे $\beta_t$ बढ़ता है, प्रभावी एक्शन स्पेस का विस्तार होता है, जिससे बड़ा नियंत्रण अधिकार (control authority) अनलॉक होता है और उच्च अपेक्षित रिटर्न प्राप्त करने के लिए व्यापक अन्वेषण सक्षम होता है।
संतृप्ति (Saturation): बड़े परिमाण वाले एक्शन्स के लिए, आउटपुट हार्डवेयर सीमा ( $\pm a_{limit}$ ) पर सुचारू रूप से संतृप्त हो जाता है, जो कार्यात्मक रूप से हार्ड क्लिपिंग के समान है लेकिन विभेदन क्षमता (differentiability) को बनाए रखता है।

सैद्धांतिक गारंटी

पेपर यह सिद्ध करने के लिए एक सैद्धांतिक विश्लेषण प्रदान करता है कि GPO, PPO की स्थिरता बनाए रखते हुए अनुकूलन गतिकी (optimization dynamics) में सुधार करता है:

अपडेट समानता: GPO के तहत इम्पोर्टेंस सैंपलिंग अनुपात संरचनात्मक रूप से PPO के समान है ( $r^{GPO}_t = r^{PPO}_t$ ), जिसका अर्थ है कि क्लिप्ड सरोगेट ऑब्जेक्टिव (clipped surrogate objective) चर परिवर्तन के बिना अपरिवर्तित रहता है।
बाउंडेड ग्रेडिएंट डिस्टॉर्शन: GPO ग्रेडिएंट्स और मानक PPO ग्रेडिएंट्स के बीच का अंतर सीमित है और $\beta_t$ बढ़ने के साथ निरंतर घटता है। यह सुनिश्चित करता है कि रूपांतरण केवल लुप्त होने वाला (vanishing) ग्रेडिएंट डिस्टॉर्शन ही लाता है।
अनुकूलन गतिकी (Optimization Dynamics):
- प्रारंभिक चरण: एक्शन स्पेस को प्रतिबंधित करके, GPO पॉलिसी ग्रेडिएंट एस्टिमेटर के विचरण को कम करता है (जो $\beta_t$ के वर्ग के अनुपात में बढ़ता है)। यह सिग्नल-टू-नॉइज़ रेशियो (SNR) को बढ़ाता है, जिससे तेज़ स्थानीय अभिसरण (local convergence) और प्रारंभिक चरण के अपेक्षित रिटर्न पर एक कड़ा निचला स्तर (lower bound) प्राप्त होता है।
- अंतिम चरण: क्रमिक विस्तार यह सुनिश्चित करता है कि स्थिर-अवस्था पैरामीटर त्रुटि (steady-state parameter error) एक निश्चित-रेंज बेसलाइन से खराब नहीं होगी, जिससे बेहतर एसिम्प्टोटिक प्रदर्शन की अनुमति मिलती है।

3. प्रमुख योगदान

नया फ्रेमवर्क: GPO का परिचय, जो लर्निंग एल्गोरिदम के एक घटक के रूप में प्रभावी एक्शन स्पेस के विकास को स्पष्ट रूप से मॉडल करता है, न कि केवल एक स्थिर इंजीनियरिंग हेयुरिस्टिक के रूप में।
सैद्धांतिक विश्लेषण: प्रमाण कि समय-परिवर्तनीय रूपांतरण PPO की अपडेट संरचना को सुरक्षित रखता है और केवल सीमित, लुप्त होने वाला ग्रेडिएंट डिस्टॉर्शन पेश करता है, जिससे स्थिर प्रशिक्षण सुनिश्चित होता है।
प्रदर्शन में सुधार: प्रदर्शन का प्रदर्शन कि GPO, विशेष रूप से चुनौतीपूर्ण टॉर्क-आधारित नियंत्रण डोमेन में, फिक्स्ड-एक्शन-स्पेस बेसलाइन्स की तुलना में तेज़ प्रारंभिक अभिसरण और उच्च एसिम्प्टोटिक रिटर्न प्राप्त करता है।
सामान्यीकरण (Generalizability): विभिन्न रोबोट मॉर्फोलॉजी (क्वाड्रुपेड और हेक्सापॉड) और नियंत्रण कार्यों (लोकोमोशन और होल-बॉडी कंट्रोल) में बिना किसी कार्य-विशिष्ट रिवॉर्ड शेपिंग या गेट प्रायर के फ्रेमवर्क का सत्यापन।

4. प्रयोगात्मक परिणाम

लेखकों ने सिमुलेशन और वास्तविक हार्डवेयर पर क्वाड्रुपेड और हेक्सापॉड रोबोट्स पर GPO का मूल्यांकन किया।

सिमुलेशन परिणाम

ग्रोथ फंक्शन्स: नो ग्रोथ (PPO), लीनियर, सिग्मॉइड और गोम्पर्ट्ज़ (Gompertz) ग्रोथ फंक्शन्स के बीच तुलना से पता चला कि गोम्पर्ट्ज़ फंक्शन (धीमी प्रारंभिक वृद्धि के बाद त्वरित विस्तार) ने सर्वश्रेष्ठ प्रदर्शन किया। इसने सबसे तेज़ रिवॉर्ड सुधार और सबसे स्थिर लर्निंग प्रदान की।
ट्रैकिंग प्रदर्शन: GPO-प्रशिक्षित पॉलिसियों ने वेग (velocity) और बॉडी पोस कमांड के लिए ट्रैकिंग एरर में काफी कमी दिखाई। उदाहरण के लिए, PPO प्रभावी रूप से x-डायरेक्शन वेलोसिटी को ट्रैक करने में विफल रहा, जबकि GPO ने करीबी पालन बनाए रखा।
गतिकीय व्यवहार (periodic behavior) और समन्वित जॉइंट टॉर्क और वेलोसिटी प्रदर्शित की। इसके विपरीत, PPO पॉलिसियों के परिणामस्वरूप अक्सर अनियमित व्यवहार और विकृत सपोर्ट एलोकेशन (जैसे विशिष्ट पैरों पर अत्यधिक निर्भरता) देखा गया, जबकि GPO ने स्पष्ट गेट प्रायर के बिना संरचित समन्वय पैटर्न को सुगम बनाया।

हार्डवेयर सत्यापन

जीरो-शॉट सिम-टू-रियल: सिमुलेशन में प्रशिक्षित पॉलिसियों को बिना फाइन-ट्यूनिंग के यूनिट्री गो2 (Unitree Go2) क्वाड्रुपेड पर तैनात किया गया।
मजबूती (Robustness): GPO ने साइड पुश, वर्टिकल स्टम्प्स और चुनौतीपूर्ण टेरेन (कीचड़ भरे ऊपर की ओर, फिसलन भरे नीचे की ओर) सहित विक्षोभ अस्वीजन (disturbance rejection) कार्यों में बेसलाइन्स (टॉर्क-आधारित PPO और DeCAP वेरिएंट सहित) को पछाड़ दिया।
रिकवरी: बाहरी विक्षोभों (जैसे मानव द्वारा पैर उठाना, वजन गिराना) के तहत, GPO-सक्षम रोबोट अनावश्यक स्टेपिंग मोशन को ट्रिगर किए बिना संतुलन को सुचारू रूप से बहाल करने में सक्षम रहे, जो बेहतर क्लोज्ड-लूप स्थिरता प्रदर्शित करता है।

5. महत्व और दावे

पेपर का दावा है कि GPO लेग्ड लोकोमोशन सीखने के लिए एक सामान्य, वातावरण-स्वतंत्र अनुकूलन फ्रेमवर्क प्रदान करता है। इसका महत्व प्रशिक्षण पाइपलाइन को संशोधित करने (रिवॉर्ड या करिकुलम के माध्यम से) के बजाय स्वयं अंतर्निहित अनुकूलन तंत्र को संशोधित करने की ओर बदलाव करने में निहित है।

एक्शन स्पेस के विकास को एक सीखने योग्य, समय-परिवर्तनीय प्रक्रिया के रूप में मानकर, GPO उच्च-आयामी निरंतर नियंत्रण में अन्वेषण और स्थिरता के बीच मौलिक ट्रेड-ऑफ को संबोधित करता है। लेखक दावा करते हैं कि यह दृष्टिकोण निम्नलिखित को सक्षम बनाता है:

स्थिर प्रारंभिक अनुकूलन: जटिल डायनेमिक्स से निपटने से पहले विश्वसनीय कम-आयाम वाले नियंत्रण को सीखना।
बेहतर एसिम्प्टोटिक प्रदर्शन: पूर्ण एक्शन स्पेस को धीरे-धीरे अनलॉक करके उच्च अपेक्षित रिटर्न प्राप्त करना।
मजबूत सिम-टू-रियल ट्रांसफर: व्यापक मैनुअल ट्यूनिंग या गेट प्रायर की आवश्यकता के बिना वास्तविक हार्डवेयर पर टॉर्क-आधारित पॉलिसियों की तैनाती को सुगम बनाना।

यह कार्य सुझाव देता है कि संपर्क-समृद्ध (contact-rich), अनिश्चित वातावरणों में एम्बोडीड आरएल (embodied RL) को बेहतर बनाने के लिए "प्रभावी" एक्शन स्पेस का प्रबंधन करना एक महत्वपूर्ण, फिर भी पहले से कम खोजा गया लीवर है।