💻 computer science

APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots

यह शोध पत्र APEX प्रस्तुत करता है, जो एक डीप रिइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो एक 29-DoF यूनिट्री (Unitree) G1 ह्यूमनॉइड रोबोट को एक नवीन रैचेट प्रोग्रेस रिवॉर्ड और सुदृढ़ सिम-टू-रियल परसेप्शन रणनीतियों के माध्यम से पर्सेप्टिव क्लाइंबिंग, वॉकिंग और रीकॉन्फ़िगरेशन कौशल को संयोजित करके अपने पैर की लंबाई के 114% तक के प्लेटफॉर्म को स्वायत्त रूप से पार करने में सक्षम बनाता है।

मूल लेखक: Yikai Wang, Tingxuan Leng, Changyi Lin, Shiqi Liu, Shir Simon, Bingqing Chen, Jonathan Francis, Ding Zhao

प्रकाशित 2026-03-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yikai Wang, Tingxuan Leng, Changyi Lin, Shiqi Liu, Shir Simon, Bingqing Chen, Jonathan Francis, Ding Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक मानव रूपी रोबोट की कल्पना एक अनाड़ी बच्चे के रूप में करें जो चलना सीख रहा है। लंबे समय तक, ये रोबोट समतल जमीन पर चलने या छोटे गड्ढों को पार करने में माहिर थे। लेकिन यदि आप उनके सामने एक ऊँची मेज रख दें (जो उनके पैरों से ऊँची हो), तो वे आमतौर पर उस पर कूदने की कोशिश करते थे।

कूदने के साथ समस्या यह है कि यह एक बच्चे द्वारा किचन काउंटर पर कूदने की कोशिश करने जैसा है: इसके लिए ऊर्जा के एक बड़े विस्फोट की आवश्यकता होती है, अक्सर इसका परिणाम एक ज़ोरदार टक्कर होता है, और यदि रोबोट चूक गया, तो उसके जोड़ टूट सकते हैं या वह गिर सकता है। यह खतरनाक और अक्षम है।

APEX एक नया सिस्टम है जो रोबोट को कूदना बंद करके चढ़ना (climbing) सिखाता है, ठीक वैसे ही जैसे एक इंसान करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "चढ़ने" की मानसिकता (The "Climbing" Mindset)

रोबोट के साथ केवल एक मशीन के रूप में व्यवहार करने के बजाय जो केवल अपने पैरों का उपयोग करती है, APEX उसे अपने पूरे शरीर का उपयोग करना सिखाता है।

उपमा: एक रॉक क्लाइंबर (चट्टान पर चढ़ने वाले) की तरह सोचें जो दीवार पर चढ़ रहा है। वे केवल कूदते नहीं हैं; वे पकड़ बनाने, वजन बदलने और खुद को ऊपर खींचने के लिए अपने हाथों, घुटनों और धड़ का उपयोग करते हैं।
रोबोट के कौशल: रोबोट छह विशिष्ट "मूव्स" सीखता है:
- क्लाइम्ब-अप (Climb-up): एक ऊंचे प्लेटफॉर्म पर खुद को ऊपर खींचने के लिए हाथों और पैरों का उपयोग करना।
- क्लाइम्ब-डाउन (Climb-down): सावधानी से खुद को नीचे उतारना।
- स्टैंड-अप और लाइ-डाउन (Stand-up & Lie-down): तंग जगहों से गुजरने या खुद को पुनर्गठित करने के लिए अपनी मुद्रा बदलना (खड़े होने से लेकर पेट के बल लेटने तक)।
- वॉक और क्रॉल (Walk & Crawl): प्लेटफॉर्म पर जाने के बाद इधर-उधर घूमना।

2. "रैचेट" रिवॉर्ड (The "Ratchet" Reward - असली जादू)

यह इस शोध पत्र का सबसे चतुर हिस्सा है। आमतौर पर, जब आप किसी रोबोट को सिखाते हैं, तो आप उसे कार्य पूरा करने पर इनाम देते हैं। लेकिन चढ़ने के लिए, काम के अंत तक "अच्छा काम किया!" कहने का इंतजार करना बहुत धीमा होगा। रोबोट बीच में ही फंस सकता है और उसे कभी पता नहीं चलेगा कि आगे क्या करना है।

शोधकर्ताओं ने एक "रैचेट प्रोग्रेस रिवॉर्ड" का आविष्कार किया।

उपमा: एक रैचेट रिंच (वह उपकरण जिसे मैकेनिक इस्तेमाल करते हैं) की कल्पना करें। यह केवल आगे की ओर घूमता है; यह पीछे नहीं फिसल सकता।
यह कैसे काम करता है: रोबोट अब तक की अपनी "सर्वश्रेष्ठ प्रगति" का एक मानसिक नोट रखता है।
- यदि रोबोट आगे बढ़ता है (भले ही थोड़ा सा) या अपना हाथ किनारे के करीब लाता है, तो उसे एक छोटा सा इनाम मिलता है।
- यदि वह पीछे जाता है या एक ही जगह पर रहता है, तो उसे दंड (penalty) मिलता है।
- महत्वपूर्ण बात: इसे इस बात से फर्क नहीं पड़ता कि रोबोट कितनी तेज़ी से चलता है। यह केवल इस बात पर ध्यान देता है कि क्या वह वास्तविक प्रगति कर रहा है।
यह क्यों मायने रखता है: यह रोबोट को आगे-पीछे हिलकर या एक खतरनाक छलांग लगाने की जल्दबाजी करके "चीटिंग" करने से रोकता है। यह रोबोट को धैर्य रखने, एक स्थिर पकड़ खोजने और धीरे-धीरे ऊपर खींचने के लिए मजबूर करता है, ठीक उसी तरह जैसे एक सावधान पर्वतारोही करता है।

3. "शिक्षक और छात्र" प्रणाली (The "Teacher and Student" System)

इन सभी जटिल मूव्स को एक साथ सीखना एक दिमाग के लिए बहुत कठिन है। इसलिए, शोधकर्ताओं ने दो-चरणीय प्रक्रिया का उपयोग किया:

चरण 1: शिक्षक (The Teachers)। उन्होंने छह अलग-अलग "विशेषज्ञ" रोबोटों (शिक्षकों) को प्रशिक्षित किया। एक चढ़ने में विशेषज्ञ था, दूसरा उतरने में, दूसरा खड़े होने में, आदि। उन्होंने इन कौशलों को एक आभासी दुनिया (सिमुलेशन) में सीखा जहाँ वे बिना कुछ तोड़े हजारों बार विफल हो सकते थे।
चरण 2: छात्र (The Student)। उन्होंने एक "छात्र" रोबोट बनाया और उसे अपने छह शिक्षकों की नकल करना सिखाया।
- उपमा: कल्पना करें कि एक छात्र छह अलग-अलग प्रोफेसरों (एक गणित के लिए, एक इतिहास के लिए, एक कला के लिए) से नोट्स ले रहा है। छात्र स्थिति (इलाके) को देखकर यह तय करना सीखता है: "ओह, मैं एक ऊंचे किनारे पर हूँ? मैं क्लाइंबिंग प्रोफेसर के नोट्स का उपयोग करूँगा। मैं ज़मीन पर हूँ? तो मैं वॉकिंग प्रोफेसर के नोट्स का उपयोग करूँगा।"
- छात्र इन कौशलों के बीच बिना गिले-पड़े सुचारू रूप से स्विच करना सीख जाता है।

4. दुनिया को देखना (The Eyes)

रोबोट अक्सर वास्तविक दुनिया में संघर्ष करते हैं क्योंकि उनके कैमरे छाया, धूल या उनके अपने अंगों द्वारा दृश्य को बाधित करने से भ्रमित हो जाते हैं।

उपमा: कल्पना करें कि आप चश्मे के धुंधलेपन के साथ एक कोहरे वाले कमरे में चल रहे हैं।
समाधान: शोधकर्ताओं ने रोबोट को प्रशिक्षण के दौरान "धब्बे" (शोर और त्रुटियां) की उम्मीद करना सिखाया। उन्होंने वास्तविक दुनिया के लिए एक "क्लीन-अप" फिल्टर भी जोड़ा। इसका मतलब है कि जब रोबोट डेटा के एक अजीब आकार को देखता है जो दीवार जैसा दिखता है लेकिन वास्तव में नहीं है, तो वह उसे अनदेखा करना जानता है।

परिणाम: एक वास्तविक दुनिया की सफलता

टीम ने इस परीक्षण को Unitree G1 पर किया, जो 29 गतिशील जोड़ों वाला एक वास्तविक मानव रूपी रोबोट है।

चुनौती: उन्होंने एक प्लेटफॉर्म रखा जो 0.8 मीटर ऊँचा (लगभग 31 इंच) था। इस रोबोट के लिए, यह उसकी टांग की लंबाई का 114% है। यह एक इंसान द्वारा ऐसी मेज पर चढ़ने की कोशिश करने जैसा है जो उसकी अपनी टांगों से भी ऊँची हो।
परिणाम: रोबोट कूदा नहीं। वह गिरा नहीं। वह किनारे तक चला गया, खुद को ऊपर खींचने के लिए अपने हाथों का उपयोग किया, प्लेटफॉर्म पर खड़ा हुआ, वहां चला, लेटा, फिर से खड़ा हुआ और वापस नीचे उतर गया।
जीरो-शॉट ट्रांसफर (Zero-Shot Transfer): सबसे प्रभावशाली हिस्सा? उन्होंने रोबोट को कंप्यूटर सिमुलेशन में प्रशिक्षित किया, और जब उन्होंने इसे वास्तविक दुनिया में रखा, तो यह बिना किसी अतिरिक्त ट्यूनिंग के तुरंत काम करने लगा। यह ऐसा था जैसे रोबोट वास्तविक दुनिया में जागा और उसे बस पता था कि यह कैसे करना है।

सारांश

APEX एक रोबोट को एक लापरवाह कूदने वाले के बजाय एक सावधान, धैर्यवान पर्वतारोही बनने के रूप में सिखाने जैसा है। एक विशेष "प्रगति ट्रैकर" (रैचेट) और "शिक्षक-छात्र" सीखने की पद्धति का उपयोग करके, उन्होंने एक ऐसा रोबोट बनाया जो उच्च, कठिन इलाकों को सुरक्षित रूप से पार कर सकता है जिन्हें पहले मशीनों के लिए संभालना असंभव था। यह उन रोबोटों की ओर एक बड़ा कदम है जो वास्तव में हमारे अव्यवस्थपूर्ण, वास्तविक दुनिया के वातावरण में मदद कर सकते हैं।

यहाँ शोध पत्र "APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप रिइन्फोर्समेंट लर्निंग (DRL) का उपयोग करके मानव सदृश रोबोटों (Humanoid robots) ने ऊबड़-खाबड़ इलाकों में चलने (locomotion) में महत्वपूर्ण प्रगति की है। हालाँकि, ऐसे प्लेटफॉर्म को पार करना जो रोबोट के पैर की लंबाई से अधिक हों (विशेष रूप से पैर की लंबाई के >100%), एक गंभीर चुनौती बना हुआ है।

वर्तमान दृष्टिकोणों की सीमाएँ: मौजूदा विधियाँ अक्सर कूदने या "पार्कौर" शैली के युद्धाभ्यास पर निर्भर करती हैं। ये समाधान बड़े आवेगपूर्ण टॉर्क (impulsive torques) की मांग करते हैं, उच्च-प्रभाव वाली गतिशीलता (high-impact dynamics) उत्पन्न करते हैं, और एक्चुएटर सीमाओं तथा गिरने के जोखिम के कारण वास्तविक दुनिया में तैनाती के लिए अक्सर असुरक्षित होते हैं।
अंतराल (The Gap): मानव आकार के रोबोटों के लिए अत्यधिक ऊंचे प्लेटफॉर्म (जैसे मेज, दहलीज) पर चढ़ने, पार करने और उतरने के लिए केवल पैरों के बजाय पूर्ण-शरीर समन्वय (हाथ, धड़, पैर) का उपयोग करने हेतु मजबूत, कम-प्रभाव वाली रणनीतियों की कमी है।
मुख्य चुनौतियाँ:
1. संपर्क-समृद्ध युद्धाभ्यास सीखना (Learning Contact-Rich Maneuvers): चढ़ना/उतरना, खड़ा होना और लेटना जैसे कार्य लक्ष्य-प्राप्ति (goal-reaching) वाले कार्य हैं (न कि चक्रीय/cyclic), और इनमें जटिल संपर्क परिवर्तन शामिल हैं, जिससे मानक वेग-ट्रैकिंग रिवॉर्ड्स अप्रभावी हो जाते हैं।
2. दीर्घ-क्षित क्षितिज वाला क्रमिक निर्णय लेना (Long-Horizon Sequential Decision Making): पूर्ण पारगमन के लिए स्थानीय ज्यामिति और कमांड के आधार पर छह विशिष्ट कौशलों (चढ़ना-ऊपर, उतरना-नीचे, खड़ा होना, लेटना, चलना, रेंगना) के बीच स्वायत्त चयन और निर्बाčक स्विचिंग की आवश्यकता होती है।

2. कार्यप्रणाली: APEX फ्रेमवर्क (Methodology: The APEX Framework)

लेखक एक 29-DoF Unitree G1 ह्यूमनाइड पर उच्च-प्लेटफॉर्म पारगमन के लिए एक बोधगम्य, संदर्भ-जागरूक नीति (perceptive, context-aware policy) को प्रशिक्षित करने के लिए APEX प्रस्तावित करते हैं।

A. सामान्यीकृत रैचेट प्रोग्रेस रिवॉर्ड (Generalized Ratchet Progress Reward)

लक्ष्य-प्राप्ति वाले, संपर्क-समृद्ध युद्धाभ्यास सीखने की कठिनाई को हल करने के लिए, लेखक एक नया रिवॉर्ड तंत्र पेश करते हैं:

अवधारणा: संदर्भ प्रक्षेपवक्र (reference trajectory) या वेग का पीछा करने के बजाय, रिवॉर्ड "अब तक के सर्वश्रेष्ठ" कार्य अवस्था ( $x^*_t$ ) को ट्रैक करता है।
तंत्र: एजेंट को रिवॉर्ड तभी मिलता है जब उसकी वर्तमान कार्य अवस्था ( $x_t$ ) ऐतिहासिक सर्वश्रेष्ठ ( $x^*_t$ ) से सख्ती से ऊपर जाती है। यदि वह सुधार करने में विफल रहता है या पीछे हट जाता है, तो उसे दंडित किया जाता है।
लाभ:
- सघन पर्यवेक्षण (Dense Supervision): यह किसी पूर्व-निर्धारित मोशन टेम्पलेट की आवश्यकता के बिना प्रत्येक टाइमस्टेप पर सिग्नल प्रदान करता है।
- वेग-मुक्त (Velocity-Free): यह जल्दबाजी करने के लिए प्रोत्साहित नहीं करता, जिससे रोबोट उच्च-प्रभाव वाली छलांग लगाने के बजाय स्थिर होने के लिए रुक सकता है (जैसे, स्थिरता आने तक पैर को एक जगह थामे रखना)।
- शोषण को रोकना (Prevents Exploitation): यह एजेंट को रिवॉर्ड पाने के लिए आगे-पीछे "दोलन" करने से रोकता है, क्योंकि उसे लक्ष्य की ओर वास्तविक प्रगति करनी चाहिए।

B. दो-चरणीय शिक्षण पाइपलाइन (Two-Stage Learning Pipeline)

शिक्षक प्रशिक्षण (कौशल प्राप्ति - Teacher Training):
- DRL के माध्यम से छह विशिष्ट नीतियां प्रशिक्षित की जाती हैं: चार लक्ष्य-प्राप्ति युद्धाभ्यास (चढ़ना-ऊपर, उतरना-नीचे, खड़ा होना, लेटना) और दो चक्रीय लोकोमोशन कौशल (चलना, रेंगना)।
- बोध (Perception): LiDAR-आधारित एलीवेशन मैपिंग का उपयोग करता है। सिम-टू-रियल गैप को पाटने के लिए, सिस्टम एक दोहरी रणनीति अपनाता है:
  - प्रशिक्षण: मैपिंग आर्टिफैक्ट्स (शोर, ड्रिफ्ट, आउटलेयर्स) को स्पष्ट रूप से मॉडल करता है।
  - तैनाती: वास्तविक एलीवेशन मैप्स पर रीयल-टाइम फ़िल्टरिंग और इनपेंटिंग लागू करता है।
- टर्मिनल स्टेट शेपिंग: रिवॉर्ड्स को यह सुनिश्चित करने के लिए डिज़ाइन किया गया है कि एक कौशल (जैसे, लेटना) की अंतिम अवस्था अगले कौशल (जैसे, रेंगना) की प्रारंभिक अवस्था वितरण से मेल खाती हो, जिससे सुचारू संक्रमण सुलभ हो सके।
नीति आसवन (Policy Distillation - Skill Integration):
- छह "शिक्षक" नीतियों से एक एकीकृत "छात्र" (student) नीति को आसवित (distill) किया जाता है।
- डेटा रणनीति: "विभाजित करो और जीतो" (divide-and-conquer) डेटा सैंपलिंग नियम का उपयोग करता है। अनुक्रमिक रोलआउट के बजाय, प्रशिक्षण वातावरण को विशिष्ट कौशलों या क्रमिक कौशलों के जोड़ों को सौंपा जाता है ताकि पूरे युद्धाभ्यास वितरण का संतुलित कवरेज सुनिश्चित हो सके।
- एल्गोरिदम: प्रीट्रेनिंग के लिए बिहेवियर क्लोनिंग (BC) और पुनरावृत्ति परिशोधन (iterative refinement) के लिए DAgger को जोड़ता है, जिससे छात्र नीति को LiDAR अवलोकनों और उपयोगकर्ता कमांड के आधार पर सही कौशल का स्वायत्त रूप से चयन करने में सक्षम बनाया जा सके।

3. मुख्य योगदान (Key Contributions)

एकीकृत उच्च-प्लेटफॉर्म पारगमन: कूदने के बजाय पूर्ण-शरीर क्लाइंबिंग का उपयोग करके, पैर की लंबाई के 114% (Unitree G1 पर 0.8 मीटर) से अधिक के प्लेटफॉर्म का ज़ीरो-शॉट सिम-टू-रियल पारगमन प्राप्त करने वाला पहला सिस्टम।
सामान्यीकृत रैचेट प्रोग्रेस रिवॉर्ड: एक अभिनव रिवॉर्ड फॉर्मूलेशन जो गैर-सुधार वाले चरणों को दंडित करके और असुरक्षित वेग-संचालित गतिशीलता से बचकर, सुरक्षित, संपर्क-समृद्ध लक्ष्य-प्राप्ति व्यवहारों को सीखने में सक्षम बनाता है।
मजबूत सिम-टू-रियल ट्रांसफर: एक दोहरी-रणनीति दृष्टिकोण (सिम में आर्टिफेक्ट मॉडलिंग + रियल में पोस्ट-प्रोसेसिंग) जो रोबोट को गतिशील चढ़ाई के दौरान LiDAR शोर, ड्रिफ्ट और आउटलेयर्स को संभालने की अनुमति देता है।
संदर्भ-जागरूक कौशल स्विचिंग: एक आसवित (distilled) नीति जो बाहरी हस्तक्षेप के बिना पर्यावरणीय संदर्भ के आधार पर छह अलग-अलग व्यवहारों (चढ़ना, रेंगना, खड़ा होना, लेटना, चलना) के बीच स्वायत्त रूप से संक्रमण करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग सिम्युलेशन और वास्तविक दुनिया दोनों में एक Unitree G1 (29-DoF) ह्यूमनाइड पर किए गए।

ज़ीरो-शॉट सिम-टू-रियल: रोबोट ने बिना किसी वास्तविक दुनिया के फाइन-ट्यूनिंग के, एक निरंतर लूप (चढ़ना-ऊपर $\to$ चलना/रेंगना $\to$ खड़ा होना/लेटना $\to$ उतरना-नीचे) में 0.8 मीटर के प्लेटफॉर्म को सफलतापूर्वक पार किया।
सफलता दर (Success Rates):
- सिमुलेशन: सभी व्यक्तिगत कौशलों के लिए लगभग पूर्ण सफलता दर (>98%)।
- वास्तविक दुनिया: निरंतर पारगमन परीक्षणों में 95.4% सफलता दर प्राप्त की। विभिन्न दृष्टिकोण कोणों और ऊंचाइयों में व्यक्तिगत कौशलों (चढ़ना-ऊपर, उतरना-नीचे, खड़ा होना, लेटना) ने वास्तविक दुनिया के परीक्षणों (5/5) में 100% सफलता प्राप्त की।
मजबूती (Robustness):
- विक्षोभ (Perturbations): रोबोट गंभीर बाहरी किक और लड़खड़ाने वाली अवस्थाओं से उबर गया, संतुलन बहाल करने के लिए अपने गेट और संपर्क बिंदुओं को अनुकूलित किया।
- आउट-ऑफ-डिस्ट्रीब्यूशन: रोबोट ने नरम, लचीली सतहों (विनाइल-फोम मैट) वाले प्लेटफॉर्म को सफलतापूर्वक चढ़ाया और प्रशिक्षण के दौरान न देखे गए अत्यधिक दृष्टिकोण कोणों ( $\pm 65^\circ$ ) को भी संभाला।
- बोध (Perception): LiDAR "घोस्ट पॉइंट्स" और मैपिंग आर्टिफैक्ट्स के बावजूद प्रदर्शन बनाए रखा, जो धारणा पाइपलाइन की मजबूती की पुष्टि करता है।
एब्लेशन अध्ययन (Ablation Studies): बेसलाइन रिवॉर्ड फंक्शनों (वेग ट्रैकिंग, दूरी न्यूनीकरण, RND) के साथ तुलना से पता चला कि केवल रैचेट प्रोग्रेस रिवॉर्ड ही स्थिर, कम-प्रभाव वाली चढ़ाई व्यवहारों को सफलतापूर्वक सीख सका। बेसलाइन या तो चढ़ने में विफल रहे, असुरक्षित उच्च-प्रभाव वाली छलांगें लगाईं, या स्थानीय इष्टतम (local optima) में फंस गए।

5. महत्व (Significance)

यह कार्य साधारण द्विपद चाल (bipedal walking) से आगे बढ़कर अनुकूली, पूर्ण-शरीर हेरफेर (full-body manipulation) की ओर बढ़ते हुए ह्यूमनाइड रोबोटिक्स में एक बड़ी छलांग है।

सुरक्षा: उच्च-प्रभाव वाली छलांग के स्थान पर नियंत्रित, संपर्क-समृद्ध चढ़ाई का उपयोग करके, सिस्टम सुरक्षित टॉर्क और बल सीमाओं के भीतर काम करता है, जो इसे वास्तविक दुनिया की तैनाती के लिए व्यवहार्य बनाता है।
बहुमुखी प्रतिभा: खड़े होने, रेंगने, चढ़ने और लेटने के बीच स्वायत्त रूप से स्विच करने की क्षमता ह्यूमनाइड को जटिल, बहु-स्तरीय वातावरण (जैसे आपदा क्षेत्र, निर्माण स्थल, सीढ़ियों/फर्नीचर वाले घर) में नेविगेट करने की अनुमति देती है जो पहले दुर्गम थे।
स्केलेबिलिटी: प्रस्तावित रिवॉर्ड फ्रेमवर्क और डिस्टिलेशन पाइपलाइन अन्य रोबोटिक डोमेन में जटिल, गैर-चक्रीय, संपर्क-समृद्ध व्यवहारों को सीखने के लिए एक सामान्यीकरण योग्य दृष्टिकोण प्रदान करती है।