🤖 AI

Robust Fall Recovery for Armless Bipedal-Wheeled Robots Via Force-Guided Learning

यह शोधपत्र FTSR प्रस्तुत करता है, जो एक फोर्स-गाइडेड टीचर-स्टूडेंट सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) ढांचा है जो सिमुलेशन-आधारित सहायक बलों और चरण-वार पुरस्कारों का उपयोग करके बिना किसी बाहरी सहायता के आंतरिक स्थिरीकरण रणनीतियों को विकसित करने के लिए बांहहीन द्विपाद-पहिए वाले रोबोटों को मजबूत रूप से गिरने से उबरने और निरंतर गतिमान होने में सक्षम बनाता है।

मूल लेखक: Haidong Hou, Zhangguo Yu, Tao Han, Hengbo Qi, Khaleel Ghazal, Yu Zhang, Yidong Du, Xuechao Chen, Fei Meng

प्रकाशित 2026-06-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haidong Hou, Zhangguo Yu, Tao Han, Hengbo Qi, Khaleel Ghazal, Yu Zhang, Yidong Du, Xuechao Chen, Fei Meng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसे रोबोट की कल्पना करें जो इंसान जैसा दिखता है लेकिन उसके हाथ नहीं हैं और वह पैरों के बजाय दो पहियों पर चलता है। अगर यह रोबोट लड़खड़ाकर गिर जाता है, तो यह बड़ी मुसीबत में पड़ जाता है। एक इंसान के विपरीत जो ज़मीन से खुद को धकेलने के लिए अपने हाथों का उपयोग कर सकता है, या एक कुत्ते के विपरीत जो ऊपर उठने के लिए अपने अन्य पैरों का उपयोग कर सकता है, इस "बिना हाथ वाले, पहिये वाले" रोबोट के पास सारा काम करने के लिए केवल अपने दो पैर ही हैं। यह फर्श पर पीठ के बल लेटे हुए बिना हाथ या घुटनों के उपयोग के खड़े होने की कोशिश करने जैसा है—आपको केवल अपने टखनों और कूल्हों का उपयोग करके खुद को ऊपर खींचना होगा।

यह पेपर एक नई प्रशिक्षण विधि पेश करता है जिसे FTSR (Force-guided Teacher-student framework with Stage-wise Rewards) कहा जाता है, ताकि इन रोबोट्स को यह सिखाया जा सके कि गिरने के बाद कैसे वापस खड़ा होना है, चाहे वे किसी भी तरह से गिरे हों।

यह विधि कैसे काम करती है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: एक "डेड एंड" (बंद रास्ते) में फंस जाना

जब आप एक रोबोट को 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से सीखना सिखाते हैं (Reinforcement Learning का उपयोग करके), तो वह अक्सर सबसे आसान शॉर्टकट खोजने की कोशिश करता है। यदि रोबोट गिर जाता है, तो वह एक अजीब, अजीबोगरीब मुद्रा पा सकता है जो तकनीकी रूप से "ऊपर" तो मानी जाती है लेकिन वास्तव में बेकार है। इस पेपर में इसे "डेड पॉइंट" कहा गया है। यह एक ऐसे हाइकर (पर्वतारोही) की तरह है जो एक छोटी गुफा में फंस गया है; वे तकनीकी रूप से खड़े हैं, लेकिन वे आगे नहीं बढ़ सकते। पारंपरिक तरीके अक्सर यहाँ फंस जाते हैं, खासकर जब रोबोट के पास हाथ नहीं होते।

2. समाधान: एक "जादुई अदृश्य हाथ" (Force-Guided Learning)

रोबोट को फंसने से रोकने के लिए, शोधकर्ता कंप्यूटर सिमुलेशन प्रशिक्षण के दौरान एक चतुर तरकीब का उपयोग करते हैं। वे कल्पना करते हैं कि एक अदृश्य हाथ रोबोट को धीरे से ऊपर उठा रहा है।

ट्विस्ट: आमतौर पर, शोधकर्ता समय के साथ इस "हाथ" को धीरे-धीरे बंद कर देते हैं। लेकिन यह पेपर इस हाथ को एक सख्त नियम की तरह मानता है। रोबोट को बताया जाता है: "तुम्हें इस हाथ की मदद से ऊपर उठना है, लेकिन तुम्हें इसका बहुत कम हिस्सा इस्तेमाल करने की अनुमति है।"
लक्ष्य: रोबोट हाथ की मदद लेते हुए खड़ा होना सीखता है, लेकिन नियम उसे हाथ की सहायता का कम से कम उपयोग करने के लिए मजबूर करते हैं। अंततः, हाथ गायब हो जाता है, और रोबोट ने खुद खड़ा होना सीख लिया होता है क्योंकि उसे एक वास्तविक, भौतिक तरीका खोजने के लिए मजबूर किया गया था, न कि कोई शॉर्टकट लेने के लिए।

3. प्रशिक्षण योजना: एक तीन-चरणीय सीढ़ी (Stage-wise Rewards)

आप रोबोट से एक सेकंड में "फर्श पर लेटने" से "मैराथन दौड़ने" तक जाने की उम्मीद नहीं कर सकते। शोधकर्ताओं ने रिकवरी को तीन अलग-अलग चरणों में विभाजित किया है, जैसे एक सीढ़ी चढ़ना:

चरण 1: सिट-अप (Sit-Up)। रोबोट को केवल अपने ऊपरी शरीर को सीधा करने के लिए पुरस्कृत किया जाता है। लक्ष्य कम है।
चरण 2: स्टैंड (Stand)। एक बार जब रोबोट काफी हद तक ऊपर आ जाता है, तो लक्ष्य ऊंचा हो जाता है। अब, उसे अपने पैरों को अंदर खींचना होगा और पूरी तरह से खड़े होने के लिए अपने पैरों को अपने नीचे लाना होगा।
चरण 3: वॉक (Walk)। एक बार जब वह खड़ा हो जाता है, तो लक्ष्य फिर से बदल जाता है। अब उसे चलना शुरू करना होगा।
यह क्यों मायने रखता है: यह रोबोट को भ्रमित होने से बचाता है। वह चलने की कोशिश करने से पहले खड़ा होना सीखता है। वह अगले चरण पर जाने से पहले एक चरण में महारत हासिल करता है।

4. शिक्षक और छात्र (Teacher-Student Architecture)

सीखने को तेज़ और स्मार्ट बनाने के लिए, वे "शिक्षक और छात्र" प्रणाली का उपयोग करते हैं:

शिक्षक (Teacher): यह रोबोट का एक सुपर-स्मार्ट संस्करण है जो सिमुलेशन के बारे में सब कुछ जानता है (जैसे गुरुत्वाकर्षण का सटीक बल, फर्श का घर्षण, और रोबोट का आंतरिक संतुलन)। वह जानता है कि "अदृश्य हाथ" उसकी मदद कैसे कर रहा है।
छात्र (Student): यह वह रोबोट है जो वास्तव में वास्तविक दुनिया में जाएगा। वह "अदृश्य हाथ" और अतिरिक्त भौतिक डेटा के प्रति "अंधा" है। वह केवल वही देखता है जो उसके अपने सेंसर देखते हैं।
सबक: शिक्षक जटिल भौतिकी को सीखता है और फिर छात्र को अपने सीमित संवेदों का उपयोग करके उन गतिविधियों की नकल करने के लिए सिखाता है। यह एक मास्टर शेफ (शिक्षक) द्वारा एक प्रशिक्षु (छात्र) को व्यंजन पकाने का तरीका सिखाने जैसा है, लेकिन प्रशिक्षु को गुप्त सामग्री सूची देखे बिना खाना बनाना सीखना पड़ता है।

5. परिणाम: वास्तविक दुनिया में सफलता

शोधकर्ताओं ने इस परीक्षण को एक वास्तविक रोबोट पर किया जिसका नाम JiaRan (एक बिना हाथ वाला, पहिये वाला द्विपद/biped) है।

परीक्षण: उन्होंने रोबोट को कई अलग-अलग तरीकों से ज़मीन पर गिराया—पेट के बल, एक तरफ, एक ढलान पर, घास पर, और यहाँ तक कि सीढ़ियों पर भी।
परिणाम: रोबोट लगभग हर प्रयास में सफलतापूर्वक खड़ा हुआ और चलने लगा, यहाँ तक कि अव्यवस्थपूर्ण बाहरी वातावरण में भी।
बोनस: उन्होंने इसे एक अधिक जटिल, 23-जोड़ों वाले ह्यूमनाइड रोबोट (Unitree) पर भी परखा और यह वहाँ भी काम आया, जो साबित करता है कि यह विधि लचीली है।

सारांश

संक्षेप में, यह पेपर बिना हाथ वाले रोबोट को गिरने के बाद कैसे उठना है, यह सिखाता है:

एक "आभासी सहायक" का उपयोग करके जिस पर रोबोट को धीरे-धीरे कम निर्भर रहने के लिए मजबूर किया जाता है जब तक कि उसे उसकी आवश्यकता न रहे।
कार्य को छोटे, प्रबंधनीय चरणों (सिट अप, स्टैंड अप, वॉक) में तोड़कर।
एक "शिक्षक" रोबोट का उपयोग करके जो सभी रहस्यों को जानता है ताकि वह एक "छात्र" रोबोट को सिखा सके जो केवल वही जानता है जो वह महसूस कर सकता है।

परिणामस्वरूप, एक ऐसा रोबोट मिलता है जो एक अव्यवस्थित, अप्रत्याशित दुनिया में गिर सकता है और विश्वसनीय रूप से अपने आप वापस खड़ा हो सकता है।

तकनीकी सारांश: फोर्स-गाइडेड लर्निंग के माध्यम से बाहुहीन द्विपाद-पहिया रोबोटों के लिए सुदृढ़ पतन रिकवरी (Fall Recovery)

समस्या विवरण
द्विपाद-पहिया (Bipedal-wheeled) रोबोट इलाके के अनुकूलन क्षमता और लोकोमोशन दक्षता का एक अनूठा संयोजन प्रदान करते हैं, लेकिन उन्हें पतन रिकवरी (fall recovery) में महत्वपूर्ण चुनौतियों का सामना करना पड़ता है। मानवोइड या क्वाड्रुपेड के विपरीत, बाहुहीन (armless) द्विपाद-पहिया रोबोटों में ऊपरी शरीर के समर्थन (हाथ) या अतिरिक्त पैरों का अभाव होता है जो गिरने के दौरान स्थिरीकरण बल उत्पन्न कर सकें। फलस्वरूप, उन्हें गिरने की स्थिति में उबरने के लिए केवल निचले शरीर के पैर के एक्टुएशन (actuation) पर ही निर्भर रहना पड़ता है। मौजूदा डेटा-संचालित विधियाँ, विशेष रूप से मानक रिवॉर्ड-आधारित सुदृढीकरण शिक्षण (Reinforcement Learning - RL) पर निर्भर विधियाँ, इस संदर्भ में अक्सर विफल हो जाती हैं। ये विधियाँ समय से पहले "डेड पॉइंट्स" (स्थानीय इष्टतम/local optima) की ओर अभिसरित (converge) हो जाती हैं जहाँ रोबोट खड़ा होने में विफल रहता है, या वे विविध भूभागों और प्रारंभिक मुद्राओं (poses) के बीच सामान्यीकरण करने में संघर्ष करती हैं। पारंपरिक मॉडल-आधारित दृष्टिकोण वास्तविक दुनिया की अनिश्चितताओं के लिए आवश्यक सुदृढ़ता की कमी रखते हैं, जबकि मानक करिकुलम लर्निंग (बाहरी सहायता को चरणबद्ध तरीके से हटाना) स्थिर खड़े होने तक नीति के पतन (policy collapse) का कारण बन सकती है।

कार्यप्रणाली: FTSR ढांचा
लेखक FTSR (Force-guided Teacher-student framework with Stage-wise Rewards) का प्रस्ताव करते हैं ताकि समय से पूर्व अभिसरण को संबोधित किया जा सके और बाहरी सहायता के बिना सुदृढ़ रिकवरी सक्षम की जा सके। यह ढांचा तीन मुख्य घटकों को एकीकृत करता है:

Constrained Policy Optimization (CPO) के माध्यम से फोर्स-गाइडेड लर्निंग:
बाहरी बलों को एक हयुरिस्टिक (heuristic) घटते हुए करिकुलम के रूप में उपयोग करने के बजाय (जो विफल होने के प्रति संवेदनशील है), लेखक बाहरी सहायक बलों ( $F$ ) और टॉर्क ( $T$ ) को एक कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस (CMDP) के भीतर अनुकूलन योग्य हार्ड कंस्ट्रेंट्स (optimizable hard constraints) के रूप में तैयार करते हैं।

बलों का परिमाण स्पष्ट रूप से रोबोट के वास्तविक समय के सेंटर ऑफ मास (CoM) की ऊंचाई से सह-संबंधित है।
CPO का उपयोग करते हुए, नीति को इन बाधाओं को पूरा करने के लिए प्रशिक्षित किया जाता है जबकि रिवॉर्ड को अधिकतम किया जाता है। बाधाओं को "टाइटन करने योग्य" (tightenable) बनाया गया है, जो नीति को भौतिक रूप से व्यवहार्य रिकवरी प्रक्षेपवक्र (trajectories) सीखने के साथ अपनी बाहरी सहायता पर निर्भरता को धीरे-धीरे कम करने के लिए निर्देशित करती है।
यह नीति को बेकार स्थानीय इष्टतम (local optima) की ओर अभिसरित होने से रोकता है क्योंकि यह सुनिश्चित करता है कि रोबोट बाहरी बल शून्य होने पर भी खड़ा होना सीखता है।

हाइट-प्रोग्रेसिव स्टेज-वाइज रिवार्ड्स (Height-Progressive Stage-wise Rewards):
यह सुनिश्चित करने के लिए कि रिकवरी और लोकोमोशन के बीच एक स्थिर संक्रमण हो, रिवॉर्ड फंक्शन को बेस हाइट के आधार पर तीन प्रगतिशील चरणों में संरचित किया गया है:

अपर बॉडी एरेक्शन ( $r_u$ ): यह रोबोट को प्रोन (prone) स्थिति से सीधा खड़ा करने के लिए प्रेरित करता है।
स्टैंडिंग-अप ( $r_s$ ): यह तब सक्रिय होता है जब एजेंटों की एक विशिष्ट ऊंचाई से अधिक संख्या होती है, जो निचले अंगों को एक स्थिर खड़े होने की स्थिति में सिकोड़ने के लिए प्रोत्साहित करता है।
वॉकिंग ( $r_w$ ): यह तब सक्रिय होता है जब अधिकांश एजेंट एक उच्च स्टैंडिंग थ्रेशोल्ड तक पहुँच जाते हैं, जो निरंतर लोकोमोशन को बढ़ावा देता है।
यह चरण-वार संरचना निश्चित समय अवधि के बजाय एजेंट बैच की ऊंचाई के सांख्यिकी (statistics) के आधार पर स्वचालित रूप से परिवर्तित होती है, जिससे निश्चित लक्ष्य ऊंचाइयों के कारण होने वाली अस्थिरता को रोका जा सके।

टीचर-स्टूडेंट आर्किटेक्चर:
ढांचा विशेषाधिकार प्राप्त जानकारी (privileged information) और प्रोप्रियोसेप्टिव-ओनली निष्पादन के बीच के अंतर को संभालने के लिए एक टीचर-स्टूडेंट डिस्टिलेशन दृष्टिकोण का उपयोग करता है।

टीचर (Teacher): संपर्क बल (contact forces), पूर्ण शरीर की स्थिति और बेस हाइट सहित विशेषाधिकार प्राप्त अवलोकनों ( $x_t$ ) को प्रोसेस करता है ताकि लेटेंट रिप्रजेंटेशन (latent representations) उत्पन्न किए जा सकें।
स्टूडेंट (Student): केवल प्रोप्रियोसेप्टिव हिस्ट्री ( $o_{t:t-H}$ ) जैसे कि जॉइंट पोजीशन, वेलोसिटी और ग्रेविटी प्रोजेक्शन का उपयोग करके प्रशिक्षित होता है।
स्टूडेंट एनकोडर को टीचर के लेटेंट स्पेस की नकल करने के लिए मीन स्क्वेर्ड एरर (MSE) के माध्यम से प्रशिक्षित किया जाता है, जो तैनाती के दौरान विशेषाधिकार प्राप्त सेंसरों की आवश्यकता के बिना बल प्रभावों और रिकवरी डायनेमिक्स के बारे में ज्ञान को प्रभावी ढंग से डिस्टिल करता है।

प्रमुख योगदान

फोर्स-गाइडेड कंस्ट्रेंट्स: भौतिक रूप से व्यवहार्य प्रक्षेपवक्रों तक कार्यों को सीमित करने के लिए ऊंचाई-सहसंबंधित बाहरी बलों को अनुकूलन योग्य बाधाओं के रूप में पेश करना, जो बाहुहीन रोबोटों के लिए सुदृढ़ रिकवरी को सक्षम बनाता है।
हाइट-प्रोग्रेसिव रिवार्ड्स: एक रिवॉर्ड शेपिंग तंत्र जो एजेंट जनसंख्या सांख्यिकी के आधार पर लक्ष्य बेस हाइट को गतिशील रूप से अपडेट करता है, जिससे स्थिर प्रशिक्षण और लोकोमोशन के बीच सहज संक्रमण सुनिश्चित होता है।
वास्तविक-विश्व सत्यापन: एक वास्तविक परिदृश्य में विविध भूभागों पर कई रैंडमाइज्ड पोचर्स (postures) से बाहुहीन द्विपाद-पहिया रोबोट के पतन रिकवरी का पहला प्रदर्शन, जो उनके दृष्टिकोण की सुदृढ़ता और अनुकूलन क्षमता को प्रमाणित करता है।
सामान्यीकरण (Generalizability): ढांचे को एक उच्च-DOF (23-DOF) ह्यूमनॉइड (Unitree) पर प्रभावी ढंग से सामान्यीकृत होते हुए दिखाया गया है, जो इसके विशिष्ट द्विपाद-पहिया प्लेटफॉर्म से परे क्षमता की पुष्टि करता है।

प्रायोगिक परिणाम
विधि का मूल्यांकन सिमुलेशन (IsaacGym) और एक भौतिक स्व-विकसित "जियारान" (JiaRan) रोबट पर किया गया।

सिमुलेशन: पूर्ण FTSR फ्रेमवर्क ने समतल जमीन, ढलान, सीढ़ियों और असमान भूभागों में रिकवरी में 99.8% सफलता दर प्राप्त की। एब्लेशन अध्ययन (ablation studies) ने पुष्टि की कि फोर्स-गाइडेड कंस्ट्रेंट्स या स्टेज-वाइज रिवार्ड्स को हटाने से प्रदर्शन में भारी गिरावट या पूर्ण विफलता (कुछ मामलों में 0% सफलता) हुई। विधि 3,000–4,000 इटरेशन के भीतर एक बल-मुक्त, स्थिर नीति की ओर अभिसरित हुई।
वास्तविक-विश्व तैनाती: नीति को भौतिक रोबोट पर सफलतापूर्वक तैनात किया गया। इसने इंडोर और आउटडोर टेरेन (घास, ढलान, बजरी, सीढ़ियाँ) पर विभिन्न प्रारंभिक पोचर्स (सामने, पीछे, बगल और "डेड-पॉइंट" पोचर्स) से सुदृढ़ रिकवरी प्रदर्शित की।
पोस्ट-रिकवरी लोकोमोशन: प्रयोगों ने पुष्टि की कि पतन से उबरने के बाद (लात मारने के बाद भी), रोबोट तुरंत कमांड किए गए लोकोमोशन कार्यों को फिर से शुरू कर सकता है, जिससे पूर्ण गति क्षमता बनी रहती है।
ह्यूमनॉइड ट्रांसफर: फ्रेमवर्क ने 23-DOF ह्यूमनॉइड को मनमाने पोचर्स से खड़ा होने के लिए सफलतापूर्वक प्रशिक्षित किया, जिसने मोशन स्मूथनेस और फुट कंट्रोल के मामले में HoST बेसलाइन को पीछे छोड़ दिया।

महत्व और दावे
पेपर का दावा है कि FTSR फ्रेमवर्क बाहुहीन द्विपाद-पहिया रोबोटों के लिए पतन रिकवरी की महत्वपूर्ण समस्या को हल करता है, एक ऐसा कार्य जहाँ मौजूदा विधियाँ अक्सर समय से पूर्व अभिसरण के कारण विफल हो जाती हैं। बाहरी सहायता को एक हयुरिस्टिक करिकुलम के बजाय एक अनुकूलन योग्य बाधा के रूप में पुनर्गठित करके, लेखक एक ऐसी नीति प्राप्त करते हैं जो पर्यावरणीय अनिश्चितताओं के प्रति सुदृढ़ है और ऊपरी शरीर के समर्थन के बिना स्वायत्त रिकवरी करने में सक्षम है। यह कार्य व्यापक वास्तविक दुनिया के परीक्षण के माध्यम से दृष्टिकोण की व्यावहारिक व्यवहार्यता को उजागर करता है और प्रदर्शित करता है कि सीखी गई रणनीतियाँ अधिक जटिल, उच्च-DOF ह्यूमनॉइड प्लेटफॉर्म के लिए हस्तांतरणीय हैं।