💻 computer science

Deep RL- Tuned Mo del-Free Adaptive Control for Lower-Limb Exoskeletons During Sit-to-Stand Transitions

यह शोध पत्र एक डीप आरएल-ट्यून्ड मॉडल-फ्री एडेप्टिव कंट्रोल रणनीति प्रस्तावित करता है जो एक द्विपक्षीय लोअर-लिम्ब एक्सोस्केलेटन के लिए गेन्स को गतिशील रूप से समायोजित करने हेतु ट्विन डिलेड डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (TD3) एजेंट को एकीकृत करता है, जिससे सिट-टू-स्टैंड ट्रांज़िशन के दौरान अत्याधुनिक नियंत्रकों की तुलना में बेहतर प्रक्षेपवक्र ट्रैकिंग सटीकता और मजबूती प्राप्त होती है।

मूल लेखक: Ranjeet Kumbhar, Appaso M. Gadade, Rajmeet Singh, Ashish Singla, Ravinder Kumar

प्रकाशित 2026-06-23

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ranjeet Kumbhar, Appaso M. Gadade, Rajmeet Singh, Ashish Singla, Ravinder Kumar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक बुजुर्ग व्यक्ति कुर्सी से उठने की कोशिश कर रहा है। यह सरल क्रिया, जिसे "सिट-टू-स्टैंड" (Sit-to-Stand) कहा जाता है, वास्तव में एक जटिल शारीरिक पहेली है। इसके लिए पैरों को धक्का देने, कूल्हों को घुमाने और घुटनों को मोड़ने की आवश्यकता होती है, और यह सब गुरुत्वाकर्षण से लड़ते हुए और संतुलन बनाए रखते हुए करना होता है। कमजोर मांसपेशियों या किसी न्यूरोलॉजिकल स्थिति वाले व्यक्ति के लिए, यह लगभग असंभव हो सकता है।

यह शोध पत्र एक समाधान प्रस्तावित करता है: एक उच्च-तकनीकी रोबोटिक सूट (एक एक्सोस्केलेटन) जो लोगों को उठने में मदद करता है। लेकिन असली चुनौती रोबोट बनाने की नहीं है; बल्कि रोबोट के मस्तिष्क को यह सिखाने की है कि उपयोगकर्ता को चोट पहुँचाए बिना या लड़खड़ाए बिना कैसे हिलना है।

लेखकों ने इस समस्या को कैसे हल किया, इसका विवरण यहाँ साधारण शब्दों में दिया गया है:

समस्या: मानव गति का "ब्लैक बॉक्स" (The "Black Box" of Human Movement)

मान लीजिए कि एक इंसान एक रोबोटिक सूट पहने हुए एक ब्लैक बॉक्स की तरह है। इसके अंदर मांसपेशियां, हड्डियां, घर्षण और रोबोट के अपने मोटर मिलकर काम कर रहे हैं।

पुराना तरीका: पारंपरिक रोबोट कंट्रोलर एक आदर्श गणितीय पाठ्यपुस्तक लिखने की कोशिश करते हैं जो ठीक-ठीक बताती है कि हर मांसपेशी और हड्डी कैसे चलती है। लेकिन इंसान बहुत जटिल होते हैं। हर कोई अलग है, और हमारे शरीर हर सेकंड बदलते रहते हैं। किसी विशिष्ट व्यक्ति के लिए एक आदर्श पाठ्यपुस्तक लिखने की कोशिश करना हवा में उड़ते हुए पत्ते के सटीक पथ की भविष्यवाणी करने जैसा है—यह बहुत जटिल है और अक्सर गलत होता है।
परिणाम: यदि रोबोट का गणित थोड़ा भी गलत है, तो रोबोट बहुत ज़ोर से धक्का दे सकता है, उपयोगकर्ता को झटका दे सकता है, या उन्हें खड़ा करने में विफल हो सकता है।

समाधान: एक तीन-भाग वाला "स्मार्ट असिस्टेंट" (A Three-Part "Smart Assistant")

लेखकों ने एक नया नियंत्रण प्रणाली (कंट्रोल सिस्टम) बनाया है जो पाठ्यपुस्तक लिखने की कोशिश नहीं करता है। इसके बजाय, यह वास्तविक समय में सीखने और अनुकूलित होने के लिए तीन-भागों वाली एक टीम का उपयोग करता है।

1. "अनुमान और जाँच" इंजन (Model-Free Adaptive Control)

मानव शरीर के सटीक भौतिक विज्ञान को जानने के बजाय, यह प्रणाली एक सरलीकृत शॉर्टकट का उपयोग करती है।

उपमा: कल्पना कीजिए कि आप एक बहुत ही अजीब इंजन वाली कार चला रहे हैं। आपको यह नहीं पता कि इंजन कैसे काम करता है, लेकिन आप जानते हैं कि यदि आप एक्सीलेटर दबाते हैं (इनपुट), तो कार की गति बढ़ जाती है (आउटपुट)।
यह कैसे काम करता है: सिस्टम देखता है कि रोबोट ने अभी क्या किया और उसे क्या करना चाहिए था। यह मान लेता है कि एक "रहस्यमय बल" (जैसे हवा या भारी भार) चीज़ों को बिगाड़ रहा है। यह उस हवा की गणना करने की कोशिश नहीं करता; यह बस यह अनुमान लगाता है कि वह कितनी तेज़ है और तुरंत उसके विरुद्ध प्रतिक्रिया देता है। यह रोबोट को बिना किसी मैनुअल के आश्चर्यों को संभालने की अनुमति देता है।

2. "सुपर-ऑब्जर्वर" (RBF Neural Network)

उस "अनुमान" को सटीक बनाने के लिए, सिस्टम एक न्यूरल नेटवर्क का उपयोग करता है, जो एक बहुत ही बुद्धिमान छात्र की तरह है जो पैटर्न देखकर सीखता है।

उपमा: एक शेफ (रसोइया) की कल्पना करें जो सूप चख रहा है। यदि यह बहुत नमकीन है, तो वह इसमें पानी मिलाता है। यदि यह फीका है, तो वह इसमें नमक डालता है। शेफ को यह जानने के लिए रसायन विज्ञान की डिग्री की आवश्यकता नहीं है कि कितना डालना है; वे बस स्वाद लेते हैं और समायोजन करते हैं।
यह कैसे काम करता है: यह "शेफ" वास्तविक समय में रोबोट के जोड़ों को देखता है। यह "रहस्यमय बलों" (जैसे उपयोगकर्ता की मांसपेशियों की कमजोरी या रोबोट का अपना वजन) का अनुमान लगाता है और कंट्रोलर को बताता है कि गति को सुचारू बनाए रखने के लिए ठीक कितना अतिरिक्त पावर लगाना है।

3. "कंडक्टर" (TD3 Reinforcement Learning)

यही इस शोध पत्र का सबसे बड़ा नवाचार है। एक अच्छे शेफ के होने के बावजूद, सूप को अलग-अलग समय पर अलग-अलग स्वाद की आवश्यकता हो सकती है।

उपमा: एक ऑर्केस्ट्रा का नेतृत्व करने वाले कंडक्टर की कल्पना करें। जब संगीत धीमा होता है, तो वे धीरे से हाथ हिलाते हैं। जब संगीत तेज़ होता है, तो वे ज़ोर-शोर से हाथ हिलाते हैं। यदि कंडक्टर पूरे गाने के दौरान एक ही तरह से धीरे-धीरे हाथ हिलाता, तो संगीत सपाट लगता।
समस्या: खड़े होने के अलग-अलग "चरण" (Phases) होते हैं।
- चरण 1 (धक्का देना): भारी शक्ति के विस्फोट की आवश्यकता होती है।
- चरण 2 (संतुलन बनाना): सूक्ष्म, सटीक समायोजन की आवश्यकता होती है।
- चरण 3 (खड़े होना): स्थिरता की आवश्यकता होती है।
समाधान: लेखकों ने एक रीइन्फोर्समेंट लर्निंग एजेंट (एक प्रकार का AI जो प्रयास और त्रुटि से सीखता है, जैसे एक वीडियो गेम का पात्र) जोड़ा है। यह AI एक कंडक्टर के रूप में कार्य करता है। यह रोबोट की प्रगति को देखता है और लगातार कंट्रोलर के "वॉल्यूम नॉब्स" (गेन्स) को ट्यून करता है।
- जब उपयोगकर्ता को ज़ोर से धक्का देने की आवश्यकता होती है, तो कंडक्टर पावर बढ़ा देता है।
- जब उपयोगकर्ता संतुलन बना रहा होता है, तो यह अधिक सटीक होने के लिए संवेदनशीलता बढ़ा देता है।
- यह सब स्वचालित रूप से करता है, बिना किसी मानव इंजीनियर के मशीन को रोकने और फिर से ट्यून करने की आवश्यकता के।

परिणाम: एक सुचारू अनुभव (A Smoother Ride)

शोधकर्ताओं ने इस प्रणाली का परीक्षण एक कंप्यूटर सिमुलेशन में किया जो एक वास्तविक मानव और रोबोट की नकल करता है। उन्होंने अपने "स्मार्ट असिस्टेंट" की तुलना चार अन्य सामान्य तरीकों (जैसे मानक PID कंट्रोलर और स्लाइडिंग मोड कंट्रोल) से की।

स्कोरकार्ड: नया सिस्टम स्पष्ट विजेता रहा। इसने सबसे कम गलतियाँ (ट्रैकिंग एरर) कीं।
- यह मानक PID कंट्रोलर से 60% बेहतर था।
- यह अगले सबसे अच्छे विकल्प से 54% बेहतर था।
"प्रयास" का कारक: क्योंकि सिस्टम सही मात्रा में बल का अनुमान लगाने में इतना अच्छा था, इसलिए रोबोट के मोटरों को उतनी मेहनत नहीं करनी पड़ी। इसने अन्य तरीकों की तुलना में बहुत कम ऊर्जा (टॉर्क) का उपयोग किया, जो बैटरी लाइफ बचाने और रोबोट को हल्का बनाने के लिए महत्वपूर्ण है।
AI का लाभ: जब उन्होंने "कंडक्टर" (TD3 AI) को चालू किया, तो रोबोट और भी बेहतर हो गया, जिससे जोड़ों के आधार पर त्रुटियों में 33% से 79% तक की कमी आई।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र प्रदर्शित करता है कि मानव शरीर के जटिल भौतिक विज्ञान को पूरी तरह से समझने की आवश्यकता नहीं है ताकि एक सहायक रोबट बनाया जा सके। इसके बजाय, आप एक ऐसा सिस्टम बना सकते हैं जो:

वास्तविक समय में अनुमान लगाता है कि क्या गलत हो रहा है।
न्यूरल नेटवर्क का उपयोग करके उन अनुमानों से सीखता है।
एक AI "कंडक्टर" का उपयोग करके अपनी रणनीति को तुरंत अनुकूलित करता है, जो जानता है कि कब ज़ोर से धक्का देना है और कब कोमल होना है।

परिणामस्वरूप, एक ऐसा रोबोटिक सूट मिलता है जो लोगों को पिछले तरीकों की तुलना में अधिक सुचारू, सटीक और सुरक्षित रूप से खड़े होने में मदद करता है, और यह सब बिना किसी मानव उपयोगकर्ता के लिए अलग से मैनुअल की आवश्यकता के होता है।

तकनीकी सारांश: लोअर-लिम्ब एक्सोस्केलेटन के सिट-टू-स्टैंड ट्रांजिशन के दौरान डीप आरएल-ट्यून्ड मॉडल-फ्री एडेप्टिव कंट्रोल

समस्या विवरण
सिट-टू-स्टैंड (STS) ट्रांजिशन शारीरिक रूप से अत्यधिक मांग वाली गतिविधियाँ हैं जो जोड़ों पर महत्वपूर्ण भार डालती हैं, विशेष रूप से बुजुर्गों और गतिशीलता संबंधी अक्षमताओं वाले व्यक्तियों के लिए। जबकि लोअर-लिम्ब एक्सोस्केलेटन पुनर्वास और सहायता के लिए एक समाधान प्रदान करते हैं, STS के दौरान उन्हें प्रभावी ढंग से नियंत्रित करना चुनौतीपूर्ण है। मानव-एक्सोस्केलेटन प्रणाली अत्यधिक नॉनलीनियर (nonlinear), मजबूती से कपल्ड (coupled) और समय-परिवर्तनीय गतिकी (time-varying dynamics) द्वारा लक्षित होती है। इसके अलावा, इंटर-सब्जेक्ट परिवर्तनशीलता और अनमॉडल (unmodeled) इंटरेक्शन डायनेमिक्स पारंपरिक मॉडल-आधारित नियंत्रण दृष्टिकोणों (जैसे कि कंप्यूटेड टॉर्क कंट्रोल, LQR, या मानक स्लाइडिंग मोड कंट्रोल) को सटीक सिस्टम आइडेंटिफिकेशन और गणनात्मक रूप से गहन गेन ट्यूनिंग की आवश्यकता के कारण व्यवहार में लागू करना कठिन बना देते हैं। पारंपरिक फीडबैक कंट्रोलर्स जैसे कि PID अक्सर बड़े पैरामीटर परिवर्तनों या बाहरी गड़बड़ी (perturbations) के तहत खराब प्रदर्शन करते हैं।

कार्यप्रणाली
यह शोध पत्र एक इंटेलिजेंट, मॉडल-फ्री एडेप्टिव बैकस्टेपिंग कंट्रोल रणनीति का प्रस्ताव करता है जिसे एक डीप रिइन्फोर्समेंट लर्निंग (RL) सुपरवाइजरी लेयर के साथ एकीकृत किया गया है। कार्यप्रणाली इस प्रकार है:

अल्ट्रा-लोकल मॉडलिंग: एक जटिल रिजिड-बॉडी डायनेमिक मॉडल पर निर्भर रहने के बजाय, सिस्टम एक सेकंड-ऑर्डर अल्ट्रा-लोकल मॉडल का उपयोग करता है। यह दृष्टिकोण केवल मापने योग्य इनपुट-आउटपुट संकेतों का उपयोग करके जॉइंट डायनेमिक्स का अनुमान लगाता है, जिससे स्पष्ट सिस्टम आइडेंटिफिकेशन की आवश्यकता समाप्त हो जाती है। मॉडल को $\ddot{q} = F(t) + a\tau$ के रूप में व्यक्त किया जाता है, जहाँ $F(t)$ एक संचित (lumped) टर्म है जिसमें सभी अज्ञात गतिकी (जड़त्व, गुरुत्वाकर्षण, कोरिओलिस प्रभाव और विक्षोभ/disturbances) शामिल हैं।
ऑनलाइन डिस्टर्बेंस एस्टीमेशन (RBF न्यूरल नेटवर्क): अज्ञात संचित टर्म $F(t)$ का वास्तविक समय में अनुमान लगाने के लिए, एक गॉसियन रेडियल बेसिस फंक्शन (RBF) न्यूरल नेटवर्क का उपयोग किया जाता है। नेटवर्क जॉइंट स्टेट्स ( $q, \dot{q}$ ) और रेफरेंस सिग्नल्स ( $q_d, \dot{q}_d$ ) को इनपुट के रूप में उपयोग करता है। यह एक फिक्स्ड-सेंटर आर्किटेक्चर का उपयोग करता है जिसमें ग्रेडिएंट डिसेंट के साथ $\sigma$ -मॉडिफिकेशन आधारित एक एडेप्टिव वेट अपडेट लॉ होता है, जो बिना ऑफलाइन ट्रेनिंग के स्थिर अनुमान सुनिश्चित करता है।
एडेप्टिव बैकस्टेपिंग कंट्रोल: अल्ट्रा-लोकल मॉडल और RBF एस्टीमेट का उपयोग करके एक बैकस्टेपिंग कंट्रोल लॉ सिंथेसाइज किया जाता है। एक रिकर्सिव लयापुनोव-आधारित डिजाइन एक स्थिर कंट्रोल टॉर्क का निर्माण करता है। अवशिष्ट अनुमान त्रुटियों (residual approximation errors) और बाउंडेड बाहरी विक्षोभों को संभालने के लिए एक रोबस्ट ऑक्जिलरी सब-कंट्रोलर शामिल किया गया है।
TD3 सुपरवाइजरी गेन शेड्यूलर: गतिशील STS चरणों के दौरान फिक्स्ड गेन्स की सीमा को दूर करने के लिए, एक ट्विन डिलेड डीप डिटर्मिनिस्टिक पॉलिसी ग्रेडिएंट (TD3) एजेंट को एक सुपरवाइजरी लेयर के रूप में एकीकृत किया गया है। तीन स्वतंत्र TD3 एजेंट (प्रत्येक जोड़ के लिए: हिप, नी, एंकल) सिस्टम स्टेट (ट्रैकिंग एरर, जॉइंट पोजीशन, पिछला टॉर्क और मोशन फेज) को देखते हैं और बैकस्टेपिंग कंट्रोलर गेन्स ( $k_1, k_2, K_r$ ) के लिए निरंतर स्केलिंग फैक्टर्स आउटपुट करते हैं। यह उन्हें STS मोशन के पांच विशिष्ट चरणों (सीटेड, पुश-अप, मिड-स्टैंड, स्टैंड, फाइनल स्टैंड) में अपने गेन्स को मैन्युअल रिट्यूनिंग के बिना अनुकूल रूप से ट्यून करने की अनुमति देता है।

प्रमुख योगदान
लेखक चार प्राथमिक योगदानों की पहचान करते हैं:

अज्ञात संचित गतिकी को वास्तविक समय में अनुमानित करने के लिए एक ऑनलाइन गॉसियन RBF न्यूरल एस्टीमेटर का एकीकरण, जो ऑफलाइन सिस्टम आइडेंटिफिकेशन की आवश्यकता को समाप्त करता है।
एक TD3-आधारित सुपरवाइजरी गेन शेड्यूलर का विकास जो STS मोशन के विशिष्ट चरणों में बैकस्टेपिंग कंट्रोलर गेन्स को निरंतर अनुकूलित करता है, जिससे फेज-अवेयर ट्रैकिंग प्राप्त होती है।
सॉलिडवर्क्स, सिम्स्केप मल्टीबॉडी और ओपनसिम-व्युत्पन्न रेफरेंस ट्रेजेक्टरीज को एकीकृत करने वाले एक हाई-फिडेलिटी को-सिमुलेशन फ्रेमवर्क के माध्यम से प्रस्तावित कंट्रोलर का सत्यापन।
स्टैंडअलोन RBF-MFAC कंट्रोलर की तुलना पूर्ण प्रस्तावित डिज़ाइन से करके TD3 शेड्यूलर के विशिष्ट योगदान को प्रदर्शित करने वाला मात्रात्मक मूल्यांकन।

परिणाम
प्रस्तावित कंट्रोलर का मूल्यांकन चार बेंचमार्क कंट्रोलर्स के विरुद्ध एक को-सिमुलेशन वातावरण में किया गया था: प्रोपोर्शनल इंटीग्रल डेरिवेटिव (PID), लीनियर क्वाड्रेटिक रेगुलेटर (LQR), स्लाइडिंग मोड कंट्रोल (SMC), और बिना TD3 के एक बेसलाइन मॉडल-फ्री एडेप्टिव कंट्रोल (MFAC)।

ट्रैकिंग प्रदर्शन: प्रस्तावित कंट्रोलर ने सभी जोड़ों के लिए न्यूनतम औसत रूट मीन स्क्वायर एरर (RMSE) 0.078° प्राप्त किया। यह PID की तुलना में 60.2%, LQR की तुलना में 48.7%, SMC की तुलना में 42.6% और बेसलाइन MFAC की तुलना में 54.4% का सुधार है।
TD3 का प्रभाव: TD3 गेन शेड्यूलर के एकीकरण ने स्टैंडअलोन RBF-MFAC बेसलाइन की तुलना में ट्रैकिंग एरर को और कम कर दिया। विशेष रूप से, क्रमशः 35.4% (हिप), 33.3% (नी), और 79.0% (एंकल) की RMSE कमी देखी गई।
कंट्रोल एफर्ट: प्रस्तावित कंट्रोलर ने सबसे कम एक्चुएटर एफर्ट प्रदर्शित किया। हिप जॉइंट का पीक टॉर्क 28 Nm था, जो PID द्वारा आवश्यक 145 Nm और MFAC द्वारा आवश्यक 171 Nm से काफी कम है। यह कमी RBF नेटवर्क द्वारा प्रदान की गई ऑनलाइन डिस्टर्बेंस कंपनसेशन के कारण है।
रोबस्टनेस (मजबूती): बाहरी टॉर्क विक्षोभों (हिप और नी पर 12 Nm तक लागू) के तहत, कंट्रोलर ने स्थिर ट्रेजेक्टरी ट्रैकिंग बनाए रखी, जिसमें RMSE मान क्रमशः 0.3° और 0.8° से नीचे रहे।

महत्व और दावे
यह पेपर दावा करता है कि प्रस्तावित डिज़ाइन सटीक सिस्टम मॉडल की आवश्यकता के बिना नॉनलीनियर, समय-परिवर्तनीय मानव-एक्सोस्केलेटन इंटरैक्शन की चुनौतियों को प्रभावी ढंग से संबोधित करता है। मॉडल-फ्री एडेप्टिव कंट्रोल के साथ डीप रिलीफमेंट लर्निंग को गेन शेड्यूलिंग के लिए जोड़कर, सिस्टम फिक्स्ड-गेन एडेप्टिव कंट्रोलर्स में कमी वाली 'फेज-अवेयर अडैप्टेशन' की क्षमता के साथ, स्टेट-ऑफ-द-आर्ट विधियों की तुलना में बेहतर ट्रैकिंग सटीकता और मजबूती प्राप्त करता है। लेखक इस बात पर जोर देते हैं कि TD3 एकीकरण फेज-अवेयर अनुकूलन को सक्षम बनाता है।

अध्ययन इस निष्कर्ष के साथ समाप्त होता है कि हालांकि परिणाम एक हाई-फिडेलिटी सिमुलेशन में डिजाइन को मान्य करते हैं, व्यावहारिक अनुप्रयोग के लिए भविष्य के कार्य की आवश्यकता है। नियोजित जांचों में वास्तविक मानव-सब्जेक्ट मोशन कैप्चर डेटा के साथ सत्यापन, एसिमेट्रिक (asymmetric) STS परिदृश्यों में परीक्षण, एक भौतिक प्रोटोटाइप पर हार्डवेयर कार्यान्वयन, और उपयोगकर्ता-विशिष्ट एडेप्टिव असिस्टेंस के लिए फिजियोलॉजिकल सिग्नल (जैसे EMG) का एकीकरण शामिल है।