💻 computer science

Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

यह शोधपत्र ROGER प्रस्तुत करता है, जो सिमुलेशन और वास्तविक दुनिया के चतुष्पाद (क्वाड्रुपेड) रोबोट्स में शून्य के करीब बाधा उल्लंघन (कन्स्ट्रेंट वायलेशन) और उत्कृष्ट लोकोमोशन प्रदर्शन प्राप्त करने के लिए एम्बॉडीड इंटरेक्शन पेनल्टीज़ के आधार पर ऑनलाइन रिवॉर्ड वेटिंग गेन्स को स्वचालित रूप से अनुकूलित करता है, जिससे मैन्युअल रिवॉर्ड ट्यूनिंग की आवश्यकता प्रभावी रूप से समाप्त हो जाती है।

मूल लेखक: Arthicha Srisuchinnawong, Poramate Manoonpong

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arthicha Srisuchinnawong, Poramate Manoonpong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

समस्या: रोबोट प्रशिक्षण की "गोल्डिलॉक्स" दुविधा (The "Goldilocks" Dilemma)

कल्पना कीजिए कि आप एक रोबोट कुत्ते को चलना सिखा रहे हैं। आप चाहते हैं कि वह तेज़ दौड़े (इनाम/Reward), लेकिन आपको यह भी सुनिश्चित करना होगा कि वह गिरे नहीं या अपने पैर न तोड़ ले (सीमाएं/Constraints)।

पारंपरिक रोबोट प्रशिक्षण में, आपको एक सख्त, अत्यधिक उत्साहित कोच की तरह काम करना पड़ता है जो मैन्युअल रूप से नियम निर्धारित करता है। आपको "तेज़ चलो!" और "गिरो मत!" के बीच के सही संतुलन का अनुमान लगाना पड़ता है। इसे गेंस को ट्यून करना (tuning the gains) कहा जाता है।

यदि आप रोबोट को "तेज़ चलो!" बहुत ज़ोर से चिल्लाकर कहेंगे, तो वह दौड़ लगाएगा और तुरंत पलट जाएगा।
यदि आप उसे "गिरो मत!" बहुत ज़ोर से कहेंगे, तो वह हिलने-डुलने से इतना डर जाएगा कि हमेशा स्थिर खड़ा रहेगा।

इस सटीक संतुलन को खोजने में आमतौर पर परीक्षण और त्रुटि (trial and error) के कई घंटे लग जाते हैं। यदि आप गलत होते हैं, तो प्रशिक्षण के दौरान रोब सहित सैकड़ों बार गिर सकता है, जो वास्तविक हार्डवेयर के लिए खतरनाक और महंगा है।

समाधान: ROGER (स्मार्ट रिफ्लेक्स)

इस शोध पत्र के लेखक ROGER (रिवाड्र-ओरिएंटेड गेन्स वाया एम्बोडीड रेगुलेशन) नामक एक नई विधि प्रस्तावित करते हैं।

ROGER को एक ऐसे कोच के रूप में न देखें जो निर्देश चिल्ला रहा है, बल्कि इसे रोबोट के मस्तिष्क में निर्मित एक स्मार्ट रिफ्लेक्स सिस्टम के रूप में देखें। आपके द्वारा मैन्युअल रूप से नियम सेट करने के बजाय, रोबोट वास्तविक समय में अपने शरीर और ज़मीन को सुनता है।

यह इस प्रकार काम करता है:

जब रोबोट सुरक्षित होता है: यदि रोबोट समतल ज़मीन पर स्थिरता से चल रहा है, तो ROGER कहता है, "बहुत बढ़िया! तुम किनारे से दूर हो। चलो तेज़ दौड़ने पर ध्यान देते हैं!" यह "तेज़ चलो" वाले इनाम की आवाज़ (volume) को बढ़ा देता है।
जब रोबोट डगमगाने लगता है: यदि रोबोट एक तरफ बहुत अधिक झुकने लगता है (गिरने की स्थिति के करीब), तो ROGER इसे तुरंत महसूस कर लेता है। यह तुरंत "तेज़ चलो" की आवाज़ को कम कर देता है और "रुक जाओ और स्थिर हो जाओ" की आवाज़ को बढ़ा देता है।
परिणाम: रोबोट केवल तभी तेज़ चलना सीखता है जब वह सुरक्षित होता है। यदि वह गिरने के बहुत करीब होता है, तो वह खुद को बचाने के लिए स्वचालित रूप से धीमा हो जाता है, और एक बार स्थिर होने के बाद फिर से तेज़ हो जाता है।

"ट्रैफिक लाइट" की उपमा

कल्पना कीजिए कि रोबोट एक कार चला रहा है।

पुरानी विधि (फिक्स्ड गेन्स): ट्रैफिक लाइट एक ही सेटिंग पर अटकी हुई है। यदि लाइट हरी है, तो कार तेज़ हो जाएगी, भले ही कोई पैदल यात्री सड़क पार कर रहा हो। यदि लाइट लाल है, तो कार रुक जाएगी, भले ही सड़क खाली हो। आपको हर बार सड़क की स्थिति बदलने पर लाइट की सेटिंग्स को मैन्युअल रूप से बदलना पड़ता है।
ROGER विधि: ट्रैफिक लाइट स्मार्ट है। वे सड़क को देखती हैं। यदि सड़क साफ़ है, तो वे कार को तेज़ चलने देने के लिए हरी हो जाती हैं। यदि कोई पैदल यात्री सामने आता है, तो लाइट कार को रोकने के लिए तुरंत लाल हो जाती है। रोबोट को लाइट बदलने के लिए किसी इंसान की ज़रूरत नहीं है; वातावरण स्वयं नियमों को नियंत्रित करता है।

उन्होंने वास्तव में क्या परीक्षण किया (परिणाम)

शोधकर्ताओं ने केवल सिमुलेशन नहीं किया; उन्होंने इसे एक वास्तविक, भारी रोबोट कुत्ते (60 किग्रा, लगभग एक बड़े इंसान के आकार का) पर और कंप्यूटर सिमुलेशन में टेस्ट किया।

सीखने के दौरान कोई गिरावट नहीं: जबकि अन्य विधियों के कारण प्रशिक्षण के दौरान रोबोट सैकड़ों बार गिर गया या सुरक्षा सीमाओं का उल्लंघन किया, ROGER ने रोबोट को सुरक्षित रखा। एक परीक्षण में, इसमें शून्य के करीब उल्लंघन देखे गए।
तेज़ सीखना: क्योंकि रोबोट ने गिरने और संभलने में समय बर्बाद नहीं किया, इसलिए उसने तेज़ी से चलना सीख लिया। इसने अन्य उन्नत तरीकों की तुलना में 50% बेहतर गति प्राप्त की।
वास्तविक दुनिया में सफलता: उन्होंने एक भौतिक रोबोट कुत्ते को शून्य ज्ञान (बिना किसी जानकारी के) से लगभग एक घंटे में प्रशिक्षित किया। रोबोट ने फिसलन भरे फर्श, ढीली बजरी और भारी भार उठाते हुए भी बिना एक बार गिरे चलना सीख लिया।
"ट्यूनिंग" की आवश्यकता नहीं: शोधकर्ताओं को सही नंबरों का अनुमान लगाने में दिन बिताने की ज़रूरत नहीं पड़ी। उन्होंने बस एक सरल "सुरक्षा सीमा" (जैसे "10 डिग्री से अधिक न झुकें") सेट की, और ROGER ने बाकी सब कुछ स्वचालित रूप से संभाल लिया।

मुख्य निष्कर्ष (Bottom Line)

यह शोध पत्र दावा करता है कि रोबोटों को सुरक्षित रूप से चलाने के लिए हमें "गेन ट्यूनर" (वे लोग जो जटिल गणितीय सेटिंग्स को मैन्युअल रूप से समायोजित करते हैं) होने की आवश्यकता नहीं है। इसके बजाय, हम रोबोट को दुनिया के साथ अपनी बातचीत के माध्यम से अपनी सीखने की प्राथमिकताओं को स्वचालित रूप से समायोजित करने दे सकते हैं।

सुरक्षित? तेज़ चलो।
असुरक्षित? धीमे हो जाओ और स्थिति सुधारो।

यह रोबोटों को वास्तविक दुनिया में जटिल गतिविधियों को तेज़ी से और सुरक्षित रूप से सीखने की अनुमति देता है, बिना सीखने की प्रक्रिया के दौरान खुद को नुकसान पहुँचाने के जोखिम के।

तकनीकी सारांश: बाधित लोकोमोशन लर्निंग के लिए रिवॉर्ड गेन अडैप्टेशन (Reward Gain Adaptation)

समस्या विवरण
मौजूदा रोबोट लोकोमोशन लर्निंग तकनीकें, विशेष रूप से सुदृढीकरण शिक्षण (Reinforcement Learning - RL) पर आधारित, दो महत्वपूर्ण चुनौतियों का सामना करती हैं। पहला, वे रिवॉर्ड वेटिंग गेन्स (reward weighting gains) के ऑफलाइन चयन पर अत्यधिक निर्भर करती हैं, जो एक समय लेने वाली प्रक्रिया है, जिसमें व्यापक हाइपरपैटरमीटर ट्यूनिंग की आवश्यकता होती है, और यदि मान गलत चुने जाते हैं तो अक्सर उप-इष्टतम (suboptimal) परिणाम देती है। दूसरा, पारंपरिक RL दृष्टिकोण रैंडम एक्सप्लोरेशन के कारण प्रशिक्षण प्रक्रिया के दौरान बाधा उल्लंघन (जैसे, गिरना, भौतिक सीमाओं को पार करना) के प्रति संवेदनशील होते हैं। हालांकि सुरक्षा लागू करने के लिए कंस्ट्रेंड आरएल (Constrained RL - CRL) तकनीकें मौजूद हैं, लेकिन उनमें से कई अभी भी लर्निंग के दौरान बाधा उल्लंघन से ग्रस्त रहती हैं या जटिल गणितीय सूत्रीकरण (जैसे, कंट्रोल बैरियर फंक्शन्स) और पुनरावृत्ति अनुकूलन (जैसे, प्राइमल-डुअल मेथड्स) की आवश्यकता होती है जो पेनल्टी गेन्स के समायोजन में देरी करते हैं। फलस्वरूप, वास्तविक भौतिक रोबोटों में प्रदर्शन को अधिकतम करते हुए शून्य के करीब बाधा उल्लंघन प्राप्त करना एक अनसुलझी चुनौती बनी हुई है।

कार्यप्रणाली: ROGER
लेखक ROGER (Reward-Oriented Gains via Embodied Regulation) प्रस्तावित करते हैं, जो एक ऐसी विधि है जो एम्बोडीड इंटरेक्शन (embodied interaction) के दौरान प्राप्त दंड (penalties) के आधार पर रिवॉर्ड-वेटिंग गेन्स को ऑनलाइन अनुकूलित करती है, जिससे व्यापक ऑफलाइन ट्यूनिंग की आवश्यकता समाप्त हो जाती है।

मुख्य तंत्र: ROGER सकारात्मक पुरस्कारों (प्राथमिक कार्य उद्देश्य) और नकारात्मक पुरस्कारों (बाधा दंड) के बीच के अनुपात को गतिशील रूप से संतुलित करता है।
- जब रोबोट सुरक्षित अवस्थाओं में होता है (बाधा थ्रेशोल्ड से दूर), तो अनुपात प्राथमिक पुरस्कार को प्राथमिकता देने के लिए पक्षपाती होता है।
- जैसे ही रोबोट बाधा थ्रेशोल्ड के करीब पहुँचता, अनुपात स्वचालित रूप से पेनल्टी गेन्स को बढ़ाने और प्राथमिक गेन्स को कम करने के लिए बदल जाता है, जो प्रभावी रूप से असुरक्षित कार्यों को हतोत्साहित करता है।
गणितीय सूत्रीकरण: यह विधि एक मल्टीपल-रिवॉर्ड-चैनल सेटअप का उपयोग करती है जहाँ पुरस्कार और दंड स्वतंत्र रूप से संग्रहीत किए जाते हैं। प्रत्येक टाइमस्टेप $t$ $t$ पर, वेटिंग गेन्स की गणना इस प्रकार की जाती है:
- $\lambda_{0t} = 1 - \Delta_t$ (प्राथमिक रिवॉर्ड गेन)
- $\lambda_{it} = r_{\lambda_{it}} \Delta_t$ (बाधा $i$ के लिए पेनल्टी गेन)
- यहाँ, $\Delta_t$ अनुमानित बाधा दंडों का एक क्लिप्ड समेशन (clipped summation) है जो उनके थ्रेशोल्ड ( $\tau$ ) के सापेक्ष है, जो यह सुनिश्चित करता है कि गेन्स का योग 1 के बराबर हो। योगदान अनुपात $r_{\lambda_{it}}$ विशिष्ट बाधा उल्लंघनों की गंभीरता के आधार पर पेनल्टी वेट्स को वितरित करता है।
हाइपरपैरामीटर्स: यह दृष्टिकोण ग्रिड सर्चिंग की आवश्यकता वाले जटिल पेनल्टी गुणांकों के बजाय, भौतिक प्रणाली सीमाओं (जैसे, अधिकतम हार्डवेयर ओरिएंटेशन) से प्राप्त सहज भौतिक थ्रेशोल्ड ( $\tau$ ) पर निर्भर करता है।
एकीकरण: ROGER को मौजूदा लर्निंग फ्रेमवर्क्स (जैसे, क्वाड्रुपेड्स के लिए AGOL, हॉपर रोबोट्स के लिए PPO) के रूप में एक एड-ऑन मैकेनिज्म के रूप में डिज़ाइन किया गया है, जो अंतर्निहित पॉलिसी अपडेट एल्गोरिदम को बदले बिना वास्तविक समय में रिवॉर्ड संरचना को अनुकूलित करता है।

प्रमुख योगदान

बाधा संतुष्टि (Constraint Satisfaction): ROGER बाधाओं के घटित होने के बाद प्रतिक्रिया देने के बजाय, उल्लंघन होने से पहले ही गेन्स को गतिशील रूप से समायोजित करके पूरे लर्निंग प्रोसेस के दौरान शून्य के करीब बाधा उल्लंघन सुनिश्चित करता है।
सरलीकृत ट्यूनिंग: यह विधि सहज भौतिक थ्रेशोल्ड का उपयोग करके व्यापक ऑफलाइन गेन ट्यूनिंग की आवश्यकता को समाप्त करती है, जिससे हाइपरपैरामीटर चयन से जुड़े समय और जोखिम को काफी कम किया जा सकता है।
प्रदर्शन अनुकूलन: केवल सुरक्षित होने पर ही प्रदर्शन को प्राथमिकता देकर, ROGER फिक्स्ड-वेटिंग और अन्य एडेप्टिव वेटिंग तकनीकों की तुलना में उच्च प्राथमिक पुरस्कार प्राप्त करता है।

प्रायोगिक परिणाम
लेखकों ने एक 60-किग्रा यूनिट्री बी1 (Unitree B1) क्वाड्रुपेड रोबोट (सिमुलेशन और वास्तविक दुनिया दोनों में) और एक मोजोको (MuJoCo) हॉपर पर ROGER का मूल्यांकन किया।

क्वाड्रुपेड लोकोमोशन (सिमुलेशन और वास्तविक दुनिया):
- बाधा उल्लंघन: सिमुलेशन में, ROGER ने लगभग शून्य उल्लंघन प्राप्त किया (50,000 टाइमस्टेप में 1 उल्लंघन), जिसने CRPO (25,000 टाइमस्टेप में 0 उल्लंघन लेकिन कम प्रदर्शन) और फिक्स्ड-वेटिंग विधियों जैसे अत्याधुनिक एडेप्टिव तरीकों को पछाड़ दिया। वास्तविक दुनिया के परीक्षणों में, भौतिक रोबोट ने बिना गिरे 300 लर्निंग एपिसोड (लग लगभग 1 घंटा) पूरे किए, रोल और पिच कोणों को 10° थ्रेशोल्ड से नीचे बनाए रखा।
- प्रदर्शन: ROGER ने 0.6 m/s की अंतिम फॉरवर्ड स्पीड प्राप्त की, जो समकक्ष अत्याधुनिक तकनीकों (फिक्स्ड-गेन पेनल्टी और CRPO) से 50% अधिक थी, और इसने केवल प्राथमिक पुरस्कारों के साथ प्रशिक्षण के प्रदर्शन के बराबर प्रदर्शन किया, लेकिन गारंटीकृत सुरक्षा के साथ।
- अनुकूलन क्षमता: रोबोट ने एक्सट्रोसेप्टिव सेंसिंग के बिना चुनौतीपूर्ण टेरेन (फिसलन भरी सतह, ढीली बजरी, रैंडम स्टेप्स) और डायनेमिक लोड के तहत सफलतापूर्वक चलना सीखा, जिससे यह प्रदर्शित हुआ कि बाधाओं को संतुष्ट करते हुए एक्सप्लोरेशन के माध्यम से व्यवहार्य नियंत्रण नीतियां उभर सकती हैं।
हॉपर लोकोमोशन (MuJoCo):
- ROGER का परीक्षण एक सिंगल-लेग हॉपर पर किया गया जहाँ जीरो-पेनल्टी ऑप्टिमलिटी और जेंटल डायनेमिक्स की धारणाओं का उल्लंघन हुआ।
- मेट्रिक्स: ROGER ने डिफॉल्ट रिवॉर्ड फंक्शन की तुलना में होपिंग डिस्टेंस में 20% सुधार, टॉर्क उपयोग में 57% की कमी और ओरिएंटेशन डेविएशन में 59% की कमी हासिल की।
- मजबूती (Robustness): सख्त बाधाओं (आधे थ्रेशोल्ड) के तहत भी, ROGER ने पीछे की ओर जाने के बजाय आगे की ओर होपिंग बनाए रखी, जो संवेदनशील सिस्टम डायनेमिक्स के प्रति अनुकूलित होने की इसकी क्षमता को प्रदर्शित करता है।

महत्व और दावे
यह पेपर दावा करता है कि ROGER बाधा-संतुष्ट वास्तविक दुनिया के निरंतर रोबोट लोकोमोशन लर्निंग के क्षेत्र में योगदान देता है। रिवॉर्ड गेन्स को गतिशील रूप से विनियमित करने के लिए एम्बोडीड इंटरेक्शन का लाभ उठाकर, यह विधि रिवॉर्ड वेटिंग गेन ट्यूनिंग की प्रक्रिया को सरल बनाता है। ट्यूनिंग जटिलता में यह कमी भौतिक रोबोटों के विकास को सुगम बना सकती है जो वास्तविक दुनिया में सुरक्षित और प्रभावी ढंग से सीख सकें, जो उस महत्वपूर्ण अंतर को संबोधित करती है जहाँ वर्तमान तकनीकें या तो प्रशिक्षण के दौरान सुरक्षा की गारंटी देने में विफल रहती हैं या अत्यधिक मैनुअल ट्यूनिंग की आवश्यकता होती है। लेखक इस बात पर जोर देते हैं कि जबकि ROGER यह सुनिश्चित करता है कि बाधाओं का अपेक्षित मान (expected value) संतुष्ट हो, यह सभी परिदृश्यों (विशेष रूप से संवेदनशील डायनेमिक्स के साथ) में गिरने की अनुपस्थिति की गारंटी नहीं देता है, लेकिन यह मौजूदा बेसलाइन्स की तुलना में प्रदर्शन और सुरक्षा में महत्वपूर्ण सुधार करता है।

समस्या: रोबोट प्रशिक्षण की "गोल्डिलॉक्स" दुविधा (The "Goldilocks" Dilemma)

समाधान: ROGER (स्मार्ट रिफ्लेक्स)

"ट्रैफिक लाइट" की उपमा

उन्होंने वास्तव में क्या परीक्षण किया (परिणाम)

मुख्य निष्कर्ष (Bottom Line)

इसी तरह के और पेपर