🤖 AI

MRS: Multi-Resolution Skills for HRL Agents

यह शोध पत्र मल्टी-रेज़ोल्यूशन स्किल्स (MRS) को प्रस्तुत करता है, जो एक पदानुक्रमित सुदृढीकरण शिक्षण (hierarchical reinforcement learning) ढांचा है जो निश्चित टेम्पोरल होराइजन्स वाले कई लक्ष्य-अनुमान मॉड्यूल में से गतिशील रूप से चयन करने के लिए एक मेटा-कंट्रोलर का उपयोग करता है, जिससे विशिष्ट अवस्थाओं और कार्यों के अनुसार सबगोल दूरियों को अनुकूलित करके दीर्घ-क्षितिज वाले कार्यों में चपलता-प्रदर्शन अंतराल को हल किया जाता है।

मूल लेखक: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Multi-Resolution Skills for HRL Agents" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: "मैनेजर" और "वर्कर" की समस्या

कल्पना कीजिए कि आप एक रोबोट को मैराथन दौड़ना सिखाने की कोशिश कर रहे हैं। आप रोबोट को हर मिलीसेकंड में यह नहीं बता सकते कि उसे अपनी कौन सी मांसपेशी को कैसे सिकोड़ना है; यह बहुत अधिक विस्तार (detail) हो जाएगा। इसके बजाय, आप एक Hierarchical (पदानुक्रमित) दृष्टिकोण का उपयोग करते हैं (HRL):

मैनेजर (The Manager): एक उच्च-स्तरीय मस्तिष्क जो बड़े लक्ष्यों के निर्देश देता है, जैसे "अगले वाटर स्टेशन तक दौड़कर जाओ।"
वर्कर (The Worker): एक निम्न-स्तरीय शरीर जो यह समझता है कि वहाँ पहुँचने के लिए वास्तव में अपने पैरों को कैसे चलाना है।

समस्या:
इस सिस्टम के पिछले संस्करणों में, मैनेजर थोड़ा "स्वतंत्र विचारों वाला" था। वह वर्कर को अंतरिक्ष में किसी भी बिंदु पर जाने के लिए कह सकता था, भले ही वह बिंदु अभी पहुँचना असंभव हो या उसके लिए किसी अजीब, असंभव कूद की आवश्यकता हो।

परिणाम: वर्कर भ्रमित हो जाता है। वह असंभव लक्ष्यों तक पहुँचने की कोशिश करता है, या वह बहुत अधिक सटीक होने की कोशिश में फंस जाता है जबकि उसे बस सुचारू रूप से चलते रहना चाहिए था। यही कारण है कि ये रोबोट लंबी योजना बनाने में तो माहिर होते हैं लेकिन "चपलता" (जैसे तीखे मोड़ पर तेज़ी से मुड़ना या बाधाओं से बचना) में खराब होते हैं।

मुख्य अंतर्दृष्टि: एक आकार सबके लिए सही नहीं होता (One Size Does Not Fit All)

लेखकों ने महसूस किया कि आप जहाँ हैं और जहाँ आप जाना चाहते हैं, उसके बीच की "दूरी" बहुत मायने रखती है, और यह स्थिति के आधार पर बदलती रहती है।

उदाहरण: कार चलाना
कल्पना कीजिए कि आप कार चला रहे हैं।

एक लंबे, सीधे हाईवे पर: आपको 1 फुट आगे देखने की ज़रूरत नहीं है। आप 100 मीटर आगे देखते हैं। यह आपको एक सहज और आरामदायक ड्राइविंग देता है। यदि आप बहुत करीब देखेंगे, तो आप बार-बार सुधार करने लगेंगे और गाड़ी डगमगा जाएगी।
- यह एक "लॉन्ग स्किल" (Long Skill) है।
एक तीखे मोड़ के पास: यदि आप अभी भी 100 मीटर आगे देखेंगे, तो आप कोने को काट देंगे और दीवार से टकरा जाएंगे। आपको सटीक रूप से मुड़ने के लिए केवल 5 मीटर आगे देखना होगा।
- यह एक "शॉर्ट स्किल" (Short Skill) है।

पुराने सिस्टम की गलती:
पुराने रोबोट ऐसे ड्राइवर की तरह थे जो केवल 100 मीटर आगे देखते थे। वे सीधे रास्तों पर तो सुचारू थे लेकिन मोड़ों पर दुर्घटनाग्रस्त हो जाते थे। या, वे ऐसे ड्राइवर थे जो केवल 5 मीटर आगे देखते थे; वे मोड़ों पर तो बेहतरीन थे लेकिन सीधे रास्तों पर झटकेदार और थकाऊ हो जाते थे।

समाधान: मल्टी-रेज़ोल्यूशन स्किल्स (MRS)

लेखकों ने एक नया सिस्टम बनाया जिसे MRS कहा जाता है। इसे एक साधारण पेचकश के बजाय मैनेजर को एक स्विस आर्मी नाइफ देने के रूप में सोचें।

मैनेजर के पास अब एक साथ कई "स्किल लेंस" (Skill Lenses) तक पहुँच है:

लेंस A (शॉर्ट): "2 सेकंड आगे देखें।" तीखे मोड़ों और सटीक समायोजन के लिए बेहतरीन।
लेंस B (मीडियम): "8 सेकंड आगे देखें।" सामान्य नेविगेशन के लिए अच्छा।
लेंस C (लॉन्ग): "30 सेकंड आगे देखें।" सुचारू, सीधी रेखा में चलने के लिए बेहतरीन।
लेंस D (द "वाइल्ड कार्ड"): एक विशेष लेंस जो किसी विशिष्ट समय को नहीं देखता, बल्कि तब मदद करता है जब रोबोट पूरी तरह से खो गया हो और उसे एक्सप्लोर करना हो।

यह कैसे काम करता है:
मैनेजर के पास एक छोटा "स्विचबोर्ड" (Meta-Controller) होता है। जैसे-जैसे रोबोट चलता है, यह स्विचबोर्ड तुरंत निर्णय लेता है: "ठीक है, हम एक सीधे रास्ते पर हैं, चलिए 'लॉन्ग लेंस' का उपयोग करते हैं। ओह, यहाँ एक तीखा मोड़ आ रहा है! तुरंत 'शॉर्ट लेंस' पर स्विच करें!"

यह स्वचालित और तुरंत होता है, जिससे रोबोट ज़रूरत पड़ने पर सुचारू और ज़रूरत पड़ने पर सटीक बना रहता है।

यह एक बड़ी बात क्यों है

यह कुशल है: रोबोट को पाँच अलग-अलग दिमाग सीखने की ज़रूरत नहीं है। यह एक बड़ा "बैकबोन" दिमाग साझा करता है और बस अलग-अलग कार्यों के लिए "लेंस" (हेड्स) को बदल देता है। यह सिस्टम को छोटा और तेज़ रखता है।
यह "चपलता के अंतर" (Agility Gap) को ठीक करता है: पहले, पदानुक्रमित (Hierarchical) रोबोट कठिन कार्यों पर "फ्लैट" रोबोट्स (बिना मैनेजर/वर्कर विभाजन वाले) की तुलना में धीमे और अनाड़ी थे। MRS इस अंतर को पाट देता है। रोबोट अब एक पूरा मैराथन प्लान भी कर सकता है और एक गड्ढे से भी बच सकता है।
यह खुद सीखता है: सिस्टम को यह बताने के लिए किसी इंसान की ज़रूरत नहीं है कि, "यहाँ शॉर्ट लेंस का उपयोग करें।" रोबोट अनुभव (trial and error) के माध्यम से सीख जाता है कि मैप के किस हिस्से के लिए कौन सा लेंस सबसे अच्छा काम करता है।

परिणाम

टीम ने इसका परीक्षण इन पर किया:

दौड़ने वाले रोबोट (जैसे चीता या क्वाड्रुपेड)।
रोबोटिक हाथ जो वस्तुओं को उठाने की कोशिश कर रहे हैं।
भूलभुलैया नेविगेशन (बहुत लंबे, जटिल रास्ते)।

परिणाम:
MRS रोबोट ने पुराने "मैनेजर/वर्कर" रोबोट्स को लगातार पीछे छोड़ दिया। यह सीधे रास्तों पर बहुत सुचारू था और मोड़ों पर बहुत सटीक था। कई मामलों में, इसने सर्वश्रेष्ठ गैर-पदानुक्रमित (non-hierarchical) रोबोट्स के लगभग बराबर प्रदर्शन किया, लेकिन लंबी अवधि की योजना बनाने के लाभ के साथ।

एक वाक्य में सारांश

यह पेपर रोबोट को बेहतर ड्राइवर बनना सिखाता है, उन्हें अलग-अलग "गियर" (लघु, मध्यम और दीर्घकालिक लक्ष्य) और एक स्मार्ट ट्रांसमिशन देकर, जो सड़क सीधी हो या घुमावदार, होने के आधार पर अपने आप सही गियर में बदल जाता है।

यहाँ शोध पत्र "Multi-Resolution Skills for HRL Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र Hierarchical Reinforcement Learning (HRL) में एक महत्वपूर्ण प्रदर्शन अंतराल (performance gap) को संबोधित करता है, विशेष रूप से सबगोल-आधारित ढांचों (जैसे कि Director आर्किटेक्चर) में। जबकि HRL कार्यों को एक Manager (जो सबगोल प्रस्तावित करता है) और एक Worker (जो प्रिमिटिव एक्शन निष्पादित करता है) में विभाजित करके लंबी अवधि की योजना बनाने में उत्कृष्ट है, यह चपलता-मांगने वाले कार्यों (जैसे कि सघन-पुरस्कार वाले लोकोमोशन) पर मोनोलिथिक एजेंटों की तुलना में लगातार कम प्रदर्शन करता है।

लेखक इस विफलता के दो मूल कारणों की पहचान करते हैं:

अप्रतिबंधित लक्ष्य प्रतिनिधित्व (Unconstrained Goal Representations): मानक HRL में, मैनेजर एक ऐसा गोल स्पेस सीखता है जिसमें पहुँच (reachability) या टेम्पोरल दूरी पर कोई प्रतिबंध नहीं होता है। यह किसी भी स्थिति को सबगोल के रूप में प्रस्तावित कर सकता है, भले ही वर्कर वहां तक न पहुँच सके। यह पूरे स्टेट मैनिफोल्ड में प्रतिनिधित्व क्षमता को कम कर देता है, जिससे सटीक स्थानीय नियंत्रण कठिन हो जाता है।
परिशुद्धता-सुगमता ट्रेडऑफ (The Precision-Smoothness Tradeoff): इष्टतम सबगोल दूरी न तो निश्चित होती है और न ही कार्य-स्वतंत्र।
- छोटे सबगोल (Short subgoals): वक्रों (curves) पर सटीक स्थानीय नियंत्रण सक्षम करते हैं लेकिन भविष्यवाणी के शोर (noise) को बढ़ा देते हैं, जिससे जिटर (jitter) उत्पन्न होता है।
- लंबे सबगोल (Long subgoals): सीधे रास्तों पर सुगम प्रक्षेपवक्र (trajectories) उत्पन्न करते हैं लेकिन तीखे मोड़ों पर ज्यामितीय त्रुटियों (geometric errors) को संचित करते हैं (कोने काटना/cutting corners)।
- अंतराल (The Gap): कोई भी एकल निश्चित टेम्पोरल रिज़ॉल्यूशन सार्वभौमिक रूप से इष्टतम नहीं है; आदर्श दूरी कार्य के विशिष्ट प्रकार और कार्य के भीतर वर्तमान स्थिति दोनों पर निर्भर करती है।

2. कार्यप्रणाली: मल्टी-रेज़ोल्यूशन स्किल्स (Methodology: Multi-Resolution Skills - MRS)

लेखक Multi-Resolution Skills (MRS) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो कई गोल-प्रेडिक्शन मॉड्यूल सीखता है, जिनमें से प्रत्येक एक निश्चित टेम्पोरल होराइजन (temporal horizon) के लिए विशिष्ट है, और उनके बीच गतिशील रूप से चयन करता है।

मुख्य आर्किटेक्चर (Core Architecture)

कंडीशनल VAEs (CVAEs): एक एकल अनकंडीशनल ऑटोएनकोडर के बजाय, MRS समानांतर में $N$ $N$ CVAEs को प्रशिक्षित करता है। प्रत्येक CVAE $i$ $i$ वर्तमान स्थिति $s_t$ $s_{t}$ के दिए जाने पर ठीक $l_i$ $l_{i}$ स्टेप्स भविष्य में पहुँचने योग्य स्थितियों ( $s_{t+l_i}$ $s_{t + l_{i}}$ ) को भविष्यवाणी करने में विशिष्ट है।
- एन्कोडर (Encoder): ट्रांजिशन $(s_t, s_{t+l_i})$ को एक लेटेंट स्किल $z$ में मैप करता है।
- डिकोडर (Decoder): $s_t$ और $z$ की स्थिति में लक्षित स्थिति (target state) को पुनर्गठित (reconstruct) करता है।
- साझा बैकबोन (Shared Backbone): पैरामीटर ओवरहेड को कम करने के लिए, सभी CVAEs एक सामान्य बैकबोन नेटवर्क साझा करते हैं, जिसमें केवल रिज़ॉल्यूशन-विशिष्ट एन्कोडर/डिकोडर हेड्स होते हैं।
रिज़ॉल्यूशन सेट (Resolution Set): टेम्पोरल होराइजन ज्यामितीय रूप से व्यवस्थित हैं: $l \in \{K, 2K, 4K, 8K, \infty\}$ , जहाँ $K$ मैनेजर का रिफ्रेश अंतराल है। $\infty$ -स्किल एक अनकंडीशनल VAE है जो शुरुआती प्रशिक्षण के दौरान मजबूती तंत्र (robustness mechanism) के रूप में कार्य करता है।
मेटा-कंट्रोलर (Meta-Controller): मैनेजर के भीतर एक सीखा हुआ पॉलिसी घटक जो:
1. प्रत्येक रिज़ॉल्यूशन-विशिष्ट हेड से एक लेटेंट स्किल $z_i$ को सैंपल करता है।
2. इन्हें उम्मीदवार सबगोलों में डिकोड करता है।
3. एक चॉइस हेड (choice head) का उपयोग करके रिज़ॉलुशन्स पर एक वन-हॉट वितरण आउटपुट करता है, जो वर्तमान स्थिति $s_t$ के आधार पर सबसे उपयुक्त स्किल का चयन करता है।
प्रशिक्षण (Training): सभी घटक (CVAEs, Manager, Worker) कल्पना (imagination) के लिए रिकरेंट स्टेट स्पेस मॉडल (RSSM) का उपयोग करके एक एकल एंड-टू-एंड चरण में संयुक्त रूप से प्रशिक्षित किए जाते हैं।
- एक्सप्लोरेटरी रिवॉर्ड (Exploratory Reward): मैनेजर को उन ट्रांजिशन्स को निष्पादित करने के लिए पुरस्कृत किया जाता है जो सर्वश्रेष्ठ-फिटिंग परिमित CVAE (न्यूनतम पुनर्गठन त्रुटि वाले मॉड्यूल) द्वारा खराब तरीके से पुनर्गठित किए गए हैं। यह सभी टेम्पोरल स्केल्स पर विविध स्टेट ट्रांजिशन्स की खोज को प्रोत्साहित करता है।

3. मुख्य योगदान (Key Contributions)

HRL चपलता अंतराल का लक्षण वर्णन (Characterization of the HRL Agility Gap): यह शोध पत्र औपचारिक रूप से पहचानता है कि चपल कार्यों पर HRL और मोनोलिथिक एजेंटों के बीच प्रदर्शन अंतराल अनियंत्रित गोल रिप्रेसेंटेशन और स्थानीय स्टेट ज्योमेट्री (परिशुद्धता बनाम सुगमता ट्रेडऑफ) के अनुसार सबगोल दूरी को अनुकूलित करने में असमर्थता से उत्पन्न होता है।
MRS ढांचा (MRS Framework): एक नवीन आर्किटेक्चर का परिचय जो निश्चित टेम्पोरल होराइजन के साथ कई गोल-प्रेडिक्शन मॉड्यूल और स्टेट-डिपेंडेंट सिलेक्शन के लिए एक मेटा-कंट्रोलर सीखता है। यह बिना पैरामीटर संख्या को महत्वपूर्ण रूप से बढ़ाए एक संरचनात्मक इंडक्टिव बायस (टेम्पोरल पार्टीशनिंग) लागू करता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करता है कि MRS निश्चित-रिज़ॉल्यूशन बेसलाइन से लगातार बेहतर प्रदर्शन करता है और लंबी अवधि के स्पार्स-रिवॉर्ड कार्यों पर श्रेष्ठता बनाए रखते हुए, अत्याधुनिक नॉन-HRL एजेंटों (जैसे DreamerV3) के साथ प्रदर्शन अंतराल को काफी कम कर देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन तीन बेंचमार्क परिवारों पर किया गया: DeepMind Control Suite (DMC), Gym-Robotics, और AntMaze।

चपलता कार्य (DMC): MRS ने cheetah_run, quadruped_run, और hopper_hop जैसे कार्यों पर Director बेसलाइन (अनकंडीशन्ड HRL SOTA) को काफी पीछे छोड़ दिया। इसने DreamerV3 (नॉन-HRL SOTA) के साथ प्रदर्शन अंतराल को कम किया, और अधिकांश लोकोमोशन कार्यों में प्रतिस्पर्धी या बेहतर स्कोर प्राप्त किया।
स्पार्स रिवॉर्ड और लॉन्ग-होराइजन (Antмaze, Gym-Robotics): MRS ने स्पार्स-रिवॉर्ड मैनिपुलेशन और लॉन्ग-होराइजन नेविगेशन पर Director के बराबर या उससे बेहतर प्रदर्शन किया, जिससे सिद्ध हुआ कि टेम्पोरल स्ट्रक्चर जोड़ने से लॉन्ग-होराइजन प्लानिंग क्षमताओं में गिरावट नहीं आती है।
एब्लेशन अध्ययन (Ablation Studies):
- सिंगल-रिज़ॉल्यूशन (Single-Resolution): केवल एक निश्चित स्किल लेंथ ( $l=16, 32, 64$ ) या $\infty$ -स्किल के साथ प्रशिक्षित एजेंट पूर्ण MRS की तुलना में लगातार कम प्रदर्शन करते रहे, जिससे पुष्टि हुई कि लाभ केवल एक विशिष्ट स्किल लेंथ की उपस्थिति से नहीं, बल्कि मल्टी-रिज़ॉल्यूशन क्षमता से आता है।
- मेटा-कंट्रोलर (Meta-Controller): सीखी गई चयन प्रक्रिया को रैंडम सिलेक्शन से बदलने या एक एकल स्किल को मजबूर करने से प्रदर्शन कम हो गया, जो स्टेट-डिपेंडेंट एडेप्टिव सिलेक्शन के महत्व को सिद्ध करता है।
- एक्सप्लोरेशन (Exploration): विशिष्ट MRS एक्सप्लोरेटरी ऑब्जेक्टिव (min-reconstruction error) ने वैनिला एक्सप्लोरेशन ऑब्जेक्टिव की तुलना में तेज़ अभिसरण (convergence) और बेहतर फाइन-ट्यूनिंग प्रदर्शन दिया।
गुणात्मक विश्लेषण (Qualitative Analysis): t-SNE विज़ुअलाइज़ेशन ने दिखाया कि मेटा-कंट्रोलर एक संरचित, स्टेट-डिपेंडेंट पॉलिसी सीखता है, जो उच्च-वक्रता वाले क्षेत्रों (मोड़ों) के लिए छोटी स्किल्स और सीधे रास्तों के लिए लंबी स्किल्स चुनता है।

5. महत्व और निहितार्थ (Significance and Implications)

स्ट्रक्चरल इंडक्टिव बायस (Structural Inductive Bias): यह शोध पत्र प्रदर्शित करता है कि HRL चपलता अंतराल मुख्य रूप से एक रिप्रेजेंटेशनल समस्या है, न कि क्षमता या प्रशिक्षण आवृत्ति की समस्या। गोल स्पेस पर टेम्पोरल स्ट्रक्चर लागू करना मानक HRL में खोई हुई परिशुद्धता को पुनः प्राप्त करने के लिए पर्याप्त है।
दक्षता (Efficiency): MRS न्यूनतम पैरामीटर ओवरहेड (साझा बैकबोन) के साथ ये लाभ प्राप्त करता है और इसके लिए किसी कार्य-विशिष्ट ट्यूनिंग या विशेषाधिकार प्राप्त स्थिति जानकारी की आवश्यकता नहीं होती है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण सुझाव देता है कि अन्य सबगोल-आधारित HRL आर्किटेक्चर भी समान टेम्पोरल पार्टीशनिंग से लाभान्वित हो सकते हैं। यह अनसुपरवाइज्ड स्किल डिस्कवरी (विविधता) और गोल-कंडीशन्ड HRL (टेम्पोरल स्ट्रक्चर) के बीच के अंतर को पाटता है, जो उन एजेंटों के लिए एक मजबूत समाधान प्रदान करता है जिन्हें लंबी अवधि की योजना और सूक्ष्म, रिएक्टिव कंट्रोल दोनों को संभालने की आवश्यकता होती है।