🤖 machine learning

S3: Stable Subgoal Selection by Constraining Uncertainty of Coarse Dynamics in Hierarchical Reinforcement Learning

यह शोध पत्र S3 का प्रस्ताव करता है, जो एक पदानुक्रमित सुदृढीकरण शिक्षण (hierarchical reinforcement learning) विधि है जो एक मिक्सचर डेंसिटी नेटवर्क (Mixture Density Network) के माध्यम से मॉडल किए गए मोटे, बहु-चरणीय परिवेश संक्रमणों की भविष्य कहनेवाला अनिश्चितता को कम करने वाले एक डायनेमिक्स-जागरूक आंतरिक पुरस्कार को पेश करके गैर-स्थिर दीर्घ-अवधि परिवेशों में उच्च-स्तरीय उपलक्ष्य चयन को स्थिर करता है।

मूल लेखक: Kshitij Kumar Srivastava, Kshitij Jerath

प्रकाशित 2026-07-22

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Kshitij Kumar Srivastava, Kshitij Jerath

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल, अव्यवस्थित दुनिया में नेविगेट करना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है। इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें: जब वह कुछ सही करता है तो आप उसे इनाम देते हैं और जब वह कुछ गलत करता है तो कुछ नहीं। लेकिन क्या होगा अगर इनाम एक लंबी, कठिन यात्रा के बिल्कुल अंत में मिले? कुत्ता भ्रमित हो सकता है, यह भूलकर कि किस विशिष्ट कदम की वजह से उसे इनाम मिला था। यह "स्पार्स रिवॉर्ड" (sparse reward) की समस्या है।

इसे हल करने के लिए, वैज्ञानिकों ने हाइरार्किकल रीइन्फोर्समेंट लर्निंग (Hierarchical Reinforcement Learning - HRL) का आविष्कार किया। एक मैनेजर और एक वर्कर वाली कंपनी की कल्पना करें। मैनेजर एक बड़े स्तर का योजनाकार है जो "रसोई में जाओ" जैसे लक्ष्य निर्धारित करता है। वर्कर एक व्यावहारिक कर्मचारी है जो बारीक विवरणों को समझता है, जैसे "बायां पैर हिलाओ, फिर दायां पैर, फिर मुड़ो।" मैनेजर को यह जानने की ज़रूरत नहीं है कि कैसे चलना है; उन्हें बस यह जानने की ज़रूरत है कि कहाँ जाना है। यह टीम वर्क रोबोटों को उन विशाल, जटिल कार्यों को हल करने में मदद करता है जो अकेले एक मस्तिष्क के लिए समझना असंभव होता। हालाँकि, इसमें एक पेंच है: यदि मैनेजर एक ऐसा लक्ष्य चुनता है जिसे वर्कर वास्तव में प्राप्त नहीं कर सकता, तो पूरी टीम विफल हो जाती है। मैनेजर बार-बार चिल्ला सकता है, "उस दीवार के ऊपर से कूदो!" जबकि वर्कर बहुत छोटा है, जिससे निराशा और समय की बर्बादी होती है।

यह वह पहेली है जिसे "S3: Stable Subgoal Selection by Constraining Uncertainty of Coarse Dynamics" नामक एक नए शोध पत्र में सुलझाया गया है। शोधकर्ता, कशितिज कुमार श्रीवास्तव और कशितिज जेरथ (यूनिवर्सिटी ऑफ मैसाचुसेट्स, लोवेल), ने एक सरल लेकिन शक्तिशाली प्रश्न पूछा: हम मैनेजर को ऐसे लक्ष्य चुनने के लिए कैसे सिखा सकते हैं जिन्हें प्राप्त करने में वर्कर वास्तव में आश्वस्त है?

उनका उत्तर S3 नामक एक चतुर तरकीब है। मैनेजर को सिर्फ "तेज़ चलो" कहने के बजाय, S3 मैनेजर को एक विशेष "अनिश्चितता मीटर" (uncertainty meter) देता है। कल्पना कीजिए कि मैनेजर के पास एक क्रिस्टल बॉल है जो दिखाती है कि किसी लक्ष्य तक पहुँचने की कोशिश करने के बाद वर्कर वास्तव में किन संभावित स्थानों पर पहुँच सकता है। यदि क्रिस्टल बॉल संभावनाओं का एक धुंधला, बिखरा हुआ बादल दिखाती है (जिसका अर्थ है कि वर्कर कहीं भी पहुँच सकता है), तो मैनेजर सीख जाता है कि यह एक जोखिम भरा लक्ष्य है। लेकिन यदि क्रिस्टल बॉल संभावनाओं का एक सघन, सटीक समूह दिखाती है (जिसका अर्थ है कि वर्कर लगभग निश्चित रूप से ठीक वहीं पहुँचेगा जहाँ इरादा था), तो मैनेजर को वह लक्ष्य चुनने के लिए "बोनस पॉइंट" मिलता है।

शोध पत्र सुझाव देता है कि इस "अनिश्चितता मीटर" का उपयोग करके, मैनेजर खतरनाक या असंभव कार्यों से बचना सीखता है और विश्वसनीय लक्ष्यों पर टिका रहता है। उन्होंने एक वर्चुअल दुनिया में एक रोबोटिक कुत्ते (जिसे "Ant" कहा जाता है) का उपयोग करके तीन अलग-अलग परिदृश्यों में इसका परीक्षण किया: एक भूलभुलैया में नेविगेट करना, एक भारी ब्लॉक को धकेलना, और पुल बनाकर एक अंतराल को पार करना। इन सिमुलेशन में, S3 पद्धति ने रोबोट टीम को अन्य शीर्ष विधियों की तुलना में बहुत तेज़ी से सीखने और अधिक बार सफल होने में मदद की, विशेष रूप से उन कठिन कार्यों में जहाँ एक गलत कदम सब कुछ बर्बाद कर सकता है (जैसे ब्लॉक को अंतराल में गिरा देना)।

शोधकर्ताओं ने पाया कि यह दृष्टिकोण तब सबसे अच्छा काम करता है जब वातावरण अप्रत्याशित हो या उसमें "बॉटलनेक" (bottlenecks) हों—अर्थात संकरे रास्ते जहाँ आपको सटीक होना पड़ता है। सरल, सीधी रेखा वाले कार्यों में, अतिरिक्त मदद की उतनी आवश्यकता नहीं थी। लेकिन वास्तविक दुनिया जैसी जटिल चुनौतियों में, S3 पद्धति एक बुद्धिमान कोच की तरह काम करती है, जो मैनेजर को सिखाती है कि, "अभी उस दीवार के ऊपर से मत कूदो; इसके बजाय दरवाजे का लक्ष्य रखो," क्योंकि वे जानते थे कि वर्कर वास्तव में वहाँ पहुँच सकता है। यह न केवल रोबोट को स्मार्ट बनाता है; यह पूरी टीम को अधिक स्थिर बनाता है और उनके विफल होने की संभावना को कम करता है।

तकनीकी सारांश: S3 – पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning) में मोटे गतिकी (Coarse Dynamics) की अनिश्चितता को नियंत्रित करके स्थिर उप-लक्ष्य चयन (Stable Subgoal Selection)

1. समस्या विवरण (Problem Statement)

पदानुक्रमित सुदृढीकरण शिक्षण (HRL) रणनीतिक योजना (उच्च-स्तरीय "मैनेजर") को मौलिक निष्पादन (निम्न-स्तरीय "वर्कर") से अलग करके दीर्घकालिक और जटिल कार्यों को संबोधित करता है। हालांकि यह प्रभावी है, लेकिन HRL एक महत्वपूर्ण चुनौती का सामना करता है: गैर-स्थिरता (Non-stationarity) और विरल फीडबैक (Sparse Feedback)।

गैर-स्थिरता: उच्च-स्तरीय एजेंट को उप-लक्ष्य (subgoals) आवंटित करना सीखना होगा जबकि निम्न-स्तरीय एजेंट की क्षमताएं विकसित हो रही होती हैं, और इसके विपरीत भी। निम्न-स्तरीय एजेंट बदलते उप-लक्ष्य आवंटनों का सामना करता है, जबकि उच्च-स्तरीय एजेंट बदलते निष्पादन परिदृश्य का सामना करता है।
विरल फीडबैक: उच्च-स्तरीय एजेंट को कार्य पूरा होने पर ही विलंबित, विरल बाह्य पुरस्कार (extrinsic rewards) प्राप्त होते हैं, जिससे अन्वेषण (exploration) अक्षम हो जाता है।
वर्तमान सीमाएँ: मौजूदा विधियाँ जैसे हिंडसाइट एक्सपीरियंस रिप्ले (HER) या पहुंच संबंधी बाधाएं (जैसे HRAC) अक्सर निम्न-स्तरीय नीति को स्थिर मानती हैं या पहुंच (reachability) पर ध्यान केंद्रित करती हैं, बिना परिणाम की पूर्वानुमेयता (predictability) पर विचार किए। वे गैर-स्थिरता के लक्षणों को संबोधित करती हैं, न कि उस मौलिक आवश्यकता को कि मैनेजर को ऐसे उप-लक्ष्य चुनने चाहिए जो न केवल सुलभ हों, बल्कि वर्कर की वर्तमान सक्षमता के आधार पर पूर्वानुमेय भी हों।

मूल समस्या यह है कि उच्च-स्तरीय एजेंट को निम्न-स्तरीय निष्पादन की स्टोकेस्टिसिटी (stochasticity) और अनिश्चितता को ध्यान में रखते हुए रणनीतिक उप-लक्ष्य चयन कैसे सक्षम किया जाए, जिससे सीखने की प्रक्रिया को स्थिरता मिल सके।

2. कार्यप्रणाली: स्थिर उप-लक्ष्य चयन (S3)

प्रस्तावित दृष्टिकोण, S3, उच्च-स्तरीय एजेंट के लिए एक गतिकी-जागरूक आंतरिक पुरस्कार तंत्र (dynamics-aware intrinsic reward mechanism) पेश करता है। मुख्य दर्शन यह है कि मैनेजर को उन उप-लक्ष्यों को चुनने के लिए प्रेरित किया जाना चाहिए जिन्हें वर्कर उच्च निश्चितता के साथ निष्पादित कर सके, प्रभावी रूप रूप से "मोटे गतिकी" (coarse dynamics) का मॉडल बनाना।

2.1 मोटा गतिकी और पूर्वानुमानित अनिश्चितता (Coarse Dynamics and Predictive Uncertainty)

मौलिक संक्रमणों के बजाय, S3 मोटे गतिकी का मॉडल बनाता है: एक निश्चित समयांतराल $c$ के लिए निम्न-स्तरीय एजेंट द्वारा उप-लक्ष्य $g_t$ निष्पादित करने के बाद अवस्था $s_t$ से लैंडिंग अवस्था $s_{t+c}$ तक का संक्रमण।

लक्ष्य: इन मोटे संक्रमणों की पूर्वानुमानित अनिश्चितता को कम करना।
तर्क: यदि निम्न-स्तरीय एजेंट किसी विशिष्ट उप-लक्ष्य (जैसे, एक संकीर्ण दरवाजे से गुजरना) तक पहुँचने के बारे में अनिश्चित है, तो उच्च-स्तरीय एजेंट को इसे आवंटित करने से बचना चाहिए। इसके विपरीत, यदि परिणाम पूर्वानुमेय है (जैसे, एक हॉलवे जंक्शन तक पहुँचना), तो उप-लक्ष्य को प्राथमिकता दी जाती है। यह "जोखिम-विमुख" (risk-averse) उप-लक्ष्य चयन को बढ़ावा देता है।

2.2 क्षमता-आधारित शेपिंग के माध्यम से आंतरिक पुरस्कार (Intrinsic Reward via Potential-Based Shaping)

इष्टतम नीति को बदले बिना सघन फीडबैक प्रदान करने के लिए, S3 क्षमता-आधारित पुरस्कार शेपिंग (PBRS) का उपयोग करता है।

क्षमता फलन ( $\Phi$ ): मोटे गतिकी वितरण के फैलाव (dispersion/variance) पर परिभाषित है।
आंतरिक पुरस्कार ( $r_{int}$ ): समय चरणों के बीच क्षमता के अंतर के रूप में गणना की जाती है:
$r_{int}^{hi} = \gamma \Phi(s_{t+c}, g_{t+c}) - \Phi(s_t, g_t)$
फैलाव मीट्रिक (Dispersion Metric): क्षमता फलन अनुमानित टर्मिनल अवस्था वितरण के कुल विचरण (covariance matrix का ट्रेस) को दंडित करता है। कम विचरण (उच्च पूर्वानुमेयता) उच्च आंतरिक पुरस्कार देता है।

2.3 कार्यान्वयन: मिश्रण घनत्व नेटवर्क (Mixture Density Network - MDN)

चूंकि पर्यावरण की गतिकी अज्ञात है और निम्न-स्तरीय नीति स्टोकेस्टिक है, इसलिए $s_t, g_t, s_{t+c}$ के वितरण $p(s_{t+c} | s_t, g_t)$ को एक मिश्रण घनत्व नेटवर्क (MDN) का उपयोग करके अनुमानित किया जाता है।

वास्तुकला (Architecture): MDN वितरण को $K$ गाउसियनों के मिश्रण के रूप में मॉडल करता है:
$\hat{p}_{\theta_{MDN}}(s_{t+c} | s_t, g_t) = \sum_{k=1}^{K} \alpha_k(s_t, g_t) \mathcal{N}(s_{t+c}; \mu_k, \Sigma_k)$
प्रशिक्षण: MDN को रीप्ले बफर से एकत्र किए गए टुपल्स $(s_t, g_t, s_{t+c})$ का उपयोग करके समानांतर में प्रशिक्षित किया जाता है।
अनिश्चितता अनुमान: कुल पूर्वानुमानित कोवेरियेंस ( $\Sigma_{mix}$ $Σ_{mi x}$ ) को विभाजित किया गया है:
1. इन-मोड विचरण (Within-mode variance): एक विशिष्ट परिणाम परिदृश्य के भीतर परिवर्तनशीलता।
2. बिटवीन-मोड विचरण (Between-mode variance): इस बात की अस्पष्टता कि कौन सा परिणाम परिदृश्य घटित होगा।
  आंतरिक पुरस्कार इस कुल कोवेरियेंस मैट्रिक्स के ट्रेस से प्राप्त होता है।

2.4 एल्गोरिदम प्रवाह (Algorithm Flow)

निष्पादन: मैनेजर एक उप-लक्ष्य $g_t$ चुनता है। वर्कर $c$ चरणों में उसे प्राप्त करने का प्रयास करता है।
डेटा संग्रह: टुपल $(s_t, g_t, s_{t+c})$ को MDN के लिए रीप्ले बफर में संग्रहीत किया जाता है।
मॉडल अपडेट: MDN अपने मापदंडों को $s_{t+c}$ के वितरण की भविष्यवाणी करने के लिए अपडेट करता है।
पुरस्कार गणना: MDN वर्तमान $(s_t, g_t)$ के लिए वितरण की भविष्यवाणी करता है, कोवेरियेंस ट्रेस की गणना करता है, और आंतरिक पुरस्कार की गणना करता है।
नीति अपडेट: मैनेजर को बाह्य पुरस्कार और आंतरिक शेपिंग टर्म का उपयोग करके अपडेट किया जाता है।

3. प्रमुख योगदान (Key Contributions)

स्थिर उप-लक्ष्य चयन (S3): एक नया ढांचा जहाँ उच्च-स्तरीय एजेंट केवल पहुंच के बजाय निम्न-स्तरीय निष्पादन की पूर्वानुमेयता के आधार पर उप-लक्ष्य चुनना सीखता है।
मोटा गतिकी मॉडलिंग (Coarse Dynamics Modeling): एक अस्थायी अमूर्तता पैमाने (temporal abstraction scale) का परिचय, जहाँ पर्यावरण की गतिकी को $c$ -चरण के संक्रमणों के वितरण के रूप में मॉडल किया जाता है, जो सूक्ष्म-स्तरीय प्रिमिटिव्स को अमूर्त बनाता है।
गतिकी-जागरूक आंतरिक पुरस्कार: एक क्षमता-आधारित आंतरिक पुरस्कार जो मोटे गतिकी वितरण के फैलाव को दंडित करता है। यह मैनेजर को सघन फीडबैक प्रदान करता है, जिससे वह विश्वसनीय, दोहराने योग्य परिणामों की ओर निर्देशित होता है।
MDN के साथ एकीकरण: बहु-मोडल परिणामों को स्पष्ट रूप से मॉडल करने और अनिश्चितता (दोनों मोड के भीतर और बीच में) को मापने के लिए Mixture Density Networks का उपयोग।
सामान्यीकरण (Generalizability): विधि को एक मॉड्यूलर आंतरिक पुरस्कार परत के रूप में डिज़ाइन किया गया है जिसे मौजूदा HRL एल्गोरिदम (HRAC पर प्रदर्शित) पर लागू किया जा सकता है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने तीन MuJoCo निरंतर नियंत्रण बेंचमार्क पर S3 का मूल्यांकन किया: Ant Maze, Ant Push, और Ant Fall।

Ant Fall: S3 ने बेसलाइन (HIRO, HRAC) को काफी पीछे छोड़ दिया, और 0.374 की सफलता दर प्राप्त की, जबकि HIRO की 0.059 और HRAC की 0.000 थी। इस कार्य में अपरिवर्तनीय संक्रमण (गैप में गिरना) शामिल है, जहाँ उच्च-अनिश्चितता वाले उप-लक्ष्यों से बचने की S3 की क्षमता महत्वपूर्ण थी।
Ant Push: S3 ने 0.186 की सफलता दर प्राप्त की, जो HIRO (0.134) से बेहतर और HRAC (0.180) के बराबर है। इस कार्य के लिए पथ को बाधित करने से बचने के लिए सटीक ब्लॉक हेरफेर की आवश्यकता होती है।
Ant Maze: S3 ने 0.827 प्राप्त किया, जो HRAC (0.832) और HIRO (0.790) के तुलनीय है। लेखक नोट करते हैं कि शुद्ध नेविगेशनल कार्यों में, जहाँ लोकोमोशन पूर्वानुमेय होता है, मोटे गतिकी मॉडलिंग का मामूली लाभ कम होता है।
गुणात्मक विश्लेषण (Qualitative Analysis):
- जोखिम बचाव: Ant Push में, S3 ने "खतरनाक क्षेत्र" (hazardous zone) से बचने के लिए सीखा जहाँ दक्षिण से ब्लॉक को धकेलने से लक्ष्य स्थायी रूप से अवरुद्ध हो सकता था। प्रशिक्षण के दौरान टर्मिनल अवस्था वितरण इस खतरे के क्षेत्र से दूर केंद्रित हो गया।
- प्रक्षेपवक्र स्थिरता (Trajectory Stability): विज़ुअलाइज़ेशन ने दिखाया कि विशेष रूप से बॉटलनैक (bottlenecks) वाले कार्यों में, HRAC की बिखरी हुई रणनीतियों की तुलना में S3 के मैनेजर प्रक्षेपवपथ अधिक केंद्रित और कार्य दिशा के अनुरूप थे।
- समयांतराल (Temporal Horizon): संवेदनशीलता विश्लेषण ने संकेत दिया कि एक मैनेजर हॉरिजन $c=10$ ने अमूर्तता और पूर्वानुमेयता के बीच इष्टतम संतुलन प्रदान किया।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि S3, HRL में मैनेजर और वर्कर के बीच के मौलिक संबंध को संबोधित करता है। निम्न-स्तरीय एजेंट की पूर्वानुमानित अनिश्चितता को स्पष्ट रूप से मॉडल करके, S3 उच्च-स्तरीय नीति को स्थिर करता है।

स्थिरता: यह दृष्टिकोण विकसित हो रही निम्न-स्तरीय नीति के कारण होने वाली गैर-स्थिरता को कम करता है, क्योंकि यह उच्च-स्तरीय एजेंट को ऐसे उप-लक्ष्य चुनने के लिए पुरस्कृत करता है जो वर्तमान में "सुरक्षित" और निष्पादन योग्य हैं।
दक्षता: यह सघन, गतिकी-जागरूक आंतरिक पुरस्कार, विशेष रूप से दीर्घकालिक निर्भरताओं और संरचनात्मक बाधाओं वाले विरल-पुरस्कार वातावरण में सीखने की गति को तेज करता है।
अनुप्रयोग क्षमता: यह विधि उन वातावरणों में सबसे अधिक लाभकारी है जिनमें भौतिक संपर्क, अपरिवर्तनीय संक्रमण और बहु-चरणीय निर्भरताएं शामिल हैं, जहाँ छोटे निष्पादन त्रुट भी अपूरणीय अवस्थाओं की ओर ले जा सकते हैं।

लेखक निष्कर्ष निकालते हैं कि S3, मॉडल-आधारित HRL, क्षमता-आधारित शेपिंग और सूचना-सैद्धांतिक प्रेरणा के बीच के अंतर को पाटता है, जो जटिल, गैर-स्थिर वातावरण में पदानुक्रमित शिक्षण में सुधार के लिए एक सामान्यीकरण योग्य तंत्र प्रदान करता है।