🤖 machine learning

Switching Successor Measures for Hierarchical Zero-shot Reinforcement Learning

यह शोध पत्र "स्विचिंग सक्सेसर मेजर्स" (switching successor measures) और FB $\pi$ -Switch एल्गोरिदम को पेश करता है ताकि निश्चित टेम्पोरल एब्स्ट्रैक्शन, मैन्युअल रूप से डिज़ाइन किए गए सबगोल्स, या अतिरिक्त पर्यवेक्षण पर निर्भर किए बिना सामान्य रिवॉर्ड फंक्शन्स के लिए पदानुक्रमित ज़ीरो-शॉट सुदृढीकरण लर्निंग (hierarchical zero-shot reinforcement learning) को सक्षम किया जा सके।

मूल लेखक: Stefan Stojanovic, Alexandre Proutiere

प्रकाशित 2026-05-14✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stefan Stojanovic, Alexandre Proutiere

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल भूलभुलैया (maze) में रास्ता खोजने के लिए सिखा रहे हैं। पुराना तरीका यह था कि आप रोबोट को एक विशिष्ट गंतव्य देते थे (जैसे कि "लाल दरवाजे के पास जाओ") और फिर उसे वहां तक पहुँचने के लिए हर एक कदम खुद तय करने देते थे। लेकिन क्या होगा अगर आप चाहते हैं कि रोबोट किसी भी तरह के इनाम (reward) को संभालना सीख ले, न कि केवल एक दरवाजा ढूंढना? शायद आप चाहते हैं कि वह सिक्के इकट्ठा करे, जाल से बचे, या रंगों के एक विशिष्ट पैटर्न को खोजे।

यह पेपर स्विचिंग सकसेसर मेजर्स (Switching Successor Measures) नामक एक नया तरीका पेश करता है जिससे रोबोट को सिखाया जाता है। यहाँ इसका सरल विवरण दिया गया है कि यह कैसे काम करता है, रोजमर्रा के उदाहरणों का उपयोग करते हुए।

समस्या: "फिक्स्ड स्टेप" का जाल (The "Fixed Step" Trap)

पिछले तरीकों ने बड़ी समस्याओं को छोटे हिस्सों में तोड़ने की कोशिश की, जैसे कि यह कहना, "ठीक 10 कदम चलो, फिर रुक जाओ और एक नया लक्ष्य चुनो।"

खामी: कल्पना कीजिए कि आप एक कमरे में टहलने की कोशिश कर रहे हैं। यदि आप हर बार अपना विचार बदलने पर खुद को ठीक 10 कदम चलने के लिए मजबूर करते हैं, तो आप किसी दीवार के बीच में या पानी के गड्ढे में फंस सकते हैं। वास्तविक जीवन "निश्चित कदमों" के बारे में नहीं है; यह एक विशिष्ट स्थान (जैसे कि कुर्सी) तक पहुँचने के बारे में है और फिर यह तय करने के बारे में है कि आगे क्या करना है। पुराने तरीके बहुत कठोर थे और केवल सरल "लक्ष्य खोजो" वाले कार्यों के लिए ही अच्छे थे।

समाधान: "स्मार्ट स्विच" (The "Smart Switch")

लेखक एक ऐसी प्रणाली प्रस्तावित करते हैं जहाँ रोबोट दुनिया के एक ही "मानचित्र" (map) से दो चीजें एक साथ सीखता है:

उच्च-स्तरीय योजना (High-Level Plan): "मुझे पहले उस कुर्सी तक पहुँचना है।"
निम्न-स्तरीय क्रिया (Low-Level Action): "ठीक है, मैं कुर्सी की ओर चल रहा हूँ।"

इसका जादुई तरीका स्विचिंग सकसेसर मेजर्स कहलाता है। इसे ऐसे समझें जैसे एक GPS जो न केवल अंतिम गंतव्य तक का रास्ता दिखाता है, बल्कि यह भी समझता है कि किसी भी मध्यवर्ती बिंदु (intermediate point) पर रुकने का "मूल्य" क्या है।

उदाहरण: कल्पना कीजिए कि आप ट्रैकिंग (hiking) कर रहे हैं।
- पुराना तरीका: आपके पास एक नक्शा है जो केवल शिखर (summit) तक पहुँचने का रास्ता बताता है। यदि आप रास्ते में झरने पर रुकना चाहते हैं, तो आपको पूरा नक्शा फिर से बनाना पड़ेगा।
- नया तरीका (यह पेपर): आपके पास एक "सुपर मैप" है जो इलाके (terrain) को समझता है। यह बताता है: "यदि आप झरने की ओर बढ़ते हैं, तो आप वहां 5 मिनट में पहुँच जाएंगे। एक बार जब आप वहां पहुँच जाते हैं, तो आप तुरंत शिखर की ओर बढ़ने के लिए अपनी योजना बदल सकते हैं।" रोबोट बिना किसी नए नक्शे या शिक्षक के यह बताए बिना कि उसे कब स्विच करना है, एक उप-लक्ष्य (sub-goal) से दूसरे पर ध्यान केंद्रित करने के लिए "स्विच" करना सीख जाता है।

यह कैसे काम करता है (The "FB $\pi$ -Switch" Algorithm)

पेपर में उनके तरीके को FB $\pi$ -Switch कहा गया है। यहाँ इसकी प्रक्रिया सरल भाषा में दी गई है:

दुनिया के "अहसास" को सीखना: सबसे पहले, रोबट खुद के (या दूसरों के) घूमने के कई पुराने वीडियो देखता है। यह एक "सकसेसर मेजर" (successor measure) सीखता है।
- उदाहरण: यह घर के हर कमरे के "वाइब" (vibe) को सीखने जैसा है। आप जानते हैं कि यदि आप किचन में हैं, तो आप जल्द ही डाइनिंग रूम में होंगे। आपको हर बार सटीक रास्ता जानने की आवश्यकता नहीं है; आप बस यह जानते हैं कि वहां पहुँचने की संभावना क्या है।
"स्विच" का क्षण: रोबोट सीखता है कि वह एक उप-लक्ष्य (जैसे किचन) की ओर जा सकता है, और जैसे ही वह वहां पहुँचता है, वह अंतिम लक्ष्य की ओर बढ़ने के लिए अपने आंतरिक तर्क (logic) को "स्विच" कर सकता है।
कोई अतिरिक्त प्रशिक्षण नहीं: सबसे अच्छी बात यह है कि रोबोट खुद ही समझ जाता है कि बड़े कार्य को छोटे टुकड़ों में कैसे तोड़ना है। इसे किसी इंसान द्वारा यह कहने की आवश्यकता नहीं होती कि, "यहाँ रुको और एक नया लक्ष्य चुनो।" गणित की संरचना स्वाभाविक रूप से इन उप-लक्ष्यों को बनाती है।

यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने दो प्रकार के कार्यों पर इसका परीक्षण किया:

लक्ष्य-आधारित (Goal-Conditioned): "लाल झंडे के पास जाओ।" (एक मानक वीडियो गेम स्तर की तरह)।
सामान्य पुरस्कार (General Rewards): "कांटों से बचते हुए अधिक से अधिक सिक्के एकत्र करें।" (एक बहुत कठिन, अधिक जटिल कार्य)।

परिणाम:

नया तरीका सरल "झंडे तक जाओ" वाले कार्यों के लिए मौजूदा सर्वोत्तम तरीकों के समान ही प्रभावी रहा।
महत्वपूर्ण रूप से, यह जटिल "सिक्के एकत्र करें" वाले कार्यों में बहुत बेहतर था। क्योंकि यह निश्चित कदमों का उपयोग करने में फंसा नहीं था, इसलिए यह उन जटिल रिवॉर्ड परिदृश्यों के अनुकूल हो सका जहाँ सबसे अच्छा रास्ता एक सीधी रेखा नहीं था।

निष्कर्ष (The Bottom Line)

यह पेपर दिखाता है कि आपको रोबोट को जटिल पदानुक्रम (hierarchies) बनाने के लिए मैन्युअल रूप से डिज़ाइन करने या यह बताने की आवश्यकता नहीं है कि उसे कब कार्य बदलना है। एक विशिष्ट गणितीय ढांचे (Switching Successor Measures) का उपयोग करके, एक रोबोट दुनिया की एक एकल, लचीली "समझ" सीख सकता है जो स्वाभाविक रूप से उसे बड़े कार्यों को अपने आप छोटे, प्रबंधनीय चरणों में तोड़ने की अनुमति देती है। यह रोबोट को एक ऐसा दिमाग देने जैसा है जो स्वाभाविक रूप से एक ही समय में "बड़ी तस्वीर" और "छोटे कदमों" दोनों को देख सकता है।

तकनीकी सारांश: पदानुक्रमित ज़ीरो-शॉट सुदृढीकरण शिक्षण के लिए स्विचिंग सक्सेसर मेजर (Switching Successor Measures)

समस्या विवरण (Problem Statement)

पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning - HRL) का लक्ष्य सरल उप-समस्याओं में दीर्घकालिक निर्णय लेने की प्रक्रिया को विभाजित करके सामान्यीकरण (generalization) में सुधार करना है। हालाँकि, मौजूदा दृष्टिकोण अक्सर प्रतिबंधात्मक डिज़ाइन विकल्पों पर निर्भर करते हैं, जैसे कि निश्चित टेम्पोरल एब्स्ट्रैक्शन (fixed temporal abstractions) या लक्ष्य-सशर्त उद्देश्य (goal-conditioned objectives), जो सामान्य रिवॉर्ड फंक्शनों के प्रति उनकी प्रयोज्यता को सीमित करते हैं। इसके अतिरिक्त, HIQL जैसे तरीके फिक्स्ड सबगोल होराइजन्स (fixed subgoal horizons) के माध्यम से स्थानीयता (locality) को लागू करते हैं, बजाय इसके कि इसे सीखने से उभरने दिया जाए।

साथ ही, सक्सेसर मेजर (Successor Measures - SM), विशेष रूप से फॉरवर्ड-बैकवर्ड (Forward-Backward - FB) निरूपण के माध्यम से, साझा एम्बेडिंग स्पेस में वैल्यू फंक्शनों का प्रतिनिधित्व करके मनमाने रिवॉर्ड फंक्शनों के लिए ज़ीरो-शॉट अनुकूलन हेतु एक ढांचा प्रदान करते हैं। फिर भी, ये तरीके आमतौर पर एक मजबूत वैश्विक गुणनखंड (global factorization - $F(s, a, z)^\top B(g)$ ) मानकर चलते हैं, जिसे जटिल वातावरणों में सीखना कठिन हो सकता है। हालिया निष्कर्ष बताते हैं कि सक्सेसर रिप्रजेंटेशन स्थानीय स्तर पर सबसे विश्वसनीय होते हैं, जो कम दूरी के ट्रांज़िशन को प्रभावी ढंग से कैप्चर करते हैं, जबकि लंबी अवधि (long horizons) में सटीकता घट जाती है।

एक महत्वपूर्ण अंतराल मौजूद है: कोई भी एकीकृत दृष्टिकोण नहीं है जो पदानुक्रमित नीतियां सीधे सीखे गए रिप्रजेंटेशन से प्राप्त करने के लिए सक्सेसर रिप्रजेंटेशन का लाभ उठा सके और साथ ही मनमाने (गैर-लक्ष्य-पहुंचने वाले) रिवॉर्ड फंक्शनों में सामान्यीकरण करने की क्षमता बनाए रख सके। वर्तमान पाइपलाइनें अक्सर रिप्रजेंटेशन लर्निंग और पॉलिसी लर्निंग को अलग करती हैं, जिससे संयुक्त योजना (joint planning) और नियंत्रण के लिए सक्सेसर रिप्रजेंटेशन के संरचनात्मक एन्कोडिंग का लाभ उठाने में विफलता होती है।

कार्यप्रणाली: स्विचिंग सक्सेसर मेजर और FB $\pi$ -Switch

लेखक स्विचिंग सक्सेसर मेजर (Switching Successor Measures) पेश करते हैं, जो एक ऐसा ढांचा है जो बिना किसी अतिरिक्त पर्यवेक्षण, निश्चित होराइजन्स, या मैन्युअल रूप से डिज़ाइन किए गए सबगोल्स के, ज़ीरो-शॉट RL में पदानुक्रमित नियंत्रण को सक्षम बनाता है।

सैद्धांतिक आधार (Theoretical Foundation)

मुख्य अंतर्दृष्टि यह है कि उच्च-स्तरीय योजना के लिए आवश्यक स्विचिंग सक्सेसर मेजर को सीधे एक एकल शास्त्रीय सक्सेसर मेजर से प्राप्त किया जा सकता है।

स्विचिंग एडवांटेज (Switching Advantage): लेखक एक $k$ -स्टेप एडवांटेज फंक्शन को परिभाषित करते हैं जहाँ एक एजेंट $k$ स्टेप्स के लिए सबगोल-कंडीशन्ड पॉलिसी $\pi_w$ का पालन करता है और फिर एक वैश्विक रूप से कुशल पॉलिसी $\pi$ पर स्विच करता है।
हिटिंग-टाइम स्विचिंग (Hitting-Time Switching): फिक्स्ड होराइजन्स (जहाँ $k$ स्टेप्स सबगोल तक पहुँचने के साथ संरेखित नहीं हो सकते) द्वारा उत्पन्न होने वाले बायस को संबोधित करने के लिए, ढांचा फिक्स्ड $k$ को हिटिंग टाइम $H^{\pi_w}_s(w)$ से बदल देता है।
थ्योरम 1 (Theorem 1): पेपर एक प्रमुख पहचान स्थापित करता है जो स्विचिंग सक्सेसर मेजर $M^{\pi_w \to \pi}_s$ को मानक सक्सेसर मेजर से जोड़ती है:
$M^{\pi_w \to \pi}_s(s') = M^{\pi_w}_s(s') + \frac{M^{\pi_w}_s(w)}{M^{\pi_w}_w(w)} \left( M^{\pi}_w(s') - M^{\pi_w}_w(s') \right)$
यह थ्योरम प्रदर्शित करती है कि पदानुक्रम (hierarchy) को मानक सक्सेसर रिप्रजेंटेशन में अंतर्निहित रूप से एनकोड किया गया है और इसे अतिरिक्त लर्निंग के बिना प्राप्त किया जा सकता है।
कोरोलरी 1 (Corollary 1): स्विचिंग एडवांटेज फंक्शन को इस प्रकार प्राप्त किया जाता है:
$A^{\pi_w \to \pi}_s(r) = V^{\pi_w}(s; r) + \frac{M^{\pi_w}_s(w)}{M^{\pi_w}_w(w)} \left( V^{\pi}(w; r) - V^{\pi_w}(w; r) \right) - V^{\pi}(s; r)$
यह उच्च-स्तरीय पॉलिसी के लिए सबगोल्स $w$ चुनने के उद्देश्य के रूप में कार्य करता है।

एल्गोरिदम: FB $\pi$ -Switch

लेखक FB $\pi$ -Switch नामक एक तीन-चरणीय ऑफलाइन लर्निंग एल्गोरिदम प्रस्तावित करते हैं:

स्टेट-सक्सेसर रिप्रजेंटेशन लर्निंग: एल्गोरिदम एक एक्सपेक्टाइल रिग्रेशन (expectile regression) ऑब्जेक्ट का उपयोग करके एक्शन-मुक्त, रिवॉर्ड-कंडीशन्ड स्टेट-सक्सेसर रिप्रजेंटेशन ( $F(s, z)$ और $B(s)$ ) सीखता है। यह चरण एक्शन्स को मार्जिनलाइज़ करता है और मानक FB में पाए जाने वाले पॉलिसी और रिप्रजेंटेशन के युग्मित अनुकूलन (coupled optimization) से बचता है, जिससे एक सिंगल-स्टेप लर्निंग प्रक्रिया संभव होती है।
उच्च-स्तरीय पॉलिसी लर्निंग: एक उच्च-स्तरीय पॉलिसी $\pi_h$ को एडवांटेज-वेटेड रिग्रेशन (AWR) का उपयोग करके स्विचिंग एडवांटेज फंक्शन के FB-अनुमान को अधिकतम करके लेटेंट सबगोल्स $z_w$ चुनने के लिए प्रशिक्षित किया जाता है।
निम्न-स्तरीय पॉलिसी लर्निंग: एक निम्न-स्तरीय पॉलिसी $\pi_\ell$ को चयनित सबगोल पर आधारित प्रिमिटिव एक्शन्स निष्पादित करने के लिए प्रशिक्षित किया जाता है, जो AWR का उपयोग करता है।

यह विधि पदानुक्रमित पोस्ट-ट्यूनिंग (hierarchical post-tuning) की अनुमति देती है, जहाँ निम्न-स्तरीय कंट्रोलर या बेस रिप्रजेंटेशन को पुन: प्रशिक्षित किए बिना, उच्च-स्तरीय पॉलिसी को प्री-ट्रेन्ड बिहेवियर फाउंडेशन मॉडल्स (BFMs) में जोड़ा जा सकता है।

मुख्य योगदान (Key Contributions)

स्विचिंग सक्सेसर मेजर: सक्सेसर-आधारित रिप्रजेंटेशन से पदानुक्रमित संरचना निकालने के लिए एक सिद्धांत आधारित ढांचा। पेपर सिद्ध करता है कि उच्च-स्तरीय योजना के लिए आवश्यक मेजर को एक एकल शास्त्रीय सक्सेसर मेजर से प्राप्त किया जा सकता है, जो दर्शाता है कि पदानुक्रम अंतर्निहित रूप से एनकोड है।
FB $\pi$ -Switch एल्गोरिदम: एक पदानुक्रमित ज़ीरो-शॉट RL एल्गोरिदम जहाँ उच्च-स्तरीय सबगोल चयन और निम्न-स्तरीय नियंत्रण दोनों को सीधे FB रिप्रजेंटेशन से प्राप्त किया जाता है। यह विधि तीन-चरणीय प्रशिक्षण प्रक्रिया का पालन करती है, जिसमें उच्च-स्तरीय चरण मौजूदा FB एल्गोरिदम के अनुकूल है।
अनुभवजन्य सत्यापन (Empirical Validation): डिस्क्रीट मेज़ (discrete mazes), AntMaze (लक्ष्य-सशर्त), और सामान्य रिवॉर्ड फंक्शन के साथ AntMaze पर मूल्यांकन।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने FB $\pi$ -Switch का मूल्यांकन डिस्क्रीट मेज़, AntMaze (लक्ष्य-सशर्त), और सामान्य रिवॉर्ड फंक्शन के साथ AntMaze पर किया।

लक्ष्य-सशर्त कार्य (AntMaze): FB $\pi-Switch$ ने HIQL के समान प्रदर्शन हासिल किया, जो एक अग्रणी पदानुक्रमित विधि है। उल्लेखनीय रूप से, एक उच्च-स्तरीय पॉलिसी जोड़ने से गैर-पदानुक्रमित वेरिएंट की तुलना में प्रदर्शन में लगातार सुधार हुआ। पदानुक्रम के बिना भी, FB $\pi$ -Switch अन्य गैर-पदानुक्रमित बेसलाइन्स (जैसे मानक FB, ICVF) से बेहतर रहा।
सामान्य रिवॉर्ड कार्य: उन वातावरणों में जहाँ रिवॉर्ड लैंडस्केप वितरित (distributed) होते हैं (केवल सिंगल-गोल रीचिंग नहीं), FB $\pi$ -Switch ने सर्वश्रेष्ठ औसत प्रदर्शन प्राप्त किया। पदानुक्रमित संस्करण ने विभिन्न वातावरणों में बेहतर मजबूती (robustness) दिखाई।
एब्लेशन और विश्लेषण (Ablation and Analysis):
- FB $\pi$ -Switch में उच्च-स्तरीय पॉलिसी ऐसे सबगोल्स प्रेरित करती है जो लक्ष्य की ओर सुसंगत पथों (coherent trajectories) पर स्थित होते हैं, जबकि HIQL के सबगोल्स अक्सर पथ निरंतरता के बिना समान तात्कालिक क्रियाओं की ओर ले जाते हैं।
- FB $\pi$ -Switch की उच्च-स्तरीय नीतियों को मानक FB की निम्न-स्तरीय नीतियों के साथ संयोजित करने वाले प्रयोगों से पता चला कि पदानुक्रमित लाभों को प्राप्त करने के लिए निम्न-स्तरीय पॉलिसी की गुणवत्ता अत्यंत महत्वपूर्ण है।
- विधि सफलतापूर्वक स्थानीय और वैश्विक उद्देश्यों के बीच ट्रेड-ऑफ वाले कार्यों को संभालती है, जो पारंपरिक GCRL के सिंगल-टारगेट फोकस से आगे बढ़ती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि संरचित सक्सेसर रिप्रजेंटेशन पदानुक्रमित ज़ीरो-शॉट सुदृढीकरण शिक्षण के लिए एक लचीला आधार प्रदान करते हैं जो लक्ष्य-पहुंचने वाले कार्यों से परे जाता है। स्विचिंग सक्सेसर मेजर पेश करके, लेखक प्रदर्शित करते हैं कि पदानुक्रमित व्यवहार सीधे सीखे गए रिप्रजेंटेशन से उभर सकता है, जिसके लिए निम्नलिखित की आवश्यकता नहीं है:

विशेषज्ञ प्रक्षेपवक्र (Expert trajectories)।
हाथ से बनाया गया टेम्पोरल एब्स्ट्रैक्शन।
पदानुक्रम के लिए अलग सुपरवाइज्ड ऑब्जेक्ट्स।

यह कार्य स्थानीय और वैश्विक निर्णय लेने के बीच के अंतर को पाटता है, यह सुझाव देता है कि सक्सेसर रिप्रजेंटेशन क्षेत्रों के बीच व्यवहारों के संयोजन (composition of behaviors) का स्वाभाविक रूप से समर्थन कर सकते हैं। लेखक नोट करते हैं कि हालांकि विधि प्रभावी है, बेस मॉडल की गुणवत्ता एक निर्भरता बनी हुई है, और भविष्य के कार्य मल्टी-सबगोल प्लानिंग और जेनेरेटिव मॉडल-आधारित तरीकों के साथ तुलनाओं का पता लगा सकते हैं। इस ढांचे को सक्सेसर रिप्रजेंटेशन से पदानुक्रमित नीतियां प्राप्त करने के एक एकीकृत दृष्टिकोण के रूप में प्रस्तुत किया गया है, जो ज़ीरो-शॉट सेटिंग्स में रिप्रजेंटेशन लर्निंग और पदानुक्रमित नियंत्रण के बीच के अंतराल को संबोधित करता है।