🤖 machine learning

Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model

यह शोध पत्र एक नवीन पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning) मॉडल प्रस्तावित करता है जो प्रत्यक्ष ऑफ-पॉलिसी सुधार और इष्टतम स्तर सिंक्रनाइज़ेशन को सक्षम करने के लिए एक फ्लो-आधारित डीप जेनेरेटिव मॉडल का लाभ उठाता है, जिससे मौजूदा अप्रत्यक्ष संभाव्य विधियों की सीमाओं को दूर किया जा सके और उच्च-आयामी, विरल-पुरस्कार (sparse-reward) वाले वातावरणों में बेहतर प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: JaeYoon Kim, Junyu Xuan, Christy Liang, Farookh Hussain

प्रकाशित 2026-07-28

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: JaeYoon Kim, Junyu Xuan, Christy Liang, Farookh Hussain

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ऐसी दुनिया जहाँ कंप्यूटर को जटिल कार्य करना सिखाना एक बच्चे को यह सिखाने जैसा है कि "महल बनाओ!" चिल्लाकर। यदि बच्चे को यह नहीं पता कि महल कैसा दिखता है या ईंट को कैसे पकड़ना है, तो वह बस हाथ-पैर मारता रहेगा। यह रीइन्फोर्समेंट लर्निंग (RL) का दैनिक संघर्ष है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ सॉफ्टवेयर एजेंट 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से सीखते हैं। सरल RL में, एजेंट को केवल तभी "रिवॉर्ड" (जैसे एक अंक या इनाम) मिलता है जब वह कुछ सही करता है। लेकिन वास्तविक दुनिया में, रिवॉर्ड अक्सर दुर्लभ होते हैं और कार्य बहुत बड़े और जटिल होते हैं। एजेंट संभावनाओं के समुद्र में खो जाता है, और सही कदम उठाने में सक्षम नहीं हो पाता।

इसे ठीक करने के लिए, वैज्ञानिकों ने हाइरार्किकल रीइन्फोर्समेंट लर्निंग (HRL) का आविष्कार किया। HRL को एक बच्चे को एक 'बॉस' देने के रूप में समझें। "बॉस" (एक उच्च-स्तरीय पॉलिसी) इस बात की चिंता नहीं करता कि ईंट को कैसे पकड़ना है; वह बस बड़े स्तर के आदेश देता है जैसे "यहाँ एक दीवार बनाओ" या "वहाँ एक मीनार बनाओ।" एक "वर्कर" (एक निम्न-स्तरीय पॉलिसी) फिर उस ईंट को रखने के लिए आवश्यक सूक्ष्म, विशिष्ट गतिविधियों को समझता है। यह टीम वर्क सीखने की प्रक्रिया को बहुत तेज़ बना देता है। हालाँकि, इसमें एक पेच है: बॉस और वर्कर को तालमेल में रहना होगा। यदि वर्कर दीवार बनाने में बेहतर हो जाता है, लेकिन बॉस अभी भी वर्कर के पुराने, अनाड़ी कौशल के आधार पर आदेश देता रहता है, तो पूरी टीम विफल हो जाती है। आप जो पेपर पढ़ने जा रहे हैं, वह बॉस और वर्कर के बीच इसी पूर्ण सामंजस्य बनाए रखने की समस्या का समाधान करता है।

बॉस, वर्कर और जादुई दर्पण

"Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model" नामक शोध पत्र में, शोधकर्ता जेयून किम (JaeYoon Kim) और उनकी यूनिवर्सिटी ऑफ टेक्नोलॉजी सिडनी की टीम ने AI टीम के "बॉस" और "वर्कर" को पूरी तरह से सिंक्रोनाइज़ रखने का एक चतुर तरीका प्रस्तावित किया है।

आमतौर पर, जब वर्कर (लो-लेवल पॉलिसी) कुछ नया सीखता है, तो बॉस (हाई-लेवल पॉलिसी) को अपनी रणनीति अपडेट करनी पड़ती है। लेकिन यहाँ पेचीदा हिस्सा यह है: बॉस को अतीत के डेटा का उपयोग करके प्रशिक्षित किया जाता है, जब वर्कर अभी एक नौसिखिया था। यदि बॉस बिना समायोजन के इस पुराने डेटा से सीखने की कोशिश करता है, तो यह एक कोच की तरह है जो एक प्रो टीम के लिए डिज़ाइन किए गए प्ले का उपयोग करके एक नौसकी क्वार्टरबैक को सिखाने की कोशिश कर रहा है। बॉस भ्रमित हो जाता है क्योंकि वर्कर की क्षमताएं बदल गई हैं।

पिछले तरीकों ने यह अनुमान लगाकर इसे ठीक करने की कोशिश की कि वर्कर क्या कर सकता था। उन्होंने पुराने लक्ष्यों को फिर से लेबल करने के लिए एक प्रकार के "सांख्यिकीय अनुमान" का उपयोग किया। लेखक तर्क देते हैं कि यह दीवार पर दिखने वाली परछाइयों को देखकर गणित के सवाल का जवाब खोजने जैसा है—यह अप्रत्यक्ष है और अक्सर गलत होता है। वे कहते हैं, "अनुमान क्यों लगाएं जब आप सीधे पूछ सकते हैं?"

नया दृष्टिकोण: एक जादुई दर्पण

टीम का समाधान एक फ्लो-बेस्ड डीप जेनरेटिव मॉडल (FDGM) का उपयोग करना है। इसे समझने के लिए, कल्पना करें कि वर्कर केवल एक रोबोट नहीं है, बल्कि एक जादुई दर्पण है। पुराने दिनों में, यदि आप जानना चाहते थे कि वर्कर क्या सोच रहा था, तो आपको उसकी गतिविधियों को देखकर अनुमान लगाना पड़ता था। इस नए "जादुई दर्पण" के साथ, आप बस दर्पण को अंतिम परिणाम (वह क्रिया जो वर्कर ने की) दिखा सकते हैं, और दर्पण तुरंत उस छवि को पीछे की ओर पलट देगा ताकि यह दिखाया जा सके कि उस परिणाम को बनाने के लिए लक्ष्य क्या होना चाहिए था।

इसे डायरेक्ट इनवर्स ऑपरेशन कहा जाता है। अनुमान लगाने के बजाय, सिस्टम वर्कर की क्रियाओं को गणितीय रूप से उलट देता है ताकि सटीक, अपडेट किया गया लक्ष्य मिल सके। यह बॉस को वर्कर के वर्तमान, अत्यधिक कुशल स्वरूप से सीखने की अनुमति देता है, भले ही वह पुराने डेटा का उपयोग कर रहा हो। यह ऐसा है जैसे बॉस समय को तुरंत पीछे घुमा सकता है, वर्कर के नए कौशल देख सकता है, और उसी के अनुसार आदेशों को समायोजित कर सकता है।

बाधा: कठोर बॉक्स

हालाँकि, इस "जादुई दर्पण" (FDGM) का उपयोग करने में एक समस्या थी। ये मॉडल बहुत ही सख्त होते हैं। वे एक कठोर बॉक्स की तरह हैं जो केवल उन्हीं इनपुट और आउटपुट को स्वीकार करते हैं जिनका आकार बिल्कुल समान हो। यदि बॉस एक ऐसा लक्ष्य देता है जो 8 नंबर लंबा है, तो वर्कर के दर्पण को एक ऐसा एक्शन आउटपुट करना होगा जो भी 8 नंबर लंबा हो। लेकिन वास्तविक दुनिया में, बॉस के लक्ष्य और वर्कर के एक्शन अक्सर अलग-अलग आकार के होते हैं। इस कठोरता ने इस दर्पण का उपयोग जटिल AI कार्यों में करना कठिन बना दिया।

लेखकों ने हार नहीं मानी। उन्होंने एक नया आर्किटेक्चर बनाया जो एक स्मार्ट अडैप्टर की तरह काम करता है। उन्होंने वर्कर को तीन भागों में विभाजित किया:

फॉरवर्ड पार्ट: वास्तविक वर्कर जो दुनिया के साथ इंटरैक्ट करता है।
कंडीशनल पार्ट: एक अनुवादक जो बॉस के लक्ष्य और वर्तमान स्थिति को लेता है और उसे परिष्कृत करता है।
FDGM पार्ट: जादुई दर्पण जो क्रियाओं को उलटने का भारी काम करता है।

इस "अनुवादक" (कंडीशनल पार्ट) को जोड़कर, वे जानकारी को खींच या सिकोड़ सकते थे ताकि कठोर दर्पण उसे संभाल सके। इसने "कठोर बॉक्स" की समस्या को हल कर दिया, जिससे सिस्टम बिना टूटे अलग-अलग आकार के लक्ष्यों को संभालने में सक्षम हो गया।

उन्होंने क्या पाया

टीम ने अपने नए सिस्टम का परीक्षण MuJoCo Ant नामक एक वर्चुअल दुनिया में किया, जहाँ एक डिजिटल चींटी को बाधाओं से बचना, ब्लॉकों को धकेलना और सुरक्षित रूप से गिरना होता है। उन्होंने अपने "मैजिक मिरर" सिस्टम की तुलना दो अन्य प्रसिद्ध तरीकों से की: HIRO (जो पुराने अनुमान लगाने वाले तरीके का उपयोग करता है) और LSP (जो एक समान दर्पण का उपयोग करता है लेकिन कठोर बॉक्स की समस्या से जूझ रहा है)।

परिणाम उत्साहजनक थे। अधिकांश चुनौतीपूर्ण कार्यों में, उनके नए मॉडल ने अन्य तरीकों की तुलना में तेजी से सीखा और उच्च स्कोर प्राप्त किया।

Ant Push Multi और Ant Fall Multi कार्यों में, उनका मॉडल काफी आगे निकल गया, जिससे पता चला कि यह पुराने अनुमान लगाने वाले तरीकों की तुलना में बॉस और वर्कर को बहुत बेहतर तरीके से सिंक्रोनाइज़ कर सकता है।
यहाँ तक कि जब उन्होंने सिस्टम को "गैर-इष्टतम" (non-optimal) लक्ष्य आकार का उपयोग करने के लिए मजबूर किया (जिससे बॉस और वर्कर अलग-अलग "भाषाएँ" बोल रहे थे), तब भी उनका मॉडल अनुकूलित हुआ और अच्छा प्रदर्शन किया, जबकि अन्य मॉडल संघर्ष करते रहे या विफल हो गए।
उन्होंने पाया कि हालांकि सिस्टम बहुत अच्छा काम करता है, फिर भी यह "बायस्ड लॉग-डेंसिटी एस्टीमेशन" (एक तकनीकी तरीका कहने का कि दर्पण हर एक गणितीय विवरण में पूरी तरह सटीक नहीं है) के साथ एक छोटी चुनौती का सामना करता है, लेकिन यह प्रतिस्पर्धा को हराने के लिए पर्याप्त सटीक है।

निष्कर्ष

यह पेपर यह दावा नहीं करता कि इसने AI की सभी समस्याओं को हल कर दिया है। इसके बजाय, यह एक बहुत ही विशिष्ट, शक्तिशाली उपकरण प्रदान करता है: कार्यों को सीधे रिवर्स करके सटीक लक्ष्य खोजने का एक तरीका, न कि केवल अनुमान लगाने का। एक कठोर गणितीय मॉडल के चारों ओर एक लचीला अडैप्टर बनाकर, लेखकों ने दिखाया कि AI बॉस अंततः अपने वर्कर्स के पिछले गलतियों के बजाय उनके वर्तमान कौशल से सीख सकते हैं। यह ऐसे AI की दिशा में एक कदम है जो मानव टीम की तरह स्वाभाविक रूप से जटिल, बहु-चरणीय कार्यों को सीख सकता है।

तकनीकी सारांश: फ्लो-आधारित डीप जेनेरेटिव मॉडल पर आधारित इष्टतम स्तर सिंक्रोनाइज़ेशन के साथ पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning)

समस्या विवरण
पदानुक्रमित सुदृढीकरण शिक्षण (HRL) कार्यों को टेम्पोरल एब्स्ट्रैक्शन (temporal abstractions) में विभाजित करके उच्च-आयामी अवस्था/क्रिया (state/action) स्थानों और विरल पुरस्कारों (sparse rewards) की चुनौतियों का समाधान करता है। हालाँकि, HRL में एक महत्वपूर्ण बाधा विभिन्न पदानुक्रम स्तरों के बीच नीतियों को कुशलतापूर्वक प्रशिक्षित करना है, विशेष रूप से ऑफ-पॉलिसी विधियों का उपयोग करते समय। मौजूदा दृष्टिकोण, जैसे कि HIRO (Nachum et al. 2018a), ऑफ-पॉलिसी सुधार करने के लिए अप्रत्यक्ष संभाव्यता अनुमान (indirect probabilistic estimation) पर निर्भर करते हैं। इसमें वर्तमान निचले-स्तर की नीति की क्षमताओं के साथ संरेखित करने के लिए पिछले लक्ष्यों को पुन: लेबल (relabeling) करना शामिल है। शोध पत्र का तर्क है कि ये अप्रत्यक्ष विधियाँ निचले-स्तर की नीति के वर्तमान ज्ञान को सटीक रूप से पकड़ने में विफल रहती हैं, जिससे एक बेमेल स्थिति उत्पन्न होती है जो उच्च-स्तरीय नीति प्रशिक्षण की प्रभावशीलता को बाधित करती है। इसके अलावा, जबकि फ्लो-आधारित डीप जेनेरेटिव मॉडल (FDGMs) सटीक व्युत्क्रम संचालन (exact inverse operations) प्रदान करते हैं जो इस सुधार के लिए उपयुक्त हैं, वे अंतर्निहित सीमाओं से ग्रस्त हैं: सख्त इनपुट-आउटपुट आयाम प्रतिबंध (bijective transformation) और पक्षपाती लॉग-घनत्व अनुमान (biased log-density estimation) की पुरानी समस्याएँ।

कार्यप्रणाली
लेखक एक नवीन HRL आर्किटेक्चर प्रस्तावित करते हैं जो अप्रत्यक्ष अनुमान को एक फ्लो-आधारित डीप जेनेरेटिव मॉडल (FDGM) का उपयोग करके प्रत्यक्ष ऑफ-पॉलिसी सुधार (direct off-policy correction) से बदल देता है। मुख्य नवाचार एक निचला-स्तर की नीति सेट ( $\Pi$ ) है जो तीन विशिष्ट लेकिन समन्वित घटकों से बना है, जिन्हें FDGM की सीमाओं को दूर करने के लिए डिज़ाइन किया गया है:

फॉरवर्ड पार्ट ( $\mu_z$ ): इसे VAE फ्रेमवर्क के अनुरूप मॉडल किया गया है, यह घटक पर्यावरण के साथ बातचीत करके क्रियाएं उत्पन्न करता है। यह एक "ग्लोबल रिप्रेजेंटेशन" ( $a_{t,z}$ ) उत्पन्न करता है जो पर्यावरण और इनवर्स मॉडल के बीच एक निश्चित-आयामी सेतु (bridge) के रूप में कार्य करता है।
कंडीशनल पार्ट ( $\mu_{z-state}$ ): यह एक स्वतंत्र नीति के रूप में कार्य करता है (LSP में ऑब्जर्वेशन एम्बेडिंग के विपरीत), जो पर्यावरण की अवस्था ( $s_t$ ) और ग्लोबल रिप्रेजेंटेशन ( $a_{t,z}$ ) को इनपुट के रूप में लेता है। इसका आउटपुट ( $a_{t,z-state}$ ) ग्लोबल रिप्रेजेंटेशन को परिष्कृत करता है और FDGM भाग के इनपुट को अनुकूलित करने के लिए आयामों को समायोजित करता है। यह घटक FDGM को एक परिष्कृत ग्लोबल स्टेट पर कंडीशन करके पक्षपाती लॉग-घनत्व अनुमान की समस्या को कम करने के लिए महत्वपूर्ण है।
FDGM पार्ट ( $\mu_{rnvp}$ ): RealNVP पर आधारित, यह घटक व्युत्क्रमणीय रूपांतरण (invertible transformation) करता है। यह उच्च-स्तरीय लक्ष्य ( $g_t$ ) और परिष्कृत कंडीशनल इनपुट ( $a_{t,z-state}$ ) को लेकर क्रिया ( $a_{t,rnvp}$ ) उत्पन्न करता है। महत्वपूर्ण रूप से, ऑफ-पॉलिसी सुधार के दौरान, इस भाग के व्युत्क्रम ऑपरेशन ( $\mu^{-1}_{rnvp}$ ) का उपयोग एक सटीक, पुन: लेबल किए गए लक्ष्य ( $\tilde{g}_t$ ) की गणना करने के लिए किया जाता है, जो निचले-स्तर की नीति के वर्तमान आंतरिक मापदंडों को दर्शाता है।

मॉडल एक एकीकृत प्रशिक्षण योजना का उपयोग करता है जहाँ तीनों उप-नीतियों के एक्टर और क्रिटिक लॉस को सामान्य लॉस ( $L_{common}$ ) में औसत किया जाता है, जिससे स्थिर अभिसरण (stable convergence) सुनिश्चित होता है। इष्टतम लक्ष्य खोजने के लिए दो एल्गोरिदम प्रस्तावित किए गए हैं: एल्गोरिदम 1 (केवल FDGM भाग के व्युत्क्रम का उपयोग करके) और एल्गोरिदम 2 (फॉरवर्ड और कंडीशनल भागों को शामिल करते हुए), जो प्रदर्शन गति और सटीकता के बीच संतुलन बनाने की सुविधा प्रदान करते हैं।

मुख्य योगदान

प्रत्यक्ष ऑफ-पॉलिसी सुधार: यह पेपर मॉडल-फ्री HRL में ऑफ-पॉलिसी सुधार के लिए एक प्रत्यक्ष विधि पेश करता है जो सीखे गए नीति के व्युत्क्रम ऑपरेशन का उपयोग करता है, जिससे HIRO में उपयोग किए जाने वाले अप्रत्यक्ष संभाव्यता अनुमानों की आवश्यकता समाप्त हो जाती है।
नवीन इनवर्स मॉडल आर्किटेक्चर: लेखक एक विशिष्ट इनवर्स मॉडल को परिभाषित करते हैं जो लोअर-लेवल पॉलिसी को फॉरवर्ड, कंडीशनल और FDGM भागों में विभाजित करता है। यह आर्किटेक्चर विशेष रूप से उन समस्याओं को संबोधित करता है जो मानक FDGMs में निहित आयाम बेमेल (dimension mismatch) और पक्षपाती लॉग-घनत्व अनुमान से जुड़ी हैं।
लचीले लक्ष्य स्थान (Flexible Goal Spaces): पिछले FDGM-आधारित HRL दृष्टिकोणों (जैसे LSP) के विपरीत, जो इनपुट/आउटपुट आयामों को मिलाने की बायजेक्टिव आवश्यकता द्वारा बाधित हैं, प्रस्तावित मॉडल पदानुक्रम स्तरों के बीच लचीले लक्ष्य आयामों की अनुमति देता है।
अनुभवजन्य सत्यापन (Empirical Validation): मॉडल को बेंचमार्क MuJoCo Ant वातावरण (Ant Push और Ant Fall, मल्टी और सिंगल दोनों मोड में) पर HIRO और LSP के विरुद्ध मान्य किया गया है, जो सीखने की गति और अंतिम पुरस्कार सटीकता में बेहतर प्रदर्शन प्रदर्शित करता है।

प्रायोगिक परिणाम
लेखकों ने चार कार्यों पर तुलनात्मक प्रयोग किए: Ant Push Multi, Ant Fall Multi, Ant Push Single, और Ant Fall Single।

Vs. HIRO: इष्टतम लक्ष्य स्थानों वाले कार्यों में, प्रस्तावित मॉडल ने आम तौर पर HIRO से बेहतर प्रदर्शन किया, जिससे काफी तेज़ सीखने की गति (जैसे Ant Fall Single में) और उच्च अंतिम पुरस्कार प्राप्त हुआ। गैर-इष्टतम लक्ष्य स्थान परिदृश्यों (जहाँ लक्ष्य आयाम बदले गए थे) में, प्रस्तावित मॉडल ने मजबूत प्रदर्शन बनाए रखा, जबकि HIRO का प्रदर्शन कम-पुरस्कार-शेप वाले कार्यों में अधिक गिरावट दिखाता है।
Vs. LSP: प्रस्तावित मॉडल ने बेहतर लचीलापन प्रदर्शित किया। जबकि LSP एक निश्चित लक्ष्य आयाम (पर्यावरण के एक्शन स्पेस से मेल खाने वाला, जैसे 8 आयाम) तक सीमित था, प्रस्तावित मॉडल ने विभिन्न लक्ष्य आयामों (2 से 7 तक) में प्रतिस्पर्धी या बेहतर प्रदर्शन हासिल किया, जिससे सिद्ध हुआ कि लचीले लक्ष्य स्थान प्रदर्शन से समझौता नहीं करते हैं।
एब्लेशन स्टडी (Ablation Study): ग्लोबल रिप्रेजेंटेशन इनपुट को कच्चे लक्ष्य (raw goal) से बदलने वाले प्रयोगों ने दिखाया कि मूल आर्किटेक्चर (फॉरवर्ड पार्ट के आउटपुट का उपयोग करने वाला) निरंतर प्रदर्शन सुधार प्रदान करता है, जो परिष्कृत ग्लोबल रिप्रेजेंटेशन के महत्व की पुष्टि करता है।

महत्ता और दावे
पेपर का दावा है कि इसकी प्राथमिक महत्ता मॉडल-फ्री HRL में इनवर्स मॉडलिंग के लिए एक सामान्यीकरण योग्य दृष्टिकोण (generalizable approach) प्रदान करने में निहित है। एक FDGM के सटीक व्युत्क्रम ऑपरेशन का लाभ उठाकर, मॉडल बिना किसी बाहरी जानकारी या अप्रत्यक्ष अनुमानों पर निर्भर रहे "इष्टतम स्तर सिंक्रोनाइज़ेशन" प्राप्त करता है। लेखक का दावा है कि यह प्रत्यक्ष विधि मौजूदा तकनीकों की तुलना में अधिक व्यावहारिक और व्यापक रूप से लागू करने योग्य है।

यह शोध रेखांकित करता है कि हालांकि FDGMs ऐतिहासिक रूप से अपने विशिष्ट प्रतिबंधों (डाइमेंशन मैचिंग, डेंसिटी एस्टीमेशन बायस) के कारण RL में कम उपयोग किए गए हैं, प्रस्तावित आर्किटेक्चर इन समस्याओं को सफलतापूर्वक कम करता है। लेखक निष्कर्ष निकालते हैं कि उनका कार्य RL में व्युत्क्रम ऑपरेशंस के लिए जेनेरेटिव मॉडल के उपयोग की व्यवहार्यता को प्रदर्शित करता है, जो भविष्य के अनुसंधान के लिए एक मार्ग सुझाता है ताकि ऐसे मॉडलों को पारंपरिक पूर्णतः जुड़े हुए न्यूरल नेटवर्क (fully connected neural networks) से आगे बढ़कर एटोमिक RL और नॉन-मार्कोवियन वातावरण में शामिल किया जा सके।

बॉस, वर्कर और जादुई दर्पण

नया दृष्टिकोण: एक जादुई दर्पण

बाधा: कठोर बॉक्स

उन्होंने क्या पाया

निष्कर्ष

इसी तरह के और पेपर