🤖 machine learning

Disentangled Unsupervised Skill Discovery for Efficient Hierarchical Reinforcement Learning

यह शोध पत्र डिसेंटैंगल्ड अनसुपरवाइज्ड स्किल डिस्कवरी (DUSDi) का प्रस्ताव करता है, जो एक म्यूचुअल-इन्फॉर्मेशन-आधारित ऑब्जेक्टिव और वैल्यू फैक्टराइजेशन के माध्यम से पुन: प्रयोज्य, फैक्टर-विशिष्ट कौशल सीखने की एक नवीन विधि है, जो डाउनस्ट्रीम पदानुक्रमित सुदृढीकरण शिक्षण (hierarchical reinforcement learning) कार्यों को कुशलतापूर्वक हल करने में मौजूदा दृष्टिकोणों से काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Jiaheng Hu, Zizhao Wang, Peter Stone, Roberto Martín-Martín

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiaheng Hu, Zizhao Wang, Peter Stone, Roberto Martín-Martín

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। पुराने तरीके में, आप रोबोट को एक एकल "कौशल डायल" (skill dial) देते। यदि रोबोट उस डायल को ऊपर घुमाता, तो कार की गति बढ़ जाती, वह बाईं ओर मुड़ जाती और एक ही समय में अपनी हेडलाइट्स भी चमका देती। यदि आप चाहते कि रोबोट केवल हेडलाइट्स जला दे बिना गति या दिशा बदले, तो यह एक दुस्वप्न बन जाता। रोबोट को अनुमान लगाना पड़ता, "अगर मैं डायल को थोड़ा सा घुमाता हूँ, तो शायद लाइट जल जाए लेकिन कार स्थिर रहे?" यह एक कठपुतली को नियंत्रित करने जैसा है जहाँ एक धागा खींचने से पूरा शरीर उछल पड़ता है। शोधकर्ता इसे "एंटैंगल्ड" (entangled) कौशल कहते हैं, और यह पेपर तर्क देता है कि यह नए कार्यों को सीखना अविश्वसनीय रूप से कठिन और धीमा बना देता है।

यहाँ आता है DUSDi (डिसेन्टैंगल्ड अनसुपरवाइज्ड स्किल डिस्कवरी), एक नई विधि जो एक मास्टर कठपुतली संचालक की तरह है जिसके पास हर एक गतिविधि के लिए अलग बटन वाला रिमोट कंट्रोल है। एक बड़े डायल के बजाय, DUSDi रोबोट को "स्वतंत्र कौशल बटनों" का एक सेट देता है। एक बटन केवल गति को नियंत्रित करता है, दूसरा केवल स्टीयरिंग को, और तीसरा केवल हेडलाइट्स को। रोबोट इन बटनों को बिना किसी शिक्षक या पुरस्कार के, बस दुनिया का पता लगाकर (exploring) सीखता है।

पेपर का मुख्य निष्कर्ष यह है कि जब आप रोबोट को ये अलग-अलग, "डिसेन्टैंगल्ड" बटन सिखाते हैं, तो वह बाद में नए कार्यों को सीखने में जीनियस बन जाता है। कंप्यूटर सिमुलेशन की एक श्रृंखला में—एक साधारण 2D शूटर गेम से लेकर एक जटिल 3D रोबोट जो घर में नेविगेट कर रहा है तक—DUSDi ने इन कारकों को स्वतंत्र रूप से नियंत्रित करना सीखा। जब शोधकर्ताओं ने फिर रोबोट को विशिष्ट चुनौतियाँ हल करने के लिए कहा (जैसे "लाल क्षेत्र की ओर ड्राइव करें" या "टीवी चालू करें"), तो DUSDi के अलग बटनों का उपयोग करने वाला रोबोट पुराने "एंटैंगल्ड" डायल वाले रोबोट की तुलना में बहुत तेज़ी से सीखता और बेहतर प्रदर्शन करता।

यह पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि जटिल कार्यों के लिए एक एकल, अव्यवस्थित कौशल चर (skill variable) पर्याप्त है। यह दिखाता है कि जब आप रोबोट को ऐसे कौशल सीखने के लिए मजबूर करते हैं जहाँ एक बदलाव एक साथ सब कुछ बदल देता है, तो रोबोट भ्रमित हो जाता है और नए लक्ष्यों के लिए इन कौशलों को कैसे संयोजित किया जाए, यह समझने में संघर्ष करता है। उन्होंने इसे चार अलग-अलग वातावरणों में 13 विभिन्न डाउनस्ट्रीम कार्यों के माध्यम से मापकर देखा। उन जटिल दुनियाओं में जहाँ रोबोट को एक साथ कई चीजों को संभालना था (जैसे 10 अलग-अलग एजेंटों को नियंत्रित करना या एक अस्त-व्यस्त कमरे में रोबोटिक हाथ को नियंत्रित करना), पुराने तरीके अक्सर विफल हो गए या बहुत धीरे सीखे, जबकि DUSDi ने लगातार उन्हें पछाड़ दिया।

एक शानदार ट्रिक जिसका उपयोग पेपर में किया गया है, वह है "म्युचुअल इंफॉर्मेशन" (mutual information) नामक एक गणितीय "स्कोरकार्ड"। इसे एक खेल की तरह समझें जहाँ रोबोट को अंक मिलते हैं यदि वह एक विशिष्ट बटन (जैसे "गति" बटन) से गति बदलता है, लेकिन उसे नकारात्मक अंक मिलते हैं यदि वही बटन गलती से स्टीयरिंग या लाइट को बदल देता है। रोबोट अपने स्कोर को अधिकतम करने के लिए सीखता है ताकि वह अपने कौशलों को पूरी तरह से अलग रख सके। इस सीखने की प्रक्रिया को तेज़ और कम अस्थिर बनाने के लिए, शोधकर्ताओं ने रोबोट के "वैल्यू" (मूल्य) गणना को छोटे टुकड़ों में तोड़ दिया, जो प्रत्येक बटन के लिए एक अलग हिस्सा था, न कि पूरे अव्यवस्थित मिश्रण के मूल्य का अनुमान लगाने की कोशिश की। इसने रोबोट को अपने अलग कौशलों को अधिक स्थिरता से सीखने में मदद की, विशेष रूप से बड़े और अधिक जटिल सिमुलेशन में।

पेपर ने यह भी परीक्षण किया कि क्या यह तब काम करता है जब रोबोट केवल कैमरा (पिक्सेल) के माध्यम से "देख" सकता है, बजाय इसके कि वह दुनिया के सटीक नंबरों को जानता हो। एक विशेष इमेज-रीडिंग टूल का उपयोग करके, DUSDi अभी भी इन अलग-अलग कौशलों को सीखने और कार्यों को हल करने में सक्षम था, जबकि अन्य विधियाँ केवल छवियों के साथ शुरू भी नहीं हो पाई थीं।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह विधि इस बात पर निर्भर करती है कि रोबोट के पास दुनिया का "फैक्टर्ड" (factored) दृश्य हो—अर्थात, उसे दुनिया को अलग-अलग हिस्सों (जैसे गति, दिशा और लाइट) के रूप में देखने में सक्षम होना चाहिए, न कि केवल एक धुंधले धब्बे के रूप में। हालाँकि उन्होंने दिखाया है कि यह छवियों के साथ काम कर सकता है क्योंकि वे पहले उन हिस्सों को निकाल लेते हैं, लेकिन वे सुझाव देते हैं कि बहुत ही अव्यवस्थित, वास्तविक दुनिया के वातावरण के लिए जहाँ रोबोट आसानी से कारकों को अलग नहीं कर सकता, इस विधि को मदद की आवश्यकता हो सकती है। लेकिन उनके द्वारा परीक्षण किए गए सिम्युलेटेड दुनिया में, परिणाम स्पष्ट थे: रोबोट को एक एकल, उलझे हुए डायल के बजाय स्वतंत्र, डिसेन्टैंगल्ड कौशल का एक सेट देना, उसे वास्तविक दुनिया के लिए तैयार करने का एक बहुत बेहतर तरीका है।

तकनीकी सारांश: कुशल पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning) के लिए विसंयोजित अनसुपरवाइज्ड स्किल डिस्कवरी (DUSDi)

समस्या विवरण (Problem Statement)

जबकि अनसुपरवाइज्ड स्किल डिस्कवरी (unsupervised skill discovery), रिवॉर्ड-मुक्त व्यवहारों को सीखने के माध्यम से सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की नमूना दक्षता (sample efficiency) में सुधार करने का लक्ष्य रखती है, मौजूदा विधियाँ एक गंभीर सीमा से ग्रस्त हैं: एंटैंगलमेंट (entanglement/उलझाव)। वर्तमान दृष्टिकोणों (जैसे, DIAYN) में, एक एकल स्किल वेरिएबल $z$ आमतौर पर स्टेट स्पेस के कई आयामों (dimensions) को एक साथ प्रभावित करता है। यह एंटैंगलमेंट एजेंटों के लिए कौशल को पुनर्संयोजित (recombine) करना अत्यंत कठिन बना देता है, विशेष रूप से जटिल डोमेन में जिनमें स्वतंत्र संस्थाओं के समवर्ती नियंत्रण (concurrent control) की आवश्यकता होती है (जैसे, एक रोबोट जो गति, स्टीयरिंग और हेडलाइट्स को एक साथ नियंत्रित करता है)। मनुष्य स्वाभाविक रूप से "विसंयोजित" (disentangled) क्षमताओं को रखते हैं, जो स्वतंत्र कारकों को एक साथ समायोजित कर सकते हैं; कृत्रिम एजेंटों में वर्तमान में शुद्ध अनसुपरवाइज्ड इंटरेक्शन से ऐसे मॉड्यूलर, कंपोजिशनल कौशल सीखने के लिए तंत्र का अभाव है।

कार्यप्रणाली: DUSDi

लेखक डिसेन्टैंगल्ड अनसुपरवाइज्ड स्किल डिस्कवरी (DUSDi) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जिसे ऐसे कौशल सीखने के लिए डिज़ाइन किया गया है जहाँ प्रत्येक घटक ठीक एक स्टेट फैक्टर को प्रभावित करता है।

1. फैक्टर्ड स्टेट और स्किल स्पेस (Factored State and Skill Space)

DUSDi एक फैक्टर्ड मार्कोव डिसीजन प्रोसेस (f-MDP) के भीतर कार्य करता है जहाँ स्टेट स्पेस $S$ को $N$ स्वतंत्र कारकों में विभाजित किया गया है: $S = S_1 \times \dots \times S_N$ ।

स्किल फैक्टराइजेशन: स्किल वेरिएबल $z$ को $N$ स्वतंत्र घटकों में विभाजित किया जाता है: $z = (z_1, \dots, z_N)$ , जहाँ $z_i$ उस स्किल घटक के अनुरूप है जिसका उद्देश्य स्टेट फैक्टर $S_i$ को नियंत्रित करना है।
लक्ष्य: एक ऐसी पॉलिसी $\pi(a|s, z)$ सीखना जो ऐसी हो कि $z_i$ , $S_i$ को प्रभावित करे जबकि अन्य कारकों $S_{\neg i}$ को न्यूनतम रूप से प्रभावित करे।

2. लर्निंग ऑब्जेक्टिव: म्यूचुअल इंफॉर्मेशन के साथ एंटैंगलमेंट पेनल्टी

विसंयोजन (disentanglement) को लागू करने के लिए, DUSDi म्यूचुअल इंफॉर्मेशन (MI) पर आधारित एक नवीन ऑब्जेक्टिव फंक्शन का अनुकूलन करता है। प्रत्येक घटक $z_i$ और उसके लक्षित फैक्टर $S_i$ के लिए, एजेंट निम्नलिखित कार्य करता है:

स्किल घटक और उसके लक्षित फैक्टर के बीच MI को अधिकतम (Maximize) करना: $I(S_i; Z_i)$ ।
स्किल घटक और सभी अन्य कारकों के बीच MI को न्यूनतम (Minimize) करना: $I(S_{\neg i}; Z_i)$ ।

औपचारिक ऑब्जेक्टिव है:
$J(\theta) = \sum_{i=1}^{N} I(S_i; Z_i) - \lambda I(S_{\neg i}; Z_i)$
जहाँ $\lambda \in [0, 1)$ एक हाइपरपैरामीटर है जो एसोसिएशन रिवॉर्ड और एंटैंगलमेंट पेनल्टी के बीच संतुलन बनाता है। लेखकों ने प्रयोगों में $\lambda = 0.1$ सेट किया है, यह स्वीकार करते हुए कि स्टेट फैक्टर्स के बीच अंतर्निहित डायनेमिकल डिपेंडेंसी के कारण कुछ अपरिहार्य सहसंबंध (correlation) आवश्यक हो सकते हैं।

3. वेरिएशनल इन्फरेंस और Q-डिकंपोजिशन के माध्यम से ऑप्टिमाइजेशन

ऑब्जेक्टिव को सीधे अधिकतम करना कठिन है। DUSDi दो प्रमुख तकनीकी नवाचारों का उपयोग करता है:

वेरिएशनल लोअर बाउंड (Variational Lower Bound): MI टर्म्स को वेरिएशनल डिस्ट्रीब्यूशन (जो न्यूरल डिस्क्रिमिनेटर्स $q_\phi$ और $q_\psi$ के रूप में कार्यान्वित हैं) का उपयोग करके अनुमानित किया जाता है। इंट्रिन्सिक रिवॉर्ड $r_z$ को इस प्रकार प्राप्त किया जाता है:
$r_z(s, a) = \sum_{i=1}^{N} [\log q_\phi^i(z_i|s_i) - \lambda \log q_\psi^i(z_i|s_{\neg i})]$
Q-फंक्शन डिकंपोजिशन: $2N$ रिवॉर्ड टर्म्स के योग के कारण होने वाले उच्च वेरिएंस और क्रेडिट असाइनमेंट मुद्दों को संबोधित करने के लिए, DUSDi ग्लोबल Q-फंक्शन को $N$ अलग-अलग, विसंयोजित Q-फंक्शन्स ( $Q_i$ ) में विभाजित करता है। प्रत्येक $Q_i$ को केवल उस विशिष्ट रिवॉर्ड टर्म $r_i$ का उपयोग करके अपडेट किया जाता है जो घटक $z_i$ से जुड़ा है। ग्लोबल क्रिटिक को इन घटकों को जोड़कर पुनः प्राप्त किया जाता है: $Q_\pi = \sum Q_i$ । यह कई स्टेट फैक्टर्स वाले वातावरण में लर्निंग को काफी स्थिर बनाता है।

4. डाउनस्ट्रीम टास्क लर्निंग

एक बार कौशल सीख लिए जाने के बाद, वे पदानुक्रमित RL (HRL) सेटिंग में एक फ्रोजन लो-लेवल पॉलिसी के रूप में कार्य करते हैं। एक हाई-लेवल पॉलिसी $\pi_{high}$ , टास्क रिवॉर्ड को अधिकतम करने के लिए $L$ स्टेप्स के क्षितिज (horizon) के लिए स्किल वेक्टर $z$ का चयन करती है। स्किल स्पेस की संरचित, विसंयोजित प्रकृति कुशल अन्वेषण (exploration) को सक्षम करती है और कॉज़ल पॉलिसी ग्रेडिएंट (CPG) को लागू करने की अनुमति देती है यदि स्किल कॉम्पोनेंट्स और रिवॉर्ड टर्म्स के बीच कॉज़ल डिपेंडेंसी ज्ञात हो।

मुख्य योगदान (Key Contributions)

विसंयोजित स्किल फ्रेमवर्क: DUSDi का परिचय, जो स्पष्ट रूप से स्किल्स को घटकों में विभाजित करता है जो एक-से-एक (one-to-one) तरीके से स्टेट फैक्टर्स के साथ मैप होते हैं, जिससे समवर्ती और स्वतंत्र नियंत्रण सक्षम होता है।
नवीन ऑब्जेक्टिव: एक म्यूचुअल-इंफॉर्मेशन-आधारित ऑब्जेक्टिव जो एक साथ स्किल-फैक्टर एसोसिएशन को प्रोत्साहित करता है और क्रॉस-फैक्टर प्रभाव को दंडित (penalize) करता है।
एल्गोरिद्मिक दक्षता: उच्च-आयामी स्टेट स्पेस में जटिल, मल्टी-टर्म इंट्रिन्सिक रिवॉर्ड को कुशलतापूर्वक अनुकूलित करने के लिए Q-फंक्शन डिकंपोजिशन का प्रस्ताव, जो वेरिएंस को कम करता है और कन्वर्जेंस में सुधार करता है।
अनुभवजन्य सत्यापन (Empirical Validation): चार डोमेन में DUSDi का प्रदर्शन: 2D Gunner, Multi-Particle (multi-agent), iGibson (रोबोटिक्स), और DMC Walker।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार डोमेन में DUSDi का मूल्यांकन किया: 2D Gunner, Multi-Particle (multi-agent), iGibson (robotics), और DMC Walker।

विसंजन (Disentanglement): DUSDi ने सभी वातावरणों में DIAYN-MC की तुलना में काफी उच्च डिसेंटैंगलमेंट और कम्पलीटनेस स्कोर (DCI मेट्रिक) प्राप्त किया।
स्किल लर्निंग दक्षता: दिखाया गया कि जटिल डोमेन (Multi-Particle, iGibson) तक स्केल करने के लिए Q-डिकंपोजिशन महत्वपूर्ण है, जो स्किल कॉम्पोनेंट्स के प्रेडिक्शन एक्यूरेसी में स्टैंडर्ड Q-नेटवर्क्स से बेहतर प्रदर्शन करता है।
डाउनस्ट्रीम प्रदर्शन: समन्वित नियंत्रण (coordinated control) की आवश्यकता वाले डाउनस्ट्रीम कार्यों में (जैसे, मल्टी-एजेंट पार्टिकल इंटरेक्शन, हाउसहोल्ड रोबोट मैनिपुलेशन), DUSДи सभी बेसलाइन्स की तुलना में तेजी से कन्वर्ज हुआ और उच्च रिटर्न प्राप्त किया। सरल कार्यों (DMC Walker) में, प्रदर्शन बेसलाइन्स के तुलनीय था, क्योंकि जब कार्यों के लिए समवर्ती स्वतंत्र नियंत्रण की आवश्यकता नहीं होती है, तो विसंजन का लाभ कम स्पष्ट होता है।
इमेज ऑब्जर्वेशन: ऑब्जेक्ट-सेंट्रिक रिप्रेजेंटेशन लर्निंग को एकीकृत करके DUSDi को इमेज-आधारित ऑब्जर्वेशन तक सफलतापूर्वक विस्तारित किया गया, जिससे स्टेट-बेस्ड लर्निंग के समान प्रदर्शन बनाए रखा गया।
नमूना दक्षता (Sample Efficiency): डाउनस्ट्रीम लर्निंग में सैंपल एफिशिएंसी को और बेहतर बनाने के लिए स्ट्रक्चर्ड स्किल स्पेस का उपयोग करते हुए Causal Policy Gradient का लाभ उठाया गया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि DUSDi एक ऐसा तंत्र प्रदान करता है जिससे कृत्रिम एजेंट विसंयोजित स्किल कॉम्पोनेंट्स सीख सकते हैं जो मानव-समान मॉड्यूलर नियंत्रण की नकल करते हैं। प्राथमिक महत्व पदानुक्रमित RL के माध्यम से जटिल डाउनस्ट्रीम कार्यों के लिए इन कौशलों को कुशलतापूर्वक पुन: उपयोग करने की क्षमता में निहित है।

लेखक तर्क देते हैं कि जबकि मौजूदा अनसुवरवाइज्ड मेथड्स एंटैंगल्ड स्किल्स सीखते हैं जो डाउनस्ट्रीम पुनर्संयोजन में बाधा डालते हैं, DUSDi का स्ट्रक्चर्ड स्किल स्पेस कुशल अन्वेषण और उन डोमेन में बेहतर प्रदर्शन की गारंटी देता है जहाँ कार्यों के लिए कई स्वतंत्र स्टेट फैक्टर्स के समवर्ती हेरफेर की आवश्यकता होती है। कार्य यह सुझाव देता है कि DUSDi के स्किल स्पेस की संरचित प्रकृति लर्निंग दक्षता को और बढ़ाने के लिए डोमेन नॉलेज (जैसे, Causal Policy Gradient के माध्यम से) इंजेक्ट करने के नए रास्ते खोलती है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि विधि वर्तमान में फैक्टर्ड स्टेट स्पेस तक पहुंच मानती है (हालांकि उन्होंने इमेज से इसे निकालने का प्रदर्शन किया है) और स्किल लर्निंग चरण के दौरान अन्वेषण क्षमता अंतर्निहित ऑप्टिमाइजेशन एल्गोरिदम (वर्तमान में DIAYN-आधारित) पर निर्भर है। वे सुझाव देते हैं कि भविष्य का कार्य इन सिद्धांतों को अन्य स्किल डिस्कवरी प्रतिमानों (paradigms) तक विस्तारित कर सकता है।