Exploiting Local Dynamics Regularity for Reusable Skills in Offline Hierarchical RL

तकनीकी सारांश: पुन: प्रयोज्य कौशल के लिए स्थानीय गतिकी नियमितता का दोहन (Exploiting Local Dynamics Regularity for Reusable Skills in Offline Hierarchical RL)

समस्या विवरण (Problem Statement)

पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning - HRL) का लक्ष्य समय-विस्तारित कौशलों (temporally extended skills) की खोज और पुन: उपयोग करके दीर्घ-क्षितिज (long-horizon) कार्यों को हल करना है। हालाँकि, एक निरंतर चुनौती ऐसे कौशल प्राप्त करना है जो विभिन्न संदर्भों में वास्तव में पुन: प्रयोज्य (reusable) हों। मौजूदा दृष्टिकोण अक्सर कौशल और नीतियों को सह-सीखने (co-learning) के दौरान अस्थिरता से ग्रस्त होते हैं, या वे वास्तविक पुन: प्रयोज्यता का प्रभावी ढंग से लाभ उठाने में विफल रहते हैं। जबकि लक्ष्य-सशर्त (goal-conditioned) नीतियां प्रशिक्षण को अलग कर देती हैं, वे अक्सर उस टेम्पोरल एब्स्ट्रैक्शन और निरंतर पुन: प्रयोज्यता को खो देती हैं जो वास्तविक कौशलों में निहित होती है। विशेष रूप से, वैश्विक अवस्था-लक्ष्य (global state-goal) स्थान में सीधे तर्क करने से निम्न-स्तरीय नीतियों के लिए यह पहचानना कठिन हो जाता है कि कब एक ही व्यवहार को विभिन्न वैश्विक संदर्भों में पुन: उपयोग किया जा सकता है।

कार्यप्रणाली (Methodology)

लेखक CARL (Contrastive Action-based Representations for Reusable Local Control) प्रस्तावित करते हैं, जो एक विधि है जिसे पुन: प्रयोज्य स्थानीय गतिकी (local dynamics) के प्रतिनिधित्व सीखने के लिए डिज़ाइन किया गया है ताकि कौशल पुन: उपयोग को सुगम बनाया जा सके।

सैद्धांतिक आधार: स्थानीय गतिकी और बिसिम्यूलेशन (Local Dynamics and Bisimulation)

मुख्य अंतर्ज्ञान स्थानीय गतिकी (local dynamics) है: स्थानिक क्षेत्र (state space) के कई स्थानीय क्षेत्र समान गतिकी साझा करते हैं, जिसका अर्थ है कि विभिन्न वैश्विक संदर्भों में स्थानीय संक्रमणों (transitions) के लिए समान क्रिया अनुक्रमों (action sequences) की आवश्यकता होती है।

• k-ball MDP: लेखक एक अवस्था $s$ पर आधारित एक परिमित-क्षितिज MDP (k-ball) को परिभाषित करके स्थानीय गतिकी को औपचारिक रूप देते हैं, जिसमें $k$ चरणों के भीतर पहुँचने वाली सभी अवस्थाएँ शामिल हैं।
• गतिकी बिसिमिलरिटी (Dynamics Bisimilarity): दो अवस्थाओं को तब समान स्थानीय गतिकी वाला माना जाता है जब उनकी संबंधित k-ball MDPs dynamics-bisimilar होती हैं। इसका अर्थ है कि एक ऐसा संबंध मौजूद है जहाँ समान क्रिया अनुक्रमों के तहत संक्रमण प्रायिकताएँ (transition probabilities) तुल्य होती हैं, जिससे अवस्थाओं को लघु-क्षितिज लक्ष्य-प्राप्ति व्यवहारों के लिए विनिमेय (interchangeable) माना जा सकता है।

व्यावहारिक एल्गोरिदम: CARL

उच्च-आयामी निरंतर डोमेन में बिसिम्यूलेशन का सीधा अनुमान लगाना अव्यवहारिक है। इसके बजाय, CARL व्यवहार संबंधी समानता (behavioral similarity) को एक ह्यूरिस्टिक के रूप में उपयोग करता है। परिकल्पना यह है कि निकट-विशेषज्ञ (near-expert) ऑफलाइन डेटासेट में, अवस्था-लक्ष्य युग्म $(s_1, g_1)$ और $(s_2, g_2)$ जो एक ही $k$-चरण क्रिया अनुक्रम $a_k$ को स्वीकार करते हैं, व्यवहारिक रूप से समान हैं।

CARL एक कंट्रास्टिव लर्निंग ऑब्जेक्टिव (InfoNCE) का उपयोग करके अवस्था-लक्ष्य युग्मों $\phi(s, g)$ और क्रिया अनुक्रमों $\psi(a_k)$ के लिए एम्बेडिंग सीखता है:
$$\mathcal{L}_{InfoNCE} = -\frac{1}{B} \sum_{i=1}^B \log \frac{\exp(\langle \phi(s_i, g_i^k), \psi(a_i^k) \rangle / \tau)}{\sum_{j=1}^B \exp(\langle \phi(s_i, g_i^k), \psi(a_j^k) \rangle / \tau)}$$
यह ऑब्जेक्टिव अवस्था-लक्ष्य युग्मों को उन क्रिया अनुक्रमों के साथ संरेखित करता है जो उन्हें प्राप्त करते हैं। फलस्वरूप, जिन अवस्था-लक्ष्य युग्मों को समान स्थानीय कौशल की आवश्यकता होती है, उन्हें लेटेंट स्पेस में पास रखा जाता है, चाहे उनका वैश्विक स्थान कुछ भी हो।

HRL के साथ एकीकरण (Integration with HRL)

CARL को मौजूदा पदानुक्रमित ऑफलाइन RL एल्गोरिदम, विशेष रूप से HIQL और HGCBC में एकीकृत किया गया है।

• सीखा गया प्रतिनिधित्व $\phi(s, g)$ निम्न-स्तरीय नीति और वैल्यू फंक्शन के लिए इनपुट के रूप में उपयोग किया जाता है।
• उच्च-स्तरीय नीति इस सीखे गए प्रतिनिधित्व स्थान में उप-लक्ष्य (subgoals) आउटपुट करती है।
• यह निम्न-स्तरीय नीति को प्रत्येक क्षेत्र के लिए शून्य से नीति पुनः सीखने के बिना, विभिन्न वैश्विक संदर्भों में एक ही कौशल (क्रिया अनुक्रम) को पुन: उपयोग करने की अनुमति देता है।

मुख्य योगदान (Key Contributions)

1. स्थानीय गतिकी का औपचारिकीकरण: यह पेपर दीर्घ-क्षितिज निर्णय लेने के बजाय स्थानीय गतिकी (k-ball MDPs और बिसिम्यूलेशन के माध्यम से) के आधार पर अवस्था समानता को परिभाषित करता है, जो कौशल पुन: उपयोग के लिए एक सिद्धांत आधारित आधार प्रदान करता है।
2. CARL एल्गोरिदम: एक व्यावहारिक कंट्रास्टिव लर्निंग फ्रेमवर्क जो ऑफलाइन डेटा से स्थानीय गतिकी संरचना का अनुमान लगाता है, जिससे अवस्था-लक्ष्य युग्मों को उनके आवश्यक क्रिया अनुक्रमों द्वारा क्लस्टर किया जाता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि CARL को HIQL और HGCBC में एकीकृत करने से विविध कार्यों (लोकोमोशन, मैनिपुलेशन और जटिल पहेलियों) और मोडैलिटीज (स्टेट-बेस्ड और पिक्सेल-बेस्ड) में OGBench बेंचमार्क पर प्रदर्शन में महत्वपूर्ण सुधार होता है।
4. प्रतिनिधित्व संरचना का विश्लेषण: विज़ुअलाइज़ेशन (UMAP) और निकटतम-पड़ोसी विश्लेषण पुष्टि करते हैं कि CARL सफलतापूर्वक उन अलग-अलग वैश्विक अवस्थाओं को क्लस्टर करता है जिन्हें समान स्थानीय व्यवहारों (जैसे, अलग-अलग भूलभुलैया स्थानों में "पीछे की ओर चलना") की आवश्यकता होती है।

परिणाम (Results)

पेपर OGBench सुइट पर व्यापक प्रयोग रिपोर्ट करता है:

• स्टेट-बेस्ड टास्क: HIQL+CARL ने मानक HIQL के विरुद्ध 20/22 की जीत दर हासिल की, जिसमें "giant maze" (सीन कार्यों पर +30%) और "cube" मैनिपुलेशन कार्यों जैसे जटिल वातावरणों में महत्वपूर्ण सुधार हुआ। HGCBC+CARL ने HGCBC के विरुद्ध 21/21 प्राप्त किया।
• पिक्सेल-बेस्ड टास्क: विजुअल वातावरण में, HIQL+CARL ने HIQL के विरुद्ध 13/14 जीत हासिल की, जिसमें बड़े/विशाल वेरिएंट (जैसे, +30% पर लोंग-होरिजन एंटमेज़) वाले कार्यों में उल्लेखनीय लाभ हुआ।
• एब्लेशन अध्ययन (Ablation Studies):
  • कंट्रास्टिव बनाम प्रेडिक्शन: कंट्रास्टिव ऑब्जेक्टिव (InfoNCE) ने प्रत्यक्ष रिग्रेशन (प्रेडिक्शन) लॉस की तुलना में बेहतर प्रदर्शन किया, जो बताता है कि यह कौशल पुन: उपयोग के लिए लेटेंट ज्योमेट्री को व्यवस्थित करने में अधिक प्रभावी है।
  • एक्शन सीक्वेंस बनाम सिंगल एक्शन: पूर्ण क्रिया अनुक्रमों ($a_k$) को मॉडल करना एकल क्रियाओं की तुलना में बेहतर था, जो टेम्पोरल स्ट्रक्चर के महत्व की पुष्टि करता है।
  • सैंपलिंग: "इंटरियर सैंपलिंग" (k-स्टेप होराइजन के भीतर मध्यवर्ती अवस्थाओं का उपयोग करना) ने "सरफेस सैंपलिंग" (केवल एंडपॉइंट का उपयोग करना) की तुलना में बेहतर प्रदर्शन किया।
• मजबूती (Robustness): CARL+HIQL ने बेसलाइन HIQL के समान डेटा कवरेज और असंतुलन के प्रति संवेदनशीलता दिखाई, जो इंगित करता है कि CARL डेटा आवश्यकताओं को बढ़ाता नहीं है।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि स्थानीय गतिकी संरचना कौशल निष्कर्षण और पुन: उपयोग के लिए एक सिद्धांत आधारित आधार प्रदान करती है, जो HRL को दीर्घ-क्षितिज निर्णय लेने के केंद्र में स्थित टेम्पोरल एब्स्ट्रैक्शन के साथ फिर से जोड़ने में मदद करती है। ऐसे एम्बेडिंग सीखकर जो अवस्था-लक्ष्य युग्मों को उनके द्वारा समर्थित लघु-क्षितिज व्यवहारों के अनुसार क्लस्टर करते हैं, CARL कौशल पुन: उपयोग के लिए एक ठोस तंत्र प्रदान करता है जो मौजूदा पदानुक्रमित RL फ्रेमवर्क में प्रदर्शन को बेहतर बनाता है।

यह पेपर इस बात पर जोर देता है कि यह दृष्टिकोण उच्च-स्तरीय नीतियों को निम्न-स्तरीय कौशलों के बारे में अधिक प्रभावी ढंग से तर्क करने में सक्षम बनाता है, जिससे विभिन्न वैश्विक संदर्भों (जैसे, एक भूलभुलैया के विभिन्न हिस्सों में मानवॉइड का खड़ा होना) में व्यवहारों को स्थानांतरित करना संभव होता है। हालांकि यह विधि ऑफलाइन डेटासेट और निश्चित होराइजन पर निर्भर करती है, परिणाम बताते हैं कि स्थानीय पुन: प्रयोज्यता को स्पष्ट रूप से मॉडल करना प्रदर्शन लाभों को अनलॉक करता है, विशेष रूप से जटिल, उच्च-आयामी रोबोटिक्स डोमेन में जहाँ प्रत्येक संदर्भ के लिए निम्न-स्तरीय नीतियों को फिर से सीखना अक्षम है।

यह कार्य अपनी सीमाओं के प्रति विनम्र है, यह नोट करते हुए कि निष्कर्षण होराइजन $k$ का चयन पर्यावरण-निर्भर है और कुछ कार्यों (जैसे, स्टोकेस्टिक गतिकी या अत्यधिक कॉम्बिनेटरियल जनरलाइजेशन वाले कार्यों) पर प्रदर्शन चुनौतीपूर्ण बना हुआ है। भविष्य के कार्य के रूप में ऑटोमैटिक स्किल डिस्कवरी, एक्शन एब्स्ट्रैक्शन और हाई-लेवल पॉलिसी रिप्रेजेंटेशन की खोज करने का सुझाव दिया गया है।