तकनीकी सारांश: नमूना-कुशल पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning) के लिए वृद्धिशील ज्ञान (Incremental Knowledge) के साथ न्यूरोसिम्बोलिक तर्क

1. समस्या विवरण

डीप रिइन्फोर्समेंट लर्निंग (DRL) एजेंट उन वातावरणों में संघर्ष करते हैं जो विरल पुरस्कारों (sparse rewards) और लंबी अवधि के तर्क (long-horizon reasoning) द्वारा चिह्नित होते हैं, और अक्सर अत्यधिक नमूना जटिलता (sample complexity) से ग्रस्त होते हैं। जबकि पदानुक्रमित सुदृढीकरण शिक्षण (HRL) कार्यों को विभिन्न अमूर्त स्तरों पर विभाजित करके इस समस्या को कम करता है, मानक दृष्टिकोण आमतौर पर गैर-वृद्धिशील ज्ञान (non-incremental knowledge - non-InK) प्रतिमानों पर निर्भर करते हैं। इन विधियों में, जैसे कि SoRB और RGL, उच्च-स्तरीय प्रतीकात्मक योजनाकार (high-level symbolic planner) को किसी भी लक्ष्य-निर्देशित व्यवहार को शुरू करने से पहले एक पूर्ण, स्थिर अमूर्त विश्व मॉडल (abstract world model) का निर्माण करने के लिए व्यापक अन्वेषण की आवश्यकता होती है। यह एक मौलिक अक्षमता पैदा करता है: एजेंट को विशिष्ट लक्ष्य के बावजूद पूरे वातावरण का अन्वेषण करना पड़ता है।

इसके अलावा, न्यूरोसिम्बोलिक HRL में, उच्च-स्तरीय प्रतीकात्मक योजनाकार और निम्न-स्तरीय तंत्रिका नियंत्रक (low-level neural controller) के बीच एक अर्थ संबंधी अंतर (semantic gap) मौजूद हो सकता है। उच्च-स्तरीय योजनाकार मानता है कि कुछ क्रियाएं व्यवहार्य हैं, लेकिन निम्न-स्तरीय तंत्रिका नीति (जो अक्सर स्वतंत्र रूप से या अलग वातावरण में प्रशिक्षित होती है) गतिशील बाधाओं, स्टोकेस्टिसिटी या अनमॉडल बाधाओं के कारण उन्हें निष्पादित करने में विफल हो सकती है। मौजूदा न्यूरोसिंबोलिक दृष्टिकोणों में निम्न-स्तरीय निष्पादन फीडबैक के आधार पर उच्च-स्तरीय विश्व मॉडल को अपडेट करने के तंत्रों का अभाव है। इसके विपरीत, रोबोटिक्स में शास्त्रीय वृद्धिशील ज्ञान (InK) दृष्टिकोण (जैसे, Active SLAM, D*) दुनिया के मॉडल को निष्पादन के दौरान अपडेट करते हैं, लेकिन वे आमतौर पर दोनों स्तरों पर प्रतीकात्मक घटकों को मानते हैं, जिससे वे तंत्रिका निम्न-स्तरीय नियंत्रकों की नीति-निर्भर गतिशीलता को संबोधित करने में विफल रहते हैं।

अंत में, जब संरचनात्मक पूर्व ज्ञान (structural prior knowledge) मौजूद होता है (जैसे, "एक अज्ञात स्थान पर ठीक एक दीवार है"), तो वर्तमान नियोजन एल्गोरिदम जैसे D* या बेयसियन एडेप्टिव MDP सॉल्वर (BAMCP) उप-इष्टतम होते हैं। D* वर्तमान अवलोकनों के आधार पर पुन: योजना बनाता है लेकिन औसत-मामले के प्रदर्शन को अनुकूलित करने के लिए संभावित दुनिया के सेट (belief set) की अनदेखी करता है। BAMCP अवस्था-क्रिया संक्रमणों के बीच स्वतंत्रता मानता है, जो उन संरचनात्मक बाधाओं को पकड़ने में विफल रहता है जहाँ एक बाधा का स्थान दूसरों की संभावनाओं को सीमित करता है।

2. कार्यप्रणाली

लेखक InK के साथ न्यूरोसिम्बोलिक HRL का प्रस्ताव करते हैं, जो एक ढांचा है जो निष्पादन ट्रेसेस (execution traces) के आधार पर विश्व मॉडल को निरंतर अपडेट करते हुए प्रतीकात्मक नियोजन को तंत्रिका नियंत्रण के साथ एकीकृत करता है।

2.1 InK के साथ न्यूरोसिम्बोलिक HRL

यह ढांचा दो-स्तरीय पदानुक्रम का उपयोग करता है:

• उच्च-स्तरीय (प्रतीकात्मक): एक अपडेट करने योग्य अमूर्त विश्व मॉडल ($M$) बनाए रखता है जो वातावरण को प्रतीकात्मक अवस्थाओं और क्रियाओं के सेट के रूप में दर्शाता है। यह सबगोल (subgoals) उत्पन्न करने के लिए एक वृद्धिशील योजनाकार (जैसे, D*) का उपयोग करके नियोजन करता है। महत्वपूर्ण रूप से, यह मॉडल निम्न-स्तरीय निष्पादन से प्राप्त फीडबैक के आधार पर वास्तविक समय में अपडेट किया जाता है।
• निम्न-स्तरीय (तंत्रिका): एक लक्ष्य-सशर्त तंत्रिका नीति ($\pi_l$) उच्च-स्तरीय द्वारा प्रदान किए गए सबगोल तक पहुँचने के लिए निरंतर गति नियंत्रण निष्पादित करती है। यह एक सेंसर के रूप में कार्य करता है; इसकी सफलता और विफलताएं वे निष्पादन ट्रेसेस ($\rho$) प्रदान करती हैं जो उच्च-स्तरीय मॉडल को अपडेट करने के लिए आवश्यक हैं।
• समन्वय: उच्च-स्तरीय योजनाकार निम्न-स्तरीय एजेंट को एक सबगोल की ओर निर्देशित करता है। यदि निम्न-स्तरीय एजेंट विफल हो जाता है (जैसे, अप्रत्याशित दीवार से टकरा जाता है), तो मॉनिटर इसे पहचान लेता है, और उच्च-स्तरीय मॉडल को नए प्रतिबंध को दर्शाने के लिए अपडेट किया जाता है। योजनाकार फिर से योजना बनाता है। यह पूर्ववर्ती व्यापक अन्वेषण की आवश्यकता को समाप्त करता है, जिससे पहले एपिसोड से ही लक्ष्य-निर्देशित व्यवहार संभव होता है।

2.2 बिलीफ वर्ल्ड ट्री सर्च (BWTS)

उन सीमाओं को संबोधित करने के लिए जो मानक वृद्धिशील योजनाकारों (जैसे, D*) की हैं जो संभावित दुनियाओं ($W_0$) के सेट पर संरचनात्मक पूर्व ज्ञान का लाभ नहीं उठाते हैं, लेखक बिलीफ वर्ल्ड ट्री सर्च (BWTS) पेश करते हैं।

• समस्या सूत्रीकरण: एजेंट एक वास्तविक दुनिया $W_{true} \in W_0$ में कार्य करता है, जहाँ $W_0$ संभावित दुनियाओं का एक परिमित सेट है जो संरचनात्मक पूर्व ज्ञान को एनकोड करता है (जैसे, "एक दीवार मौजूद है, स्थान अज्ञात")। लक्ष्य एक ऐसी नीति $\pi$ खोजना है जो $W_0$ में सभी दुनियाओं पर औसत लागत को कम करे।
• वृक्ष संरचना: BWTS दो प्रकार के नोड्स के साथ एक खोज वृक्ष बनाता है:
  • निर्णय नोड्स (Decision Nodes): एजेंट के क्रिया चयन का प्रतिनिधित्व करते हैं।
  • चांस नोड्स (Chance Nodes): एक क्रिया के परिणाम (जैसे, क्या रास्ता दीवार द्वारा अवरुद्ध है या नहीं) का प्रतिनिधित्व करते हैं, जो विश्वास सेट $W$ को उप-समूहों ($W^-$ जहाँ दीवार मौजूद है, $W^+$ जहाँ वह नहीं है) में विभाजित करता है।
• रणनीतिक रोलआउट (Strategic Rollouts): मानक मोंटे कार्लो ट्री सर्च (MCTS) के विपरीत, जो रैंडम रोलआउट का उपयोग करता है, BWTS वर्तमान विश्वास सेट में सभी दुनियाओं में निश्चित, नियतात्मक रणनीतियों (जैसे, "बाएं स्वाइप करें," "दाएं स्वाइप करें," "लक्ष्य की ओर बढ़ें") का मूल्यांकन करने के लिए रणनीतिक रोलआउट का उपयोग करता है। यह विचरण (variance) को कम करता है और स्टोकेस्टिक रोलआउट में सामान्य लूपों से बचता है।
• चयन और विस्तार: एल्गोरिदम अन्वेषण और शोषण (exploration and exploitation) को संतुलित करने के लिए एक अपर कॉन्फिडेंस बाउंड (UCB) शैली के फॉर्मूले का उपयोग करता है। यह उन शाखाओं को प्राथमिकता देता है जिनमें बड़े विश्वास सेट होते हैं, क्योंकि उन्हें अनिश्चितता को हल करने के लिए अधिक अन्वेषण की आवश्यकता होती है।
• अभिसरण (Convergence): सैद्धांतिक रूप से, यदि वृक्ष पूरी तरह से विस्तारित है, तो BWTS बढ़ते इटरेशन के साथ InK समस्या के लिए इष्टतम नीति की ओर अभिसरित होता है।

3. मुख्य योगदान

1. InK के साथ न्यूरोसिम्बोलिक HRL: एक ऐसे पदानुक्रमित ढांचे का प्रस्ताव जहाँ एक उच्च-स्तरीय प्रतीकात्मक योजनाकार एक अपडेट करने योग्य विश्व मॉडल बनाए रखता है जो एक निम्न-स्तरीय तंत्रिका नियंत्रक द्वारा निर्देशित होता है। यह दृष्टिकोण निम्न-स्तरीय निष्पादन फीडबैक का उपयोग करके उच्च-स्तरीय अमूर्तता को परिष्कृत करके अर्थ संबंधी अंतर को पाटता है, जिससे बिना किसी पूर्व व्यापक अन्वेषण के नमूना-कुशल शिक्षण सक्षम होता है।
2. बिलीफ वर्ल्ड ट्री सर्च (BWTS): एक नियोजन एल्गोरिदम का विकास जो संभावित दुनियाओं के सेट पर औसत-मामले के प्रदर्शन के लिए अनुकूलित होता है जिसमें संरचनात्मक निर्भरताएं होती हैं। BWTS ने MCTS को अनुकूलित किया है ताकि यह संरचनात्मक पूर्व ज्ञान के साथ पूर्णतः दृश्यमान लेकिन अज्ञात गतिशीलता को संभाल सके, जो BAMCP की स्वतंत्रता धारणाओं और D* की विश्वास-सेट उपयोग की कमी को दूर करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न नेविगेशन कार्यों में, जिसमें उच्च-आयामी निरंतर नियंत्रण (Ant-Maze) शामिल है, नमूना दक्षता में InK के श्रेष्ठ प्रदर्शन का प्रदर्शन।

4. प्रयोगात्मक परिणाम

लेखकों ने पॉइंट-मेज़ वातावरण (Four Rooms, Medium Maze, Hard Maze) और एक उच्च-आयामी Ant-Maze U-Room का उपयोग करके नेविगेशन कार्यों पर अपने दृष्टिकोण का मूल्यांकन किया।

• InK बनाम Non-InK (RGL):

  • नमूना दक्षता (Sample Efficiency): InK को शून्य से लक्ष्य तक पहुँचने के लिए (कोई पूर्व ज्ञान नहीं) RGL की तुलना में 30 से 100 गुना कम नमूनों की आवश्यकता थी। उदाहरण के लिए, हार्ड मेज़ में, InK ने ~17,456 चरणों के मुकाबले RGL के ~209 चरणों में लक्ष्य प्राप्त किया।
  • प्रशिक्षण दक्षता: यहाँ तक कि जब RGL अपना व्यापक प्रशिक्षण चरण (100k+ नमूने) पूरा कर चुका था, तब भी InK (अपने ज्ञान आधार बनाने के लिए केवल 75 लक्ष्य प्राप्त करने के बाद) अधिक कुशल रहा, जिसे 18% कम नमूनों और प्रति लक्ष्य 20x कम समय की आवश्यकता थी।
  • उच्च-आयामी नियंत्रण: Ant-Maze (29 आयाम) में, InK ने ~1,500 चरणों (D* का उपयोग करके) या ~1,134 चरणों (BWTS का उपयोग करके) में लक्ष्य प्राप्त किया, जबकि गैर-InK बेसलाइन को एक पूर्ण अमूर्त मॉडल बनाने के लिए ~10,000 चरणों की आवश्यकता थी।

• प्रतीकात्मक योजनाकार तुलना (D बनाम BWTS बनाम BAMCP):*

  • BWTS बनाम D:* संरचनात्मक पूर्व ज्ञान (जैसे, एक क्षैतिज दीवार) वाले सिंथेटिक ग्रिड वर्ल्ड में, BWTS ने क्षैतिज दीवार परिदृश्यों में D* पर कम अपेक्षित लागत (उदाहरण के लिए, 15.7% सुधार) प्राप्त की, क्योंकि इसने बैकट्रैकिंग से बचने के लिए विश्वास सेट का लाभ उठाया। हालांकि, स्पष्ट संरचनात्मक लाभों के बिना जटिल परिदृश्यों में, BWTS का रनटाइम ओवरहेड मामूली लाभ के लिए महत्वपूर्ण था।
  • BWTS बनाम BAMCP: BAMCP खराब प्रदर्शन करता था (अक्सर D*'s ~24 चरणों के मुकाबले >28 चरण), और अपने स्टोकेस्टिक रोलआउट और संरचनात्मक निर्भरताओं को मॉडल करने की अक्षमता के कारण अस्थिर था। BWTS के रणनीतिक रोलआउट और स्पष्ट संरचनात्मक बाधाओं के मॉडलिंग ने बेहतर प्रदर्शन दिया।
  • पूर्व ज्ञान: जब पूर्व ज्ञान उपलब्ध था (जैसे, तीन ज्ञात मेज़ प्रकारों का सेट), तो InK-BWTS ने InK-D* की तुलना में नमूना गणना को आधा कर दिया, हालांकि इसने नियोजन चरण के दौरान उच्च कम्प्यूटेशनल रनटाइम लिया।

5. महत्व और दावे

यह पेपर दावा करता है कि Neurosymbolic HRL with InK जटिल, विरल-पुरस्कार वाले वातावरणों में नमूना-कुशल शिक्षण के लिए एक व्यावहारिक दृष्टिकोण प्रदान करता है। प्रतीकात्मक योजनाकारों के संरचनात्मक तर्क को तंत्रिका नियंत्रकों की अनुकूलन क्षमता के साथ जोड़कर, यह ढांचा एजेंटों को आंशिक ज्ञान के साथ कार्य करने और नई जानकारी प्राप्त करने के साथ अपने निर्णयों को परिष्कृत करने की अनुमति देता है, जो मानव तर्क की नकल करता है।

लेखक इस बात पर जोर देते हैं कि:

• नमूना दक्षता: यह दृष्टिकोण पॉइंट मेज़ वातावरण में अत्याधुनिक गैर-InK विधियों की तुलना में 100,000 से अधिक पर्यावरण चरणों से अधिक लाभ प्रदान करता है।
• अनिश्चितता के तहत इष्टतमता: BWTS विश्वास दुनियाओं पर औसत के लिए इष्टतम रूप से योजना बनाने का एक तरीका प्रदान करता है, जो उन अंतराल को संबोधित करता है जो या तो वृद्धिशील पुन: योजनाकारों (जो पूर्व ज्ञान की अनदेखी करते हैं) या बेयसियन योजनाकारों (जो स्वतंत्रता मानते हैं) द्वारा छोड़े गए हैं।
• बहुमुखी प्रतिभा: यह ढांचा कम-आयामी और उच्च-आयामी निरंतर नियंत्रण समस्याओं दोनों के लिए लागू करने योग्य है, बशर्ते एक लक्ष्य-सशर्त निम्न-स्तरीय नीति को प्री-ट्रेन या सीखा जा सके।

कार्य यह निष्कर्ष निकालता है कि हालांकि BWTS कम्प्यूटेशनल ओवरहेड पेश करता है, लेकिन जब संरचनात्मक पूर्व ज्ञान उपलब्ध होता है तो यह ट्रेड-ऑफ उचित है, और InK ढांचा स्वयं पारंपरिक HRL की तुलना में बिना किसी पूर्व ज्ञान के भी पर्याप्त दक्षता लाभ प्रदान करता है। भविष्य के कार्य के रूप में इसे हेरफेर (manipulation) कार्यों तक विस्तारित करने और संरचनात्मक एवं संभाव्य पूर्व ज्ञान को एक एकल एल्गोरिदम में एकीकृत करने का सुझाव दिया गया है।