तकनीकी सारांश: HERAKLES – ओपन-एंडेड LLM एजेंट्स के लिए पदानुक्रमित कौशल संकलन (Hierarchical Skill Compilation)

समस्या विवरण (Problem Statement)

यह शोध पत्र आंशिक रूप से दृश्य (partially observable) वातावरण में, जहाँ पुरस्कार विरल (sparse rewards) होते हैं और लक्ष्य स्थान (goal spaces) विशाल एवं संरचित होते हैं, ओपन-एंडेड लर्निंग की चुनौती को संबोधित करता है। जबकि हालिया फाउंडेशन मॉडल्स ने स्थिर कार्यों (static tasks) पर मानव-स्तर का प्रदर्शन हासिल किया है, वे जटिलता के निरंतर विकास (lifelong growth in complexity) में संघर्ष करते हैं क्योंकि वे निश्चित डेटासेट्स पर निर्भर होते हैं। इसके विपरीत, मनुष्य सरल उप-कौशलों (subskills) को आंतरिक रूप से आत्मसात करके जटिल कार्यों को विघटित करने के माध्यम से निरंतर विविध कौशल प्राप्त करते हैं।

वर्तमान ओपन-एंडेड एजेंट दृष्टिकोण (जैसे, Voyager, AutotneicLLM) अक्सर लक्ष्य जटिलता के संयोजन विस्फोट (combinatorial explosion) का सामना करते हैं। जैसे-जैसे एजेंट अधिक जटिल लक्ष्यों का सामना करते हैं, प्रत्येक नए लक्ष्य को अलग से मास्टर करने के लिए आवश्यक समय तेजी से बढ़ता है, जिससे सीखने की प्रगति रुक जाती है। मौजूदा पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning - HRL) विधियाँ अक्सर पूर्व-निर्धारित कौशल सेट या पूर्व-प्रशिक्षित नीतियों पर निर्भर करती हैं, जो वास्तव में ओपन-एंडेड एजेंटों के साथ असंगत हैं जिन्हें विशेषज्ञ हस्तक्षेप के बिना स्वायत्त रूप से अपने कौशल भंडार को खोजने और विस्तारित करने की आवश्यकता होती है।

मूल समस्या यह है कि एजेंट को कैसे निरंतर अनुकूलित (continuously adapt) करने में सक्षम बनाया जाए ताकि वह स्थिर डेटासेट्स या विशेषज्ञ-परिभाषित प्रिमिटिव्स (primitives) पर निर्भर रहे बिना, पहले से मास्टर किए गए व्यवहारों से नए कौशल कुशलतापूर्वक संयोजित कर सके।

कार्यप्रणाली (Methodology): HERAKLES

लेखक HERERAKLES (HiERarchicAl sKill compiLation for open Ended llm agentS) प्रस्तावित करते हैं, जो एक पदानुक्रमित एजेंट है जो एक उच्च-स्तरीय नीति (high-level policy) और एक निम्न-स्तरीय नियंत्रक (low-level controller) को संयुक्त रूप से सीखता है। यह प्रणाली इस धारणा पर कार्य करती है कि लक्ष्य स्थान में पूर्व-आवश्यकता संबंध (prerequisite relations) मौजूद हैं, जिससे कार्यों को उप-लक्ष्यों (subgoals) में विभाजित किया जा सके।

आर्किटेक्चर (Architecture)

एजेंट दो समवर्ती (concurrently) प्रशिक्षित नीतियों से बना है:

1. उच्च-स्तरीय नीति ($\pi_{HL}$): इसे एक लार्ज लैंग्वेज मॉडल (LLM) (विशेष रूप से LoRA एडेप्टर के साथ Mistral 7B) के रूप में लागू किया गया है। यह एक प्लानर और एक्सप्लोरर के रूप में कार्य करता है, जो अवलोकनों और कार्य लक्ष्यों से प्राप्त पाठ्य संकेतों (textual prompts) के आधार पर उप-लक्ष्यों का चयन करता है। यह "कॉल करने योग्य" (callable) विकल्पों के एक प्रतिबंधित सेट पर कार्य करता है—अर्थात वे उप-लक्ष्य जिन्हें निम्न-स्तरीय नीति विश्वसनीय रूप से प्राप्त करने का अनुमान लगाया गया है।
2. निम्न-स्तरीय नीति ($\pi_{LL}$): एक हल्का, गणनात्मक रूप से कुशल न्यूरल नेटवर्क (ResNet-आधारित) जो प्रिमिटिव क्रियाओं को निष्पादित करता है। इसे सीधे लक्ष्यों को हल करने और सफल प्रक्षेप पथों (trajectories) को पुन: प्रयोज्य कौशलों में संकलित (compile) करने के लिए प्रशिक्षित किया जाता है।

मुख्य तंत्र (Key Mechanisms)

• पदानुक्रमित संकलन (Hierarchical Compilation): जब पदानुक्रमित एजेंट एक लक्ष्य $g$ को सफलतापूर्वक हल करता है, तो प्रिमिटिव क्रियाओं के पूर्ण प्रक्षेप पथ को $\pi_{LL}$ में "संकलित" कर दिया जाता है। एक बार मास्टर होने के बाद, $\pi_{LL}$ इस $g$ को एक एकल कौशल के रूप में सीधे निष्पादित कर सकता है। $\pi_{HL}$ फिर अधिक जटिल लक्ष्यों के लिए एक प्रिमिटिव के रूप में इस नए कौशल को कॉल कर सकता है, जिससे उच्च-स्तरीय योजना के लिए सिग्नल-टू-नॉइज़ अनुपात प्रभावी रूप से कम हो जाता है।
• अनुकूली उप-लक्ष्य फ़िल्टरिंग (Adaptive Subgoal Filtering): $\pi_{HL}$ को अप्राप्य उप-लक्ष्यों का चयन करने से रोकने के लिए, एक क्षमता अनुमानक (competency estimator) ($C_\theta$) लक्ष्य स्थान को फ़िल्टर करता है। निम्न-स्तरीय प्रक्षेप पथों पर प्रशिक्षित यह अनुमानक, वर्तमान अवस्था से एक विशिष्ट लक्ष्य प्राप्त करने की संभावना की भविष्यवाणी करता है। $\pi_{HL}$ केवल उन्हीं लक्ष्यों से नमूने लेता है जिनमें उच्च अनुमानित सफलता की संभावना होती है, जिससे स्थिर शिक्षण सुनिश्चित होता है।
• द्वि-स्तरीय अनुकूलन (Bilevel Optimization): इस प्रणाली को एक स्टैकेलवर्ग संरचना (Stackelberg structure) के साथ एक द्वि-स्तरीय समस्या के रूप में फ्रेम किया गया है। $\pi_{HL}$ उन अवस्थाओं और उप-लक्ष्यों के वितरण को आकार देता है जिन्हें $\pi_{LL}$ देखता है, जबकि $\pi_{LL}$ का निष्पादन उच्च-स्तरीय विघटन की इष्टतमता निर्धारित करता है। दोनों नीतियों को एक साथ प्रशिक्षित किया जाता है:
  • $\pi_{HL}$ को उच्च-स्तरीय निर्णय प्रक्षेप पथों पर ऑन-पॉलिसी RL (POAD) के माध्यम से प्रशिक्षित किया जाता है।
  • $\pi_{LL}$ को दो प्रकार के डेटा का उपयोग करके ऑफ-पॉलिसी RL (AWR) के माध्यम से प्रशिक्षित किया जाता है: पूर्ण पदानुक्रमित रोलआउट (कौशल संकलन के लिए) और उप-लक्ष्य खंड (कौशल सुदृढीकरण के लिए)।

प्रशिक्षण गतिशीलता (Training Dynamics)

प्रशिक्षण प्रक्रिया एक स्वचालित पाठ्यक्रम (automatic curriculum) का पालन करती है। प्रारंभ में, $\pi_{LL}$ केवल परमाणु क्रियाओं (atomic actions) को मास्टर करता है। जैसे-जैसे यह लक्ष्यों को मास्टर करता है, उन्हें इसके भंडार में जोड़ा जाता है। इसके बाद $\pi_{HL}$ इन मास्टर किए गए लक्ष्यों को अधिक जटिल उद्देश्यों को हल करने के लिए बिल्डिंग ब्लॉक्स के रूप में उपयोग करता है। यह एक फीडबैक लूप बनाता है जहाँ निम्न-स्तरीय नीति की बढ़ती क्षमता उच्च-स्तरीय नीति के प्रभावी एक्शन स्पेस का विस्तार करती है।

मुख्य योगदान (Key Contributions)

1. संयुक्त शिक्षण ढांचा (Joint Learning Framework): एक ओपन-एंडेड एजेंटों के लिए एक विधि जो बिना किसी पूर्व-निर्दिष्ट कौशल या व्यापक प्री-ट्रेनिंग के, एक LLM-आधारित उच्च-स्तरीय नीति और एक निम्न-स्तरीय नियंत्रक को संयुक्त रूप से प्रशिक्षित करती है।
2. गतिशील कौशल संकलन (Dynamic Skill Compilation): एक तंत्र जहाँ सफल व्यवहारों को स्वचालित रूप से निम्न-स्तरीय नीति में संकलित किया जाता है, जिससे एजेंट की क्षमता बढ़ने के साथ स्केलेबल स्किल कंपोजिशन संभव होता है।
3. अनुकूली फ़िल्टरिंग (Adaptive Filtering): एक क्षमता-आधारित फ़िल्टरिंग तंत्र जो उच्च-स्तरीय नीति के खोज स्थान को अप्राप्य उप-लक्ष्यों तक सीमित करता है, जिससे जटिल, ओपन-एंडेड वातावरण में शिक्षण स्थिर होता है।
4. भाषा-संरचित अमूर्तीकरण (Language-Structured Abstraction): लक्ष्य स्थान को परिभाषित करने और लक्ष्यों के बीच पूर्व-आवश्यकता श्रृंखलाओं (prerequisite chains) की खोज को सुगम बनाने के लिए प्राकृतिक भाषा के संयोजन गुणों का लाभ उठाना।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Crafter वातावरण में किया गया, जो एक प्रक्रियात्मक रूप से उत्पन्न 2D दुनिया है जिसमें आर्टिफैक्ट संग्रह और क्राफ्टिंग के लिए 17 लक्ष्यों का एक अचीवमेंट ट्री है।

• नमूना दक्षता (Sample Efficiency): HERAKLES ने दीर्घकालिक रूप से बेसलाइन (POAD, FUN, BOSS) को पछाड़ दिया। हालांकि बेसलाइन शुरू में तेजी से प्रगति करते थे, लेकिन वे आसान लक्ष्यों को मास्टर करने के बाद स्थिर (plateau) हो गए। HERAKLES ने क्रमिक, निरंतर सुधार दिखाया क्योंकि अधिक लक्ष्यों को $\pi_{LL}$ में संकलित किया गया, जिससे अंततः जटिल लक्ष्यों (जैसे, "मेक स्टोन पिकएक्स") तक पहुँचा जा सका जिन्हें बेसलाइन खोजने में विफल रहे।
• सामान्यीकरण (Generalization): HERAKLES ने बेसलाइन की तुलना में अनदेखे लक्ष्यों के प्रति बेहतर सामान्यीकरण प्रदर्शित किया:
  • संयोजन संबंधी सामान्यीकरण (Compositional Generalization): इसने ज्ञात कार्यों को दोहराने वाले लक्ष्यों (जैसे, "कलेक्ट 4 वुड्स" बनाम "कलेक्ट वुड") पर उच्च सफलता दर बनाए रखी, जबकि बेसलाइन काफी हद तक विफल रहे।
  • समानार्थी लक्ष्य (Synonymous Goals): इसने समानार्थी क्रियाओं को प्रभावी ढंग से संभाला।
  • प्रक्षेप पथ-समान लक्ष्य (Trajectory-Similar Goals): इसने समान पूर्व-आवश्यकता संरचना वाले अनदेखे लक्ष्यों (जैसे, "मेक वुड पिकएक्स" सीखने के बाद "मेक वुड स्वॉर्ड") के लिए कौशलों को सफलतापूर्वक स्थानांतरित किया।
• कौशल विस्तार (Skill Expansion): प्रशिक्षण के दौरान $\pi_{HL}$ द्वारा कॉल किए जाने वाले निम्न-स्तरीय कौशलों की संख्या लगातार बढ़ी, जो एजेंट की एक पुन: प्रयोज्य कौशल लाइब्रेरी बनाने की क्षमता की पुष्टि करती है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि HERAKLES ऑटोटेलिक एजेंटों (autotelic agents) के लिए एक व्यवहार्य मार्ग प्रदान करता है जो आजीवन सीखने में सक्षम हैं। LLM की तर्क और संयोजन क्षमताओं को विशेष निम्न-स्तरीय नियंत्रकों की निष्पादन दक्षता के साथ जोड़कर, यह प्रणाली उस "जटिलता बाधा" (complexity barrier) को पार करती है जो ओपन-एंडेड लर्निंग को रोक देती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

• विशेषज्ञ-परिभाषित कौशलों या पूर्व-प्रशिक्षित नीतियों पर निर्भर नहीं है।
• संयोजन संबंधी सामान्यीकरण (compositional generalization) को सक्षम करता है क्योंकि यह मास्टर किए गए लक्ष्यों को भविष्य के शिक्षण के लिए प्रिमिटिव के रूप में मानता है।
• ओपन-एंडेड सेटिंग्स में नमूना दक्षता (sample efficiency) में सुधार करता है क्योंकि यह पिछले शिक्षण को पुन: प्रयोज्य कौशलों में समाहित (amortize) कर देता है।

यह कार्य आर्टिफिशियल जनरल इंटेलिजेंस (AGI) की दिशा में एक कदम के रूप में प्रस्तुत किया गया है, जो विशेष रूप रूप से उन एजेंटों की आवश्यकता को संबोधित करता है जो अपनी क्षमताओं को निरंतर विस्तारित करने के लिए अपने स्वयं के लक्ष्यों को स्वायत्त रूप से उत्पन्न, चुन और उन पर प्रशिक्षण ले सकें। लेखक सीमाओं को भी स्वीकार करते हैं, जैसे कि वर्तमान में टेक्स्टुअल लक्ष्यों पर निर्भरता (जो विजन-लैंग्वेज मॉडल्स के साथ भविष्य के कार्य का सुझाव देती है) और आवधिक पुन: प्रशिक्षण की कम्प्यूटेशनल लागत, लेकिन वे इस पद्धति को पूरी तरह से स्वायत्त, ओपन-एंडेड एजेंटों के लिए एक मौलिक कदम के रूप में स्थापित करते हैं।