तकनीकी सारांश: SkillMAS

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वर्तमान लार्ज लैंग्वेज मॉडल (LLM) एजेंट प्रणालियों की एक महत्वपूर्ण सीमा को संबोधित करता है: कौशल विकास (skill evolution) और मल्टी-एजेंट सिस्टम (MAS) पुनर्गठन (restructuring) के बीच अनुकूलन अलगाव (adaptation decoupling)।

मौजूदा दृष्टिकोण आमतौर पर इन दोनों अनुकूलन लक्ष्यों को अलग-अलग समस्याओं के रूप में देखते हैं। कार्यों का एक समूह पुन: प्रयोज्य कौशल विकसित करने या प्रक्षेपवक्र (trajectory) के पाठों को संकलित करने पर ध्यान केंद्रित करता है, लेकिन साथ ही निष्पादक सीमाओं (executor boundaries) को समायोजित नहीं करता। दूसरा कार्य MAS संगठन (एजेंट उत्पन्न करना, भूमिकाओं को अपडेट करना, या टोपोलॉजी चुनना) पर ध्यान केंद्रित करता है, लेकिन गतिशील रूप से अंतर्निहित कौशल पुस्तकालय (skill library) को परिष्कृत नहीं करता है। लेखक तर्क देते हैं कि यह अलगाव तीन आवर्ती विफलता मोड (failure modes) पैदा करता है:

1. अनावश्यक साक्ष्य (Redundant Evidence): यदि संदर्भ (context) को ठीक से प्रबंधित नहीं किया जाता है, तो सत्यापित निष्पादन प्रक्षेपवक्र (verified execution traces) कौशल विकास के लिए कम मूल्यवान साक्ष्य पेश कर सकते हैं।
2. रूटिंग ओवरलोड (Routing Overload): कौशल विकास MAS संगठन को रूट और बनाए रखने में कठिन बना सकता है, जिससे संदर्भ का दबाव और गलत विशेषज्ञता (mis-specialization) हो सकती है।
3. संरचनात्मक अंतराल (Structural Lag): निश्चित MAS संगठन बदलते कार्य संरचनाओं या रनटाइम जटिलता के पीछे छूट सकते हैं, जिससे वे बाधा बन जाते हैं, भले ही कौशल में सुधार हुआ हो।

साझा साक्ष्य सतह (shared evidence surface) के बिना, सिस्टम यह निर्धारित नहीं कर सकता है कि अगला आवश्यक हस्तक्षेप कौशल विकास है, MAS पुनर्गठन है, या कोई परिवर्तन नहीं है।

2. कार्यप्रणाली: SkillMAS

SkillMAS एक गैर-पैरामीट्रिक फ्रेमवर्क (non-parametric framework) है जिसे एक साझा सत्यापित-प्रक्षेपवक्र साक्ष्य सतह (verified-trace evidence surface) का उपयोग करके कौशल विकास को MAS पुनर्गठन के साथ जोड़ने के लिए डिज़ाइन किया गया है। यह अंतर्निहित भाषा मॉडलों को पुनः प्रशिक्षित नहीं करता है। इसके बजाय, यह डिस्क्रीट अनुकूलन राउंड (discrete adaptation rounds) में कार्य करता है जहाँ सिस्टम एपिसोड निष्पादित करता है, उपयोगिता सीखता है, और सीमित अपडेट लागू करता है।

2.1 मुख्य घटक

फ्रेमवर्क एक राउंड स्टेट $X_r$ बनाए रखता है जिसमें कौशल पुस्तकालय ($L_r$), निष्पादक सेट ($A_r$), कौशल उपयोगिता ($Q^s_r$), निष्पादक उपयोगिता ($Q^a_r$), एक सत्यापन पूल ($P_r$), और एक नीति-व्युत्पन्न विशेषज्ञ सूचकांक ($K_r$) शामिल है।

A. उपयोगिता सीखना (Utility Learning)

SkillMAS केवल रिट्रीवल (retrieval) के आधार पर नहीं, बल्कि सख्ती से सत्यापित निष्पादन प्रक्षेपवक्रों (verified execution traces) के आधार पर क्रेडिट असाइन करता है।

• कौशल उपयोगिता ($Q^s$): केवल उन कौशलों के लिए अपडेट किया जाता है जो स्पष्ट रूप से निष्पादक-स्थानीय ट्रेस स्लाइस द्वारा समर्थित या आह्वान (invoked) किए गए हैं।
• निष्पादक उपयोगिता ($Q^a$): केवल उन निष्पादकों के लिए अपडेट किया जाता है जिन्होंने सत्यापित निष्पादन में भाग लिया है।
• तंत्र: सिस्टम मोंटे कार्लो क्रेडिट-असाइनमेंट नियम का उपयोग करता है। एक कौशल को क्रेडिट तभी दिया जाता है जब ट्रेस उसके उपयोग की पुष्टि करता है (guard-and-step pattern match)। यह केवल रिट्रीव किए गए लेकिन उपयोग न किए गए कौशलों को सकारात्मक क्रेडिट देने से रोकता है। विशिष्ट प्रविष्टि के लिए पिछले सत्यापित अपडेट की संख्या के आधार पर अपडेट दर स्वतः कम (decay) होती जाती है।

B. सीमित कौशल विकास (Bounded Skill Evolution)

रिटेंड साक्ष्य (जो बार-बार होने वाली विफलताओं, 'नियर मिस' और पुन: प्रयोज्य सफलताओं के लिए फ़िल्टर किए गए हैं) कौशल पुस्तकालय में सीमित संपादन को संचालित करते हैं।

• निदान क्षमता (Diagnosability): एक विफलता प्रक्षेपवक्र को एक प्रमुख कारण (जैसे, लुप्त पूर्व शर्त, गलत क्रम) के साथ मैप किया जाता है।
• सीमित अपडेट: सिस्टम केवल तभी स्थानीय मरम्मत का प्रस्ताव देता है जब कारण विशिष्ट रूप से पहचानने योग्य हो। अनुमत कार्यों में add-guard, reorder-step, tighten-retrieval, या split-skill शामिल हैं।
• बाधाएं: अनियंत्रित वृद्धि से बचने के लिए प्रस्तावों को मौजूदा पुस्तकालय के विरुद्ध समेकित किया जाता है। नए या भारी संशोधित कौशलों को पर्याप्त उपयोग साक्ष्य एकत्र होने तक एक सत्यापन पूल ($P_r$) में रखा जाता है।

C. साक्ष्य-गेटेड MAS पुनर्गठन (Evidence-Gated MAS Restructuring)

MAS पुनर्गठन (निष्पादकों को जोड़ना, विलय करना या संशोधित करना) केवल तभी होता है जब रिटेंड विफलताओं और निष्पादक उपयोगिता एक संरचनात्मक बेमेल (structural mismatch) का संकेत देते हैं।

• ट्रिगर: पुनर्गठन को साक्ष्यों द्वारा गेट किया जाता है जैसे कि समान निष्पादकों के बीच उच्च अनिश्चितता, कौशल मरम्मत के बाद एक कार्य परिवार में केंद्रित बार-बार होने वाली विफलताएं, या व्यापक निष्पादक जो परस्पर हस्तक्षेप करने वाले कौशल क्लस्टर के स्वामी हों।
• कार्रवाई: सिस्टम जिम्मेदारी की सीमाओं को keep, add, merge/remove, या modify कर सकता है।
• बाधा: प्रति राउंड अधिकतम एक पुनर्गठन संपादन लागू किया जाता है, और यह रिटेंड साक्ष्य सेट द्वारा सख्ती से न्यायसंगत होता है।

3. मुख्य योगदान

यह शोध पत्र तीन प्राथमिक योगदान देता है:

1. समस्या का औपचारिककरण: यह अनुकूलन अलगाव (adaptation decoupling) को पोस्ट-डिप्लॉयमेंट विशेषज्ञता में एक सिस्टम-स्तरीय समस्या के रूप में पहचानता और औपचारिक रूप देता है, यह तर्क देते हुए कि कौशल विकास और MAS संगठन को संयुक्त रूप से अनुकूलित किया जाना चाहिए।
2. SkillMAS फ्रेमवर्क: यह एक गैर-पैरामीट्रिक स्कैफोल्ड पेश करता है जो उपयोगिता लर्निंग, सीमित कौशल विकास और साक्ष्य-गेटेड MAS पुनर्गठन को एक एकल सत्यापित-प्रक्षेपवक्र साक्ष्य सतह के तहत एकीकृत करता है।
3. अनुभवजन्य मूल्यांकन (Empirical Evaluation): यह तीन अलग-अलग डोमेन में इस स्कैफोल्ड का मूल्यांकन करता है: एम्बोडीड मैनिपुलेशन (ALFWorld), कमांड-लाइन OS वर्कफ़्लो (Lifelong Agent Bench), और रिटेल-सर्विस इंटरेक्शन ($\tau$-Bench)।

4. प्रयोगात्मक परिणाम

लेखकों ने SkillMAS का मूल्यांकन Direct LLM, ReAct, CDMem, और Traj-Bootstrap सहित बेसलाइनों के विरुद्ध किया।

• ALFWorld (Embodied Manipulation): SkillMAS ने अनसीन स्प्लिट (126/134 कार्य) पर 94.0% सफलता प्राप्त की, जो सबसे मजबूत प्रकाशित संदर्भ स्कोर 93.0% (Traj-Bootstrap) से बेहतर है।
  • एब्लेशन (Ablation): अंतिम कौशल पुस्तकालय को सीड MAS संगठन में प्रत्यारोपित करने से प्रदर्शन गिरकर 68.7% हो गया, और सीड कौशलों के साथ एक विशेष MAS का उपयोग करने से यह 50.0% रह गया, जो दर्शाता है कि बेमेल घटक प्रदर्शन को कम करते हैं।
  • प्रक्षेपवक्र (Trajectory): सिस्टम 5 से बढ़कर 13 सक्रिय कौशलों तक बढ़ा और आवश्यकतानुसार विशेष निष्पादक (खोज, हेरफेर, उपकरण) जोड़े।
• Lifelong Agent Bench (OS Tasks): SkillMAS ने 150-कार्य मूल्यांकन पर 70.0% (Traj-Bootstrap के पुन: रन) की तुलना में 76.7% सफलता प्राप्त की।
  • प्रक्षेपवक्र: सफलता राउंड 3 (78/100) में 10 सक्रिय कौशलों और 4 निष्पादकों के साथ चरम पर थी। विशेष रूप से, राउंड 4 ने कौशल की संख्या को बनाए रखा लेकिन प्रदर्शन में गिरावट देखी, जो सुझाव देता है कि केवल कौशल की संख्या सफलता की गारंटी नहीं है।
• $\tau$-Bench (Retail): SkillMAS ने आधिकारिक बेस सेट (114 कार्य) पर 70.2% प्राप्त किया।
  • प्रक्षेपवक्र: अन्य बेंचमार्क के विपरीत, यहाँ सबसे अच्छा चेकपॉइंट एक सिंगल-एजेंट सिस्टम को सुरक्षित रखता है। "प्रीफ्लाइट निष्पादक" के साथ मल्टी-एजेंट सेटअप में विस्तार करने से प्रदर्शन वास्तव में गिर गया (32/74), जो इंगित करता है कि SkillMAS ने तब पुनर्गठन नहीं किया जब इसकी आवश्यकता नहीं थी।

5. महत्व और दावे

शोध पत्र का दावा है कि केंद्रीय नवाचार व्यक्तिगत अपडेट लक्ष्यों (कौशल विकास या MAS पुनर्गठन) की नवीनता नहीं है, बल्कि एक साझा साक्ष्य सतह के माध्यम से इन लक्ष्यों का जुड़ाव (coupling) है।

• श्रेय (Attribution): फ्रेमवर्क यह स्पष्ट करता है कि पोस्ट-डिप्लॉयमेंट विशेषज्ञता को कैसे श्रेय दिया जाता है, अपडेट किया जाता है, और लागू किया जाता है, यह सुनिश्चित करते हुए कि क्रेडिट केवल निष्पादन-समर्थित कार्यों को दिया जाए।
• अनुकूलन तर्क (Adaptation Logic): यह प्रदर्शित करता है कि विशेषज्ञता समान रूप से लाभकारी नहीं है; सिस्टम को अनुभवजन्य साक्ष्य के आधार पर MAS का विस्तार न करने (जैसा कि $\tau$-Bench में देखा गया) या इसे पुनर्गठित न करने (जैसा कि ALFWorld में देखा गया) का विकल्प चुनना चाहिए।
• सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि साक्ष्य बेंचमार्क-लोकल और प्रोटोकॉल-डिपेंडेंट हैं। वे अभी तक डोमेन-एग्नोस्टिक श्रेष्ठता का दावा नहीं करते हैं, और नियंत्रित फ्रोजन-टारगेट रिट्रेनिंग एब्लेशन और कारण योगदान के लिए औपचारिक महत्व परीक्षण की कमी को स्वीकार करते हैं। वे यह भी नोट करते हैं कि टोकन/लागत लेखांकन का अभी पूरी तरह से लक्षण वर्णन नहीं किया गया है।

संक्षेप में, SkillMAS जुड़े हुए अनुकूलन (coupled adaptation) के लिए एक तंत्र प्रस्तुत करता है, यह तर्क देते हुए कि LLM एजेंटों के बेहतर होने के लिए, उनके "उपकरणों" (कौशल) का विकास और उनका "संगठन" (MAS संरचना) एक साझा, सत्यापित निष्पादन इतिहास के माध्यम से समन्वित होना चाहिए।