🤖 AI

SkillMaster: Toward Autonomous Skill Mastery in LLM Agents

SkillMaster एक नवीन प्रशिक्षण ढांचा है जो LLM एजेंटों को प्रक्षेपवक्र-सूचित समीक्षा (trajectory-informed review), प्रतितथ्यात्मक उपयोगिता मूल्यांकन (counterfactual utility evaluation) और एक दोहरे-लाभ वाले सुदृढीकरण लर्निंग एल्गोरिदम के माध्यम से स्वायत्त रूप से कौशल बनाने, परिष्कृत करने और चुनने में सक्षम बनाता है, जिससे बिना किसी बाहरी मार्गदर्शन के जटिल कार्यों पर महत्वपूर्ण प्रदर्शन सुधार और आत्म-सुधार क्षमताएं प्राप्त होती हैं।

मूल लेखक: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ SKILLMASTER पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ समझाया गया है।

मुख्य विचार: एक लाइब्रेरियन से एक स्व-शिक्षित विशेषज्ञ तक

कल्पना कीजिए कि आप एक रोबोट (एक AI एजेंट) को घर की सफाई करने या ऑनलाइन खरीदारी करने जैसे काम करना सिखा रहे हैं।

पुराना तरीका (वर्तमान तकनीक):
एक बहुत ही सख्त, बाहरी लाइब्रेरियन (Librarian) वाले छात्र के रूप में रोबोट की कल्पना करें।

रोबोट एक कार्य करने की कोशिश करता है।
यदि वह विफल हो जाता है, तो लाइब्रेरियन (एक बाहरी कंप्यूटर प्रोग्राम) देखता है कि क्या हुआ, एक नया "नियम" या "कौशल" (skill) कागज़ के एक टुकड़े पर लिखता है, और उसे एक किताब में रख देता है।
रोबोट को ये नियम लिखना नहीं आता; उसे बस ज़रूरत पड़ने पर किताब में उन्हें ढूँढना होता है।
समस्या: रोबोट निष्क्रिय है। वह यह तय नहीं कर सकता कि कोई नियम अच्छा है या बुरा, और वह एक गलत नियम को ठीक भी नहीं कर सकता। वह बस लाइब्रेरियन के निर्देशों का पालन करता है।

नया तरीका (SKILLMASTER):
SKILLMASTER रोबोट को एक स्व-शिक्षित विशेषज्ञ (Self-Taught Expert) में बदल देता है जो अपनी खुद की नोटबुक का प्रबंधन करता है।

रोबोट एक कार्य करने की कोशिश करता है।
उसके बाद, वह अपने प्रदर्शन को देखता है और पूछता है: "क्या मैंने अच्छा किया? क्या मैं कोई कदम भूल गया? क्या इसे करने का कोई बेहतर तरीका है?"
फिर वह एक विशेष टूल का उपयोग करके एक नया नियम लिखने, एक पुराने नियम को सुधारने, या मौजूदा नियमों को बनाए रखने के लिए करता है।
महत्वपूर्ण बात यह है कि वह यह सीखता है कि ये नियम कैसे लिखे जाएँ, यह देखकर कि क्या वे वास्तव में अगली बार उसे बेहतर प्रदर्शन करने में मदद करते हैं।

यह कैसे काम करता है: तीन जादुई तरकीबें

पेपर में इन तीन विशिष्ट तरकीबों का परिचय दिया गया है जो इस स्व-शिक्षण को संभव बनाती हैं।

1. "पोस्ट-गेम रिव्यू" (ट्रैजेक्टरी-इन्फॉर्म्ड स्किल रिव्यू)

उदाहरण: कल्पना कीजिए कि एक बास्केटबॉल खिलाड़ी खेल खेलने के तुरंत बाद अपने खेल का रिकॉर्ड देख रहा है।

पुराना तरीका: कोच टेप देखता है और खिलाड़ी को बताता है, "अगली बार, बाईं ओर से शॉट मारना।"
SKILLMASTER का तरीका: खिलाड़ी टेप देखता है, महसूस करता है, "मैं इसलिए चूक रहा था क्योंकि मैं पहले कोने की जाँच नहीं कर रहा था," और वह उस नोट को अपनी खुद की प्लेबुक में लिख लेता है।
पेपर में: AI किसी कार्य (जैसे फ्रिज में टमाटर ढूँढना) को पूरा करने के बाद, वह पूरी घटना की समीक्षा करता है। फिर वह एक "टूल कॉल" (जैसे डिजिटल पेन) का उपयोग करके निर्णय लेता है: एक नया कौशल प्रस्तावित करें, पुराने को अपडेट करें, या चीज़ों को वैसा ही रहने दें।

2. "टेस्ट ड्राइव" (काउंटरफैक्टुअल यूटिलिटी रिवॉर्ड)

उदाहरण: कल्पना कीजिए कि आपने अपने जूते के फीते बाँधने का एक नया तरीका बनाया है। आपको कैसे पता चलेगा कि यह वास्तव में बेहतर है? आप केवल अनुमान नहीं लगाते; आप इसे दूसरे जूतों पर आज़माते हैं कि क्या यह तेज़ी से काम करता है।

समस्या: यदि रोबोट अपनी स्किल्स (कौशल) में बदलाव करता है, तो उसे कैसे पता चलेगा कि बदलाव अच्छा है? सिर्फ इसलिए कि वह एक बार सफल रहा, इसका मतलब यह नहीं है कि नया नियम एकदम सही है।
SKILLMASTER का तरीका: जब रोबोट अपने कौशल में बदलाव का सुझाव देता है, तो सिस्टम एक "टेस्ट ड्राइव" चलाता है। यह एक अलग लेकिन समान कार्य (एक "प्रोब टास्क") लेता है और पुराने नियमों बनाम नए नियमों का उपयोग करके उसे करने की कोशिश करता है।
- यदि नए नियम रोबोट को भविष्य के समान कार्यों पर तेज़ी से या वहां सफल होने में मदद करते हैं जहाँ वह पहले विफल हो रहा था, तो रोबोट को "अच्छा काम किया" वाला रिवॉर्ड मिलता है।
- यदि नए नियम चीज़ों को बदतर बना देते हैं, तो उसे दंड (penalty) मिलता है।
परिणाम: रोबोट केवल उन बदलावों को रखने के लिए सीखता है जो वास्तव में उसके प्रदर्शन में सुधार करते हैं।

3. "दो-ट्रैक वाला दिमाग" (DualAdv-GRPO)

उदाहरण: कल्पना कीजिए कि एक ड्राइवर जो एक मैकेनिक भी है।

ट्रैक A (ड्राइविंग): "मुझे गड्ढे से बचने के लिए स्टीयरिंग को बाईं ओर मोड़ना होगा।" (इसके लिए तत्काल फीडबैक चाहिए)।
ट्रैक B (मैकेनिक): "मुझे इस बोल्ट को कसना चाहिए ताकि कार अगले सप्ताह बेहतर चले।" (इसके लिए दीर्घकालिक फीडबैक चाहिए)।
समस्या: यदि आप इन दोनों लक्ष्यों को मिला देते हैं, तो दिमाग भ्रमित हो जाता है। "क्या मुझे बाईं ओर मुड़ना चाहिए या बोल्ट कसना चाहिए?"
SKILLMASTER का तरीका: यह सिस्टम इन दो विचारों को अलग करता है। यह ड्राइविंग क्रियाओं के लिए "स्कोर" को नए नियमों को लिखने के "स्कोर" से अलग गणना करता है। फिर, यह उन्हें सावधानीपूर्वक जोड़ता है ताकि रोबोट ड्राइविंग भी सीख सके और सीखने के तरीके को भी सीख सके, बिना एक-दूसरे को बाधित किए।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने इसका परीक्षण AI के लिए दो प्रसिद्ध "वीडियो गेम" दुनिया में किया:

ALFWorld: एक सिम्युलेटेड घर जहाँ रोबोट को वस्तुओं को हिलाना होता है (जैसे "ठंडे टमाटर को फ्रिज में रखें")।
WebShop: एक सिम्युलेटेड ऑनलाइन स्टोर जहाँ रोबोट को विशिष्ट आइटम खोजने और खरीदने होते हैं (जैसे "20 डॉलर से कम में एक नीली शर्ट खरीदें")।

परिणाम:

बेहतर स्कोर: SKILLMASTER ने सभी अन्य तरीकों को पछाड़ दिया, जिसमें शक्तिशाली, प्री-ट्रेंड "टीचर" मॉडल भी शामिल थे। इसने सफलता दर में लगभग 8.8% से 9.3% का सुधार किया।
स्व-सुधार: रोबोट केवल भाग्यशाली नहीं था; उसने वास्तव में अपनी गलतियों को पहचानना सीखा। उदाहरण के लिए, यदि वह बार-बार गलत दराजों में भोजन खोज रहा था, तो उसने एक नया नियम लिखा: "पहले कम संभावना वाले क्षेत्रों को न खोजें।"
कौशलों का आंतरिककरण: आश्चर्यजनक रूप से, प्रशिक्षण के बाद, रोबोट को अपनी "नोटबुक" देखने की उतनी आवश्यकता भी नहीं पड़ी। उसने कौशल को इतनी अच्छी तरह से आत्मसात कर लिया था कि वे उसकी स्वाभाविक सोच प्रक्रिया का हिस्सा बन गए, जैसे कि एक इंसान जो साइकिल चलाना सीख जाता है और अब उसे संतुलन बनाने के बारे में सोचने की ज़रूरत नहीं पड़ती।

सारांश

SKILLMASTER एक ऐसा ढांचा (framework) है जो AI कौशल को बाहरी कंप्यूटर द्वारा प्रबंधित स्थिर फाइलों के रूप में मानना बंद कर देता है। इसके बजाय, यह AI को अपने अनुभवों के आधार पर अपने स्वयं के नियम लिखने, संपादित करने और परीक्षण करने की क्षमता देता है। यह एक ऐसे छात्र और एक ऐसे छात्र के बीच का अंतर है जिसे पाठ्यपुस्तक थमा दी जाती है और एक ऐसे छात्र के बीच जो अपनी खुद की पाठ्यपुस्तक लिखता है, अपने अध्यायों का परीक्षण करता है, और केवल उन्हीं को रखता है जो उसे 'A' ग्रेड दिलाने में मदद करते हैं।

तकनीकी सारांश: SKILLMASTER

समस्या विवरण

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) एजेंट स्वायत्त कौशल महारत (autonomous skill mastery) में संघर्ष करते हैं। जबकि कौशल जटिल कार्यों पर प्रदर्शन सुधारने के लिए प्रभावी तंत्र के रूप में कार्य करते हैं, मौजूदा ढांचे कौशलों को बाहरी शिक्षकों, हस्त-निर्मित नियमों, या सहायक मॉड्यूल द्वारा प्रबंधित बाहरी संसाधनों के रूप में देखते हैं। इन सेटअपों में, एजेंट की पॉलिसी केवल पूर्व-निर्धारित कौशलों को प्राप्त करने और उन्हें लागू करने तक सीमित होती है; वह अपने स्वयं के अनुभव के आधार पर उन्हें सक्रिय रूप से विकसित, परिष्कृत या आत्मसात नहीं कर सकती।

बाहरी प्रबंधन पर यह निर्भरता तीन प्राथमिक चुनौतियाँ पैदा करती है:

आंतरिककरण का अभाव (Lack of Internalization): कौशल प्रबंधन एजेंट की पॉलिसी के भीतर एक सीखने योग्य क्षमता होने के बजाय, एजेंट से बाहरी रखरखाव प्रक्रिया है।
कौशल गुणवत्ता के लिए विरल फीडबैक (Sparse Feedback for Skill Quality): कार्य परिणाम पुरस्कार (सफलता/विफलता) इतने व्यापक (coarse) होते हैं कि यह निर्धारित करना कठिन होता है कि किसी विशिष्ट कौशल संपादन (प्रस्ताव या अपडेट) से लाभ हुआ या नहीं। एक कार्य भाग्य के कारण सफल हो सकता है या असंबंधित कारकों के कारण विफल हो सकता है, जो कौशल की गुणवत्ता पर कोई स्पष्ट संकेत प्रदान नहीं करता है।
अनुकूलन हस्तक्षेप (Optimization Interference): एक ही पॉलिसी में कार्य निष्पादन और कौशल प्रबंधन को संयुक्त रूप से अनुकूलित करना कठिन है क्योंकि उनके रिवॉर्ड स्ट्रक्चर अलग-अलग होते हैं (बाइनरी एनवायरनमेंट रिवार्ड्स बनाम निरंतर कौशल-गुणवत्ता रिवार्ड्स), जो अक्सर अस्थिर प्रशिक्षण की ओर ले जाते हैं।

कार्यप्रणाली: SKILLMASTER

लेखक SKILLMASTER का प्रस्ताव करते हैं, जो एक ऐसा प्रशिक्षण ढांचा है जो कौशल प्रबंधन को सीधे एजेंट के लर्निंग लूप में एकीकृत करता है, जिससे एजेंट को स्वायत्त रूप से कौशल बनाने, परिष्कृत करने और चुनने में सक्षम बनाया जाता है। यह ढांचा तीन मुख्य घटकों से बना है:

1. प्रक्षेपवक्र-सूचित कौशल समीक्षा (Trajectory-Informed Skill Review)

SKILLMASTER मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) प्रशिक्षण को प्रत्येक एपिसोड के बाद जोड़े गए एक स्पष्ट कौशल-महारत चरण (Skill-Mastery Phase) के साथ संवर्धित करता है।

कार्य चरण (Acting Phase): एजेंट वातावरण के साथ इंटरैक्ट करता है, कार्यों को निर्देशित करने के लिए कौशल बैंक ( $B$ ) से प्रासंगिक कौशल प्राप्त करता है।
कौशल-महारत चरण (Skill-Mastery Phase): एपिसोड समाप्त होने पर, एजेंट कार्य विवरण, प्राप्त किए गए कौशल, प्रक्षेपवक्र (trajectory) और परिणाम की समीक्षा करता है। इसे ठीक एक टूल कॉल आउटपुट करने के लिए निर्देशित किया जाता है: propose_skill (नया जोड़ें), update_skill (मौजूदा को संशोधित करें), या keep_skill (वर्तमान को बनाए रखें)।
तंत्र (Mechanism): यह चरण टूल-इंटीग्रेटेड रीजनिंग (TIR) का उपयोग करता है, जिससे एजेंट कौशल बैंक को एक परिवर्तनीय वस्तु (mutable object) के रूप में देख सकता है जिसे वह संरचित फंक्शन कॉल्स के माध्यम से संपादित कर सकता है, न कि एक स्थिर डेटाबेस के रूप में।

2. काउंटरफैक्चुअल स्किल यूटिलिटी रिवॉर्ड (Counterfactual Skill Utility Reward)

विरल फीडबैक की समस्या को हल करने के लिए, लेखक काउंटरफैक्चुअल मूल्यांकन पर आधारित एक डाउनस्ट्रीम यूटिलिटी रिवॉर्ड पेश करते हैं।

प्रोब कार्य (Probe Tasks): जब एक कौशल संपादन प्रस्तावित किया जाता है, तो सिस्टम $K$ अर्थ संबंधी रूप से संबंधित "प्रोब कार्यों" (जैसे, एक ही कार्य परिवार से) का चयन करता है।
काउंटरफैक्चुअल तुलना: सिस्टम प्रोब कार्यों का दो बार मूल्यांकन करता है: एक मूल कौशल बैंक ( $B$ ) के साथ और एक संशोधित बैंक ( $B'$ ) के साथ।
रिवॉर्ड सिग्नल: रिवॉर्ड की गणना दो मेट्रिक्स के आधार पर की जाती है:
1. सफलता दर (Success Rate): क्या संशोधन ने पहले विफल होने वाले कार्यों को सफल बनाने में मदद की?
2. दक्षता (Efficiency): क्या संशोधन ने पहले से हल करने योग्य कार्यों के स्टेप काउंट (चरणों की संख्या) को कम किया?
सूत्र (Formula): यूटिलिटी रिवॉर्ड ( $R_{utility}$ ) प्रोब्स के माध्यम से औसत प्रदर्शन अंतर ( $\bar{\delta}$ ) को एक दिशात्मक निरंतरता शब्द (directional consistency term) के साथ जोड़ता है, यह सुनिश्चित करता है कि संपादनों को तभी पुरस्कृत किया जाए जब वे लगातार डाउनस्ट्रीम प्रदर्शन में सुधार करें।

3. DualAdv-GRPO (Decoupled Optimization)

विषम उद्देश्यों (कार्य निष्पादन बनाम कौशल संपादन) के संयुक्त अनुकूलन के लिए अस्थिरता को संबोधित करने के लिए, लेखक DualAdv-GRPO का प्रस्ताव करते हैं।

दोहरी-धारा लाभ अनुमान (Dual-Stream Advantage Estimation): मानक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) एक समूह के प्रक्षेपवक्रों में रिवॉर्ड को सामान्य (normalize) करता है। SKILLMASTER इसे दो धाराओं में विभाजित करता है:
- एक्शन एडवांटेज ( $A_{act}$ ): केवल एनवायरनमेंट रिवॉर्ड ( $r_{env}$ ) का उपयोग करके सामान्यीकृत।
- स्किल एडवांटेज ( $A_{skill}$ ): केवल स्किल-मास्टरी रिवॉर्ड ( $R_{skill}$ ) का उपयोग करके सामान्यीकृत।
विलय (Merging): ये सामान्यीकृत एडवांटेज टोकन स्तर पर एक ट्यूनेबल वेट $\gamma$ का उपयोग करके मर्ज किए जाते हैं। एक्शन टोकन $A_{act}$ प्राप्त करते हैं, जबकि स्किल-मैनेजमेंट टोकन $\gamma \cdot A_{skill}$ प्राप्त करते हैं। यह क्रियात्मक कार्यों के लिए लर्निंग सिग्नल को विकृत करने से रोकने के लिए तत्काल कार्य क्रियाओं के लिए $A_{act}$ और कौशल प्रबंधन टोकन के लिए $\gamma \cdot A_{skill}$ का उपयोग करता है, जिससे स्थिर संयुक्त प्रशिक्षण संभव होता है।

मुख्य योगदान

SKILLMASTER फ्रेमवर्क: एक एकीकृत पॉलिसी जो एंड-टू-एंड कार्य निष्पादन और कौशल प्रबंधन दोनों को सीखती है, जिससे बाहरी शिक्षकों की आवश्यकता समाप्त हो जाती है।
डाउनस्ट्रीम यूटिलिटी रिवॉर्ड: एक अभिनव रिवॉर्ड तंत्र जो प्रोब कार्यों पर काउंटरफैक्चुअल तुलना के माध्यम से कौशल संपादन का मूल्यांकन करता है, जो कौशल गुणवत्ता के लिए स्पष्ट, सघन (dense) संकेत प्रदान करता है।
DualAdv-GRPO: एक अनुकूलन एल्गोरिदम जो कार्य क्रियाओं और कौशल निर्णयों के लिए एडवांटेज नॉर्मलाइजेशन को अलग करता है, जिससे विषम उद्देश्यों के संयुक्त प्रशिक्षण को स्थिरता मिलती है।
अनुभवजन्य प्रदर्शन (Empirical Performance): ALFWorld और WebShop पर अत्याधुनिक परिणाम प्रदर्शित किए गए, जो दिखाते हैं कि एजेंट स्वायत्त रूप से अपने प्रक्रियात्मक ज्ञान में सुधार कर सकते हैं।

प्रयोगात्मक परिणाम

इस फ्रेमवर्क का मूल्यांकन दो बेंचमार्क पर किया गया: ALFWorld (एम्बोडीड हाउसहोल्ड मैनिपुलेशन) और WebShop (ऑनलाइन शॉपिंग)।

ALFWorld: SKILLMASTER ने 98.7% की समग्र सफलता दर हासिल की, जो सबसे मजबूत बेसलाइन (SkillRL, जो एक बाहरी शिक्षक का उपयोग करता है) से 8.8 प्रतिशत अंक अधिक है। इसने छह में से चार कार्य परिवारों पर पूर्ण सफलता (100%) प्राप्त की।
WebShop: सफलता दर 72.7% (SkillRL) से बढ़कर 82.0% हो गई, जिसमें समग्र स्कोर 85.2 से बढ़कर 95.0 हो गया।
कौशल आंतरिककरण (Skill Internalization): एक महत्वपूर्ण निष्कर्ष यह है कि SKILLMASTER एजेंट सीखे गए कौशलों को आंतरिक (internalize) कर सकते हैं। जब टेस्ट-टाइम स्किल रिट्रीवल के बिना मूल्यांकन किया गया, तो एजेंटों ने परीक्षण के समय रिट्रीवल सक्षम होने के लगभग समान प्रदर्शन बनाए रखा (कुल मिलाकर केवल 0.7% की गिरावट), जो सुझाव देता है कि प्रक्रियात्मक ज्ञान को केवल बाहरी लुकअप पर निर्भर रहने के बजाय पॉलिसी पैरामीटर्स में अवशोषित कर लिया गया था।
एब्लेशन अध्ययन (Ablation Studies): यूटिलिटी रिवॉर्ड या डिकपल्ड एडवांटेज नॉर्मलाइजेशन को हटाने से प्रदर्शन में काफी गिरावट आई, जो काउंटरफैक्चुअल सिग्नल और स्थिर अनुकूलन रणनीति दोनों की आवश्यकता की पुष्टि करता है।

महत्व और दावे

यह पेपर दावा करता है कि SKILLMASTER बाह्य रूप से प्रबंधित (externally managed) कौशल प्रणालियों से स्वायत्त कौशल महारत (autonomous skill mastery) की ओर एक बदलाव का प्रतिनिधित्व करता है। एजेंट के पॉलिसी के भीतर कौशल प्रबंधन को एक सीखने योग्य उद्देश्य के रूप में मानकर, यह ढांचा एजेंटों को सक्षम बनाता है:

अपने प्रक्रियात्मक ज्ञान में अंतराल की पहचान करना (जैसे, यह महसूस करना कि एक खोज रणनीति अक्षम है)।
प्रक्षेपवक्र साक्ष्य के आधार पर मौजूदा कौशलों को परिष्कृत करना (जैसे, एक "हीट" निर्देश को ठीक करना जो माइक्रोवेव के अंदर वस्तु रखने पर विफल हो जाता है)।
कौशल बैंक में न्यूनतम संपादन के साथ भविष्य के कार्यों में सुधार को स्थानांतरित करना।

लेखक इस कार्य को स्व-सुधार करने वाले एजेंटों (self-improving agents) की ओर एक कदम के रूप में रखते हैं जो केवल बाहरी प्रणालियों द्वारा प्रदान किए गए स्थिर उपकरणों को बुलाने के बजाय अपने स्वयं के कौशल भंडार को विकसित और अनुकूलित करने में सक्षम हैं। यह कार्य प्रोब मूल्यांकन के कम्प्यूटेशनल ओवरहेड और प्रोब चयन के लिए पूर्व-निर्धारित कार्य समूहों पर निर्भरता जैसी सीमाओं को स्वीकार करता है, लेकिन दावा करता है कि मुख्य तंत्र डोमेन-अज्ञेय (domain-agnostic) है और संबंधित कार्यों वाले किसी भी वातावरण में लागू किया जा सकता है।