🤖 machine learning

SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution

SkillRise एक एकीकृत सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो बड़े भाषा मॉडल एजेंटों को विशिष्ट कार्यों के बीच प्रगतिशील अनुक्रमों में व्यवस्थित करके और कार्यों को हल करने तथा एक विकसित होते कौशल दस्तावेज़ को क्यूरेट करने के लिए एक ही नीति का उपयोग करके हस्तांतरणीय कौशल विकसित करने और पुन: उपयोग करने में सक्षम बनाता है, जिससे मौजूदा बहु-चरणीय या स्वतंत्र-कार्य दृष्टिकोणों की तुलना में बेहतर प्रदर्शन और दक्षता प्राप्त होती है।

मूल लेखक: Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, Yifu Guo, Yuquan Lu, Zhengzhou Cai, Kangning Zhang, Zhuowen Han, Zi-Han Wang, Ziang Ye, Qi Gu, Xunliang Cai, Weiwen Liu, Yongliang Shen

प्रकाशित 2026-07-30

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, Yifu Guo, Yuquan Lu, Zhengzhou Cai, Kangning Zhang, Zhuowen Han, Zi-Han Wang, Ziang Ye, Qi Gu, Xunliang Cai, Weiwen Liu, Yongliang Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। पुराने दिनों में, यदि रोबोट लेवल एक में विफल हो जाता, तो वह सब कुछ भूल जाता, लेवल दो को बिल्कुल शुरुआत से शुरू करता और बस बेहतर होने की उम्मीद करता। यह साइकिल चलाना सीखने जैसा था जहाँ आप गिरते हैं, उठते हैं, और तुरंत एक अलग साइकिल चलाने की कोशिश करते हैं बिना यह याद रखे कि आप कैसे गिरे थे। कई कंप्यूटर प्रोग्राम जिन्हें "AI एजेंट" कहा जाता है, वे इसी तरह काम करते थे: वे हर नई चुनौती को एक बिल्कुल नई, अलग घटना मानते थे, जिससे पिछले अनुभवों से सीखी गई सारी सीख बेकार हो जाती थी।

लेकिन क्या होगा अगर रोबroट एक "चीट शीट" या "डायरी" रख सके जो हर बार खेलने के साथ और भी स्मार्ट होती जाए? यही 'रिनफोर्समेंट लर्निंग' (Reinforcement Learning) नामक क्षेत्र का मूल है, जहाँ AI चीजों को आजमाकर, सफलता के लिए पुरस्कार प्राप्त करके और गलतियों से सीखकर सीखता है। हाल ही में, वैज्ञानिक इन एजेंटों को केवल एक पहेली हल करना ही नहीं, बल्कि सामान्य "कौशल" (skills) सीखना सिखाने की कोशिश कर रहे हैं जो उन्हें कई अलग-अलग पहेलियों को हल करने में मदद करें। बड़ा सवाल यह है कि: आप एक AI को अपने स्वयं के सबक इस तरह से लिखना कैसे सिखा सकते हैं जो बाद में वास्तव में मदद करे, बिना पहले पहेली के विशिष्ट विवरणों में उलझे?

यहाँ SkillRise आता है, जो एक नए तरीके के रूप में AI एजेंटों के लिए एक सुपर-स्मार्ट ट्यूटर की तरह काम करता है। एजेंट को अपना अतीत भुलाने देने के बजाय, SkillRise कार्यों को एक "लेवल-अप" अनुक्रम में व्यवस्थित करता है, जो आसान से कठिन की ओर बढ़ता है। जैसे-जैसे एजेंट खेलता है, वह दो काम एक साथ करता है: वह वर्तमान स्तर को हल करने की कोशिश करता है, और वह अपनी कौशल डायरी को अपडेट करने के लिए एक "क्यूरेटर" के रूप में कार्य करता है। इसे एक वीडियो गेम के पात्र की तरह समझें जो, किसी बॉस को हराने के बाद, केवल अगले स्तर पर नहीं जाता बल्कि तुरंत अपनी जर्नल में एक नई प्रविष्टि लिखता है: "हे, याद रखना कि वह बॉस केवल तब हमला करता था जब आप बाईं ओर होते थे? अगली बार, दाईं ओर रहें।"

SkillRise का जादू AI को पुरस्कृत करने के तरीके में है। यह वर्तमान कार्य को हल करने के लिए अंक देता है, लेकिन यह इस बात के लिए भी अंक देता है कि "डायरी प्रविष्टि" भविष्य के कार्यों को हल करने में एजेंट की कितनी अच्छी तरह मदद करती है। यह AI को सामान्य नियम (जैसे "दाईं ओर रहें") लिखने के लिए प्रोत्साहित करता है, न कि विशिष्ट विवरणों (जैसे "बॉस का नाम बॉब था") के लिए। शोधकर्ताओं ने तीन अलग-अलग "दुनियाओं" पर इसका परीक्षण किया: एक घर जहाँ एजेंट को साफ और व्यवस्थित करना होता है (ALFWorld), एक ऑनलाइन स्टोर जहाँ उसे विशिष्ट वस्तुएं खरीदनी होती हैं (WebShop), और एक विज्ञान प्रयोगशाला जहाँ वह प्रयोग चलाता है (ScienceWorld)।

परिणाम प्रभावशाली थे। SkillRise न केवल उन विशिष्ट कार्यों में बेहतर हुआ जिन पर इसे प्रशिक्षित किया गया था; इसने सीखने का एक तरीका सीखा। जब शोधकर्ताओं ने इसे अभ्यास करने के लिए संबंधित कार्यों के लंबे अनुक्रम दिए, तो एजेंट और भी बेहतर हो गया, जिससे पता चलता है कि वह वास्तव में अपने कौशल का पुन: उपयोग कर रहा था, न कि केवल उत्तरों को रट रहा था। वास्तव में, इसने अन्य शीर्ष तरीकों को महत्वपूर्ण अंतर से पीछे छोड़ दिया—सफलता दर में 8.5 प्रतिशत अंक तक सुधार किया। सबसे आश्चर्यजनक रूप से, भले ही इसे अलग-अलग कार्यों पर प्रशिक्षित किया गया था, फिर भी यह उसी कार्य को बार-बार दोहराने में उन तरीकों से बेहतर था जो विशेष रूप से इसके लिए डिज़ाइन किए गए थे। इसने यह सब पुराने तरीकों की तुलना में बहुत तेज़ी से और कम कंप्यूटिंग शक्ति के साथ किया, जिन्हें मेमोरी प्रबंधित करने के लिए जटिल, बहु-चरणीय पाइपलाइनों की आवश्यकता होती थी।

संक्षेप में, SkillRise सुझाव देता है कि यदि आप चाहते हैं कि एक AI अधिक स्मार्ट हो जाए, तो केवल उसे अभ्यास करने न दें; उसे अपनी बुद्धिमत्ता की एक चलती-फिरती, विकसित होती नोटबुक रखना सिखाएं। "करने" के कार्य को "सीखे गएสิ่งที่ लिखने" से अलग करके, और एजेंट को इस बात के लिए पुरस्कृत करके कि उसका लेखन भविष्य की चुनौतियों के लिए कितना उपयोगी है, हम ऐसे एजेंट बना सकते हैं जो केवल समस्याओं को हल नहीं करते, बल्कि वास्तव में समय के साथ बेहतर समस्या-समाधानकर्ता बनने के लिए अपनी रणनीतियों को विकसित करते हैं।

तकनीकी सारांश: SkillRise

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंट अक्सर संबंधित लेकिन भिन्न कार्यों (tasks) के प्रवाह का सामना करते हैं जो अंतर्निहित नियमितताओं और पुन: प्रयोज्य समाधान पैटर्न को साझा करते हैं। हालाँकि, मानक एजेंटिक सुदृढीकरण लर्निंग (Reinforcement Learning - RL) आमतौर पर प्रत्येक कार्य को एक स्वतंत्र एपिसोड के रूप में मानता है, जिससे अर्जित अनुभव को त्याग दिया जाता है और एजेंट को शून्य से फिर से अन्वेषण करने के लिए मजबूर किया जाता है। मौजूदा कौशल शिक्षण (skill learning) दृष्टिकोण विशिष्ट सीमाओं से ग्रस्त हैं:

इंस्टेंस-विशिष्टता (Instance-Specificity): वे विधियाँ जो बार-बार एक ही कार्य का प्रयास करती हैं, अक्सर ऐसा ज्ञान उत्पन्न करती हैं जो उस विशिष्ट इंस्टेंस तक ही सीमित होता है, जिससे विभिन्न कार्य इंस्टेंसों में सामान्यीकरण (generalize) करने में विफलता होती है।
पाइपलाइन एंटैंगलमेंट (Pipeline Entanglement): बाहरी स्किल बैंकों या बहु-चरणीय पाइपलाइनों (जिसमें अलग-अलग निष्कर्षण, पुनर्प्राप्ति और निष्पादन मॉड्यूल शामिल होते हैं) का उपयोग करने वाले दृष्टिकोण क्रेडिट असाइनमेंट (credit assignment) के साथ संघर्ष करते हैं। क्योंकि डाउनस्ट्रीम प्रदर्शन इन सभी चरणों के परस्पर प्रभाव पर निर्भर करता है, इसलिए यह निर्धारित करना कठिन होता है कि सफलता या विफलता विशेष रूप से निकाले गए कौशल की गुणवत्ता के कारण है।
एंड-टू-एंड अनुकूलन का अभाव: एक एकीकृत ढांचे की आवश्यकता है जो जटिल बाहरी प्रबंधन पाइपलाइनों के बिना कार्यों को हल करने और हस्तांतरणीय कौशल (transferable skills) को क्यूरेट करने को संयुक्त रूप से सीख सके।

कार्यप्रणाली: SkillRise

लेखक SkillRise पेश करते हैं, जो क्रॉस-टास्क स्किल इवोल्यूशन (cross-task skill evolution) के लिए डिज़ाइन किया गया एक एकीकृत, एंड-टू-एंड सुदृढीकरण लर्निंग फ्रेमवर्क है। यह फ्रेमवर्क सरल से चुनौतीपूर्ण क्रम में व्यवस्थित, संबंधित लेकिन भिन्न कार्यों के एक अनुक्रम (sequence) पर कार्य करता है।

1. क्रॉस-टास्क सीक्वेंस कंस्ट्रक्शन

कार्यों को पर्यावरण द्वारा प्रदान किए गए फैमिली मेटाडेटा (जैसे, WebShop में उत्पाद श्रेणियां, ALFWorld में ऑब्जेक्ट प्रकार) द्वारा समूहीकृत किया जाता है और कठिनाई के आधार पर क्रमबद्ध किया जाता है। यह एक अनुक्रम $x = (x_1, \dots, x_K)$ बनाता है जहाँ पिछले कार्यों से प्राप्त अनुभव का उद्देश्य बाद के कार्यों में सहायता करना है।

2. सिंगल-पॉलिसी रोलआउट विद स्किल इवोल्यूशन

एक सिंगल पॉलिसी $\pi_\theta$ अनुक्रम के भीतर दो भूमिकाओं के बीच बारी-बारी से कार्य करती है:

टास्क सॉल्विंग (Task Solving): एजेंट एक विकसित होते हुए टेक्स्टुअल स्किल डॉक्यूमेंट $S_{i-1}$ (जो पिछले कार्यों से कौशलों का सारांश देता है) को संदर्भ (context) के रूप में उपयोग करके वर्तमान कार्य $x_i$ को हल करता है।
स्किल क्यूरेशन (Skill Curation): कार्य पूरा होने पर, वही पॉलिसी स्किल डॉक्यूमेंट $S_{i-1}$ $S_{i - 1}$ को $S_i$ $S_{i}$ के एक नए संस्करण में फिर से लिखती है। इस प्रक्रिया में शामिल हैं:
- पिछले डॉक्यूमेंट से उपयोगी कौशलों को सुरक्षित रखना।
- वर्तमान प्रक्षेपवक्र (trajectory) से प्रकट सफल प्रक्रियाओं या विफलता मोड का समेकन करना।
- इंस्टेंस-विशिष्ट विवरणों को हटाना (एब्स्ट्रैक्शन) ताकि पुन: प्रयोज्यता सुनिश्चित हो सके।
- संशोधित डॉक्यूमेंट $S_i$ अगले कार्य $x_{i+1}$ के लिए एकमात्र सूचना चैनल बनता है।

3. डिकपल्ड क्रेडिट असाइनमेंट (Decoupled Credit Assignment)

दोनों भूमिकाओं को प्रभावी ढंग से अनुकूलित करने के लिए, SkillRise एक टेम्पोरली अलाइन्ड, डिकपल्ड क्रेडिट असाइनमेंट तंत्र का उपयोग करता है:

टास्क सॉल्विंग: केवल वर्तमान कार्य के तत्काल रिवॉर्ड $r_i$ द्वारा सुपर्वائز्ड है।
स्किल क्यूरेशन: बाद के कार्यों के डिस्काउंटेड रिवॉर्ड के योग ( $\sum_{j=i+1}^K \gamma^{j-i} r_j$ ) द्वारा सुपर्वائز्ड है। यह सुनिश्चित करता है कि क्यूरेशन पॉलिसी को भविष्य के कार्यों के लिए मूल्य हस्तांतरित करने की इसकी क्षमता के लिए अनुकूलित किया जाता है, न कि केवल वर्तमान के लिए।
ऑप्टिमाइज़ेशन: फ्रेमवर्क एक ग्रुप-रिलेटिव एडवांटेज दृष्टिकोण का उपयोग करता है, जो समान कार्य स्थिति और चरण (सॉल्व बनाम क्यूरेट) साझा करने वाले स्वतंत्र परीक्षणों के बीच रिटर्न की तुलना करता है ताकि एडवांटेज की गणना की जा सके, जिनका उपयोग फिर क्लैप्ड ऑब्जेक्टिव फंक्शन (PPO के समान) को अपडेट करने के लिए किया जाता है।

मुख्य योगदान

फॉर्मूलेशन: पेपर अलग-अलग टास्क इंस्टेंस के क्रमबद्ध अनुक्रमों पर क्रॉस-टास्क स्किल लर्निंग को फॉर्मुलेट करता है, जहाँ बाद के कार्यों के परिणाम पिछले इंटरैक्शन से क्यूरेट किए गए कौशलों की हस्तांतरणीयता (transferability) का मूल्यांकन करते हैं।
फ्रेमवर्क: SkillRise का विकास, जो एक ही पॉलिसी का उपयोग करके सॉल्विंग और क्यूरेशन दोनों के लिए एंड-टू-एंड RL फ्रेमवर्क प्रदान करता है, जो डिकपल्ड क्रॉस-टास्क क्रेडिट असाइनमेंट और रोल-अवेयर ग्रुप-रिलेटिव ऑप्टिमाइज़ेशन से जुड़ा है।
दक्षता: डिज़ाइन जटिल बाहरी प्रबंधन पाइपलाइनों (जैसे अलग रिट्रीवल मॉड्यूल या टीचर मॉडल) की आवश्यकता को समाप्त करता है, जो एक कॉम्पैक्ट ट्रेनिंग पैराडाइम प्रदान करता है।

प्रायोगिक परिणाम

लेखकों ने तीन इंटरैक्टिव टेक्स्ट-आधारित बेंचमार्क: ALFWorld, WebShop, और ScienceWorld पर Qwen3-1.7B और Qwen3-4B मॉडल्स का उपयोग करके SkillRise का मूल्यांकन किया।

कुल प्रदर्शन: SkillRise ने सभी बेंचमार्क पर सबसे मजबूत Pass@1 प्रदर्शन हासिल किया, जिसने सबसे मजबूत बेसलाइन (GiGPO) को 2.3 से 8.5 प्रतिशत अंक से पछाड़ दिया।
- ALFWorld: 85.9% (GiGPO के 83.6% के मुकाबले)।
- WebShop: 84.4% (GiGPO के 77.3% के मुकाबले)।
- ScienceWorld: 54.6% (GiGPO के 46.1% के मुकाबले)।
इन-टास्क जनरलाइजेशन: अलग-अलग कार्यों के अनुक्रमों पर प्रशिक्षित होने के बावजूद, SkillRise ने होल्ड-आउट कार्यों के लिए Pass@2 और Pass@3 मूल्यांकन पर, एक ही कार्य के बार-बार प्रयासों (जैसे LaMer) पर प्रशिक्षित विधियों से बेहतर प्रदर्शन किया। यह सुझाव देता है कि सीखा गया क्यूरेशन पॉलिसी इंटरैक्शन परिणामों को क्रियाशील कौशलों में बदलने की एक सामान्य रणनीति को कैप्चर करता है।
क्रॉस-टास्क टेस्ट-टाइम स्केलिंग: टेस्ट-टाइम पर संबंधित टास्क सीक्वेंस की लंबाई ( $K$ ) बढ़ने के साथ प्रदर्शन निरंतर (monotonically) सुधरा (उदाहरण के लिए, ALFWorld पर $K=2$ पर 83.6% से $K=6$ पर 87.set 87.5% तक)। प्रतिस्पर्धी विधियों ने ऐसा कोई विकास नहीं दिखाया, जो दर्शाता है कि SkillRise प्रभावी रूप से कार्यों के बीच हस्तांतरणीय कौशलों को पुनः उपयोग और परिष्कृत करता है।
दक्षता: मल्टी-स्टेज पाइपलाइनों जैसे RetroAgent और SkillRL की तुलना में, SkillRise ने केवल 1/6वें रनिंग टाइम में तुलनीय या बेहतर सफलता दर प्राप्त की, क्योंकि यह बाहरी मेमोरी रखरखाव और रिट्रीवल का ओवरहेड हटा देता है।

महत्व और दावे

पेपर का दावा है कि SkillRise LLM एजेंटों के लिए कार्यों के बीच हस्तांतरणीय कौशलों को निकालने, परिष्कृत करने और पुनः उपयोग करने के लिए एक सरल और कुशल प्रशिक्षण प्रतिमान प्रदान करता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में है कि:

जटिल बाहरी पाइपलाइनों के बिना एक एकीकृत, एंड-टू-एंड पॉलिसी के माध्यम से क्रॉस-टास्क स्किल लर्निंग प्राप्त की जा सकती है।
सॉल्विंग (वर्तमान परिणाम) और क्यूरेशन (डाउनस्ट्रीम परिणाम) के लिए सुपरविजन सिग्नल को अलग करना हस्तांतरणीय नियमितताओं को सीखने के लिए महत्वपूर्ण है।
एजेंट "टेस्ट-टाइम स्केलिंग" प्रदर्शित कर सकते हैं जहाँ प्रदर्शन संबंधित कार्यों के लंबे अनुक्रमों के साथ सुधरता है, भले ही प्रत्येक कार्य को केवल एक बार आजमाया गया हो, जो अनुभव संचय के माध्यम से आत्म-सुधार के एक मजबूत तंत्र का सुझाव देता है।

लेखक सीमाओं को भी नोट करते हैं, जिसमें अनुक्रम निर्माण के लिए टास्क-फैमिली मेटाडेटा पर वर्तमान निर्भरता और प्रयोगों का 4B पैरामीटर तक के मॉडल्स और टेक्स्ट-आधारित बेंचमार्क तक सीमित होना शामिल है।