🤖 AI

ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL

ReSkill एक नवीन एजेंटिक RL फ्रेमवर्क है जो GRPO एल्गोरिदम के भीतर एसर्शन-ड्रिवन स्किल रिवीज़न (assertion-driven skill revision), इन-ग्रुप रोलआउट सैंपलिंग (in-group rollout sampling) और थॉम्पसन सैंपलिंग (Thompson Sampling) को समाहित करके कौशल निर्माण और पॉलिसी ऑप्टिमाइज़ेशन के बीच सामंजस्य स्थापित करता है, जिससे अनदेखे कार्यों पर बेहतर सामान्यीकरण प्राप्त करने के लिए पुन: प्रयोज्य रणनीतियों और पॉलिसियों का स्वचालित सह-विकास संभव होता है।

मूल लेखक: Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

प्रकाशित 2026-06-02

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ RESKILL पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

मुख्य विचार: एक रोबोट को सीखते समय सीखना सिखाना

कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलना सिखा रहे हैं।

पुराना तरीका: आप रोबोट को नियम सिखाते हैं, उसे खेलने देते हैं, और जब वह विफल होता है, तो आप अगली बार पालन करने के लिए मैन्युअल रूप से एक नया नियम (एक "कौशल" या "skill") लिख देते हैं। लेकिन समस्या यह है: रोबोट बेहतर होते हुए अपनी खेलने की शैली लगातार बदल रहा है। यदि आप एक नया नियम इस आधार पर लिखते हैं कि उसने कल कैसे खेला था, तो वह नियम उसे आज भ्रमित कर सकता है क्योंकि वह पहले ही विकसित हो चुका है। यह एक छोटे बच्चे को जूते के फीते बांधना सिखाने जैसा है—एक ऐसे मैनुअल का उपयोग करके जो एक वयस्क के लिए लिखा गया है; बच्चा उन पुराने निर्देशों से आगे निकल चुका है, लेकिन नए निर्देश अभी तक टेस्ट नहीं किए गए हैं।
RESKILL का तरीका: नियमों को एक अलग नोटबुक में लिखने के बजाय, RESKILL नियम बनाने की प्रक्रिया को खेल का ही हिस्सा बना देता है। यह एक "नियम बनाने वाली फैक्ट्री" बनाता है जो ट्रेनिंग लूप के अंदर चलती है। रोबोट सीखते समय ही नए नियमों को आज़माता है, देखता है कि क्या वे मदद करते हैं, अच्छे नियमों को रखता है और खराब नियमों को फेंक देता है, और यह सब रियल-टाइम में होता है।

मूल समस्या: "बेमेल" (The Mismatch)

पेपर का तर्क है कि वर्तमान विधियाँ स्किल-पॉलिसी संघर्ष (Skill-Policy Conflict) से जूझती हैं।

पॉलिसी (Policy): यह रोबोट का मस्तिष्क है (खेलने की उसकी रणनीति)। यह सीखते समय लगातार बदलती रहती है।
कौशल (Skills): ये दोबारा इस्तेमाल किए जाने वाले नुस्खे या शॉर्टकट हैं (जैसे "हमेशा पहले फ्रिज चेक करो" या "अनुमान लगाने से पहले खोजो")।
संघर्ष: मौजूदा विधियाँ मस्तिष्क के प्रशिक्षण से अलग कौशल बनाती हैं। वे एक ऐसा कौशल बना सकती हैं जो "पुराने" मस्तिष्क के लिए काम करता था लेकिन "नए" मस्तिष्क के साथ टकरा जाता है। यह एक कोच की तरह है जो खिलाड़ी को नया प्लेबुक (रणनीति) देता है जबकि खिलाड़ी खेल के बीच में ही है, बिना यह देखे कि क्या खिलाड़ी वास्तव में नए मूव्स को समझता है।

RESKILL कैसे काम करता है: "टेस्टिंग" किचन

RESKILL इसे तीन मुख्य तंत्रों का उपयोग करके कौशल निर्माण को सीधे प्रशिक्षण प्रक्रिया में एकीकृत करके हल करता है, जिसे लेखक "Reconciling Skill Creation with Policy Optimization" कहते हैं।

1. "ग्रुप टेस्ट-टेस्ट" (Within-Group Sampling)

कल्पना कीजिए कि एक कुकिंग प्रतियोगिता है जहाँ एक शेफ (AI) को एक व्यंजन बनाना है।

मानक विधि: शेफ एक ही रेसिपी का उपयोग करके 10 व्यंजन बनाता है। फिर एक आलोचक एक नई रेसिपी लिखता है। शेफ बाद में उस नई रेसिपी को आज़माता है।
RESKILL विधि: शेफ को 10 ऑर्डर का एक समूह दिया जाता है। 5 ऑर्डर के लिए, वे पुरानी रेसिपी का उपयोग करते हैं। अन्य 5 ऑर्डर के लिए, वे एक नई रेसिपी का उपयोग करते हैं (जो तुरंत बनाई गई है)।
यह क्यों काम करता है: क्योंकि शेफ सभी 10 ऑर्डर्स के लिए ठीक उसी मूड और स्थिति में है, एकमात्र अंतर रेसिपी का है। सिस्टम तुरंत देख सकता है: "क्या नई रेसिपी ने शेफ को अभी बेहतर स्कोर दिलाने में मदद की?" यह बिना अतिरिक्त समय या संसाधनों के एक निष्पक्ष, नियंत्रित तुलना की अनुमति देता है।

2. "स्व-सुधार" वाली नियम पुस्तिका (Assertion-Driven Creator)

जब शेफ कोई व्यंजन बनाने में विफल रहता है, तो आमतौर पर एक इंसान को हस्तक्षेप करना पड़ता है और कहना पड़ता है, "तुम सूप में नमक डालना भूल गए।" RESKILL इसे स्वचालित करता है।

यह हर उस समय का एक रिजर्वायर (Reservoir/बाल्टी) रखता है जब शेफ सफल हुआ और जब वह विफल हुआ।
यह एक "डिटेक्टिव" (LLM) का उपयोग करता है जो बाल्टी को देखता है और पूछता है: "क्या गलत हुआ? क्या हम ओवन चेक करना भूल गए? क्या हमने गलत सामग्री की तलाश की?"
इन पैटर्न के आधार पर, सिस्टम स्वचालित रूप से एक नया "कौशल" (एक नियम जैसे: यदि आप बर्तन देखें, तो चलाने से पहले तापमान जांचें) लिखता है।
महत्वपूर्ण बात: यह केवल अनुमान नहीं लगाता। यह ऊपर वर्णित "ग्रुप टेस्ट-टेस्ट" का उपयोग करके तुरंत पुरानी रेसिपी के मुकाबले इस नए नियम का परीक्षण करता है।

3. "स्मार्ट जुआरी" (Thompson Sampling)

सिस्टम यह कैसे तय करता है कि कितनी बार नई रेसिपी बनाम पुरानी रेसिपी को आज़माना है?

यदि नई रेसिपी आशाजनक दिखती है, तो सिस्टम इसे अधिक बार आज़माता है।
यदि नई रेसिपी खराब दिखती है, तो यह इसे कम बार आज़माता है।
ट्विस्ट: रोबोट का मस्तिष्क हर सेकंड विकसित हो रहा है। एक नियम जो 10 मिनट पहले काम कर रहा था, वह अब पुराना (stale) हो सकता है। RESKILL "Thompson Sampling with Adaptive Discounting" नामक एक गणितीय ट्रिक का उपयोग करता है।
- यह एक ऐसे जुआरी की तरह है जो जानता है कि कल के जीतने वाले लॉटरी नंबर आज बेकार हैं।
- यदि रोबोट ने हाल ही में नई रेसिपी को कई बार आज़माया है, तो सिस्टम नवीनतम डेटा पर भरोसा करता है और पुराने डेटा को भूल जाता है (डिस्काउंटिंग)।
- यदि रोबोट ने इसे बहुत कम बार आज़माया है, तो यह जल्दबाजी में निर्णय लेने से बचने के लिए पुराने डेटा को सुरक्षित रखता है।
- यह सुनिश्चित करता है कि सिस्टम हमेशा उस कौशल पर दांव लगाता है जो रोबोट के वर्तमान मस्तिष्क के लिए सबसे अच्छा काम करता है, न कि उसके पिछले मस्तिष्क के लिए।

परिणाम: यह क्यों मायने रखता है

पेपर ने RESKILL का परीक्षण कई "गेम्स" (कार्यों) पर किया:

घरेलू काम (ALFWORLD): एक आभासी घर में वस्तुओं को इधर-उधर ले जाना।
सर्च इंजन: वेब पर खोज करके जटिल प्रश्नों के उत्तर देना।
विज्ञान और कोडिंग: भौतिकी की समस्याओं को हल करना और SQL कोड लिखना।

निष्कर्ष:

कठिन कार्यों में बेहतर: RESKILL ने केवल थोड़ा बेहतर प्रदर्शन नहीं किया; इसने अनदेखे कार्यों (unseen tasks) (ऐसे कार्य जो उसने पहले कभी नहीं देखे थे) पर प्रतिस्पर्धा को पछाड़ दिया। ऐसा इसलिए क्योंकि इसके द्वारा सीखे गए कौशल लचीले और सामान्य थे, न कि केवल रटे हुए उत्तर।
कोई अतिरिक्त लागत नहीं: इसे रोबोट को दो गुनी देर तक खेलने की आवश्यकता नहीं पड़ी। इसने सामान्य प्रशिक्षण चरणों के दौरान ही कौशल-परीक्षण किया।
स्व-सुधार (Self-Correction): सिस्टम ने उन कौशलों को स्वचालित रूप से "प्रून" (हटा दिया) कर दिया जो रोबोट के स्मार्ट होने पर काम करना बंद कर चुके थे। यह कौशलों का एक जीवित पुस्तकालय है जो आवश्यकतानुसार बढ़ता और घटता है।

सारांश उपमा (Summary Analogy)

एक सॉकर टीम (Soccer Team) की कल्पना करें:

पुरानी विधि: कोच मैच देखता है, व्हाइटबोर्ड पर एक नया प्ले लिखता है, और टीम को अगले सप्ताह इसे आज़माने के लिए कहता है। इस बीच, खिलाड़ियों ने अपनी फॉर्मेशन बदल ली है, इसलिए नया प्ले फिट नहीं बैठता।
RESKILL: कोच मैच के दौरान मैदान पर मौजूद है। हर बार जब टीम हमला करती है, तो आधे खिलाड़ी पुराने प्ले को आज़माते हैं, और आधे खिलाड़ी पिछले गलती के आधार पर तुरंत बनाए गए नए प्ले को आज़माते हैं। कोच तुरंत देखता है कि कौन सा प्ले अभी गोल कर रहा है और टीम को उसी पर टिके रहने के लिए कहता है। टीम अपनी रणनीति और अपनी नियम पुस्तिका दोनों को एक साथ विकसित करती है, पूर्ण सामंजस्य में।

संक्षेप में: RESKILL "खेलना सीखने" और "नियम सीखने" को दो अलग-अलग काम मानना बंद कर देता है। यह उन्हें मिला देता है, जिससे AI एक बेहतर मस्तिष्क और एक बेहतर नियम पुस्तिका दोनों को एक साथ बनाने में सक्षम होता है।

तकनीकी सारांश: RESKILL – एजेंटिक RL में स्किल क्रिएशन और पॉलिसी ऑप्टिमाइज़ेशन का सामंजस्य

समस्या विवरण (Problem Statement)

एजेंटिक रिइन्फोर्समेंट लर्निंग (RL) लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को पर्यावरण पुरस्कारों (environment rewards) के माध्यम से निरंतर सुधार करने में सक्षम बनाती है। हालाँकि, एक महत्वपूर्ण सीमा मौजूद है: परिणामी पॉलिसियाँ अक्सर व्यवस्थित रूप से पुन: प्रयोज्य (reusable) और हस्तांतरणीय (transferable) रणनीतियों को संचित करने में विफल रहती हैं जो विभिन्न कार्यों में सामान्यीकरण (generalize) कर सकें। जबकि मॉड्यूलर स्किल्स (कार्य-विशिष्ट रणनीतियों को एनकोड करने वाले पुन: प्रयोज्य स्निपेट्स) एक समाधान प्रदान करते हैं, मौजूदा स्किल-ऑगमेंटेड RL विधियाँ आमतौर पर स्किल क्रिएशन और पॉलिसी ऑप्टिमाइज़ेशन को अलग (decouple) रखती हैं।

यह अलगाव एक "स्किल-पॉलिसी संघर्ष" (skill-policy conflict) पैदा करता है। वे विधियाँ जो कौशल को बाहरी रूप से विकसित करती हैं (जैसे कि ह्यूमन-इन-द-लूप टेस्टिंग या स्टैटिक डिस्टिलेशन के माध्यम से), उन स्किल्स को अपनाने का जोखिम उठाती हैं जो एजेंट की विकसित होती पॉलिसी के साथ संरेखित नहीं होती हैं। इसके विपरीत, वे विधियाँ जो बिना किसी सिद्धांतगत परीक्षण के स्किल्स सीखती हैं, अप्रभावी ज्ञान संचित कर सकती हैं। मुख्य चुनौती एक ऐसा ढांचा बनाने की है जहाँ स्किल इवोल्यूशन और पॉलिसी लर्निंग को सामंजस्यपूर्ण (reconciled) बनाया जा सके, जिससे यह सुनिश्चित हो सके कि स्किल्स सीधे पॉलिसी की वर्तमान लर्निंग स्टेट के जवाब में गतिशील रूप से बनाई, टेस्ट और रिफाइन की जाती हैं।

कार्यप्रणाली: RESKILL फ्रेमवर्क (Methodology: The RESKILL Framework)

RESKILL (Reconciling Skill Creation with Policy Optimization) इसे स्किल क्रिएशन चक्र को सीधे RL ट्रेनिंग लूप में शामिल करके संबोधित करता है, विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) की ग्रुप-वाइज संरचना का लाभ उठाते हुए। यह फ्रेमवर्क तीन एकीकृत तंत्रों के माध्यम से कार्य करता है:

1. विदिन-ग्रुप स्किल टेस्टिंग (Within-Group Skill-Testing)

समर्पित, महंगी टेस्टिंग रोलआउट्स के बजाय, RESKILL इस तथ्य का लाभ उठाता है कि GRPO एक ही टास्क के लिए एक ही पॉलिसी के तहत $G$ ट्रेजेक्टरीज का एक समूह (group) सैंपल करता है।

तंत्र (Mechanism): एक ही ट्रेनिंग स्टेप के भीतर, अलग-अलग स्किल वर्शन्स (जैसे, एक मौजूदा बैंक $S_{old}$ बनाम एक कैंडिडेट $S_{new}$ ) को थॉम्पसन सैंपलिंग (Thompson Sampling) के माध्यम से एक ही ग्रुप में विभिन्न रोलआउट्स को असाइन किया जाता है।
लाभ (Benefit): यह स्किल वर्शन्स के बीच एक नियंत्रित, लागत-मुक्त तुलना की अनुमति देता है। चूंकि ग्रुप में टास्क और पॉलिसी समान हैं, इसलिए एकमात्र चर (variable) स्किल वर्जन है, जो प्रदर्शन के अंतर को सीधे स्किल्स के कारण होने वाले बदलावों के लिए जिम्मेदार ठहराने में सक्षम बनाता है।
ट्रिपल-ड्यूटी रोलआउट्स (Triple-Duty Rollouts): प्रत्येक रोलआउट एक साथ तीन कार्य करता है: (i) GRPO ग्रेडिएंट्स के माध्यम से पॉलिसी ऑप्टिमाइज़ेशन, (ii) स्किल क्रिएटर के लिए विफलता निदान (failure diagnosis), और (iii) स्किल वर्जन सिलेक्शन के लिए बैंडिट इवैल्यूएशन।

2. RL-इन-द-लूप स्किल क्रिएशन (RL-in-the-Loop Skill Creation)

RESKILL एंथ्रोपिक के "स्किल क्रिएटर" पाइपलाइन को अनुकूलित करता है लेकिन मानव फीडबैक के स्थान पर RL लूप से स्वचालित, रिवॉर्ड-ड्रिवन सिग्नल्स का उपयोग करता है।

एक्सपीरियंस रिजर्वोइर (Experience Reservoir): एक निरंतर रिफ्रेश होने वाला रिजर्वोइर $R$ , सफलता-विफलता ट्रेजेक्टरी पेयर्स को उनके स्किल वर्जन और रिवॉर्ड के साथ एकत्र करता है।
असर्शन-ड्रिवन डायग्नोसिस (Assertion-Driven Diagnosis): एकल ट्रेजेक्टरीज का विश्लेषण करने के बजाय, सिस्टम पूरे रिजर्वोइर पर डायनेमिक सेट (नियम-आधारित प्रेडिकेट्स) लागू करता है ताकि प्रचलित विफलता मोड (failure modes) की पहचान की जा सके।
कंडीशनल रिवीजन (Conditional Revision): एक LLM-आधारित एजेंट इन विफलता प्रोफाइल्स के आधार पर कैंडिडेट स्किल वर्शन्स (ADD, MODIFY, DELETE ऑपरेशन्स) प्रस्तावित करता है। महत्वपूर्ण रूप से, प्रस्तावित ट्रिगर्स को रिजर्वोइर के विरुद्ध वैलिडेट किया जाता है ताकि यह सुनिश्चित हो सके कि टेस्टिंग फेज में प्रवेश करने से पहले उनके पास पर्याप्त एक्टिवेशन कवरेज है।

3. स्किल इवोल्यूशन के लिए एडेप्टिव थॉम्पसन सैंपलिंग (Adaptive Thompson Sampling for Skill Evolution)

पॉलिसी के विकसित होने के दौरान नए स्किल वर्शन्स को एक्सप्लोर करने और ज्ञात प्रभावी वर्शन्स का फायदा उठाने (exploit) के बीच संतुलन बनाए रखने के लिए, RESKILL एडेप्टिव डिस्काउंटिंग के साथ थॉम्पसन सैंपलिंग का उपयोग करता है।

एलोकेशन (Allocation): प्रत्येक स्टेप पर, एक नए स्किल वर्जन को रोलआउट असाइन करने की संभावना इस बात पर निर्भर करती है कि नया वर्जन बेहतर होने की पोस्टीरियर प्रोबेबिलिटी ( $Pr(p_{new} > p_{old})$ ) क्या है।
एडेप्टिव डिस्काउंटिंग (Adaptive Discounting): क्योंकि इवैल्यूएशन विंडो के दौरान पॉलिसी विकसित होती है, पुराने ऑब्जर्वेशन पुराने (stale) हो जाते हैं। RESKILL सबूतों को कम करने के लिए एक मेमोरी पैरामीटर $M$ पेश करता है। डिस्काउंट फैक्टर $w_t$ को नए एपिसोड्स की संख्या $n_t$ के आधार पर एडजस्ट किया जाता है: यदि $n_t$ छोटा है, तो पिछले साक्ष्य बरकरार रखे जाते हैं; यदि $n_t$ बड़ा है, तो वर्तमान पॉलिसी की क्षमताओं को दर्शाने के लिए पिछले साक्ष्य को आक्रामक रूप से डिस्काउंट किया जाता है।
एक्सेप्ट/रिजेक्ट (Accept/Reject): एक इवोल्यूशन साइकिल के अंत में, एक नया स्किल वर्जन तभी स्वीकार किया जाता है जब उसका डिस्काउंटेड पोस्टीरियर के तहत अपेक्षित प्रदर्शन पुराने वर्जन की तुलना में अधिक हो।

मुख्य योगदान (Key Contributions)

सामंजस्यपूर्ण सह-विकास (Reconciled Co-Evolution): RESKILL पहला ऐसा फ्रेमवर्क है जो स्किल क्रिएशन को सीधे पॉलिसी ऑप्टिमाइज़ेशन लूप में एकीकृत करता है, जो अलग-थलग दृष्टिकोणों में पाए जाने वाले स्किल-पॉलिसी मिसअलाइनमेंट के जोखिम को समाप्त करता है।
जीरो-ओवरहेड टेस्टिंग (Zero-Overhead Testing): GRPO की ग्रुप स्ट्रक्चर का उपयोग करके, RESKILL अतिरिक्त रोलआउट बजट या समर्पित टेस्टिंग फेज के बिना स्किल वर्शन्स की नियंत्रित तुलना सक्षम करता है।
एडेप्टिव स्किल लाइफसाइकिल (Adaptive Skill Lifecycle): यह फ्रेमवर्क रियल-टाइम पॉलिसी परफॉरमेंस और रिवॉर्ड सिग्नल्स के आधार पर स्किल्स के पूर्ण जीवनचक्र—निर्माण, परीक्षण, शोधन और छंटनी (pruning)—को स्वचालित करता है।
पॉलिसी ड्रिफ्ट के प्रति मजबूती (Robustness to Policy Drift): एडेप्टिव डिस्काउंटिंग का परिचय स्किल इवैल्यूएशन को नॉन-स्टेशनरी (non-stationary) विकसित होती पॉलिसी के लिए प्रासंगिक बनाए रखता है।

प्रयोगात्मक परिणाम (Experimental Results)

RESKILL का मूल्यांकन पांच डोमेन में किया गया: एम्बोडीड रीजनिंग (ALFWorld), एजेंटिक सर्च (NQ, HotpotQA, और पांच अनदेखे डेटासेट्स), साइंस डिस्कवरी (ScienceWorld), कोडिंग (InterCode-SQL), और वेब शॉपिंग (WANDS)।

प्रदर्शन में वृद्धि (Performance Gains): RESKILL ने वैनिला GRPO, मेमोरी-बेस्ड RL (MEMRL), और मौजूदा स्किल-बेस्ड मेथड्स (SKILLRL, INSPO) सहित बेसलाइन्स को लगातार पछाड़ दिया।
- ALFWorld पर, RESKILL ने 90.0% सफलता दर (4B मॉडल) और 92.7% (8B मॉडल) हासिल की, जो सबसे मजबूत बेसलाइन (SKILLRL) से काफी अधिक है।
- एजेंटिक सर्च पर, RESKILL ने देखे गए स्प्लिट्स पर SKILLRL की तुलना में 2.5–2.3% का सुधार किया और अनदेखे स्प्लिट्स पर और भी बड़े लाभ प्राप्त किए।
अनदेखे कार्यों पर सामान्यीकरण (Generalization to Unseen Tasks): सबसे महत्वपूर्ण सुधार अनदेखे और कठिन कार्यों पर देखे गए। उदाहरण के लिए, ALFWorld अनसीन टास्क पर, RESKILL (8B) ने 95.3% हासिल किया, जो SKILLRL (82.6%) से 12.7% का अंतर है। यह सुझाव देता है कि सामंजस्यपूर्ण विकास केवल उन्हीं स्किल वर्शन्स को रखता है जो बेहतर सामान्यीकरण करते हैं।
क्रॉस-डोमेन अनुकूलन (Cross-Domain Adaptation): एक टेस्ट-टाइम अडैप्टेशन प्रयोग में, ALFWorld पर प्रशिक्षित एक पॉलिसी को फ्रीज किया गया और ScienceWorld पर लागू किया गया। RESKILL ने पॉलिसी अपडेट के बिना नए डोमेन के लिए अपने स्किल बैंक को तेजी से अनुकूलित किया, जबकि बेसलाइन मॉडल विफल रहे।
दक्षता (Efficiency): RESKILL ने GRPO के सापेक्ष प्रतिस्पर्धी ट्रेनिंग और इंफरेंस स्पीड बनाए रखी। इसके कंडीशनल ट्रिगर मैकेनिज्म ने यह सुनिश्चित किया कि केवल प्रासंगिक स्किल्स को ही लोड किया जाए, जिससे उन तरीकों की तुलना में कॉन्टेक्स्ट लेंथ कॉम्पैक्ट रही जो बिना शर्त सभी स्किल्स को लोड करते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि RESKILL यह प्रदर्शित करता है कि स्किल क्रिएशन और पॉलिसी लर्निंग को अलग-अलग प्रक्रियाओं के रूप में नहीं माना जाना चाहिए। इन दोनों प्रक्रियाओं को सामंजस्यपूर्ण बनाकर, सिस्टम जटिल, अनदेखे और आउट-ऑफ-डोमेन कार्यों पर बेहतर प्रदर्शन करने के लिए नई स्किल्स का पालन करने और उनसे लाभ उठाने की एक सामान्य क्षमता विकसित करता है।

लेखक इस बात पर जोर देते हैं कि लाभ मुख्य रूप से सामंजस्यपूर्ण सह-विकास तंत्र (reconciled co-evolution mechanism) से आते हैं, न कि स्किल क्रिएशन के लिए उपयोग किए गए विशिष्ट LLM से (एब्लेशन स्टडीज ने दिखाया कि प्रदर्शन उच्च बना रहा भले ही स्किल क्रिएटर बेस मॉडल ही था)। यह फ्रेमवर्क एजेंटिक RL के लिए एक नया प्रतिमान (paradient) स्थापित करता है जहाँ स्किल्स स्थिर निर्देश नहीं बल्कि गतिशील, विकसित होते घटक हैं जो एजेंट की पॉलिसी के साथ सह-अनुकूलित (co-adapt) होते हैं।