SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision

तकनीकी सारांश: SKILLREVISE

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंट तेजी से सत्यापन-संचालित (verifier-driven) वातावरण में काम कर रहे हैं जहाँ सफलता बहु-चरणीय वर्कफ़्लो को निष्पादित करने, बाधाओं को पूरा करने और विफलताओं से उबरने पर निर्भर करती है। जबकि "एजेंट कौशल" (पुन: प्रयोजते हुए प्रक्रियात्मक आर्टिफैक्ट्स) परमाणु उपकरणों (atomic tools) और उच्च-स्तरीय प्रॉम्प्ट के बीच के अंतर को पाटने के लिए डिज़ाइन किए गए हैं, कौशल प्राप्त करने के मौजूदा तरीकों को महत्वपूर्ण सीमाओं का सामना करना पड़ता है, विशेष रूप से कोल्ड-स्टार्ट सेटिंग्स (cold-start settings) में जहाँ केवल एक प्रारंभिक, अपूर्ण कौशल उपलब्ध होता है।

वर्तमान दृष्टिकोण तीन श्रेणियों में आते हैं, जिनमें से प्रत्येक के अपने विशिष्ट दोष हैं:

1. रिट्रीवल-आधारित विधियाँ (Retrieval-based methods): ये अक्सर ऐसे कौशल चुनती हैं जो लक्षित कार्य से पूरी तरह मेल नहीं खाते, जिससे निष्पादन बाधित होता है।
2. स्व-विकास विधियाँ (Self-evolution methods): इनके लिए संचित प्रक्षेप पथों (trajectories) और अनुभव की आवश्यकता होती है, जो उन्हें शून्य से शुरू करने (कोल्ड-स्टार्ट) के लिए अप्रभावी बनाती हैं या ओवरफिटिंग के प्रति संवेदनशील बनाती हैं।
3. प्रत्यक्ष लेखन (विशेषज्ञ या वन-शॉट LLM): विशेषज्ञ लेखन महंगा है और वास्तविक एजेंट निष्पादन व्यवहार के साथ गलत संरेखित हो सकता है। वन-शॉट LLM जनरेशन अक्सर ऐसे कौशल उत्पन्न करता है जो सिंटैक्टिक रूप से सही होते हैं लेकिन व्यवहारिक रूप से कमजोर होते हैं, क्योंकि उनमें निष्पादन ट्रेसेस (execution traces) के विरुद्ध सत्यापन का अभाव होता है।

मुख्य चुनौती यह है कि कौशल परमाणु उपकरणों की तरह विश्वसनीय रूप से एजेंट के प्रदर्शन में सुधार नहीं करते; निम्न-गुणवत्ता या गलत मेल खाने वाले कौशल प्रदर्शन को कम कर सकते हैं। एक ऐसी विधि की आवश्यकता है जो बिना किसी बड़े पूर्व-मौजूद सफल प्रक्षेप पथ संग्रह के, निष्पादन साक्ष्य (execution evidence) का उपयोग करके एक प्रारंभिक, अपूर्ण LLM-लिखित कौशल को पुनरावृत्ति (iteratively) के माध्यम से परिष्कृत कर सके।

कार्यप्रणाली: SKILLREVISE (Methodology: SKILLREVISE)

लेखक SKILLREVISE का प्रस्ताव करते हैं, जो एक बाउंडेड रिवीज़न लूप के माध्यम से एक प्रारंभिक कौशल ($S_0$) को पुनरावृत्ति (iteratively) के साथ परिष्कृत करने के लिए डिज़ाइन किया गया एक निष्पादन-आधारित (execution-grounded) ढांचा है। यह ढांचा संशोधन प्रक्रिया को कार्य-विशिष्ट निदान (diagnosis) और सामान्य मरम्मत ज्ञान में विभाजित करता है, जिससे व्यापक पूर्व अनुभव की आवश्यकता समाप्त हो जाती है।

मुख्य घटक (Core Components)

1. निदान (Diagnosis - $D_i$): एक कार्य-विशिष्ट घटक जो कच्चे निष्पादन साक्ष्य को मरम्मत बाधाओं (repair constraints) में परिवर्तित करता है। प्रत्येक संशोधन प्रयास $i$ के लिए, इसमें शामिल हैं:

   • सत्यापन विनिर्देश (Verification Specification - $V_i$): अवलोकन योग्य आवश्यकताएं (आउटपुट पथ, स्कीमा, प्रारूप, पास/फेल एसेर्शन)।
   • विफलता आरोपण (Failure Attribution - $A_i$): विफल चेक्स, देखे गए व्यवहार, संभावित कारणों और दोष लेबल का सारांश।
   • संरक्षण बाधाएं (Preservation Constraints - $K_i$): वे चेक जो पास हुए और वे विकल्प जिन्हें रिग्रेशन (regression) से बचने के लिए संरक्षित किया जाना चाहिए।

2. सिद्धांत स्मृति (Principle Memory - $M$): कार्य-विशिष्ट समाधानों के बजाय पुन: प्रयोज्य मरम्मत सिद्धांतों का एक भंडार। प्रत्येक सिद्धांत एक आवर्ती कौशल-दोष को एक परिचालन मरम्मत पैटर्न में संक्षिप्त करता है, जो यह निर्दिष्ट करता है कि इसे कब लागू किया जाए, यह किस दोष को संबोधित करता है, और मरम्मत को कैसे सत्यापित किया जाए। सिस्टम सात सिद्धांतों (जैसे, "आउटपुट को सत्यापनकर्ता के सामने उजागर करें," "सही व्यवहार बनाए रखें") के साथ शुरू होता है।

3. रिवीजन ऑपरेटर (Revision Operator - $R_\phi$): यह मॉड्यूल वर्तमान कौशल ($S_i$), निदान ($D_i$), और रिट्रीव किए गए सिद्धांतों ($P_i$) को एक संशोधित कौशल उम्मीदवार ($\hat{S}_{i+1}$) और एक रिवीज़न ट्रेस ($z_i$) में मैप करता है। महत्वपूर्ण रूप से, यह एक्जीक्यूशन एंकर्स (execution anchors) लागू करता है—यह निर्देश कि एक टेक्स्टुअल एडिट को एक्सेक्यूटर के व्यवहार को कैसे बदलना चाहिए (जैसे, "फ़ाइल को रीलोड करें," "JSON पार्स करें," "कीज़ की जाँच करें")—यह सुनिश्चित करते हुए कि संपादन क्रियात्मक चरणों में आधारित हों।

4. बाउंडेड रिवीज़न एपिसोड (Bounded Revision Episode): यह ढांचा एक सीमित बजट (जैसे, $B=3$ राउंड) के तहत कार्य करता है।

   • निष्पादन और निदान: वर्तमान कौशल का निष्पादन किया जाता है; यदि विफलताएं होती हैं, तो एक निदान उत्पन्न किया जाता है।
   • रिट्रीवल और बाइंडिंग: $M$ से प्रासंगिक सिद्धांतों को रिट्रीव किया जाता है और वर्तमान निदान के साथ जोड़ा जाता है।
   • रिवीजन और पुनः निष्पादन: एक संशोधित कौशल उम्मीदवार उत्पन्न किया जाता है और पुनः निष्पादित किया जाता है।
   • यूटिलिटी-गेटेड चयन (Utility-Gated Selection): सिस्टम देखे गए उम्मीदवारों का एक सेट बनाए रखता है। अंतिम आउटपुट अनिवार्य रूप से अंतिम उत्पन्न संशोधन नहीं है, बल्कि एक यूटिलिटी फंक्शन $U(S, T)$ के आधार पर सर्वश्रेष्ठ देखा गया कौशल ($S^*$) है। यह फंक्शन सफलता दर, निष्पादन दक्षता, ट्रांसफर प्रदर्शन और इंटरफेरेंस लागत के बीच संतुलन बनाता है, यह सुनिश्चित करता है कि दक्षता लाभ तभी पुरस्कृत किए जाएं जब कार्य सफलतापूर्वक पूरा हो जाए।

मुख्य योगदान (Key Contributions)

पेपर तीन प्राथमिक योगदान देता है:

1. फॉर्मूलेशन (Formulation): यह कोल्ड-स्टार्ट कौशल सुधार को एक मौजूदा LLM-लिखित कौशल के बाउंडेड, निष्पादन-आधारित संशोधन के रूप में पुनर्परिभाषित करता है, जो रिट्रीवल या ओपन-एंडेड स्व-विकास से अलग है।
2. फ्रेमवर्क (Framework): यह SKILLREVISE पेश करता है, जो कार्य-विशिष्ट निदान, पुन: प्रयोज्य प्रिंसिपल मेमोरी और यूटिलिटी-गेटेड चयन के साथ निष्पादन-एन्करित रिवीज़न को एकीकृत करता है ताकि इष्टतम कौशल संस्करण को व्यवस्थित रूप से बनाए रखा जा सके।
3. मूल्यांकन (Evaluation): यह तीन बेंचमार्क (SkillsBench, SkillLearnBench-Random, SWE-Skills-Bench-Hard) और एक ALFWorld अध्ययन के माध्यम से व्यापक अनुभवजन्य सत्यापन प्रदान करता है, जो कई एक्सेक्यूटर मॉडल्स पर 'नो-स्किल' और 'वन-शॉट' बेसलाइन्स की तुलना में निरंतर लाभ प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन पांच LLMs (GPT-5.5, Opus-4.7, Kimi-2.6, Qwen-3.6plus, DeepSeek-V4-Pro) के माध्यम से एक साझा सत्यापनकर्ता-संचालित हार्नेस का उपयोग करके किया गया।

• प्रदर्शन लाभ (Performance Gains): मानक SkillsBench पर, SKILLREVISE ने GPT-5.5 एजेंट की सफलता दर को केवल तीन रिवीज़न राउंड के भीतर 36.05% (नो स्किल) और 39.53% (वन-शॉट जनरेशन) से बढ़ाकर 61.63% कर दिया। SkillLearnBench-Random और SWE-Skills-Bench-Hard पर भी इसी तरह के पर्याप्त सुधार देखे गए।
• क्रॉस-मॉडल ट्रांसफ़रेबिलिटी (Cross-Model Transferability): संशोधित कौशल ने मजबूत ट्रांसफ़रेबिलिटी प्रदर्शित की। जब GPT-5.5 द्वारा संशोधित निश्चित कौशलों को अन्य एक्सेक्यूटर्स (जैसे, Opus-4.7, DeepSeek-V4-Pro) पर लागू किया गया, तो वे अक्सर "नो-स्किल" बेसलाइन से बेहतर प्रदर्शन करते थे, जो यह सुझाव देता है कि कौशल मॉडल-विशिष्ट आर्टिफैक्ट्स के बजाय सामान्यीकृत प्रक्रियात्मक ज्ञान को कैप्चर करते हैं। हालांकि, एक्सेक्यूटर-विशिष्ट रिवीज़न ने आम तौर पर उच्चतम प्रदर्शन दिया।
• एब्लेशन स्टडीज (Ablation Studies): Diagnosis घटक को हटाने से सबसे बड़ा प्रदर्शन ड्रॉप हुआ (SkillsBench पर 53/86 से 28/86), जो सत्यापनकर्ता साक्ष्य को कौशल-स्तर के दोषों तक स्पष्ट रूप से जोड़ने की आवश्यकता को रेखांकित करता है। Preserve Ledger और Execution Anchors भी रिग्रेशन को रोकने और संपादन को ठोस कार्यों को प्रेरित करने के लिए महत्वपूर्ण थे।
• ALFWorld अध्ययन: एक सिद्धांत-अवशोषण (principle-absorption) अध्ययन में, 25 कैलिब्रेशन कार्यों से सीखे गए 10 सिद्धांतों के एक संक्षिप्त बैंक ने 100-टास्क होल्ड-आउट सेट पर प्रदर्शन में सुधार किया, जिससे 100 में से 71 कार्यों को हल किया गया, जो स्थानीय विफलताओं को पुन: प्रयोज्य मरम्मत पैटर्न में एब्स्ट्रैक्ट करने की क्षमता को प्रदर्शित करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि निष्पादन-आधारित संशोधन (execution-grounded revision) स्वचालित कौशल लेखन के लिए एक विश्वसनीय प्रतिमान है, विशेष रूप से कोल्ड-स्टार्ट परिदृश्यों में। इस कार्य का महत्व यह प्रदर्शित करने में है कि:

• कौशल तब सबसे प्रभावी होते हैं जब वे स्थिर सलाह नहीं बल्कि परीक्षण योग्य प्रक्रियात्मक स्मृतियाँ होते हैं जिन्हें देखे गए विफलताओं द्वारा परिष्कृत किया जाता है।
• निदान, सामान्य सिद्धांतों और यूटिलिटी-गेटेड चयन को संयोजित करने वाला एक संरचित दृष्टिकोण वन-शॉट जनरेशन की भंगुरता और स्व-विकास की डेटा-भूख को दूर कर सकता है।
• यह ढांचा प्रारंभिक ड्राफ्ट को सत्यापनकर्ता फीडबैक का उपयोग करके पुनरावृत्ति के माध्यम से परिष्कृत करके विशेषज्ञ लेखन (महंगा) और वन-शॉट जनरेशन (अविश्वसनीय) के बीच के अंतर को सफलतापूर्वक पाटता है।

लेखक विनम्रतापूर्वक सीमाओं का उल्लेख करते हैं, जिसमें सत्यापनकर्ता-दृश्य फीडबैक (जो स्पार्स टेस्ट होने पर ओवरफिटिंग की ओर ले जा सकता है) पर निर्भरता और यह तथ्य शामिल है कि यदि कौशल लगातार प्रदर्शन को कम करता है तो विधि "नो-स्किल" निष्पादन पर वापस नहीं जाती है। वे SKILLREVISIBLE को रोबस्ट, स्वचालित कौशल अधिग्रहण की दिशा में एक कदम के रूप में देखते हैं जो एजेंट व्यवहार को कार्य बाधाओं और सत्यापन मानदंडों के साथ संरेखित करता है।