तकनीकी सारांश: SkillLens: लागत-कुशल LLM एजेंटों के लिए अनुकूलन योग्य बहु-स्तर (Multi-Granularity) कौशल पुन: उपयोग

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंट तेजी से कौशल पुस्तकालयों (skill libraries) पर निर्भर हो रहे हैं ताकि वे प्रक्रियात्मक अनुभव को बाहरी रूप से संचित कर सकें, जिससे हर कार्य के लिए व्यवहार को शून्य से खोजने की आवश्यकता समाप्त हो जाती है। हालांकि, मौजूदा प्रणालियाँ (जैसे, Voyager, Reflexion, SkillAct) आमतौर पर कौशलों को सपाट, एकल-रिज़ॉल्यूशन प्रॉम्प्ट ब्लॉक्स के रूप में मानती हैं। यह परमाणु दृष्टिकोण (atomic approach) प्रासंगिकता और लागत के बीच एक मौलिक तनाव पैदा करता है:

• स्थूल इंजेक्शन (Coarse Injection): एक पूरे कौशल को इंजेक्ट करने से अक्सर अप्रासंगिक या भ्रामक संदर्भ उत्पन्न होता है यदि कौशल केवल आंशिक रूप से वर्तमान कार्य के अनुकूल है, जिससे कॉन्टेक्स्ट विंडो अनावश्यक रूप से भर जाती है और मतिभ्रम (hallucinations) की संभावना बढ़ जाती है।
• सब-कुछ-या-कुछ-नहीं वाला त्याग (All-or-Nothing Discard): यदि कोई कौशल पूर्णतः सटीक मेल नहीं खाता, तो एजेंट अक्सर उसे पूरी तरह से त्याग देते हैं, जिससे वे पुन: समाधान करने के लिए मजबूर होते हैं और पुन: प्रयोज्य उप-संरचना (reusable substructure) व्यर्थ हो जाती है।
• अकुशल पुनर्लेखन (Inefficient Rewriting): नए संदर्भ में फिट होने के लिए पूरे कौशल को फिर से लिखना कम्प्यूटेशनल रूप से महंगा है और अक्सर अनावश्यक होता है, क्योंकि केवल विशिष्ट घटकों को ही अनुकूलन की आवश्यकता होती है।

मूल प्रश्न जो संबोधित किया गया है वह है: एक पुनः प्राप्त किए गए कौशल का पुन: उपयोग किस रिज़ॉल्यूशन (granularity) पर किया जाना चाहिए? लेखक तर्क देते हैं कि कौशल शायद ही कभी समान रूप से उपयोगी या अनुपयोगी होते हैं; उच्च-स्तरीय योजनाएं मेल खा सकती हैं जबकि निम्न-स्तरीय चरण मेल नहीं खाते, या इसके विपरीत।

कार्यप्रणाली: SkillLens फ्रेमवर्क

SkillLens एक पदानुक्रमित कौशल-विकास फ्रेमवर्क (hierarchical skill-evolution framework) प्रस्तावित करता है जो कौशलों को चार-परत वाले ग्राफ में व्यवस्थित करता है और उन्हें मिश्रित सूक्ष्मता (mixed granularity) पर पुनः प्राप्त और अनुकूलित करता है।

1. पदानुक्रमित कौशल ग्राफ (Hierarchical Skill Graph)

कौशल पुस्तकालय $S$ को एक ग्राफ $G = (S, E)$ के रूप में संरचित किया गया है जिसमें चार अमूर्त परतें (abstraction layers) हैं, जो ऑप्शंस फ्रेमवर्क्स और HTN प्लानिंग से प्रेरित हैं:

1. पॉलिसी ($\ell=1$): कार्यों को डाउनस्ट्रीम रणनीतियों की ओर निर्देशित करती है।
2. रणनीति ($\ell=2$): दीर्घ-क्षितिज (long-horizon) योजनाओं को प्रदान करती है।
3. प्रक्रिया ($\ell=3$): ब्रांचिंग और रिट्राय लॉजिक के साथ पुन: प्रयोज्य मानक संचालन प्रक्रियाएं (SOPs)।
4. प्रिमिटिव ($\ell=4$): परमाणु निष्पादन योग्य इकाइयाँ (टूल कॉल्स, एनवायरनमेंट एक्शन्स)।

किनारे (edges) आसन्न परतों (पैरेंट-चाइल्ड) और सहोदरों (siblings) को जोड़ते हैं, जो सिमेंटिक समानता और संरचनात्मक संबंधों द्वारा भारित (weighted) होते हैं।

2. मिश्रित-सूक्ष्मता अनुकूलन (Inference-Time)

एक कार्य क्वेरी $Q$ के लिए, SkillLens एक दो-चरणीय प्रक्रिया के माध्यम से एक संक्षिप्त कौशल संदर्भ $K(Q)$ का निर्माण करता है:

• सीड रिट्रीवल और विस्तार (Seed Retrieval & Expansion): यह शीर्ष-$K$ एम्बेडिंग सीड्स को पुनः प्राप्त करता है और कौशल ग्राफ पर एक डिग्री-करेक्टेड रैंडम वॉक के माध्यम से उन्हें विस्तारित करता है ताकि प्रक्रियात्मक रूप से संबंधित उम्मीदवारों की पहचान की जा सके।
• वेरिफायर-संचालित ट्रैवर्सल (Verifier-Driven Traversal): एक वेरिफायर $V_\phi$ आंशिक रूप से प्रासंगिक उम्मीदवारों के डिकंपोज़िशन सबट्री को पुनरावर्ती रूप से ट्रैवर्स करता है। प्रत्येक इकाई $u$ के लिए, वेरिफायर चार में से एक क्रिया का निर्णय लेता है:
  • स्वीकार करें (ACCEPT): इकाई संगत है; इसे बनाए रखें और इसके सबट्री का ट्रैवर्सल रोक दें।
  • विघटित करें (DECOMPOSE): इकाई बहुत स्थूल (coarse) है; आगे के मूल्यांकन के लिए इसे इसके बच्चों तक विस्तारित करें।
  • पुनर्लेखन (REWRITE): इकाई उपयोगी है लेकिन बेमेल है; एक राइटर $W_\phi$ इसे स्थानीय रूप से अनुकूलित करता है।
  • छोड़ें (SKIP): इकाई अप्रासंगिक है; इसे हटा दें।

अंतिम संदर्भ $K(Q)$ केवल स्वीकृत और स्थानीय रूप से पुन: लिखे गए इकाइयों से बना होता है, यह सुनिश्चित करता है कि एजेंट को एक पूर्ण रिट्रीव्ड ब्लॉक के बजाय एक कार्य-विशिष्ट संदर्भ मिले।

3. द्वैत-पंजीकरण विकासवादी परिशोधन (Dual-Registry Evolutionary Refinement)

SkillLens इन्फरेंस-टाइम अनुकूलन को दो युग्मित रजिस्ट्रियों का उपयोग करके इवोल्यूशन-टाइम परिशोधन के साथ जोड़ता है:

• एजेंट रजिस्ट्री ($S$): प्रक्रियात्मक ज्ञान जिसे एजेंट परामर्श करता है।
• वेरिफायर रजिस्ट्री ($S_V$): रूटिंग पॉलिसी को पैरामीटराइज़ करती है (कब ACCEPT/DECOMPOSE/REWRITE/SKIP करना है)।

प्रक्रिया:

1. गैप रिपोर्ट निर्माण: एक इवोल्यूशन स्प्लिट पर विफल ट्राजेक्टरीज का विश्लेषण किया जाता है ताकि त्रुटि प्रकारों, ट्रैवर्सल पथों और रूटिंग निर्णयों को रिकॉर्ड किया जा सके।
2. युग्मित अपडेट (Coupled Update): एक राइटर $W_\phi$ गैप रिपोर्ट्स के आधार पर रजिस्ट्रियों में संपादन प्रस्तावित करता है। $S_V$ को पहले अपडेट किया जाता है ताकि रूटिंग निर्णयों को परिष्कृत किया जा सके। इसके बाद एजेंट रजिस्ट्री $S$ को इन रूटिंग निर्णयों से प्रेरित किया जाता है (आवश्यक प्रक्रियात्मक संपादन को भौतिक रूप प्रदान करना)।
3. उद्देश्य: सिस्टम पुनरावर्ती रूप से एक ऑब्जेक्टिव $J(S) = \mathbb{E}[M(Y, O_S(Q)) - C(Q, S)]$ को अधिकतम करता है, जो कार्य सटीकता ($M$) और इन्फरेंस लागत ($C$) के बीच संतुलन बनाता है।

4. सैद्धांतिक गारंटी

पेपर तीन प्रमुख सैद्धांतिक परिणाम प्रदान करता है:

• सबलीनियर लागत (Sublinear Cost): स्पार्स मिसमैच धारणाओं के तहत, अनुकूलन लागत रिट्रीव किए गए कौशल ट्री के आकार के सापेक्ष सबलीनियर ($o(n)$) है, क्योंकि वेरिफायर संगत सबट्री को ट्रैवर्स करने से बचता है।
• मोनोटोनिक सुधार (Monotone Improvement): इवोल्यूशनरी अपडेट नियम स्थानीय इष्टतम (local optimum) तक पहुँचने तक वैलिडेशन ऑब्जेक्टिव के मोनोटोनिक सुधार की गारंटी देता है।
• अनुमान गारंटी (Approximation Guarantee): कंपोज्ड एल्गोरिदम (रिट्रीवल + राइटिंग) सरोगेट ऑब्जेक्टिव के लिए $(1 - 1/e)$-एप्रोक्सिमेशन गारंटी प्रदान करता है, जो रिट्रीवल, रैंडम वॉक स्कोरिंग और वेरिफायर रूटिंग में त्रुटियों द्वारा सीमित है।

मुख्य योगदान

1. फॉर्मूलेशन: कौशल पुन: उपयोग को एक कॉन्टेक्स्ट चयन और अनुकूलन समस्या के रूप में पुनर्गठित किया गया है, जो फ्लैट प्रॉम्प्ट इंजेक्शन से आगे बढ़कर रिट्रीव किए गए ज्ञान के उपयोगी उप-भागों की पहचान करने और उन्हें संयोजित करने की ओर बढ़ता है।
2. फ्रेमवर्क: पदानुक्रमित रिट्रीवल, वेरिफायर-निर्देशित डिकंपोज़िशन और स्थानीयकृत अनुकूलन का उपयोग करने वाले एक रिज़ॉल्यूशन-जागरूक फ्रेमवर्क SkillLens का परिचय। यह आंशिक रूप से प्रासंगिक कौशलों को उचित सूक्ष्मता पर पुन: उपयोग करने की अनुमति देता है।
3. साक्ष्य: दक्षता और प्रदर्शन में सुधार दिखाने वाले सैद्धांतिक विश्लेषण के साथ-साथ अनुभवजन्य साक्ष्य।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन MuLocbench (रिपॉजिटरी-स्तरीय बग लोकलाइजेशन) और ALFWorld (दीर्घ-क्षितिज इंटरैक्टिव टेक्स्ट कार्य) पर किया गया।

• MuLocbench: SkillLens ने सभी सूक्ष्मताओं (granularities) में सर्वश्रेष्ठ Acc@1 प्राप्त किया:
  • फ़ाइल स्तर: 61.13% (बनाम 58.87% बेसलाइन)।
  • मॉड्यूल स्तर: 59.26% (बनाम 55.56% बेसलाइन)।
  • फ़ंक्शन स्तर: 43.68% (बनाम 37.37% बेसलाइन)।
  • अवलोकन: लाभ सबसे सूक्ष्म स्तरों (फ़ंक्शन स्तर) पर सबसे अधिक स्पष्ट थे, जहाँ पूर्ण-कौशल इंजेक्शन सबसे अधिक मोटा (coarse) होने की संभावना होती है।
• ALFWorld: SkillLens ने समग्र सफलता दर को 45.00% (वैनिला) से बढ़ाकर 51.31% कर दिया, जो फ्लैट स्किल बेसलाइन्स (AutoSkill, EvoSkill) से 4.17 प्रतिशत अंक अधिक है।
• एब्लेशन अध्ययन (Ablation Studies):
  • डिग्री-करेक्टेड RWR: रैंडम वॉक को हटाने से प्रदर्शन कम हो गया, जो पुष्टि करता है कि ग्राफ प्रोपेगेशन संरचनात्मक रूप से प्रासंगिक लेकिन टेक्स्टुअली दूर के कौशलों को सामने लाता है।
  • चयनात्मक पुनर्लेखन (Selective Rewriting): प्रस्तावित चयनात्मक ड्रिल-डाउन रणनीति ने "रीराइट-ऑल" और "पैरेंट-ओनली" बेसलाइन्स की तुलना में काफी कम टोकन (16.4M बनाम 115.5M "रीराइट-ऑल" के लिए) का उपयोग करते हुए बेहतर प्रदर्शन किया।

महत्व और दावे

पेपर दावा करता है कि SkillLens वर्तमान एजेंटिक प्रणालियों की एक संरचनात्मक सीमा को संबोधित करता है: विभिन्न रिज़ॉल्यूशन पर कौशलों को पुन: उपयोग करने में असमर्थता। कौशल को परमाणु ब्लॉक्स के बजाय पदानुक्रमित प्रक्रियात्मक वस्तुओं के रूप में मानकर, SkillLens एजेंटों को सक्षम बनाता है:

• संगत उप-कौशलों को सीधे पुन: उपयोग करना बिना किसी संशोधन के।
• केवल स्थानीय रूप से बेमेल घटकों को अनुकूलित करना, जिससे टोकन लागत और मतिभ्रम के जोखिम कम हो जाते है।
• प्रक्रियात्मक सामग्री और रूटिंग लॉजिक दोनों को विकसित करना, जिससे समय के साथ अधिक मजबूत कौशल पुस्तकालयों का निर्माण होता है।

लेखक इस बात पर जोर देते हैं कि ये लाभ उन कार्यों के लिए सबसे महत्वपूर्ण हैं जिनमें सूक्ष्म (fine-grained) या संरचनात्मक (compositional) कौशल उपयोग की आवश्यकता होती है, जहाँ मौजूदा प्रणालियों का "सब-कुछ-या-कुछ-नहीं" वाला दृष्टिकोण आंशिक प्रासंगिकता के सूक्ष्म अंतर को पकड़ने में विफल रहता है। भविष्य के कार्य को मल्टीमॉडल सेटिंग्स और मल्टी-एजेंट वातावरण में विस्तार करने के रूप में नोट किया गया है।