SkillSentry: Reliable Skill Execution for LLM Agents via Runtime Assurance
SkillSentry एक रनटाइम एश्योरेंस फ्रेमवर्क है जो स्किल स्पेसिफिकेशन्स और ऐतिहासिक ट्रेसेस के आधार पर निष्पादन की निगरानी, मार्गदर्शन और पुनरावृत्तिपूर्ण परिशोधन के लिए एक डोमेन-विशिष्ट भाषा का उपयोग करके, स्किल्स निष्पादित करने वाले LLM एजेंट्स की विश्वसनीयता और निरंतरता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट को एक आदर्श केक बनाने के निर्देश दिए हैं। आपने इसे एक रेसिपी (एक "कौशल" या "skill") दी है जो पिछली बार बिल्कुल सही काम कर रही थी। लेकिन इस बार, रोबोट ओवन को प्रीहीट करना भूल जाता है, या चीनी की जगह नमक डाल देता है, या वह फ्रॉस्टिंग बनाना ही छोड़ देता है। भले ही रोबोट को केक बनाना पता है, फिर भी वह बारीकियों में गलतियाँ करता रहता है। यह "LLM एजेंट्स" की वर्तमान वास्तविकता है—कंप्यूटर प्रोग्राम जो विशाल भाषा मॉडलों (language models) द्वारा संचालित होते हैं जो योजना बना सकते हैं, टूल्स का उपयोग कर सकते हैं और जटिल समस्याओं को हल कर सकते हैं। वे अविश्वसनीय रूप से प्रतिभाशाली हैं, लेकिन वे थोड़े चंचल भी हैं। क्योंकि वे जो कुछ भी सोचते हैं उसके आधार पर शब्द-दर-शब्द क्रियाएं उत्पन्न करते हैं, बातचीत में मामूली बदलाव उन्हें गलत रास्ते पर ले जा सकते हैं, जिससे वे उन कार्यों में विफल हो जाते हैं जो वे पहले कर चुके हैं। वैज्ञानिक चाहते हैं कि ये एजेंट एक स्विस घड़ी की तरह विश्वसनीय हों, न कि मौसम के पूर्वानुमान की तरह अप्रत्याशित।
यहाँ SKILLSENTRY आता है, एक नया सिस्टम जिसे इन डिजिटल एजेंट्स के लिए "बाउंसर" और "कोच" के रूप में डिज़ाइन किया गया है। इसे रोबोट बेकर के ठीक बगल में खड़े एक बहुत ही चौकस 'सू-शेफ' (sous-chef) की तरह समझें। रोबोट को केक बनाने का एक बिल्कुल नया तरीका सिखाने के बजाय (जो कठिन और धीमा होगा), SKILLSENTRY वास्तविक समय (real-time) में रोबोट की हर हरकत को देखता है। इसके पास एक विशेष चेकलिस्ट ("रनटाइम गाइडेंस") है जिसे इसने मूल रेसिपी और पिछले हर सफल या असफल प्रयास के लॉग का अध्ययन करके बनाया है। यदि रोबोट प्रीहीटिंग करने से पहले केक को ओवन में रखने की कोशिश करता है, तो SKILLSENTRY उसे धीरे से रोकता है, कहता है, "हे, तुम एक स्टेप भूल गए! चलो इसे ठीक करते हैं," और उसे वापस सही रास्ते पर लाता है। पेपर दिखाता है कि ऐसा करने से, एजेंट बहुत अधिक सुसंगत हो जाते हैं, वे अपने कार्यों में औसतन 24.1% अधिक बार सफल होते हैं, और जब आप उनसे वही चीज़ दोबारा करने को कहते हैं, तो वे रैंडम गलतियाँ करना बंद कर देते हैं।
समस्या: "चंचल" जीनियस
कल्पना कीजिए कि आपका एक जीनियस दोस्त है जो किसी भी पहेली को हल कर सकता है, लेकिन वह आसानी से विचलित हो जाता है। यदि आप उससे गणित की समस्या हल करने को कहते हैं, तो वह उसे पूरी तरह से हल कर सकता है। लेकिन यदि आप पाँच मिनट बाद ठीक वही सवाल फिर से पूछते हैं, तो वह आपके पूछने के तरीके में आए एक छोटे से अंतर से भ्रमित हो सकता है और गलत उत्तर दे सकता है। LLM एजेंट्स के साथ भी यही होता है। उनके पास "कौशल" (skills) होते हैं—विशिष्ट काम करने के लिए पहले से लिखे गए निर्देश, जैसे वित्तीय डेटा का विश्लेषण करना या कंप्यूटर कोड को ठीक करना। लेकिन इन गाइड्स के होने के बावजूद, एजेंट अक्सर रास्ते से भटक जाते हैं। वे एक महत्वपूर्ण चरण छोड़ सकते हैं, गलत टूल सेटिंग का उपयोग कर सकते हैं, या निर्देशों में छोटे से बदलाव से भ्रमित हो सकते हैं। शोधकर्ताओं ने पाया कि भले ही एक एजेंट काम करने में सक्षम था, फिर भी वह इसे लगातार करने में अक्सर विफल रहा।
समाधान: "स्मार्ट बाउंसर"
इस पेपर के लेखकों ने इसे ठीक करने के लिए SKILLSENTRY बनाया है। उन्होंने रोबोट के दिमाग को फिर से प्रोग्राम करने की कोशिश नहीं की (जो बहुत बड़ा और जटिल है)। इसके बजाय, उन्होंने एक सुरक्षा जाल (safety net) बनाया है जो रोबोट के काम करते समय उसके चारों ओर रहता है।
यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
- नियम पुस्तिका (The DSL): सबसे पहले, SKILLSENTRY एजेंट के "स्किल डॉक्यूमेंट" (रेसिपी) को पढ़ता है और उसे एक सख्त, कंप्यूटर-पठनीय चेकलिस्ट में बदल देता है। यह काम को छोटे चरणों में तोड़ देता है, जैसे "चरण 1: डेटा लोड करें," "चरण 2: डेटा साफ करें," "चरण 3: फ़िल्टर लागू करें।"
- पाठ योजना (अनुभव से सीखना): इसके बाद, यह रोबोट के पिछले प्रयासों के इतिहास को देखता है। यह उन समयों का अध्ययन करता है जब रोबोट सही था और उन समयों का भी जब वह गलत था। यह सीखता है जैसे, "ओह, रोबोट अक्सर फ़िल्टर करने से पहले डेटा को साफ करना भूल जाता है," या "यह फ़िल्टर के लिए गलत नंबर का उपयोग करता है।" यह इन सीखों को विशिष्ट चेतावनियों और सुझावों में बदल देता है।
- रियल-टाइम निगरानी: अब, रोबोट काम शुरू करता है। SKILLSENTRY उसकी हर हरकत पर नज़र रखता है।
- "एंटर" चेक: जब रोबोट एक नया चरण शुरू करने वाला होता है, तो SKILLSENTRY एक टिप फुसफुसाता है: "याद रखें कि शुरू करने से पहले डेटा का क्रम जांच लें!"
- "स्टॉप" साइन: यदि रोबोट कोई चरण छोड़ देता है या कुछ ऐसा करता है जो पिछली गलती जैसा दिखता है, तो SKILLSENTRY 'पॉज' बटन दबा देता है। वह रोबोट को आगे बढ़ने नहीं देता। इसके बजाय, वह कहता है, "रुको, तुमने चरण 2 छोड़ दिया! वापस जाओ और इसे करो।"
- "फिनिश" चेक: इससे पहले कि रोबोट कहे, "मैं समाप्त हुआ!", SKILLSENTRY चेकलिस्ट की आखिरी बार जांच करता है ताकि यह सुनिश्चित हो सके कि वास्तव में प्रत्येक आवश्यक चरण पूरा किया गया था।
आत्म-सुधार का जादू
सबसे शानदार बात यह है कि SKILLSITY जितना अधिक काम करता है, उतना ही स्मार्ट होता जाता है। हर बार जब रोबोट एक कार्य पूरा करता है (चाहे वह सफल हो या विफल), SKILLSENTRY उस कहानी को सहेज लेता है। यह इन नई कहानियों का उपयोग अपनी चेकलिस्ट और चेतावनियों को अपडेट करने के लिए करता है। यह एक कोच की तरह है जो खेल देखता है, एक नई गलती देखता है, और तुरंत अगली प्रैक्टिस के लिए एक नया ड्रिल लिख देता है। पेपर दिखाता है कि जैसे-जैसे SKILLSENTRY अधिक कहानियाँ एकत्र करता है, रोबोट का प्रदर्शन बेहतर और बेहतर होता जाता है, और समय के साथ स्थिर हो जाता है।
आंकड़े क्या कहते हैं
शोधकर्ताओं ने दो लोकप्रिय रोबोट एजेंटों और चार अलग-अलग "ब्रेन" मॉडलों (अंतर्निहित AI तकनीक) का उपयोग करके 15 अलग-अलग कौशलों (जैसे आर्थिक रुझानों का विश्लेषण करना, कंप्यूटर कोड को ठीक करना, या डेटा का विज़ुअलाइज़ेशन करना) पर इस सिस्टम का परीक्षण किया।
- सफलता दर (Success Rate): औसतन, SKILLSENTRY ने इन एजेंट्स की सफलता दर को 24.1% तक बढ़ा दिया। इसका मतलब है कि यदि एक एजेंट 60% बार सफल हो रहा था, तो वह 77% से ऊपर पहुँच गया।
- निरंतरता (Consistency): पहले, एजेंट्स थोड़े अस्थिर थे; यदि आप उनसे एक ही कार्य पांच बार करने को कहते, तो वे 3 बार सफल और 2 बार विफल हो सकते थे। SKILLSENTRY के साथ, वे बहुत अधिक स्थिर हो गए। उनके प्रदर्शन में "उतार-चढ़ाव" (standard deviation) 41.1% तक कम हो गया।
- गति (Speed): यह सिस्टम बहुत हल्का है। इसने केवल लगभग 8.7% अधिक "सोचने का समय" (token cost) जोड़ा और कंप्यूटर प्रोसेसिंग में 1% से भी कम अतिरिक्त समय लिया। यह एक बड़ी विश्वसनीयता के उछाल के लिए एक छोटा सा मूल्य है।
यह क्या नहीं है
यह जानना महत्वपूर्ण है कि SKILLSENTRY क्या नहीं करता है। यह रोबोट को शुरुआत से कोई नया कौशल नहीं सिखाता है। यदि रोबोट कार्य को समझने के लिए ही बहुत कमज़ोर है, तो SKILLSENTRY उसे ठीक नहीं कर सकता। यह केवल तभी काम करता है जब रोबोट के पास काम करने की बुनियादी क्षमता पहले से मौजूद हो, लेकिन वह बस बारीकियों में गलती करता रहता है। यह यह भी ठीक नहीं करता कि रोबोट किसी काम के लिए सही कौशल का चुनाव कैसे करे; यह केवल यह सुनिश्चित करता है कि एक बार कौशल चुनने के बाद रोबोध निर्देशों का पालन करे।
निष्कर्ष
पेपर सुझाव देता है कि हमें हमेशा अपने AI एजेंट्स के लिए बड़े, स्मार्ट दिमाग बनाने की ज़रूरत नहीं होती है। कभी-कभी, हमें बस काम करते समय उन पर नज़र रखने का एक बेहतर तरीका चाहिए होता है। एक सख्त चेकलिस्ट को पिछले अनुभवों से मिली सीख के साथ जोड़कर, और वास्तविक समय में हस्तक्षेप करके, हम चंचल और असंगत रोबोट को विश्वसनीय और मेहनती साथियों में बदल सकते हैं। परिणाम दिखाते हैं कि यह "रनटाइम एश्योरेंस" (runtime assurance) AI एजेंट्स को वास्तविक दुनिया के उपयोग के लिए भरोसेमंद बनाने का एक शक्तिशाली तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।