What Keeps Agent Skills from Being Reusable? Evidence from 138K SKILL.md Files
138,133 सार्वजनिक SKILL.md फ़ाइलों के एक विश्लेषण से पता चलता है कि 90% से अधिक फ़ाइलें पुन: प्रयोज्यता-सीमित करने वाले दोषों से ग्रस्त हैं—मुख्य रूप से कमजोर रूटिंग मेटाडेटा, अत्यधिक सामग्री और खराब संसाधन संगठन—जिसके लिए एक गुणवत्ता-सुनिश्चित वर्कफ़्लो की आवश्यकता है जो विश्वसनीय LLM एजेंट स्किल पुन: उपयोग को सक्षम करने के लिए स्पेक-अवेयर प्रॉम्प्टिंग, स्वचालित लिंटिंग और सुरक्षा गेटिंग को जोड़ता हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट असिस्टेंट बनाया है। आपने उसे लाखों चीजें करना सिखाया है, लेकिन वह अभी भी थोड़ा अनाड़ी है। उसकी मदद करने के लिए, आपने उसे "रेफरेंस शीट्स" (संदर्भ पत्र) की एक लाइब्रेरी दी है—छोटे डिजिटल कार्ड जो रोबोट को बताती हैं कि विशिष्ट स्थितियों को कैसे संभालना है, जैसे कि "टूटा हुआ लिंक कैसे ठीक करें" या "बिखरे हुए इनबॉक्स को कैसे व्यवस्थित करें।" आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन संदर्भ पत्रों को एजेंट स्किल्स (Agent Skills) कहा जाता है। ये विशेष फाइलें (आमतौर पर SKILL.md नाम से) मिनी-प्रोग्राम की तरह काम करती हैं, जिससे रोबोट पिछले अनुभवों के 'नुस्खों' को याद रख सकता है और उन्हें नई बातचीत में उपयोग कर सकता है।
बड़ी उम्मीद यह है कि एक बार जब आप एक बहुत अच्छा संदर्भ पत्र लिख लेते हैं, तो आप इसे लाखों अन्य रोबोटों के साथ साझा कर सकते हैं, और वे सभी तुरंत उस कार्य में बेहतर हो सकते हैं। यह एक बेहतरीन रेसिपी साझा करने जैसा है: आप एक बार व्यंजन बनाते हैं, उसे लिख लेते हैं, और बाकी सभी लोग आपकी मदद के बिना भी उसे उतना ही स्वादिष्ट बना सकते हैं। लेकिन इसके लिए काम करने के लिए, रेसिपी का स्पष्ट, सुरक्षित और आसानी से मिल जाने योग्य होना आवश्यक है। यदि रेसिपी किसी गुप्त कोड में लिखी गई है, उसमें सामग्री की सूची गायब है, या वह रसोइए को "घर जला देने" के लिए कहती है, तो वह न केवल बेकार है—बल्कि खतरनाक भी है। यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: जो संदर्भ पत्र लोग साझा कर रहे हैं, क्या वे वास्तव में उपयोगी हैं, या वे ज्यादातर खराब हैं?
द ग्रेट स्किल स्केवेंजर हंट (महारत हासिल करने की खोज)
इस शोध पत्र के लेखकों ने, जो न्यूयॉर्क और ओहियो के विश्वविद्यालयों के शोधकर्ताओं की एक टीम है, एक जासूस बनने का निर्णय लिया। वे इंटरनेट पर एक बड़े पैमाने पर "खोज अभियान" (scavenger hunt) पर निकले, विशेष रूप से 138,133 सार्वजनिक "संदर्भ पत्रों" (SKILL.md फाइलों) की तलाश में, जिन्हें 20,556 अलग-अलग डिजिटल रिपॉजिटरी में साझा किया गया था। इसे एक विशाल, अराजक पुस्तकालय में जाने के रूप में सोचें जहाँ कोई भी अपनी किताब शेल्फ पर रख सकता है, और यह देखने के लिए हर एक की जाँच करें कि क्या वह वास्तव में एक रेसिपी है या सिर्फ लकीरों का ढेर।
उन्होंने केवल स्पेलिंग की गलतियों को नहीं देखा। उन्होंने दो-स्तरीय "क्वालिटी स्कैनर" बनाया ताकि दो प्रकार की समस्याओं की जाँच की जा सके:
- "नियम तोड़ने वाले" (टियर 1): ये वे स्किल्स हैं जो आधिकारिक नियम पुस्तिका की अनदेखी करते हैं। शायद शीर्षक गायब है, निर्देश बहुत लंबे हैं, या "इसका उपयोग कब करें" वाला भाग खाली है।
- "बुरी आदतें" (टियर 2): ये वे स्किल्स हैं जो नियमों का पालन तो करते हैं लेकिन फिर भी अव्यवस्थित या खतरनाक हैं। शायद उनमें एक "टू-डू" लिस्ट शामिल है, वे गुप्त पासवर्ड लीक करते हैं, या रोबोट को ऐसे टूल का उपयोग करने के लिए कहते हैं जो केवल एक विशिष्ट कंप्यूटर पर काम करता है।
चौंकाने वाली खोज: लाइब्रेरी बिखरी हुई है
परिणाम थोड़े चौंकाने वाले थे। शोधकर्ताओं ने पाया कि उनके द्वारा जांचे गए स्किल्स में से 91.8% में कम से कम एक दोष था। यह एक पुस्तकालय में जाने और यह देखने जैसा है कि शेल्फ पर मौजूद लगभग हर किताब का एक पन्ना फटा हुआ है, एक अध्याय गायब है, या उस पर एक नोट लिखा है "इसे न पढ़ें।"
सबसे आम समस्याएँ कोई विदेशी या उच्च-तकनीकी हैकिंग हमले नहीं थीं। वे वास्तव में काफी साधारण और मानवीय थीं:
- भ्रमित करने वाले लेबल: कई स्किल्स में इस बात का स्पष्ट विवरण नहीं था कि कब उनका उपयोग किया जाए। यह एक मसाले के जार पर "मिस्ट्री पाउडर" लिखे होने जैसा है बजाय "दालचीनी" के। रोबमाट जरूरत पड़ने पर सही स्किल को नहीं ढूंढ पाता।
- अनावश्यक विस्तार: कुछ स्किल्स अतिरिक्त टेक्स्ट, कोड या निर्देशों से भरी हुई थीं जिनका वास्तव में कोई काम नहीं था। यह एक ऐसी रेसिपी की तरह है जो आपको आटा मिलाने के बारे में बताने से पहले तीन पैराग्राफ तक यह समझाने में बिता देती है कि आटा कैसे खरीदें।
- खतरनाक रहस्य: कुछ स्किल्स में गलती से वास्तविक पासवर्ड या ऐसे निर्देश शामिल थे जो फाइलों को डिलीट कर सकते थे, जो कि एक ऐसी रेसिपी की तरह है जिसमें लिखा हो "एक चुटकी जहर डालें।"
यह क्यों मायने रखता है?
शोधकर्ताओं ने एक स्ट्रेस टेस्ट चलाया यह देखने के लिए कि क्या ये "खराब" स्किल्स वास्तव में समस्या पैदा करती हैं। उन्होंने एक साधारण विवरण के आधार पर स्किल खोजने की कोशिश करने वाले रोबोट का अनुकरण (simulate) किया। परिणाम? रोबोट "साफ" स्किल्स (अच्छे लेबल वाले) को खोजने में "दोषपूर्ण" स्किल्स की तुलना में बहुत बेहतर थे। जब लेबल गायब था या भ्रमित करने वाला था, तो रोबोट अक्सर हार मान लेता था और उस स्किल का उपयोग ही नहीं करता था।
यह सुझाव देता है कि भले ही कोई स्किल काम कर सकती हो, लेकिन वह अक्सर बेकार होती है क्योंकि रोबोट उसे ढूंढ नहीं पाता या उसे शुरू करने का तरीका नहीं जानता। अध्ययन में यह भी देखा गया कि AI द्वारा लिखे गए चिह्नित स्किल्स में मनुष्यों द्वारा लिखे गए स्किल्स की तुलना में सुरक्षा और पोर्टेबिलिटी की अधिक समस्याएँ थीं, हालांकि लेखक सावधानी से कहते हैं कि यह एक पैटर्न है जिसे उन्होंने देखा है, न कि यह एक नियम है कि AI हमेशा बुरा होता है।
आगे का रास्ता: लिखने का एक बेहतर तरीका
तो, समाधान क्या है? लेखक एक "क्वालिटी-अश्योर्ड जनरेशन वर्कफ़्लो" (गुणवत्ता-सुनिश्चित पीढ़ी कार्यप्रवाह) का सुझाव देते हैं। इन संदर्भ पत्रों के लिए एक फैक्ट्री लाइन की कल्पना करें:
- ब्लूप्रिंट के साथ लिखें: आधिकारिक नियमों का सख्ती से पालन करते हुए शुरुआत करें।
- त्वरित स्कैन: स्पष्ट गलतियों (जैसे गायब शीर्षक या बहुत अधिक टेक्स्ट) को पकड़ने के लिए एक सरल जाँच चलाएं।
- फिक्स-इट स्टेशन: यदि कोई स्किल स्कैन में विफल रहती है, तो आसान हिस्सों को स्वचालित रूप से ठीक करने के लिए एक स्मार्ट टूल का उपयोग करें।
- सेफ्टी गेट: स्किल को जारी करने से पहले, एक अंतिम जाँच सुनिश्चित करती है कि इसमें कोई खतरनाक रहस्य या कमांड नहीं है।
शोध पत्र निष्कर्ष निकालता है कि हालांकि साझा किए गए स्किल्स की वर्तमान लाइब्रेरी अस्त-व्यस्त है, लेकिन यह जरूरी नहीं कि ऐसी ही रहे। इन स्किल्स को गंभीर सॉफ्टवेयर आर्टिफैक्ट्स की तरह मानकर—उनकी सुरक्षा, स्पष्टता और पुन: प्रयोज्यता की जाँच करके—हम उस अराजक पुस्तकालय को एक विश्वसनीय टूलबॉक्स में बदल सकते हैं जो वास्तव में रोबोट को उनके काम करने में मदद करता है। लेखक स्वीकार करते हैं कि उन्होंने सब कुछ हल नहीं किया है (उन्होंने वास्तविक दुनिया के रोबोट में हर स्किल का परीक्षण नहीं किया), लेकिन उनका डेटा दृढ़ता से सुझाव देता है कि इन फाइलों के "लेबल" और "सुरक्षा" को साफ करना AI एजेंट्स को वास्तव में सहायक बनाने की दिशा में पहला कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।