From Anatomy to Smells: An Empirical Study of SKILL.md in Agent Skills
यह शोध पत्र SKILL.md फ़ाइलों का पहला व्यवस्थित अनुभवजन्य अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि 99% से अधिक वास्तविक दुनिया के एजेंट कौशल में "स्किल स्मेल्स" (सर्वोत्तम प्रथाओं का उल्लंघन) मौजूद हैं और अनुशंसित तथा वास्तविक लेखन दिशानिर्देशों के बीच एक महत्वपूर्ण अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: रोबोट को खाना बनाना सिखाना
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, सुपर-फास्ट रोबोट शेफ (AI एजेंट) है। यह रोबोट सब्जियां काटने और बर्तन चलाने में बहुत माहिर है, लेकिन इसे यह नहीं पता कि आपकी विशिष्ट पारिवारिक रेसिपी क्या है या आपकी रसोई कैसे व्यवस्थित है।
इसे ठीक करने के लिए, इंसान रोबोट के लिए "कुकबुक्स" (खाना बनाने की किताबें) लिखते हैं। सॉफ्टवेयर की दुनिया में, इन कुकबुक्स को एजेंट स्किल्स (Agent Skills) कहा जाता है। ये डिजिटल फाइलें (विशेष रूप से SKILL.md नामक एक फाइल) हैं जो रोबोट को बताती हैं:
- क्या करना है (जैसे, "डेटाबेस को ठीक करें")।
- कब करना है (जैसे, "केवल तभी जब सर्वर क्रैश हो जाए")।
- कैसे करना है (जैसे, "इस विशिष्ट कमांड को चलाएं")।
समस्या क्या है? बिल्कुल असली कुकबुक्स की तरह, इनमें से कुछ डिजिटल निर्देश बहुत खूबसूरती से लिखे गए हैं, जबकि अन्य बहुत अस्त-व्यस्त हैं। यह पेपर इन "डिजिटल कुकबुक्स" को देखने के लिए किया गया पहला प्रमुख अध्ययन है कि वे कैसे लिखे गए हैं और वे कहाँ गलत होते हैं।
भाग 1: शरीर रचना (कुकबुक के अंदर क्या है?)
शोधकर्ताओं ने यह देखने के लिए 238 वास्तविक दुनिया की "कुकबुक्स" को खोला कि वे किस चीज से बनी हैं। उन्होंने पाया कि भले ही लोग अपनी मर्जी से कुछ भी लिखने के लिए स्वतंत्र हैं, लेकिन अधिकांश एक समान संरचना का पालन करते हैं।
एक SKILL.md फाइल को एक रेसिपी कार्ड की तरह समझें:
- हेडर (फ्रंटमैटर): यह जार पर लगा लेबल है। इसमें स्किल का नाम, एक संक्षिप्त विवरण और टैग होते हैं।
- बॉडी (निर्देश): यह वास्तविक रेसिपी है। शोधकर्ताओं ने पाया कि अधिकांश अच्छी रेसिपी में तीन मुख्य भाग होते हैं:
- "टास्क" सेक्शन: चरण-दर-चरण निर्देश (कैसे करना है)।
- "इंट्रो" सेक्शन: इस रेसिपी का उपयोग कब करना है इसके बारे में संदर्भ (जैसे, "केवल तभी उपयोग करें जब आपके पास कास्ट-आयरन पैन हो")।
- "रेफरेंस" सेक्शन: अन्य उपकरण या दस्तावेज़ों के लिंक जिनकी रोबोट को आवश्यकता हो सकती है।
खोज: हालांकि संरचना मौजूद है, लेकिन यह अक्सर अव्यवस्थित होती है। यह एक ऐसी रेसिपी खोजने जैसा है जो बिना यह कहे कि "पहले दुकान जाओ" सीधे "ओवन प्रीहीट करें" से "दूध खरीदें" पर कूद जाती है।
भाग 2: "स्मेल्स" (जब कुकबुक खराब हो जाती है)
सॉफ्टवेयर इंजीनियरिंग में, जब कोड खराब तरीके से लिखा जाता है लेकिन फिर भी काम करता है, तो इसे "कोड स्मेल" (Code Smell) कहा जाता है। यह कोई बग नहीं है जो प्रोग्राम को तोड़ दे, लेकिन यह कोड को पढ़ने या बनाए रखने में कठिन बनाता है।
लेखकों ने एक नया शब्द गढ़ा: "स्किल स्मेल्स" (Skill Smells)। ये इन डिजिटल कुकबुक्स को लिखने की बुरी आदतें हैं जो रोबोट को भ्रमित करती हैं।
उन्होंने 26 अलग-अलग प्रकार के "स्मेल्स" की पहचान की। यहाँ हमारे किचन एनालॉजी (उपमा) का उपयोग करते हुए कुछ उदाहरण दिए गए हैं:
- "सीरीज ऑफ कमांड्स" स्मेल: "सैंडविच बनाएं" कहने के बजाय, कुकबुक कहती है, "फ्रिज खोलें, ब्रेड निकालें, पनीर निकालें, ब्रेड पर पनीर रखें, फ्रिज बंद करें।" यह बहुत कठोर है। यदि रोबोट के पास फ्रिज नहीं है, तो वह फंस जाएगा। इसे बस "सैंडविच असेंबल करें" कहना चाहिए।
- "अनडेलिगेटेड डिटेल" स्मेल: कुकबुक में ब्रह्मांड का पूरा इतिहास या टोस्टर का मैनुअल रेसिपी के अंदर ही शामिल है। यह सैंडविच रेसिपी के अंदर गेहूं कैसे उगाया जाता है इस पर 50 पन्नों का निबंध लिखने जैसा है। यह रोबोट के दिमाग की जगह (कॉन्टेक्स्ट विंडो) बर्बाद करता है और उसे विचलित करता है।
- "कन्फ्यूजिंग नेम" स्मेल: एक स्किल का नाम "dig" रखना जबकि वह वास्तव में "लाइब्रेरी डॉक्यूमेंटेशन देखने" के बारे में है। यह "स्पैगेटी" लेबल वाले जार में वास्तव में "पीनट बटर" होने जैसा है। रोबोट को पता नहीं चलेगा कि इसका उपयोग कब करना है।
- "रैशनलाइजेशन लूपहोल" (तर्कसंगतता का छेद): रेसिपी यह नहीं बताती कि अगर कोई गलती हो जाए तो रोबोट को क्या करना चाहिए। इसलिए, रोबोट बस अनुमान लगाता है और आगे बढ़ जाता है, जिससे संभावित रूप से व्यंजन खराब हो सकता है।
भाग 3: जांच (यह कितना बुरा है?)
शोधकर्ताओं ने सभी 238 कुकबुक्स को स्कैन करने और इन "स्किल स्मेल्स" को सूंघने के लिए एक रोबोट जासूस (एक स्वचालित टूल) बनाया।
चौंकाने वाले परिणाम:
- यह हर जगह है: 9、『9% कुकबुक्स में कम से कम एक स्मेल था।
- औसत: प्रत्येक कुकबुक में लगभग 10.5 स्मल्स थे।
- सबसे आम स्मेल: "रैशनलाइजेशन लूपहोल" (94% फाइलें)। इसका मतलब है कि लगभग कोई भी यह नहीं बताता कि चीजें गलत होने पर क्या करना है।
- "परफेक्ट" कुकबुक: पूरे अध्ययन में केवल एक सिंगल फाइल ऐसी थी जो पूरी तरह से स्मल्स से मुक्त थी।
"स्टिकी" (चिपकने वाली) समस्या:
शोधकर्ताओं ने इन कुकबुक्स को समय के साथ भी देखा (जैसे किसी घर के नवीनीकरण को देखना)। वे यह देखना चाहते थे कि क्या लोग अपनी फाइलों को अपडेट करते समय खराब स्मल्स को ठीक करते हैं।
- निष्कर्ष: स्मल्स कभी खत्म नहीं हुए। एक बार जब किसी कुकबुक में एक बुरी आदत लिख दी गई, तो वह वहीं बनी रही। यह दीवार पर खराब रंग पेंट करने जैसा है; भले ही आप बाद में नया पेंट जोड़ दें, पुराना खराब रंग अभी भी नीचे होता है, और कोई उसे दोबारा पेंट करने की कोशिश नहीं करता।
भाग 4: हमें इसकी परवाह क्यों करनी चाहिए?
आप सोच सकते हैं, "यदि रोबोट काम कर सकता है, तो इससे क्या फर्क पड़ता है कि निर्देश अव्यवस्थित हैं?"
पेपर का तर्क है कि ये स्मल्स रेडियो सिग्नल में शोर (Noise) की तरह हैं।
- भ्रम: यदि निर्देश बहुत लंबे या अस्पष्ट हैं, तो रोबोट विचलित हो जाता है और गलतियाँ करता है।
- ऊर्जा की बर्बादी: रोबोट को उस एक कमांड को खोजने के लिए अनावश्यक टेक्स्ट के कई पन्नों को पढ़ना पड़ता है जिसकी उसे आवश्यकता है।
- सुरक्षा जोखिम: कुछ स्मल्स (जैसे अजीब कोड टैग के अंदर निर्देश छिपाना) रोबोट को कुछ खतरनाक करने के लिए धोखा दे सकते हैं, जैसे कि एक "जहरीली" रेसिपी।
निष्कर्ष
यह पेपर एक चेतावनी है। अभी, हम AI एजेंटों के लिए निर्देश लिखने के "वाइल्ड वेस्ट" (अनियंत्रित दौर) में हैं। लोग बिना किसी स्पष्ट नियम के इन फाइलों को जल्दी से लिख रहे हैं, और बुरी आदतें जमा होती जा रही हैं और वहीं रह जाती हैं।
लेखक कह रहे हैं: "हमें इन फाइलों को कैजुअल नोट्स की तरह मानना बंद करना होगा और इन्हें गंभीर सॉफ्टवेयर की तरह मानना शुरू करना होगा।" जिस तरह हमारे पास कोड की त्रुटियों की जांच करने के लिए उपकरण हैं, हमें इन "स्किल" फाइलों को "स्मेल्स" के लिए जांचने के लिए भी उपकरणों की आवश्यकता है ताकि यह सुनिश्चित हो सके कि हमारे रोबोट शेफ को स्पष्ट, सुरक्षित और कुशल निर्देश मिल रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।