Signal or Noise? A Benchmark Study of Agent Skills in Web Development
यह शोध पत्र WebDev-Skills-Bench को प्रस्तुत करता है जो यह प्रदर्शित करता है कि वेब विकास कार्यों में पुन: प्रयोज्य एजेंट कौशल (reusable agent skills) को सम्मिलित करने से अक्सर प्रदर्शन घटता है और लागत बढ़ती है, जिससे यह पता चलता है कि कौशल अक्सर वास्तविक उपयोगिता के बजाय प्रॉम्प्ट-लंबाई के विकर्षणों या भ्रामक सामग्री के कारण हानिकारक होते हैं, जिससे प्रभावी मूल्यांकन के लिए प्रति-परिनियोजन ऑडिट (per-deployment audits) और लंबाई-मिलान वाले नियंत्रणों (length-matched controls) की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर निर्माण के आधुनिक परिदृश्य में, आर्टिफिशियल इंटेलिजेंस (AI) एक साधारण प्रश्न पूछने वाले उपकरण से विकसित होकर एक निरंतर साथी बन गया है जो कोड लिखता है। इन डिजिटल सहायकों को अधिक विश्वसनीय बनाने के लिए, डेवलपर्स ने उनमें "कौशल" (skills) जोड़ना शुरू कर दिया है। एक कौशल को केवल एक बार दिए गए निर्देश के रूप में नहीं, बल्कि एक स्थायी नियम पुस्तिका या आदतों के एक समूह के रूप में सोचें जिसे AI पूरे कार्य सत्र के दौरान अपने साथ रखता है। ये नियम पुस्तिकाएं विशिष्ट तकनीकों के लिए कोड कैसे लिखा जाए, इस पर दिशा-निर्देश, सामान्य गलतियों से बचने की चेतावनियाँ और समस्याओं को हल करने के उदाहरणों से भरी होती हैं। उम्मीद यह है कि AI को यह अतिरिक्त संदर्भ देकर, यह एक नौसिखिए की तरह हर कदम पर अनुमान लगाने के बजाय एक अनुभवी मानव इंजीनियर की तरह कार्य करेगा। हालाँकि, इस दृष्टिकोण की एक छिपी हुई लागत है। हर बार जब एक कौशल जोड़ा जाता है, तो वह टेक्स्ट की मात्रा बढ़ जाती है जिसे AI को प्रश्न का उत्तर देने से पहले पढ़ना पड़ता है। यह एक महत्वपूर्ण, अनुत्तरित प्रश्न खड़ा करता है: क्या अतिरिक्त ज्ञान वास्तव में AI को अपना काम बेहतर करने में मदद करता है, या टेक्स्ट की विशाल मात्रा इसे केवल भ्रमित कर देती है, जिससे इसकी गति धीमी हो जाती है और यह अधिक गलतियाँ करता है?
बाइडू (Baidu) के शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने के लिए कौशल को जोड़ने को एक डिफ़ॉल्ट सेटिंग के बजाय एक वैज्ञानिक प्रयोग के रूप में देखते हुए काम किया। उन्होंने वेब डेवलपमेंट पर ध्यान केंद्रित किया, जो एक विशाल क्षेत्र है जहाँ AI से अक्सर जावास्क्रिप्ट (JavaScript) और HTML जैसी भाषाओं का उपयोग करके वेबसाइट और एप्लिकेशन बनाने के लिए कहा जाता है। उन्होंने इकतीस अलग-अलग सार्वजनिक कौशल मार्गदर्शिकाएँ एकत्र कीं, जिनमें सामान्य कोडिंग सलाह से लेकर लोकप्रिय सॉफ़्टवेयर फ्रेमवर्क के लिए विशिष्ट निर्देश तक शामिल थे। इनका परीक्षण करने के लिए, उन्होंने पचास वास्तविक दुनिया के वेब प्रोजेक्ट्स से बने एक कठोर परीक्षण मैदान का उपयोग किया, जिनमें से प्रत्येक में बीस क्रमिक कार्य शामिल थे जो एक-दूसरे पर आधारित थे। इससे AI द्वारा हल करने के लिए कुल एक हजार विशिष्ट चुनौतियाँ पैदा हुईं। शोधकर्ताओं ने फिर चार अलग-अलग स्थितियों के तहत समान कार्यों को चलाया। पहले परिदृश्य में, AI को कोई अतिरिक्त कौशल मार्गदर्शिका नहीं दी गई। दूसरे में, इसे उस प्रोजेक्ट के लिए निर्धारित विशिष्ट कौशल मार्गदर्शिका दी गई। तीसरे में, टेक्स्ट की लंबाई के प्रभाव को अलग करने के लिए, AI को ठीक उसी आकार की मार्गदर्शिका दी गई लेकिन उसमें अप्रासंगिक, निरर्थक सामग्री भरी गई थी। अंत में, उन्होंने मददगार मार्गदर्शिकाओं को यह देखने के लिए विभाजित किया कि वास्तव में कौन से विशिष्ट भाग—जैसे नियम, चेतावनियाँ या कोड उदाहरण—काम कर रहे थे। उन्होंने इन सेटअपों का परीक्षण चार अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) पर किया, जो व्यापक रूप से उपयोग किए जाने वाले व्यावसायिक सिस्टम से लेकर विशेष कोडिंग मॉडल्स तक विस्तृत थे।
परिणामों ने इस सामान्य धारणा को चुनौती दी कि अधिक संदर्भ हमेशा बेहतर प्रदर्शन की ओर ले जाता है। परीक्षण किए गए चारों मॉडल्स में, इच्छित कौशल मार्गदर्शिका जोड़ने से वास्तव में AI की सफलता दर कम हो गई। औसतन, कौशल की उपस्थिति में AI ने कौशल की अनुपस्थिति की तुलना में कम कार्यों को सही ढंग से पूरा किया। प्रदर्शन में गिरावट मामूली नहीं थी; यह मामूली गिरावट से लेकर सफलता दर में लगभग चार प्रतिशत की महत्वपूर्ण हानि तक थी। इसके अलावा, AI कम कुशल हो गया, जिसने समान कार्य को पूरा करने के लिए काफी अधिक कंप्यूटिंग संसाधनों का उपयोग किया। कुछ मामलों में, अतिरिक्त टेक्स्ट को प्रोसेस करने की लागत लगभग चार सौ प्रतिशत बढ़ गई। शोधकर्ताओं ने पाया कि AI केवल बहुत कम मामलों में, यानी किसी विशिष्ट कौशल और विशिष्ट प्रोजेक्ट के एक-एक पांच या एक-एक तीन युग्मों में से लगभग, अपने प्रदर्शन में सुधार करता है। यह सुझाव देता है कि अधिकांश स्थितियों में, इन कौशलों का समावेश प्रतिproductive था, जो सिग्नल के बजाय शोर (noise) पेश कर रहा था।
अध्ययन ने यह भी खुलासा किया कि इस विफलता का कारण पूरी तरह से इस पर निर्भर करता है कि किस AI मॉडल का उपयोग किया जा रहा है। दो मॉडल्स के लिए, समस्या केवल टेक्स्ट की लंबाई थी। जब इन मॉडल्स को समान लंबाई की लेकिन अप्रासंगिक सामग्री वाली मार्गदर्शिका दी गई, तो उन्होंने उतना ही खराब प्रदर्शन किया जितना कि उन्होंने वास्तविक कौशल मार्गदर्शिका के साथ किया था। यह इंगित करता है कि उनका ध्यान शब्दों की विशाल मात्रा द्वारा विचलित हो रहा था, चाहे उन शब्दों का अर्थ कुछ भी हो। अन्य दो मॉडल्स के लिए, टेक्स्ट की लंबाई समस्या नहीं थी; उन्होंने अप्रासंगिक टेक्स्ट को ठीक से संभाला। इसके बजाय, कौशल मार्गदर्शिका की विशिष्ट सामग्री ने उन्हें सक्रिय रूप से गुमराह किया, उन्हें सही समाधान से दूर ले गई। यह अंतर महत्वपूर्ण है क्योंकि इसका अर्थ है कि इस समस्या का कोई एक समाधान नहीं है। कुछ सिस्टमों के लिए, समाधान टेक्स्ट को छोटा करना है; दूसरों के लिए, सामग्री को या तो पूरी तरह से फिर से लिखना होगा या हटा देना होगा।
शायद सबसे आश्चर्यजनक खोज यह थी कि एक कौशल जो एक AI मॉडल के लिए अच्छा काम करता है, वह अक्सर दूसरे मॉडल के लिए विफल हो जाता है या उसे नुकसान पहुँचाता है। शोधकर्ताओं ने पाया कि एक मॉडल पर कौशल के प्रदर्शन और दूसरे मॉडल के बीच लगभग कोई संबंध नहीं था। एक मार्गदर्शिका जो एक मॉडल को समस्या हल करने में मदद करती है, वह दूसरे मॉडल को उसी कार्य में विफल कर सकती है। यह निरंतरता की कमी बताती है कि डेवलपर्स केवल एक लोकप्रिय कौशल मार्गदर्शिका को देखकर यह मान नहीं सकते कि यह उनके विशिष्ट सेटअप के लिए काम करेगी। इसके बजाय, कौशल का उपयोग करने का निर्णय एक मामले-दर-मामले के आधार पर लिया जाना चाहिए, जिसमें विशिष्ट मॉडल, विशिष्ट प्रोजेक्ट और विशिष्ट कार्य को ध्यान में रखा जाए। अध्ययन ने यह भी दिखाया कि ये कौशल सबसे आसान कार्यों पर सबसे अधिक हानिकारक थे। जब AI पहले से ही किसी समस्या को हल करना जानता था, तो अतिरिक्त नियमों ने उसे सोचने के एक कठोर तरीके में बांध दिया, जिससे वह उन छोटी गलतियों को ठीक करने में असमर्थ रहा जिन्हें वह अन्यथा आसानी से ठीक कर लेता।
अंत में, शोधकर्ताओं ने मददगार कौशलों का विश्लेषण किया ताकि यह देखा जा सके कि वे कब और क्यों काम करते हैं। उन्होंने पाया कि सबसे मूल्यवान भाग अक्सर संक्षिप्त चेतावनियाँ थीं कि क्या नहीं करना है, जिन्हें 'एंटी-पैटर्न' (anti-patterns) कहा जाता है। ये छोटे नियम सभी के लिए प्रभावी थे। इसके विपरीत, लंबे कोड उदाहरणों वाले खंड मिले-जुले परिणाम देते थे। जबकि वे कभी-कभी कमजोर मॉडल्स की मदद करते थे, वे उन्नत मॉडल्स को भ्रमित करते थे, जो यह सुझाव देता है कि AI को बहुत अधिक उदाहरण दिखाना हानिकारक हो सकता है। अध्ययन का निष्कर्ष है कि AI एजेंटों से कौशल मार्गदर्शिकाएँ अनियंत्रित रूप से जोड़ने का युग समाप्त हो गया है। इसके बजाय, इन उपकरणों के समावेश को एक सावधानीपूर्वक रूटिंग निर्णय के रूप में माना जाना चाहिए, जहाँ अतिरिक्त टेक्स्ट की लागत के मुकाबले संभावित लाभ को तौला जाए। निष्कर्ष बताते हैं कि बिना इस सावधानीपूर्ण, प्रति-प्रोजेक्ट ऑडिट के, वे उपकरण जो AI को स्मार्ट बनाने के लिए बनाए गए हैं, अक्सर इसे धीमा और कम विश्वसनीय बना देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।