Repo2Skill-Evo: Repository Skills Go Stale in Silence
यह शोध पत्र यह प्रदर्शित करता है कि जबकि रिपॉजिटरी-विशिष्ट ज्ञान को LLM एजेंट कौशल में बाहरी रूप से समाहित करना प्रदर्शन में सुधार करता है, ये कौशल सॉफ्टवेयर रिलीज़ के दौरान चुपचाप खराब हो जाते हैं, और यहाँ तक कि अत्याधुनिक (फ्रंटियर) एजेंट भी कवरेज या परिशुद्धता में महत्वपूर्ण त्रुटियां उत्पन्न किए बिना उन्हें विश्वसनीय रूप से अपडेट करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल परिदृश्य में, सॉफ्टवेयर शायद ही कभी कोई स्थिर वस्तु होती है; यह एक जीवित, सांस लेती इकाई है जो लगातार बदलती रहती है। डेवलपर्स बग्स को ठीक करने, नई सुविधाएँ जोड़ने और कोड के काम करने के तरीके को बदलने के लिए प्रतिदिन प्रोग्रामों के नए संस्करण जारी करते हैं। इस बदलते परिवेश में नेविगेट करने के लिए, "एजेंटों" के रूप में जानी जाने वाली आर्टिफिशियल इंटेलिजेंस प्रणालियों का तेजी से उपयोग किया जा रहा है। ये एजेंट डिजिटल सहायकों की तरह कार्य करते हैं जो कोड पढ़ सकते हैं, स्क्रिप्ट चला सकते हैं और अपने आप समस्याओं को हल कर सकते हैं। हालाँकि, किसी विशिष्ट सॉफ्टवेयर प्रोजेक्ट पर प्रभावी ढंग से काम करने के लिए, एक एजेंट को केवल सामान्य बुद्धिमत्ता की ही नहीं, बल्कि उस प्रोजेक्ट के वर्तमान संस्करण के लिए तैयार किए गए विशिष्ट निर्देशों के सेट की भी आवश्यकता होती है। शोधकर्ता इन अनुकूलित निर्देशों को "कौशल" (skills) कहते हैं। एक कौशल को एक संक्षिप्त, पुन: प्रयोज्य मार्गदर्शिका के रूप में समझें जो एजेंट को बताती है कि किसी विशेष कार्य के लिए उसे ठीक कौन से बटन दबाने हैं और कौन सी फाइलें खोलनी हैं। जिस तरह एक मानव मैकेनिक को उस कार मॉडल के लिए नवीनतम मैनुअल की आवश्यकता होती है जिसका अभी-अभी नया इंजन लगा है, उसी तरह एक एआई एजेंट को भी अपने मार्गदर्शिकाओं को अपडेट करने की आवश्यकता होती है जब भी वह प्रबंधित करने वाला सॉफ्टवेयर बदलता है।
महत्वपूर्ण प्रश्न यह है कि क्या होता है जब सॉफ्टवेयर बदल जाता है लेकिन मार्गदर्शिका नहीं बदलती। यदि किसी प्रोग्राम को अपडेट किया जाता है, तो पुराने निर्देश गलत हो सकते हैं, फिर भी एआई को इसका एहसास नहीं हो सकता है। यह पुराने गाइड का पालन करना जारी रख सकता है, जिससे त्रुटियां हो सकती हैं, बिना कभी कोई चेतावनी दिए। यह घटना, जहाँ ज्ञान चुपचाप गलत हो जाता है, 'Repo2Skill-Evo' नामक एक नए अध्ययन का केंद्र है। शोधकर्ताओं ने यह देखने के लिए प्रयास किया कि क्या आज के सबसे उन्नत एआई एजेंट यह पहचान सकते हैं कि उनकी आंतरिक मार्गदर्शिकाएँ कब पुरानी हो गई हैं और क्या वे उन्हें स्वयं सही ढंग से अपडेट कर सकते हैं। उन्होंने इन कौशलों के रखरखाव को एक बार के कार्य के रूप में नहीं, बल्कि एक निरंतर चुनौती के रूप में देखा जो स्वयं सॉफ्टवेयर के निरंतर विकास को दर्शाती है।
इसकी जांच करने के लिए, शोधकर्ताओं ने वास्तविक दुनिया के सॉफ्टवेयर प्रोजेक्ट्स का एक बड़ा संग्रह एकत्र किया, विशेष रूप से 57 अलग-अलग रिपॉजिटरीज़ को देखा जो 105 विशिष्ट अपडेट से गुजरे थे। प्रत्येक प्रोजेक्ट के लिए, उन्होंने पहले सॉफ्टवेयर के पुराने संस्करण के आधार पर "कौशलों" का एक आदर्श सेट बनाया। ये कौशल सावधानीपूर्वक बनाए गए थे ताकि वे सटीक रहें, जो एक आधार रेखा (baseline) के रूप में कार्य करते हैं। फिर, उन्होंने आधिकारिक अपडेट पैच पेश किया—बदलावों का वह सटीक सेट जिसने सॉफ्टवेयर को पुराने संस्करण से नए संस्करण में बदल दिया। एआई एजेंटों को दिया गया कार्य सिद्धांत में सरल लेकिन व्यवहार में कठिन था: पुराने कौशलों और नए परिवर्तनों को देखें, पहचानें कि पुराने गाइड के कौन से हिस्से अब गलत हैं, उन हिस्सों को हटा दें या ठीक करें, और बाकी सब कुछ जो अभी भी वैध है उसे बनाए रखें। शोधकर्ताओं ने एजेंटों से केवल कोशिश करने के लिए नहीं कहा; उन्होंने यह भी मापा कि एजेंटों ने वास्तव में कितना अच्छा प्रदर्शन किया, इसके लिए अंतिम परिणाम की तुलना उस 'गोल्ड स्टैंडर्ड' से की गई जो बदला जाना चाहिए था।
परिणामों ने इन एजेंटों की क्षमता और उनकी वास्तविक क्षमता के बीच एक महत्वपूर्ण अंतर को उजागर किया। यहाँ तक कि आज उपलब्ध सबसे परिष्कृत एआई मॉडल भी इन कौशलों को अद्यतित रखने के लिए संघर्ष करते हैं। जब शोधकर्ताओं ने छह अग्रणी एजेंटों के प्रदर्शन का मूल्यांकन किया, तो सबसे अच्छे एजेंट ने औसतन केवल लगभग 70% मामलों में जानकारी को सही ढंग से पहचानने और अपडेट करने में सफलता प्राप्त की। अन्य का प्रदर्शन और भी खराब था, जिनमें से कुछ मुश्किल से 30% सटीकता तक पहुँच पाए। इसका अर्थ है कि अधिकांश मामलों में, एजेंट या तो पुराने निर्देशों को हटाने में विफल रहे, जिससे एआई के पास भ्रामक सलाह रह गई, या वे बहुत आगे निकल गए, और उस जानकारी को भी हटा दिया जो अभी भी सही थी। अध्ययन में पाया गया कि एजेंट अक्सर उन विशिष्ट फाइलों को पहचानने में चूक गए जिन्हें ध्यान देने की आवश्यकता थी, या उन्होंने बहुत व्यापक रूप से संपादन किया, जिससे वैध सामग्री भी हट गई।
एजेंटों के विफल होने के कारणों की गहरी जांच ने दो मुख्य बाधाओं को दिखाया। पहला, एजेंट अक्सर मार्गदर्शिका के उन विशिष्ट हिस्सों का पता लगाने में विफल रहे जो सॉफ्टवेयर अपडेट से प्रभावित हुए थे। यह वैसा ही है जैसे एक लाइब्रेरियन जानता है कि एक किताब को अपडेट करने की आवश्यकता है लेकिन वह उस विशिष्ट पृष्ठ को नहीं ढूंढ पाता जहाँ त्रुटि हुई थी। दूसरा, भले ही एजेंटों ने सही स्थान ढूंढ लिया हो, वे अक्सर यह तय करने में संघर्ष करते थे कि वास्तव में क्या बदलना है। वे या तो त्रुटि को बिना छुए छोड़ देते थे या बड़े अनुभागों को फिर से लिख देते थे, जिससे उपयोगी जानकारी नष्ट हो जाती थी। शोधकर्ताओं ने यह परीक्षण किया कि क्या एजेंटों को ठीक से यह बताना कि किन फाइलों को देखना है, इस समस्या को हल कर सकता है। हालांकि इससे मदद मिली, लेकिन इसने समस्या को पूरी तरह से हल नहीं किया; एजेंट अभी भी उन फाइलों के भीतर सामग्री को संपादित करने के निर्णय में गलतियाँ करते रहे। यह सुझाव देता है कि समस्या केवल सही स्थान खोजने के बारे में नहीं है, बल्कि पुराने और नए के बीच सूक्ष्म अंतर को समझने के बारे में भी है।
अध्ययन ने यह भी पुष्टि की कि ये कौशल वास्तव में मूल्यवान हैं। रखरखाव क्षमता का परीक्षण करने से पहले, शोधकर्ताओं ने यह जाँच की कि क्या इन मार्गदर्शिकाओं के होने से वास्तव में एआई एजेंटों को अपना काम बेहतर ढंग से करने में मदद मिली। उन्होंने पाया कि जब एजेंटों के पास इन विशिष्ट कौशलों तक पहुँच थी, तो उनके प्रदर्शन में नाटकीय सुधार हुआ, विशेष रूप से उन कार्यों पर जहाँ उनके पास पहले सॉफ्टवेयर का बहुत कम ज्ञान था। यह सिद्ध करता है कि कौशल केवल एक सैद्धांतिक अवधारणा नहीं हैं बल्कि एक व्यावहारिक उपकरण हैं जो एआई एजेंटों को अधिक प्रभावी बनाते हैं। हालाँकि, इन उपकरणों का मूल्य पूरी तरह से उनकी सटीकता पर निर्भर है। यदि मार्गदर्शिका पुरानी है, तो यह एक संपत्ति के बजाय एक दायित्व बन जाती है, जो एजेंट को ऐसी गलतियाँ करने के लिए प्रेरित कर सकती है जो वह शून्य से काम करते समय नहीं करता।
शोधकर्ताओं ने निष्कर्ष निकाला कि वर्तमान पीढ़ी के एआई एजेंटों पर तब तक भरोसा नहीं किया जा सकता जब तक वे सॉफ्टवेयर विकसित होने के साथ अपने ज्ञान आधार को बनाए रख सकें। इन कौशलों को अपडेट करने की क्षमता एक हल हुआ मुद्दा नहीं है। यह अध्ययन "साइलेंट स्टेलेनेस" (silent staleness) को उजागर करता है जहाँ पुराना डेटा बिना किसी चेतावनी के बना रहता है, जो स्वचालित प्रणालियों के लिए एक छिपा हुआ जोखिम पैदा करता है। जैसे-जैसे सॉफ्टवेयर तेजी से विकसित होना जारी रहेगा, एआई एजेंटों का मार्गदर्शन करने वाले कौशलों को एक वर्जन्ड एसेट (versioned asset) के रूप में माना जाना चाहिए जिसके लिए सक्रिय, मानव-समान रखरखाव की आवश्यकता होती है। निष्कर्ष बताते हैं कि जब तक एजेंट विश्वसनीय रूप से यह अंतर नहीं कर पाते कि क्या अप्रचलित है और क्या अभी भी वैध है, तब तक जटिल, विकसित होते सॉफ्टवेयर वातावरण में उनका उपयोग उनके अपने ज्ञान की नाजुकता के कारण सीमित रहेगा। आगे का रास्ता नए तरीकों की मांग करता है ताकि यह सुनिश्चित किया जा सके कि ये डिजिटल मार्गदर्शक सटीक बने रहें, या हर बड़े बदलाव के बाद सत्यापन के लिए मनुष्य प्रक्रिया में शामिल रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।