Naive Defect-Recidivism Mining Is Inflated by Agent Workflow Artefacts: A Construct-Validity Study at Corpus Scale
यह अध्ययन प्रदर्शित करता है कि एआई-एजेंट और मानव सुधार स्थायित्व (fix durability) की तुलना करने के लिए वर्शन-कंट्रोल इतिहास को मापना वर्कफ़्लो आर्टिफ़ेक्ट्स (workflow artifacts) द्वारा अत्यधिक बढ़ा दिया गया है, जो मैनुअल सत्यापन और प्रोग्रामेटिक सुधार के माध्यम से यह प्रकट करता है कि एआई-एजेंटों के लिए शुरू में देखी गई उच्च पुनरावृत्ति दर (recidivism rate) एक भ्रम है जो इन आर्टिफ़ेक्ट्स को ध्यान में रखने पर समाप्त हो जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर विकास की दुनिया में, कोड कभी वास्तव में समाप्त नहीं होता; यह एक जीवित वस्तु है जिसे निरंतर मरम्मत की आवश्यकता होती है। जब एक प्रोग्रामर किसी बग को ठीक करता है, तो लक्ष्य उस त्रुटि को हमेशा के लिए गायब करना होता है। हालाँकि, कभी-कभी एक सुधार विफल हो जाता है, और वही समस्या वापस आ जाती है, जिससे टीम को फिर से शुरुआत करने के लिए मजबूर होना पड़ता है। सॉफ्टवेयर उद्योग में, समस्या के इस पुनरागमन को "पुनरावृत्ति" (recidivism) के रूप में जाना जाता है। वर्षों से, शोधकर्ता इस बात का अध्ययन कर रहे हैं कि मानव डेवलपर्स कितनी बार इन पुनरावृत्तियोंियों का कारण बनते हैं, इसके लिए वे लाखों लाइनों के कोड को स्कैन करने और यह गिनने के लिए स्वचालित उपकरणों का उपयोग करते हैं कि कितनी बार एक सुधार को रद्द किया गया या एक समस्या को फिर से खोला गया। अब, आर्टिफिशियल इंटेलिजेंस कार्यशाला में प्रवेश कर चुका है। एआई कोडिंग एजेंट, जो लार्ज लैंग्वेज मॉडल्स द्वारा संचालित हैं, अपने स्वयं के सुधार लिख रहे हैं और उन्हें अनुमोदन के लिए प्रस्तुत कर रहे हैं। एक स्वाभाविक प्रश्न उठा: क्या ये एआई सुधार मानव द्वारा किए गए सुधारों की तुलना में अधिक टिकाऊ हैं, या वे अधिक बार विफल होते हैं? इसका उत्तर देने के लिए, वैज्ञानिकों ने कोड के इतिहास के विशाल अभिलेखागारों को खंगालना शुरू किया, उन्हीं विफलता के संकेतों की तलाश में जिनका उपयोग उन्होंने मनुष्यों के लिए किया था। उन्हें एक स्पष्ट उत्तर मिलने की उम्मीद थी, लेकिन जो डेटा उन्हें मिला, उसने एक चाल छिपाई हुई थी।
शोधकर्ताओं की एक टीम ने इन विफलताओं को मापने के लिए एक विशिष्ट पद्धति का परीक्षण करने का लक्ष्य रखा। उन्होंने "डिफेक्ट रेजोल्यूशन डेट" (Defect Resolution Resolution Debt) नामक एक मीट्रिक परिभाषित किया, जो सरल शब्दों में यह गिनता है कि कितनी बार एक सुधार के प्रयास के बाद उसी समस्या पर एक और प्रयास किया गया। यदि सुधार पूर्ण है, तो गणना शून्य होती है। यदि समस्या वापस आती है, या यदि सुधार को वापस ले लिया जाता है, तो गणना बढ़ जाती है। उन्होंने इस पद्धति को तीन हजार से अधिक सॉफ्टवेयर दोषों के एक विशाल संग्रह पर लागू किया, जिसमें एक लोकप्रिय एआई एजेंट, GitHub Copfoot, द्वारा किए गए सुधारों की तुलना मानव डेवलपर्स द्वारा किए गए सुधारों से की गई। पहली नज़र में, परिणाम चौंकाने वाले थे और ऐसा लगा जैसे वे सबसे खराब स्थिति की पुष्टि कर रहे हों। स्वचालित प्रणाली ने एआई सुधारों को मानव सुधारों की तुलना में बहुत अधिक बार विफल होने के रूप में चिह्नित किया। विशेष रूप से, एआई को 13.5 प्रतिशत मामलों में पुनरावृत्ति के लिए चिह्नित किया गया, जबकि मनुष्यों के लिए यह केवल 8.2 प्रतिशत था। सांख्यिकीय उपकरणों ने सुझाव दिया कि यह अंतर वास्तविक और महत्वपूर्ण था, जिसका अर्थ था कि एआई समस्याओं को स्थायी रूप से हल करने में कम विश्वसनीय था।
हालाँकि, शोधकर्ताओं को संदेह हुआ कि स्वचालित संकेत कोड की गुणवत्ता के बजाय एआई के काम करने के तरीके से भ्रमित हो रहा है। उन्होंने और करीब से देखने का निर्णय लिया, स्वचालित गणनाओं से आगे बढ़कर, इन चिह्नित की गई दो सौ समस्याओं के वास्तविक इतिहास का मैन्युअल निरीक्षण किया। उन्होंने प्रत्येक मामले के डिजिटल पदचिह्नों (digital paper trail) की जांच करने के लिए दो स्वतंत्र समीक्षकों को नियुक्त किया, और उनसे एक सरल प्रश्न पूछा: क्या समस्या वास्तव में वापस आई, या यह केवल वर्कफ़्लो की गलतफहमी थी? मानव समीक्षकों ने पाया कि स्वचालित प्रणाली एआई के काम करने के एक विशिष्ट पैटर्न से मूर्ख बन रही थी। जब एआई किसी बग को ठीक करने का प्रयास करता है, तो वह अक्सर पहले एक सुधार का "ड्राफ्ट" संस्करण खोलता है, फिर उसे बंद करता है और उसे बदलने के लिए एक "फाइनल" संस्करण खोलता है। स्वचालित काउंटर के लिए, यह दो अलग-अलग प्रयासों जैसा दिखता है, जिससे संकेत मिलता है कि पहला विफल हो गया। वास्तव में, यह केवल एक निरंतर प्रयास था। यह "ड्राफ्ट-टू-फाइनल" पैटर्न एआई के साथ मनुष्यों की तुलना में बहुत अधिक हो रहा था, जिससे विफलता का झूठा आभास पैदा हो रहा था।
एक बार जब शोधकर्ताओं ने इस वर्कफ़्लो आर्टिफैक्ट (workflow artifact) के लिए सुधार किया, तो कहानी पूरी तरह बदल गई। जब उन्होंने उन मामलों को हटा दिया जहाँ एआई केवल अपने ड्राफ्ट को परिष्कृत कर रहा था, तो विफलता दर में अंतर गायब हो गया। सुधारा गया डेटा दिखाया कि एआई मनुष्यों की तुलना में अधिक बार विफल नहीं हो रहा था; वास्तव में, दोनों समूहों के बीच का अंतर समाप्त हो गया, और सुधारे गए दरें सांख्यिकीय रूप से अविभेद्य हो गईं। प्रारंभिक अलार्म एक भ्रम था जो एआई के कोड लिखने के तरीके से पैदा हुआ था, न कि स्वयं कोड की स्थायित्वता से। अध्ययन ने एक दूसरी समस्या भी उजागर की: कई "सुधार" वास्तव में बग फिक्स नहीं थे। वे दस्तावेज़ीकरण को अपडेट करने या नई सुविधाएँ जोड़ने जैसे कार्य थे, जिन्हें डेटा संग्रह प्रक्रिया में गलती से बग मरम्मत के रूप में लेबल किया गया था। इसने दोनों समूहों के लिए त्रुटि दर को बढ़ा दिया, लेकिन इसने यह स्पष्ट नहीं किया कि एआई मनुष्यों की तुलना में खराब क्यों दिख रहा था।
शोधकर्ताओं ने यह सुनिश्चित करने के लिए कि उनके निष्कर्ष ठोस हैं, एक कदम आगे बढ़ाया। उन्होंने एक नया, स्वचालित तरीका बनाया जो हजारों दोषों के पूरे डेटासेट में इन "ड्राफ्ट-टू-फाइनल" जोड़ों का पता लगाने और उन्हें हटाने का काम करता है, जिसमें हर एक को देखने के लिए मानवीय आँखों की आवश्यकता नहीं थी। इस प्रोग्रामेटिक सुधार ने उनके मैन्युअल निष्कर्षों की पुष्टि की: एआई की स्पष्ट अतिरिक्त विफलताओं का दर 13.5 प्रतिशत से गिरकर 6.5 प्रतिशत हो गया, जबकि मानव दर घटकर 7.4 प्रतिशत रह गई। दोनों के बीच सांख्यिकीय महत्व पूरी तरह से समाप्त हो गया। एक अंतिम, अधिक कठोर जांच में, उन्होंने एक ही प्रोजेक्ट और समय अवधि से व्यक्तिगत एआई सुधारों को मानव सुधारों के साथ मिलाया ताकि यह सुनिश्चित हो सके कि वे सही तुलना कर रहे हैं। इस कड़ाई से नियंत्रित तुलना में, डेटा ने प्रारंभिक निष्कर्ष की दिशा में उलटफेर का सुझाव दिया, लेकिन शोधकर्ताओं ने स्पष्ट रूप से उल्लेख किया कि यह विशिष्ट परिणाम "परिकल्पना-जनित" (hypothesis-generating) है न कि "पुष्टि करने वाला" (confirmatory)। उन्होंने इस बात पर जोर दिया कि यह निष्कर्ष अभी स्थापित नहीं है और इसे निश्चित निर्णय के रूप में मानने से पहले और सत्यापन की आवश्यकता है।
इस कार्य का अंतिम सबक इस बारे में नहीं है कि क्या एआई कोडिंग में मनुष्यों से बेहतर है या बदतर, बल्कि इस बारे में है कि हम इसे कैसे मापते हैं। अध्ययन यह प्रदर्शित करता है कि एक अमान्य स्वचालित संकेत से प्राप्त हेडलाइन नंबर पूरी तरह से गलत हो सकता है, जो सत्य को पूरी तरह से उलट देने में सक्षम है। यह प्रारंभिक निष्कर्ष कि एआई सुधार विफल होने की 1.64 गुना अधिक संभावना रखते थे, केवल एक अतिशयोक्ति नहीं था; यह वास्तविकता का एक उलटाव था जो माप उपकरण के एक ब्लाइंड स्पॉट के कारण हुआ था। शोधकर्ताओं ने निष्कर्ष निकाला कि एआई के सुधार मनुष्यों के सुधारों की तुलना में कम टिकाऊ नहीं हैं, और वे शायद अधिक भी हो सकते हैं, लेकिन इसे साबित करने के लिए एक ऐसे माप प्रोटोकॉल की आवश्यकता है जो एआई एजेंटों के काम करने के अनूठे तरीकों को ध्यान में रखे। यह अध्ययन भविष्य के अनुसंधान के लिए एक सुधारा गया तरीका प्रदान करता है, यह सुनिश्चित करता है कि जब हम एआई और मानव कोड के स्थायित्व की तुलना करते हैं, तो हम वास्तविक विफलताओं को गिन रहे होते हैं, न कि एक नए प्रकार के वर्कफ़्लो के आर्टिफैक्ट्स को।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।