Beyond Resolved Rate: A Non-Functional Quality Study
यह अध्ययन प्रकट करता है कि जहाँ नए एआई मॉडल पिछले संस्करणों की तुलना में अधिक रिपॉजिटरी-स्तरीय कोडिंग कार्यों को हल करते हैं, वहीं वे उन कार्यों पर गैर-कार्यात्मक गुणवत्ता मेट्रिक्स जैसे कि स्टैटिक एनालिसिस, कोड कॉम्प्लेक्सिटी, या रिसोर्स यूसेज में निरंतर सुधार प्रदर्शित नहीं करते हैं जिन्हें दोनों पीढ़ियों ने सफलतापूर्वक हल किया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटरों ने कोड लिखना सीख लिया है, जो थके बिना काम करने वाले जूनियर प्रोग्रामरों की तरह व्यवहार करते हैं जो बग्स को ठीक कर सकते हैं, फीचर्स बना सकते हैं, और यहाँ तक कि पूरे सॉफ़्टवेयर प्रोजेक्ट्स को रिफैक्टर भी कर सकते हैं। यह सॉफ़्टवेयर इंजीनियरिंग में लार्ज लैंग्वेज मॉडल्स (LLMs) का क्षेत्र है। लंबे समय तक, हम इन डिजिटल कोडर्स को केवल एक सरल प्रश्न पूछकर परखते थे: "क्या उन्होंने बग ठीक किया?" यदि कोड ने परीक्षण पास कर लिया, तो उन्हें एक स्वर्ण सितारा (गोल्ड स्टार) मिल जाता। इसे "फंक्शनल करेक्टनेस" (कार्यात्मक शुद्धता) कहा जाता है। लेकिन सिर्फ इसलिए कि एक कार का इंजन शुरू हो गया है, इसका मतलब यह नहीं है कि उसके ब्रेक काम कर रहे हैं, पेंट टिकाऊ है, या ईंधन दक्षता अच्छी है। वास्तविक दुनिया में, सॉफ़्टवेयर को सुरक्षित, बाद में अपडेट करने में आसान और आपके कंप्यूटर को क्रैश होने से बचाने के लिए पर्याप्त तेज़ होना चाहिए। ये "नॉन-फंक्शनल क्वालिटीज़" (गैर-कार्यात्मक गुण) हैं। शोधकर्ता अब जो बड़ा सवाल पूछ रहे हैं वह यह है: जैसे-जैसे ये AI मॉडल अधिक स्मार्ट और नए होते जा रहे हैं, क्या वे केवल तत्काल समस्या को ठीक करने में बेहतर हो रहे हैं, या वे वास्तव में स्वच्छ, सुरक्षित और अधिक कुशल कोड भी लिख रहे हैं?
यह शोध पत्र, जिसका शीर्षक "बियॉन्ड रिज़ॉल्व्ड रेट" (Beyond Resolved Rate) है, उसी रहस्य में गहराई से उतरता है। लेखकों ने, जो स्वीडन के लिंकोपिंग विश्वविद्यालय की एक टीम है, केवल यह गिनना बंद करने का निर्णय लिया कि AI ने कितने बग्स ठीक किए और यह देखना शुरू किया कि उन्होंने उन्हें कैसे ठीक किया। उन्होंने AI मॉडल्स के साथ एक कुकिंग कॉम्पिटिशन (खाना पकाने की प्रतियोगिता) के प्रतिभागियों जैसा व्यवहार किया। जजों (शोधकर्ताओं) ने उन्हें एक विशिष्ट कार्य दिया: एक टूटी हुई रेसिपी (एक सॉफ़्टवेयर प्रोजेक्ट में बग) को ठीक करना। पुराने मॉडल्स अनुभवी दिग्गज थे, और नए मॉडल्स उभरते हुए सितारे थे। लक्ष्य केवल यह देखना नहीं था कि कौन सा शेफ ऐसा व्यंजन परोस सकता है जिसका स्वाद सही हो (टेस्ट पास हो जाए), बल्कि यह देखना था कि क्या नए शेफ बेहतर सामग्री का उपयोग कर रहे हैं, कम बर्बादी कर रहे हैं, और अगले रसोइए के लिए रसोई को सुरक्षित बना रहे हैं।
शोधकर्ताओं ने SWE-bench Lite नामक एक लोकप्रिय बेंचमार्क का उपयोग करके एक कठोर प्रयोग स्थापित किया, जिसमें वास्तविक दुनिया के सॉफ़्टवेयर मरम्मत कार्य शामिल हैं। उन्होंने दो अलग-अलग परिवारों के दो पीढ़ियों के मॉडल्स को एक-दूसरे के खिलाफ खड़ा किया: वाणिज्यिक "Claude" परिवार और ओपन-सोर्स "DeepSeek" परिवार। उन्होंने पुराने और नए मॉडल्स द्वारा बनाए गए पैच (कोड फिक्स) लिए और उन्हें उच्च-तकनीकी निरीक्षणों की एक श्रृंखला से गुज़ारा। उन्होंने सुरक्षा जोखिमों, अव्यवस्थित कोड संरचनाओं और रखरखाव संबंधी समस्याओं को स्कैन करने के लिए CodeQL और CodeScene जैसे उपकरणों का उपयोग किया। उन्होंने यह भी समय निकाला कि कोड चलने में कितना समय लेता है और इसने कितनी मेमोरी का उपयोग किया, जिससे कंप्यूटर को एक भूखे जानवर की तरह माना गया जिसे कुशलतापूर्वक खिलाने की आवश्यकता होती है।
परिणाम एक अप्रत्याशित मोड़ (प्लॉट ट्विस्ट) की तरह थे। नए, "स्मार्टर" मॉडल्स ने निश्चित रूप से अधिक बग्स ठीक किए। उन्होंने अपने पुराने भाई-बहनों की तुलना में अधिक उदाहरण हल किए, जिससे उनकी "रिज़ॉल्व्ड रेट" (समाधान दर) बढ़ गई। हालाँकि, जब शोधकर्ताओं ने उन कार्यों के लिए कोड की गुणवत्ता की जांच की जिन्हें दोनों मॉडल्स ने हल किया था, तो कहानी बदल गई। नए मॉडल्स ने उन कार्यों के लिए कोई सुसंगत सुधार नहीं दिखाया जो दोनों मॉडल्स ने हल किए थे। वास्तव में, डेटा ने सुझाव दिया कि नए मॉडल्स द्वारा कोड स्मेल (code smells), सुरक्षा जोखिम, या प्रदर्शन संबंधी बाधाएं उत्पन्न करने की संभावना उतनी ही थी जितनी कि पुराने मॉडल्स की।
विशेष रूप से, अध्ययन में पाया गया कि जिन कार्यों को दोनों मॉडल्स ने हल किया, उनके लिए नए मॉडल्स ने कोई विशेष रूप से स्वच्छ कोड नहीं बनाया। स्टैटिक एनालिसिस टूल्स ने दिखाया कि नई समस्याएं उत्पन्न करने की संख्या दोनों पीढ़ियों के लिए लगभग समान थी। प्रदर्शन के मामले में, नए मॉडल्स संसाधनों के प्रति थोड़े अधिक "लालची" थे। सामान्य कार्यों पर, नए Claude मॉडल ने पुराने मॉडल की तुलना में लगभग 0.048 सेकंड अधिक CPU समय और लगभग 4.5 MiB अधिक पीक मेमोरी का उपयोग किया। नए DeepSeek मॉडल ने लगभग 0.5 MiB अधिक मेमोरी का उपयोग किया। हालांकि ये संख्याएँ छोटी हैं, लेकिन वे संकेत देती हैं कि बग को ठीक करने में बेहतर होने का मतलब स्वचालित रूप से कुशल कोड लिखने में बेहतर होना नहीं था।
लेखकों ने कोड के "फ्लेवर" (स्वाद) को भी देखा। उन्होंने यह जाँच की कि क्या नए मॉडल्स विशिष्ट बुरी आदतों, जैसे भ्रमित करने वाले वेरिएबल नाम या अव्यवस्थित इम्पोर्ट्स से बच रहे हैं। परिणाम मिले-जुले और असंगत थे; कभी नया मॉडल एक विशिष्ट नियम में बेहतर था, कभी पुराना मॉडल बेहतर था, लेकिन कोई स्पष्ट रुझान नहीं था कि नई पीढ़ी सार्वभौमिक रूप से श्रेष्ठ थी।
अंततः, शोध पत्र सुझाव देता है कि जबकि AI मॉडल्स "क्या" (बग को ठीक करना) में बेहतर हो रहे हैं, वे केवल नए होने के कारण अनिवार्य रूप से "कैसे" (उच्च-गुणवत्ता वाला, रखरखाव योग्य कोड लिखना) में बेहतर नहीं हो रहे हैं। लेखक चेतावनी देते हैं कि बग ठीक करने की उच्च सफलता दर का अर्थ समग्र रूप से बेहतर सॉफ़्टवेयर इंजीनियरिंग की गारंटी नहीं है। उनका तर्क है कि हमें केवल पास/फेल स्कोर से आगे देखने की आवश्यकता है और AI-जनरेटेड कोड की छिपी हुई लागतों, जैसे सुरक्षा जोखिमों और रखरखाव की समस्याओं को मापना शुरू करना चाहिए, ताकि हम वास्तव में समझ सकें कि उनके डिजिटल सहायक वास्तविक दुनिया में कैसा प्रदर्शन कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।