Rethinking Artifact Evaluation for Software Engineering in the Age of Generative AI
यह स्थिति पत्र तर्क देता है कि जनरेटिव एआई के युग में, जहाँ पॉलिश की गई आख्यान आसानी से निर्मित किए जा सकते हैं, सॉफ्टवेयर इंजीनियरिंग पीयर रिव्यू को अनुसंधान के वैज्ञानिक सार का बेहतर आकलन करने के लिए आर्टिफैक्ट मूल्यांकन को एक प्रथम श्रेणी के घटक के रूप में मानने की ओर स्थानांतरित होना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: "चमकदार रैपर" का जाल
कल्पना कीजिए कि आप एक व्यस्त रेस्टोरेंट में फूड क्रिटिक (खाद्य समीक्षक) हैं। आपको 50 डिशेज की समीक्षा करनी है, लेकिन आपके पास केवल 30 मिनट हैं।
अतीत में, यदि कोई व्यंजन दिखने में बिखरा हुआ होता या उसका विवरण खराब लिखावट में होता, तो आप मान लेते कि शेफ को खाने की परवाह नहीं है। लेकिन अब, कल्पना कीजिए कि रसोई में एक रोबोट (जेनरेटिव एआई) आ गया है। यह रोबोट तुरंत एक सुंदर, काव्यात्मक मेनू विवरण लिख सकता है और प्लेट को शानदार सजावट के साथ बिल्कुल व्यवस्थित दिखा सकता है।
अचानक, हर व्यंजन बाहर से अद्भुत दिखने लगता है। "रैपर" (बाहरी आवरण) एकदम परफेक्ट है।
समस्या क्या है? क्रिटिक को अभी भी यह जानने के लिए खाना चखना पड़ेगा कि वह अच्छा है या नहीं। चखने में समय लगता है, इसके लिए प्रशिक्षित स्वाद की आवश्यकता होती है, और यह कठिन काम है। लेकिन क्योंकि अब मेनू विवरण को नकली बनाना इतना आसान हो गया है, इसलिए क्रिटिक अपना सारा समय सुंदर शब्दों को पढ़ने में बिता देता है बजाय खाना चखने के। वे किसी ऐसी डिश को 5-स्टार रेटिंग दे सकते हैं जिसका स्वाद कार्डबोर्ड जैसा हो, सिर्फ इसलिए क्योंकि मेनू एक जीनियस रोबोट द्वारा लिखा गया था।
सॉफ्टवेयर इंजीनियरिंग रिसर्च में बिल्कुल यही हो रहा है।
वर्तमान स्थिति: बहुत अधिक दिखावा, कम सार
अकादमिक शोध की दुनिया में, वैज्ञानिक अपने शोध पत्र अन्य विशेषज्ञों (पीयर्स) द्वारा समीक्षा के लिए जमा करते हैं।
- "नैरेटिव" (कथा): यह कहानी है, लेखन है, परिचय और प्रेरणा है। जेनरेटिव एआई ने एक बेहतरीन कहानी लिखना अविश्वसनीय रूप से आसान बना दिया है।
- "आर्टिफैक्ट" (वस्तु/साधन): यह वास्तविक "खाना" है। सॉफ्टवेयर इंजीनियरिंग में, इसका अर्थ है वह कोड, डेटा, प्रयोग और टूल्स जो शोधकर्ताओं ने बनाए हैं। यह कठिन हिस्सा है। आप केवल एआई से एक काम करने वाला सॉफ्टवेयर सिस्टम या एक वैध वैज्ञानिक प्रयोग नहीं बना सकते; इसे बनाने और जांचने के लिए वास्तविक मानवीय प्रयास और विशेषज्ञता की आवश्यकता होती है।
इस पेपर के लेखक तर्क देते हैं:
अभी, समीक्षक इस बात पर बहुत अधिक समय बिता रहे हैं कि कहानी कितनी अच्छी लग रही है (जिसे नकली बनाना आसान है) और इस बात पर बहुत कम समय बिता रहे हैं कि कोड वास्तव में काम करता है या नहीं, या डेटा बात को सिद्ध करता है या नहीं (जिसे नकली बनाना कठिन है)।
समाधान: "कोड" को मुख्य आकर्षण बनाएं
यह पेपर शोध को आंकने के तरीके में एक बड़े बदलाव का सुझाव देता है। वे चाहते हैं कि आर्टिफैक्ट्स (कोड और डेटा) को "फर्स्ट-क्लास सिटीजन" (सर्वोपरि दर्जा) माना जाए।
सरल भाषा में इसका अर्थ यह है:
- किताब को उसके कवर से न आंकें: एक सुंदर लिखे गए पेपर को, जिसमें एआई द्वारा जनरेट किया गया एक परफेक्ट परिचय हो, आपको धोखा न देने दें।
- पहले खाना चखें: यदि कोई शोधकर्ता दावा करता है कि उनका नया सॉफ्टवेयर तेज़ या सुरक्षित है, तो प्रमाण उस पैराग्राफ में नहीं है जहाँ वे कहते हैं कि यह तेज़ है। प्रमाण उस कोड में है जो उन्होंने लिखा है।
- स्कोरिंग सिस्टम बदलें: अभी, यदि आप एक महान कहानी लिखते हैं लेकिन आपका कोड टूटा हुआ है, तो भी आपको प्रकाशित किया जा सकता है। लेखक कहते हैं: यदि कोड (आर्टिफैक्ट) खरा नहीं उतरता है, तो पेपर प्रकाशित नहीं होना चाहिए, चाहे कहानी कितनी भी अच्छी क्यों न हो।
यह अभी क्यों महत्वपूर्ण है
पेपर एक खतरनाक असंतुलन की ओर इशारा करता है:
- एक कहानी लिखना सस्ता और तेज़ होता जा रहा है (एआई की मदद से)।
- विज्ञान का निर्माण और जांच करना अभी भी महंगा, धीमा है और इसमें मानव मस्तिष्क की आवश्यकता होती है।
यदि हम पुराने तरीके से ही पेपर की समीक्षा करते रहे, तो हमारे पास सुंदर ढंग से लिखी गई किताबों का एक पुस्तकालय होगा जिसमें कोई उपयोगी जानकारी नहीं होगी। एक अच्छे पेपर का "सिग्नल" (लिखने का तरीका) कमजोर होता जा रहा है, जबकि एक अच्छे पेपर का "सिग्नल" (क्या गणित/कोड काम करता है?) अनदेखा करना कठिन होता जा रहा है।
"ब्लूप्रिंट" (खाका) का उदाहरण
एक शोध पत्र को एक नए प्रकार के पुल के ब्लूप्रिंट की तरह समझें।
- नैरेटिव सेल्स पिच है: "यह पुल जीवन बचाएगा, यह सुंदर है, और यह भविष्य है!" (एआई इस पिच को सेकंडों में लिख सकता है)।
- आर्टिफैक्ट वास्तविक इंजीनियरिंग गणनाएं और स्ट्रेस-टेस्ट डेटा है।
यदि समीक्षक केवल सेल्स पिच पढ़ता है, तो वह एक ऐसे पुल को मंजूरी दे सकता है जो ढह जाएगा। लेखक कह रहे हैं: "सेल्स पिच पढ़ना बंद करें। मुझे इंजीनियरिंग गणनाएं दें। यदि गणित काम नहीं करता है, तो पुल नहीं बनाया जाना चाहिए, चाहे पिच कितनी भी सुंदर क्यों न हो।"
निष्कर्ष
लेखक यह नहीं कह रहे हैं कि "अच्छा लिखना बंद करें।" वे कह रहे हैं: "हमें लिखने के माध्यम से वास्तविक काम की कमी को छिपने से रोकना होगा।"
कोड और डेटा (आर्टिफैक्ट्स) के मूल्यांकन को सबसे महत्वपूर्ण हिस्सा बनाकर, वे यह सुनिश्चित करते हैं कि सॉफ्टवेयर इंजीनियरिंग अनुसंधान भरोसेमंद बना रहे, भले ही एआई शानदार कहानियाँ लिखना आसान बना दे। यह इस बात पर ध्यान केंद्रित करने के बारे में है कि शोध कैसा सुनाई देता है के बजाय शोध वास्तव में क्या करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।