How Do Software Professionals Evaluate AI-Generated Code? (Registered Report)
यह एक पंजीकृत रिपोर्ट है जो एक कंस्ट्रक्टिविस्ट ग्राउंडेड थ्योरी अध्ययन की रूपरेखा प्रस्तुत करती है जो एक पूर्ण सर्वेक्षण को पुनरावृत्ति साक्षात्कार के साथ जोड़कर इस सिद्धांत को विकसित करने के लिए है कि सॉफ्टवेयर पेशेवर एआई-जनित कोड का मूल्यांकन कैसे करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक रोबोट शेफ को चॉकलेट केक की रेसिपी सौंपी है। वह रोबोट घरघराहट और गुनगुनाहट के साथ एक बिल्कुल सटीक दिखने वाला केक तैयार कर देता है। लेकिन यहाँ एक ट्विस्ट है: आपने इसे नहीं बनाया है। आपको इसे चखना होगा, इसकी सामग्री की जाँच करनी होगी, और यह तय करना होगा कि क्या यह खाने के लिए सुरक्षित है, इससे पहले कि आप इसे अपने दोस्तों को परोसें।
सॉफ्टवेयर पेशेवर वर्तमान में जनरेटिव एआई (Generative AI) के साथ बिल्कुल यही कर रहे हैं। गिटहब कोपायलट (GitHub Copitlot) और चैटजीपीटी (ChatGPT) जैसे उपकरण उन रोबोट शेफ की तरह काम कर रहे हैं, जो बिजली की गति से कोड की लाइनें तैयार कर देते हैं। लेकिन जबकि रोबर्स तेज़ होते जा रहे हैं, इंसान अभी भी रसोई में फंसे हुए हैं, यह समझने की कोशिश कर रहे हैं कि: क्या यह कोड वास्तव में अच्छा है? या यह एक स्वादिष्ट दिखने वाला जाल है?
यह पेपर किसी तैयार केक की रिपोर्ट नहीं है; यह एक नए अध्ययन (जिसे "रजिस्टर्ड रिपोर्ट" कहा जाता है) के लिए एक रेसिपी है जिसे लेखक अभी बनाना शुरू ही कर रहे हैं। वे यह समझना चाहते हैं कि इंसान वर्तमान में इन एआई-निर्मित कृतियों को कैसे चख रहे हैं, परीक्षण कर रहे हैं और उन पर भरोसा कर रहे हैं।
सबसे बड़ा रहस्य: क्या हम केक की जाँच कर रहे हैं?
लेखकों को संदेह है कि चीजें जटिल होती जा रही हैं। जब आप खुद कोड लिखते हैं, तो आप हर सामग्री को जानते हैं। लेकिन जब एआई कोड लिखता है, तो उस कोड में छिपे हुए बग्स, अजीब स्वाद, या ऐसी सामग्रियां हो सकती हैं जिनकी आपने मांग नहीं की थी।
पेपर सुझाव देता है कि क्योंकि हर कोई जल्दबाजी में है (डेडलाइन, प्रतिस्पर्धा, बॉस का दबाव), डेवलपर्स शॉर्टकट लेने के लिए उकसाए जा सकते हैं। हर निवाले को सावधानी से चखने के बजाय, वे बस यह मान सकते हैं कि रोबोट शेफ ने अच्छा काम किया है। यह एक जादू की छड़ी पर भरोसा करने जैसा है जो आपके होमवर्क को बिना उत्तर पढ़े ठीक कर देगी। लेखक डरते हैं कि इससे ओवर-रिलायंस (अत्यधिक निर्भरता) हो सकती है, जहाँ इंसान आलोचनात्मक रूप से सोचना बंद कर देते हैं और बस एआई को काम करने देते हैं, जिससे संभावित रूप से खराब और टूटे हुए सॉफ्टवेयर बन सकते हैं।
योजना: एक जासूस का टूलकिट
इस रहस्य को सुलझाने के लिए, शोधकर्ता केवल अनुमान नहीं लगा रहे हैं। वे वास्तविक लोगों की वास्तविक कहानियों पर आधारित एक सिद्धांत बना रहे हैं। यहाँ उनकी गेम प्लान है:
- पहला सुराग (सर्वेक्षण): उन्होंने पहले ही फिनलैंड के 163 सॉफ्टवेयर पेशेवरों से पूछा है कि वे क्या सोचते हैं। उन्होंने सवाल पूछे जैसे, "क्या आप एआई कोड को मानव कोड से अलग तरह से चेक करते हैं?" और "क्या इन उपकरणों में आपका विश्वास बदला है?" उन्हें वैलिडेशन (सत्यापन) के बारे में 51, उत्पादकता बनाए रखने के बारे में 79, और उनके विश्वास में आए बदलाव के बारे में 103 जवाब मिले।
- गहराई से जांच (इंटरव्यू): अब, वे इन पेशेवरों में से 20 से 50 लोगों से बात करना चाहते हैं। वे केवल यह नहीं पूछ रहे हैं कि "क्या आपको केक पसंद आया?" वे "लैडरिंग" (सीढ़ी चढ़ना) नामक एक विशेष तकनीक का उपयोग कर रहे हैं।
- एक सीढ़ी की कल्पना करें: वे एक विशिष्ट क्रिया (निचली सीढ़ी) से शुरू करते हैं, जैसे "मैं कोड पर एक टेस्ट चलाता हूँ।" फिर वे पूछते हैं, "यह क्यों महत्वपूर्ण है?" (अगली सीढ़ी ऊपर)। शायद जवाब है "क्योंकि मुझे सुरक्षित महसूस करने की आवश्यकता है।" फिर वे पूछते हैं, "सुरक्षित महसूस करना क्यों महत्वपूर्ण है?" (सबसे ऊपरी सीढ़ी)। शायद जवाब है "क्योंकि मैं अपनी नौकरी नहीं खोना चाहता" या "क्योंकि मैं अपनी प्रतिष्ठा की परवाह करता हूँ।"
- यह उन्हें सरल आदतों से लेकर उन गहरे मूल्यों और डरों तक चढ़ने में मदद करता है जो उन आदतों को संचालित करते हैं।
वे किससे बात कर रहे हैं?
वे उन लोगों की तलाश कर रहे हैं जो वास्तव में इन उपकरणों का उपयोग करते हैं। अपने शुरुआती सर्वेक्षण से, उन्हें 163 लोगों का मिश्रण मिला। लगभग 48.5% के पास 10 साल से कम का अनुभव था, जबकि 12.9% के पास 30+ साल का अनुभव था। इस समूह में फुल-स्टैक डेवलपर्स, आर्किटेक्ट्स, डेटा साइंटिस्ट्स और यहाँ तक कि सीईओ (CEOs) भी शामिल थे। वे फ्रेश ग्रेजुएट्स से लेकर दिग्गजों तक, सभी की बात सुनना चाहते हैं।
वे क्या नहीं कर रहे हैं
यह जानना महत्वपूर्ण है कि यह अध्ययन क्या नहीं है:
- वे यह साबित करने की कोशिश नहीं कर रहे हैं कि एआई बुरा है या अच्छा है।
- वे यह माप नहीं रहे हैं कि एआई कितने बग्स बनाता है (यह एक अलग अध्ययन है)।
- वे यह नहीं कह रहे हैं कि उनके पास अभी अंतिम उत्तर है। वास्तव में, वे स्वीकार करते हैं कि उन्हें ठीक से पता नहीं है कि उन्हें क्या मिलेगा जब तक कि वे इंटरव्यू शुरू नहीं कर देते। वे अपने मन को खुला रख रहे हैं ताकि जवाब उन्हें आश्चर्यचकित कर सकें।
अध्ययन के पीछे का "क्यों"
शोधकर्ता थोड़े संशय में हैं। एक मुख्य लेखक एक पीएचडी छात्र हैं जिन्होंने कभी वास्तविक सॉफ्टवेयर कंपनी में काम नहीं किया है। वे जिज्ञासु हैं लेकिन सतर्क भी, उन्हें डर है कि लोग अनजाने में अपनी स्किल्स को एआई द्वारा बदलने दे रहे हैं। एक अन्य लेखक ने वर्षों तक कोड की गुणवत्ता मापने का अध्ययन किया है, और वे चिंतित हैं कि हम नए, जादुई उपकरणों पर पुराने नियम लागू कर रहे हैं।
उनका मानना है कि ज्ञान केवल "पाया" नहीं जाता जैसे कोई खोया हुआ सिक्का; बल्कि यह लोगों से बात करके और उनकी कहानियों को समझकर बनाया जाता है। वे एक ऐसा सिद्धांत बनाना चाहते हैं जो यह समझा सके कि सॉफ्टवेयर पेशेवर एआई के साथ काम करते समय विश्वास और सुरक्षा की अपनी वास्तविकता कैसे निर्मित करते हैं।
निचोड़ (Bottom Line)
यह पेपर एक वैज्ञानिक प्रयोग को घटित होते देखने का निमंत्रण है। शोधकर्ता विशेषज्ञों के एक समूह (20-50) को इकट्ठा कर रहे हैं ताकि वे अपने विचारों की "सीढ़ी" चढ़ सकें, इस उम्मीद में कि वे यह जान पाएंगे कि वे उस कोड पर क्यों भरोसा करते हैं (या नहीं करते) जो रोबोट लिखते हैं। वे खराब कोड के लिए किसी चमत्कारिक इलाज का वादा नहीं कर रहे हैं, लेकिन वे इस बात का गहरा, ईमानदार दृष्टिकोण देने का वादा कर रहे हैं कि इंसान मशीनों के साथ तालमेल बिठाने की कोशिश कैसे कर रहे हैं।
जैसा कि वे कहते हैं, वे रसोई में मौजूद लोगों के व्यक्तिगत अनुभवों (subjective experiences) को समझना चाहते हैं। क्योंकि जब तक हमें यह नहीं पता चलता कि वे केक के बारे में कैसा महसूस करते हैं, हम यह सुनिश्चित नहीं कर सकते कि रोबोट शेफ एक जीनियस है या सिर्फ एक भाग्यशाली अनुमान लगाने वाला।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।