Changes in Coding Behavior and Performance Since the Introduction of LLMs
क्लाउड कंप्यूटिंग के एक स्नातक पाठ्यक्रम के इस अर्ध-अनुदैर्ध्य (quasi-longitudinal) अध्ययन से पता चलता है कि एलएलएम (LLMs) की शुरुआत के बाद से, छात्रों के कोडिंग व्यवहार लंबी लेकिन कम पुनरावृत्ति वाली सबमिशन की ओर स्थानांतरित हो गए हैं, जिससे सीखने के लाभों में कमी आई है, जो यह सुझाव देता है कि इन उपकरणों पर अत्यधिक निर्भरता उत्पादकता और शैक्षिक परिणामों दोनों को नकारात्मक रूप से प्रभावित कर सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: "जादुई पेन" प्रयोग
कल्पना कीजिए कि एक कुकिंग क्लास है जहाँ छात्रों को हर सेमेस्टर एक विशिष्ट केक बनाना होता है। पाँच वर्षों तक, शिक्षक ने देखा कि वे कैसे केक बनाते हैं। फिर, 2022 के अंत में, एक "जादुई पेन" (लार्ज लैंग्वेज मॉडल्स या LLMs) उपलब्ध हुआ। यह पेन रेसिपी लिख सकता था और यदि छात्र मांगते, तो मिश्रण भी तैयार कर सकता था।
शोधकर्ताओं ने जानना चाहा: क्या जादुई पेन ने छात्रों को बेहतर तरीके से केक बनाना सीखने में मदद की, या इसने केवल केक को शानदार दिखा दिया जबकि छात्र केक बनाना ही भूल गए?
उन्होंने 10 सेमेस्टर के डेटा का अध्ययन किया (जादुई पेन से 5 साल पहले और 5 साल बाद के) जो एक ग्रेजुएट-लेवल कंप्यूटर साइंस क्लास का था। उन्होंने एक विशिष्ट कोडिंग असाइनमेंट पर ध्यान केंद्रित किया जो कभी नहीं बदला, जो उस अपरिवर्तित केक रेसिपी की तरह काम करता है।
उन्होंने क्या पाया: "ब्लोट" (सूजन/बढ़ावा) प्रभाव
शोधकर्ताओं ने जादुई पेन के आने के बाद कुछ बहुत ही अजीब चीजें होते हुए देखीं:
अधिक बदलाव, कम सुधार: जादुई पेन से पहले, छात्र त्रुटियों को ठीक करने के लिए अपने कोड में छोटे, सावधानीपूर्ण बदलाव करते थे। जादुई पेन के बाद, छात्रों ने सबमिशन के बीच बड़े, व्यापक बदलाव करना शुरू कर दिया।
- उपमा: कल्पना कीजिए कि आप एक वाक्य को एडिट कर रहे हैं। पहले, आप टाइपो ठीक करने के लिए एक शब्द बदल सकते थे। जादुई पेन के बाद, आप पूरा पैराग्राफ हटा सकते हैं और उसकी जगह तीन गुना लंबा नया पैराग्राफ पेस्ट कर सकते हैं, भले ही नया संस्करण वास्तव में बेहतर न हो।
- डेटा: छात्रों ने प्रयासों के बीच अपने कोड में जितना बदलाव किया, वह तीन गुना बढ़ गया। उनके द्वारा सबमिट किए गए कुल कोड की मात्रा 500% बढ़ गई।
"परफेक्ट स्कोर" का भ्रम: लगभग सभी ने उस विशिष्ट असाइनमेंट पर परफेक्ट स्कोर प्राप्त किया।
- उपमा: यह ऐसा है जैसे क्लास में अचानक सभी को टेस्ट में "A" ग्रेड मिल गया। लेकिन शिक्षक को एहसास हुआ कि जिन छात्रों को "A" मिला, वे केवल जादुई पेन से उत्तर कुंजी (answer key) की नकल कर रहे थे, न कि वास्तव में गणित समझ रहे थे। ग्रेड अब पूरी कहानी नहीं बता रहा था।
"धीमे सीखने वाले" का संकेत: शोधकर्ताओं ने मापा कि प्रत्येक नए प्रयास के साथ छात्र का स्कोर कितना सुधरा।
- उपमा: इसे सीढ़ी चढ़ने की तरह सोचें। जादुic पेन से पहले, हर बार जब छात्र एक पायदान ऊपर चढ़ता था, तो वह शीर्ष के काफी करीब पहुँच जाता था। जादुई पेन के बाद, छात्र सीढ़ी बहुत तेजी से चढ़ रहे थे (अधिक बदलाव कर रहे थे), लेकिन वे शीर्ष के करीब नहीं पहुँच रहे थे। वे बस एक ही जगह पर गोल-गोल घूम रहे थे।
- डेटा: "प्रति बदलाव स्कोर सुधार" (score improvement per change) काफी गिर गया। छात्र अधिक मेहनत कर रहे थे (अधिक संपादन) लेकिन सीख कम रहे थे।
टीम प्रोजेक्ट का मोड़
अध्ययन ने एक ग्रुप प्रोजेक्ट को भी देखा जहाँ छात्रों ने मिलकर एक वेबसाइट बनाई।
- परिणाम: जादुई पेन के आने के बाद टीम के स्कोर वास्तव में थोड़े से बढ़ गए।
- उपमा: यह एक स्पोर्ट्स टीम की तरह है जहाँ एक खिलाड़ी खेल में एक सुपर-फास्ट रोबोट लेकर आता है। टीम अधिक मैच जीतती है, लेकिन मानव खिलाड़ी शायद पहले की तरह मजबूत नहीं हो रहे हैं। रोबोट भारी काम कर रहा है, जिससे इस बात पर पर्दा पड़ गया है कि इंसान पहले की तुलना में कितना कम योगदान दे रहे हैं।
"सेंटॉर" की चेतावनी
लेखक काम के भविष्य की तुलना शतरंज (Chess) से करते हैं।
- शतरंज में, एक "सेंटॉर" (Centaur) एक इंसान और एक कंप्यूटर की टीम होती है जो मिलकर काम करती है। ये टीमें अकेले इंसानों या अकेले कंप्यूटरों से बेहतर होती हैं।
- समस्या: शोधकर्ताओं को डर है कि छात्र ऐसे शतरंज खिलाड़ी बनते जा रहे हैं जिन्होंने मोहरे चलाना भूल दिया है क्योंकि वे केवल कंप्यूटर को निर्देश दे रहे हैं।
- उन्होंने पाया कि जो छात्र जादुई पेन पर बहुत अधिक निर्भर थे (बड़े, ब्लोटेड कोड परिवर्तनों द्वारा संकेतित), उन्होंने वास्तव में अन्य व्यक्तिगत असाइनमेंटों पर थोड़ा खराब प्रदर्शन किया। यह सुझाव देता है कि जबकि जादुई पेन आपको कार्य पूरा करने में मदद करता है, यह आपको उस कार्य को अपने दम पर करने के लिए आवश्यक कौशल सीखने में नुकसान पहुँचा सकता है।
निचोड़
पेपर यह निष्कर्ष निकालता है कि हालांकि छात्र अच्छे ग्रेड प्राप्त कर रहे हैं, लेकिन उनका व्यवहार बदल गया है जो यह संकेत देता है कि वे AI पर बहुत अधिक निर्भर हैं।
- वे लंबा, अव्यवस्थित कोड सबमिट कर रहे हैं।
- वे बिना कुछ सीखे अधिक बदलाव कर रहे हैं।
- वे सरल कार्यों पर परफेक्ट स्कोर प्राप्त कर रहे हैं, लेकिन उनकी समग्र सीखने की दक्षता कम होती दिख रही है।
लेखक चेतावनी देते हैं कि स्कूलों और नियोक्ताओं को "कौशल" को मापने के तरीके पर पुनर्विचार करने की आवश्यकता है। केवल इसलिए कि एक छात्र जादुई पेन के साथ एक परफेक्ट परिणाम दे सकता है, इसका मतलब यह नहीं है कि वह केक बनाना जानता है। उन्हें यह सिखाने का तरीका खोजना होगा कि छात्र कैसे शतरंज के मास्टर बनें जो कंप्यूटर का मार्गदर्शन करें, न कि केवल वे लोग जो "गो" बटन दबाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।