Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026

उन कक्षाओं में जहाँ युवा लोग पहली बार सॉफ्टवेयर बनाना सीखते हैं, एक नए प्रकार का सहायक आया है। ये मानव शिक्षक नहीं हैं, बल्कि लार्ज लैंग्वेज मॉडल्स (large language models) हैं: कंप्यूटर प्रोग्राम जिन्हें टेक्स्ट और कोड के विशाल पुस्तकालयों पर प्रशिक्षित किया गया है, जो एक प्रश्न को पढ़ सकते हैं और उसके उत्तर में एक प्रोग्राम लिख सकते हैं। वर्षों से, शिक्षक इन उपकरणों को विकसित होते देख रहे हैं, यह सोचते हुए कि क्या वे वास्तव में प्रोग्रामिंग के तर्क को समझ सकते हैं या वे केवल पैटर्न की नकल कर रहे हैं। यह प्रश्न महत्वपूर्ण है क्योंकि प्रोग्रामिंग अक्सर 'ऑब्जेक्ट-ओरिएंटेड प्रोग्रामिंग' नामक एक विशिष्ट शैली के माध्यम से सिखाई जाती है, जहाँ कोड को स्व-निहित इकाइयों में व्यवस्थित किया जाता है जो डेटा रखती हैं और कार्य करती हैं, ठीक वैसे ही जैसे एक वास्तविक दुनिया की वस्तु के पास गुण और व्यवहार दोनों होते हैं। यदि ये कृत्रिम प्रणालियाँ छात्रों की तरह ही समस्याओं को हल कर सकती हैं, तो यह हमारे सिखाने के तरीके, परीक्षण करने के तरीके और कोडिंग सीखने के भविष्य के बारे में हमारी सोच को बदल देता है।

एस्तोनिया के टार्टू विश्वविद्यालय के शोधकर्ताओं ने पाँच सबसे लोकप्रिय कृत्रिम बुद्धिमत्ता प्रणालियों को एक वास्तविक विश्वविद्यालय परिवेश में परखने का निर्णय लिया। उन्होंने मशीनों को अमूर्त पहेलियाँ हल करने या शून्य में कोड लिखने के लिए नहीं कहा। इसके बजाय, उन्होंने बिल्कुल वही प्रोग्रामिंग टेस्ट और अंतिम परीक्षा के प्रश्न लिए जो प्रथम वर्ष के छात्रों के एक परिचयात्मक पाठ्यक्रम के लिए उपयोग किए जाते थे और उन्हें सीधे मशीनों को दे दिया। कार्य स्थानीय भाषा, एस्टोनियाई में लिखे गए थे, और शोधकर्ताओं ने प्रणालियों को कोई विशेष निर्देश या संकेत नहीं दिए। उन्होंने बस मशीनों से उन समस्याओं को एक छात्र की तरह हल करने के लिए कहा, उन्हीं ग्रेडिंग नियमों का उपयोग करते हुए जो शिक्षक मानव कार्य पर लागू करते हैं। लक्ष्य यह देखना था कि क्या ये उपकरण औसत छात्र के साथ तालमेल बिठा सकते हैं, और अधिक महत्वपूर्ण रूप से, यह देखना था कि वे कहाँ लड़खड़ाते हैं।

परिणामों ने दिखाया कि कृत्रिम बुद्धिमत्ता प्रणालियाँ उल्लेखनीय रूप से सक्षम हैं, और अक्सर उन मानव छात्रों से बेहतर प्रदर्शन करती हैं जिनसे उनकी तुलना की गई थी। पहले प्रोग्रामिंग टेस्ट में, जिसमें कई भागों वाला एक पूर्ण प्रोग्राम बनाना आवश्यक था, एक को छोड़कर प्रत्येक प्रणाली ने औसत छात्र से अधिक अंक प्राप्त किए। एक प्रणाली, जो माइक्रोसॉफ्ट ऑफिस में एकीकृत एक टूल है, एक उदाहरण में एक छोटे से सिंटैक्स एरर (syntax error) के कारण काम करने वाला प्रोग्राम बनाने में विफल रही, लेकिन अन्य ने लगातार शीर्ष अंक प्राप्त किए। दूसरे, थोड़े कठिन टेस्ट में, जिसमें अधिक जटिल डेटा हैंडलिंग शामिल थी, मशीनों ने फिर से दबदबा बनाया, जिनमें से अधिकांश ने पूर्ण या लगभग पूर्ण अंक प्राप्त किए। यहाँ तक कि अंतिम परीक्षा में भी, जिसमें पूरा पाठ्यक्रम शामिल था और जिसमें पेचीदा वैचारिक प्रश्न थे, मशीनें आम तौर पर कक्षा के औसत से काफी ऊपर रहीं।

हालाँकि, मशीनें पूर्ण नहीं हैं, और उनकी गलतियाँ दर्शाती हैं कि उनकी समझ अभी भी उथली है। जबकि वे लंबे, जटिल प्रोग्राम लिख सकती थीं जो बिना क्रैश हुए चलते थे, वे कभी-कभी उन विशिष्ट विवरणों को छोड़ देती थीं जिन्हें एक मानव शिक्षक पकड़ लेता। उदाहरण के लिए, कुछ प्रणालियाँ टेक्स्ट को ठीक से फॉर्मेट करने में विफल रहीं या कोड को चलाने के लिए आवश्यक निर्देश शामिल करना भूल गईं, जिससे ऐसी त्रुटियाँ हुईं जिन्होंने प्रोग्राम को चलने से रोक दिया। वे कुछ उन्नत अवधारणाओं के साथ भी संघर्ष करती थीं, जैसे कि कैसे एक प्रोग्राम के विभिन्न हिस्से विशिष्ट नियमों के माध्यम से एक-दूसरे से बात करते हैं जिन्हें 'इंटरफेस' (interfaces) कहा जाता है। इन क्षेत्रों में, मशीनें कभी-कभी ऐसा कोड बनाती थीं जो सही दिखता था लेकिन वास्तव में वह नहीं करता था जो प्रश्न ने पूछा था। इसके अतिरिक्त, अध्ययन ने ग्राफिक्स से संबंधित प्रश्नों पर प्रदर्शन की सीमा को नोट किया, जिसमें छवि व्याख्या शामिल थी, जो एक व्यापक चुनौती को दर्शाता है जिसका सामना AI गैर-पाठ्य (non-textual) जानकारी को संभालने में करता है।

शोधकर्ताओं ने पाया कि ये प्रणालियाँ केवल एक वर्ष पूर्व के मूल्यांकन की तुलना में काफी सुधरी हैं। जहाँ इन उपकरणों के पुराने संस्करण शायद पाठ्यक्रम पास करने में विफल रहे होते, नए मॉडल अब लगातार छात्र प्रदर्शन की शीर्ष श्रेणी में स्कोर कर रहे हैं। फिर भी, एक स्पष्ट पैटर्न उभरा: मशीनें मानक संरचनाओं को बनाने के निर्देशों का पालन करने में उत्कृष्ट हैं लेकिन वे तब लड़खड़ा सकती हैं जब किसी कार्य के लिए इस बात की गहरी समझ की आवश्यकता होती है कि एक प्रणाली के विभिन्न हिस्से वैचारिक रूप से एक साथ कैसे फिट होते हैं। वे अक्सर वे अतिरिक्त सुविधाएँ जोड़ देते हैं जो मांगी नहीं गई थीं या ऐसी उन्नत तकनीकों का उपयोग करते हैं जो छात्रों ने अभी तक सीखी नहीं थीं, जो यह सुझाव देता है कि वे ज्ञान के बहुत व्यापक भंडार से जानकारी ले रही हैं।

अंततः, यह अध्ययन एक ऐसे उपकरण की तस्वीर पेश करता है जो शक्तिशाली तो है लेकिन अभी तक हर शैक्षिक आवश्यकता के लिए पूरी तरह से विश्वसनीय नहीं है। कृत्रिम बुद्धिमत्ता प्रणालियाँ काम करने वाला कोड उत्पन्न कर सकती हैं जो अक्सर औसत छात्र से बेहतर होता है, जो यह सिद्ध करता है कि उन्होंने प्रोग्रामिंग के यांत्रिकी में महारत हासिल कर ली है। लेकिन वे अभी भी कुछ विशिष्ट, आवर्ती त्रुटियाँ करती हैं जो अंतर्निहित तर्क की वास्तविक समझ की कमी को दर्शाती हैं। शिक्षकों के लिए, इसका अर्थ यह है कि जबकि इन उपकरणों का उपयोग सीखने में सहायता के लिए किया जा सकता है, वे अभी तक मानवीय निरीक्षण या गहन वैचारिक समझ का परीक्षण करने वाले मूल्यांकन के सावधानीपूर्ण डिज़ाइन की जगह नहीं ले सकते। मशीनें हर साल बेहतर हो रही हैं, लेकिन उन्हें वास्तव में एक प्रोग्रामर की तरह सोचने के लिए अभी भी लंबा रास्ता तय करना है।