Leveraging Large Language Models for Assessments Grading and Personalised Feedback Generation: A Case of Software Engineering

आधुनिक विश्वविद्यालयों के क्लासरूम में एक शांत क्रांति हो रही है, जिसे 'लार्ज लैंग्वेज मॉडल' नामक एक नए प्रकार के आर्टिफिशियल इंटेलिजेंस द्वारा संचालित किया जा रहा है। ये साधारण सर्च इंजन नहीं हैं जो केवल तथ्यों को खोजते हैं; ये मानव लेखन के विशाल भंडार पर प्रशिक्षित प्रणालियाँ हैं, जो संदर्भ को समझने, जटिल समस्याओं के माध्यम से तर्क करने और मानव संवाद की नकल करने वाले टेक्स्ट उत्पन्न करने में सक्षम हैं। वर्षों से, शिक्षक यह सोच रहे हैं कि क्या ये उपकरण केवल बातचीत करने से कहीं अधिक कर सकते हैं; क्या वे वास्तव में पढ़ा सकते हैं, या कम से कम शिक्षकों को छात्रों द्वारा जमा किए गए काम के पहाड़ों को ग्रेड करने में मदद कर सकते हैं? यह प्रश्न सॉफ्टवेयर इंजीनियरिंग जैसे क्षेत्रों में विशेष रूप से पेचीदा है, जहाँ छात्र केवल निबंध नहीं लिखते या गणित के सवाल हल नहीं करते। इसके बजाय, वे सॉफ्टवेयर सिस्टम के जटिल ब्लूप्रिंट बनाते हैं, ऐसे आरेख (डायग्राम) खींचते हैं जो दिखाते हैं कि एक प्रोग्राम के विभिन्न हिस्से कैसे जुड़ने चाहिए और कार्य करने चाहिए। इन दृश्य डिजाइनों को तर्क और संरचना में सूक्ष्म त्रुटियों को पहचानने के लिए एक मानवीय दृष्टि की आवश्यकता होती है। यदि एक कंप्यूटर इन असाइनमेंट को सटीक रूप से ग्रेड कर सके और सुधार के लिए उपयोगी सलाह दे सके, तो यह शिक्षकों को गहरे शिक्षण पर ध्यान केंद्रित करने के लिए मुक्त कर देगा, लेकिन केवल तभी जब कंप्यूटर इतना विश्वसनीय हो कि उसे छात्र के ग्रेड के लिए भरोसेमंद माना जा सके।

पाकिस्तान और यूनाइटेड किंगडम के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने इसी विचार का परीक्षण करने का निर्णय लिया। वे यह देखना चाहते थे कि क्या दो सबसे उन्नत उपलब्ध आर्टिफिशियल इंटेलिजेंस सिस्टम जटिल सॉफ्टवेयर डिजाइन असाइनमेंट को ग्रेड कर सकते हैं और छात्रों को व्यक्तिगत फीडबैक प्रदान कर सकते हैं। ऐसा करने के लिए, उन्होंने सॉफ्टवेयर डिजाइन और आर्किटेक्चर के एक कोर्स से 54 वास्तविक छात्र सबमिशन एकत्र किए। प्रत्येक छात्र ने तीन विशिष्ट प्रकार के डायग्राम बनाए थे: एक 'यूज़ केस डायग्राम' जो दिखाता है कि उपयोगकर्ता सिस्टम के साथ कैसे इंटरैक्ट करते हैं, एक 'क्लास डायग्राम' जो सॉफ्टवेयर के निर्माण खंडों की रूपरेखा बताता है, और एक 'थ्री-टियर आर्किटेक्चर डिजाइन' जो सिस्टम की परतों का मानचित्र तैयार करता है। एक अनुभवी मानव प्रशिक्षक ने पहले से ही नियमों के एक सख्त सेट, या 'रुब्रिक' का उपयोग करके इन सभी असाइनमेंट को ग्रेड किया था, जो स्पष्ट रूप से परिभाषित करता था कि पूर्ण अंक प्राप्त करने के लिए क्या आवश्यक है। शोधकर्ताओं ने फिर इन असाइनments को, प्रशिक्षक के नियमों के साथ, दो अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडलों में डाला: एक OpenAI नामक कंपनी से और दूसरा Google से।

शोधकर्ताओं ने कंप्यूटरों से केवल स्कोर देने के लिए नहीं कहा। उन्होंने एक सावधानीपूर्वक प्रक्रिया डिजाइन की ताकि मॉडल चरण-दर-चरण ग्रेडिंग के बारे में सोच सकें, ठीक वैसे ही जैसे एक मानव शिक्षक करता है। उन्होंने मॉडलों से पहले यह जांचने के लिए कहा कि क्या छात्र ने सही विषय को संबोधित किया है, फिर प्रत्येक भाग की जांच करने के लिए कहा कि क्या आवश्यक तत्व मौजूद हैं, और अंत में विशिष्ट त्रुटियों के आधार पर स्कोर की गणना करने के लिए कहा। यह सुनिश्चित करने के लिए कि परिणाम स्थिर हों और केवल एक तुक्का न हों, शोधकर्ताओं ने प्रत्येक मॉडल को हर असाइनमेंट को तीन अलग-अलग बार ग्रेड करने के लिए कहा और फिर परिणामों का औसत निकाला। उन्होंने इस पूरी प्रक्रिया को प्रबंधित करने के लिए एक कस्टम वेब टूल भी बनाया, जिससे मॉडल छात्र की PDF फाइलों को पढ़ सके, जिनमें टेक्स्ट और जटिल डायग्राम दोनों शामिल थे, और प्रत्येक छात्र के लिए एक विस्तृत रिपोर्ट तैयार कर सके।

जब शोधकर्ताओं ने कंप्यूटर-जनित ग्रेड की मानव प्रशिक्षक के ग्रेड से तुलना की, तो परिणाम आशा और सीमा का मिश्रण थे। आर्टिफिशियल इंटेलिजेंस सिस्टम आम तौर पर मानव शिक्षक के औसत स्कोर के करीब थे, जिसमें कंप्यूटर ग्रेड कुल पचास में से औसतन लगभग पांच अंकों से भिन्न थे। हालाँकि, कंप्यूटर मानव शिक्षक की बहुत अच्छे और बहुत खराब छात्रों के बीच अंतर करने की क्षमता से मेल खाने में संघर्ष कर रहे थे। मानव प्रशिक्षक ने 19 के निम्न स्तर से लेकर 49 के उच्च स्तर तक स्कोर की एक विस्तृत श्रृंखला दी थी, जो यह दर्शाता था कि किसने सामग्री में महारत हासिल की है और किसने नहीं। दूसरी ओर, कंप्यूटरों ने इन स्कोर्स को एक संकीर्ण दायरे में समेट दिया, जिससे अक्सर औसत दर्जे के काम को थोड़ा उच्च ग्रेड और उत्कृष्ट काम को थोड़ा कम ग्रेड मिला। इसका अर्थ यह था कि जबकि कंप्यूटर प्रदर्शन का एक मोटा अनुमान देने में अच्छे थे, वे अभी भी एक अंतिम ग्रेड तय करने के लिए मानव शिक्षक को बदलने के लिए पर्याप्त विश्वसनीय नहीं थे, क्योंकि वे छात्रों को सटीक रूप से रैंक करने की क्षमता खो देते थे।

ग्रेडिंग की खामियों के बावजूद, कंप्यूटर द्वारा उत्पन्न फीडबैक को आश्चर्यजनक रूप से अच्छी तरह से स्वीकार किया गया। जिन छात्रों को AI-जनित टिप्पणियाँ मिलीं, उन्होंने उन्हें स्पष्ट, उपयोगी और अपनी गलतियों को समझने के लिए मददगार पाया। वास्तव में, जब यह चुनने के लिए पूछा गया कि उन्हें किस कंप्यूटर का फीडबैक पसंद आया, तो अधिकांश छात्रों ने OpenAI के मॉडल को चुना, यह नोट करते हुए कि इसकी टिप्पणियाँ अधिक व्यक्तिगत और रचनात्मक महसूस हुईं, और एक मानव शिक्षक की तरह थीं। दिलचस्प बात यह है कि यह प्राथमिकता हमेशा इस बात से मेल नहीं खाती थी कि किस कंप्यूटर ने गणितीय रूप से अधिक सटीक ग्रेड दिया था; जिस मॉडल को छात्रों ने अपनी लेखन शैली के लिए सबसे अधिक पसंद किया, वह आवश्यक रूप से वह नहीं था जो उनके स्कोरिंग में सबसे सटीक था। यह सुझाव देता है कि छात्रों के लिए, सलाह की गुणवत्ता उनके काम को दिए गए सटीक अंक से अधिक मायने रखती है।

अध्ययन निष्कर्ष निकालता है कि ये आर्टिफिशियल इंटेलिजेंस उपकरण शक्तिशाली सहायक हैं लेकिन अभी तक पूरी तरह से नियंत्रण संभालने के लिए तैयार नहीं हैं। वे सैकड़ों असाइनमेंट की समीक्षा करने, डायग्राम में छूटे हुए तत्वों को खोजने और प्रारंभिक फीडबैक का मसौदा तैयार करने का भारी काम संभाल सकते हैं, जिससे शिक्षकों का बहुत समय बचता है। हालाँकि, शोध दृढ़ता से सुझाव देता है कि एक मानव शिक्षक को अंतिम ग्रेड की समीक्षा करने और निष्पक्षता सुनिश्चित करने के लिए प्रक्रिया में रहना चाहिए, विशेष रूप से उच्च-जोखिम वाले मूल्यांकन के लिए जहाँ छात्र का भविष्य परिणाम पर निर्भर करता है। इन निष्कर्षों के अनुसार आदर्श भविष्य एक हाइब्रिड दृष्टिकोण है जहाँ कंप्यूटर एक अथक प्रथम पाठक के रूप में कार्य करता है, जो प्रारंभिक मूल्यांकन और विस्तृत सुझाव प्रदान करता है, जबकि मानव प्रशिक्षक अंतिम निर्णय और वह सूक्ष्म समझ प्रदान करता है जो केवल एक व्यक्ति ही दे सकता है। यह साझेदारी सॉफ्टवेयर इंजीनियरिंग शिक्षा को बदल सकती है, जिससे शिक्षकों पर बोझ डाले बिना प्रत्येक छात्र को व्यक्तिगत फीडबैक उपलब्ध कराया जा सकता है।