A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor

कल्पना कीजिए कि आप एक शिक्षक हैं जिसके पास ग्रेड करने के लिए होमवर्क का पहाड़ है। आपके पास जांचने के लिए 6,000 प्रोग्रामिंग असाइनमेंट हैं, और आपकी आँखें थक गई हैं। पेश है "डिजिटल ग्रेडर": एक प्रकार का सुपर-स्मार्ट कंप्यूटर दिमाग जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है। इन मॉडल्स को ऐसे समझें जैसे कि वे बहुत पढ़े-लिखे रोबोट हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है, जिसमें कोड की लाखों लाइनें भी शामिल हैं। उन्हें भाषा और तर्क समझने के लिए डिज़ाइन किया गया है, इसलिए छात्रों के काम को तुरंत ग्रेड करने के लिए उनसे मदद मांगना एक बेहतरीन विचार लगता है। लेकिन यहाँ एक पेंच है: इंसानों की तरह ही, इन रोबोटों के अलग-अलग व्यक्तित्व भी होते हैं। कुछ सख्त होते हैं, कुछ उदार होते हैं, और कुछ बस अजीब होते हैं। बड़ा सवाल स्कूलों के लिए यह है कि: यदि हम इन रोबोटों को ग्रेडिंग का जिम्मा सौंप देते हैं, तो क्या वे निष्पक्ष होंगे? क्या वे मानव शिक्षकों के साथ सहमत होंगे? या वे ग्रेडिंग प्रणाली को एक अराजक खेल में बदल देंगे जहाँ एक रोबोट आपको A+ देता है और दूसरा उसी कोड के लिए आपको F दे देता है?

यह पेपर इन डिजिटल ग्रेडरों के लिए एक विशाल "टेस्ट टेस्ट" (स्वाद परीक्षण) की तरह है। लेखक, मार्किन जुकीविच ने एक विश्वविद्यालय पाठ्यक्रम से 6,000 वास्तविक छात्र प्रोग्रामिंग असाइनमेंट एकत्र किए और इन सभी को ग्रेड करने के लिए 18 अलग-अलग संस्करणों वाले इन AI रोबोटों से कहा। उन्होंने केवल यह नहीं पूछा कि स्कोर क्या देना है; उन्होंने यह भी देखा कि वे कैसे सोचते हैं, वे कितने सख्त हैं, और क्या वे एक-दूसरे के साथ या मानव शिक्षकों के साथ सहमत होते हैं। अध्ययन से पता चलता है कि ये AI मॉडल बुद्धिमत्ता का एक समान ब्लॉक नहीं हैं; वे बहुत अलग कज़न्स (चचेरे भाइयों) का एक परिवार हैं। कुछ "उदार" हैं और बहुत अधिक अंक बांटते हैं, जबकि अन्य "प्रतिबंधात्मक" हैं और छोटी गलतियों के लिए छात्रों को फेल कर देते हैं। और भी आश्चर्यजनक रूप से, एक ही कंपनी के रोबोट (जैसे OpenAI या Google) एक ही तरह से सोचते हैं और ग्रेड करते हैं, लगभग वैसा ही जैसे उन्हें एक ही घर में एक ही नियमों के साथ पाला गया हो।

हालाँकि, सबसे महत्वपूर्ण निष्कर्ष एक वास्तविकता की जाँच है। अध्ययन में मौजूद सबसे "बेहतरीन" AI रोबोट भी मानव शिक्षकों के साथ मध्यम स्तर का सांख्यिकीय तालमेल दिखाता है, जो एक पूर्ण मिलान से बहुत दूर है। ग्रेडिंग की दुनिया में, यह एक टैलेंट शो में दो जजों द्वारा एक ही गायक को बिल्कुल अलग स्कोर देने जैसा है। अध्ययन बताता है कि भले ही AI मॉडल अपने आपसे सुसंगत हो सकता है, फिर भी उसे मानव शिक्षकों के सूक्ष्म, क्षमाशील और संदर्भ-जागरूक तरीके के साथ तालमेल बिठाने में संघर्ष करना पड़ता है। इसके अलावा, अध्ययन में पाया गया कि इन मॉडलों के "मिनी" या "नैनो" संस्करण (छोटे, सस्ते मॉडल) बड़े, पूर्ण आकार वाले भाइयों की तुलना में आमतौर पर ग्रेडिंग करने में कमज़ोर थे। इसलिए, यदि कोई स्कूल होमवर्क ग्रेड करने के लिए AI का उपयोग करना चाहता है, तो वे किसी भी रोबोट को नहीं चुन सकते; उन्हें सावधानी से चुनाव करना होगा, क्योंकि रोबट का चुनाव वास्तव में उन ग्रेडों को बदल देगा जो छात्रों को मिलते हैं।

द ग्रेट रोबोट ग्रेडिंग शोडाउन

कल्पना कीजिए कि आप एक कक्षा में कदम रखते हैं जहाँ 18 अलग-अलग रोबोट डेस्क पर बैठे हैं, जिनमें से प्रत्येक के हाथ में एक लाल पेन है। वे 6,000 प्रोग्रामिंग असाइनमेंट के एक ही ढेर को ग्रेड करने जा रहे हैं। ये कोई साधारण रोबोट नहीं हैं; ये चार प्रमुख टेक दिग्गजों: OpenAI, Google, Anthropic और DeepSeek के नवीनतम और सर्वश्रेष्ठ "लार्ज लैंग्वेज मॉडल्स" (LLMs) हैं। इस अध्ययन का लक्ष्य यह देखना था कि क्या ये रोबोट इस बात पर सहमत होंगे कि किसे A मिलेगा, किसे B मिलेगा और कौन फेल होगा।

परिणाम थोड़े उस रियलिटी टीवी शो की तरह थे जहाँ जज किसी भी चीज़ पर सहमत नहीं हो पाते। लेखक ने पाया कि इन रोबनों के पास विशिष्ट "ग्रेडिंग दर्शन" हैं।

"अच्छे" रोबोट बनाम "बुरे" रोबोट
कुछ रोबोट अविश्वसनीय रूप से उदार थे। GPT-4o और Claude-haiku-3.5 जैसे मॉडल्स "उदार" ग्रेडर थे। वे अक्सर उच्च स्कोर (एक "1" या पूर्ण क्रेडिट) देने की प्रवृत्ति रखते थे। यदि छात्र का कोड काफी हद तक सही था, तो ये रोबोट उन्हें पास होने का ग्रेड देने में खुश थे। दूसरी ओर, आपके पास DeepSeek-Reasoner और GPT-4.1-nano जैसे "प्रतिबंधात्मक" रोबोट थे। वे सख्त अनुशासन बनाए रखने वाले थे। यदि उन्हें एक छोटी सी गलती भी दिखती, तो वे "0" (फेलिंग ग्रेड) देने की अधिक संभावना रखते थे। ये वे रोबोट थे जो आपको एक छूटे हुए सेमीकोलन के लिए फेल कर देते, जबकि अच्छे रोबोट आपको बस एक हल्का सा इशारा देते।

फिर "संतुलित" रोबोट भी थे, जैसे Claude-sonnet-4 और Gemini-2.0-flash-lite। ये बीच के रास्ते वाले ग्रेडर थे। वे आपको केवल पूर्ण स्कोर या फेलिंग स्कोर ही नहीं देते थे; उन्हें "0.5" स्कोर बहुत पसंद था। वे वे थे जो कह रहे थे, "आपने मुख्य विचार समझ लिया है, लेकिन आपसे कुछ विवरण छूट गए हैं, इसलिए यहाँ आपको आंशिक क्रेडिट मिलता है।"

पारिवारिक समानता
सबसे शानदार खोजों में से एक यह थी कि एक ही कंपनी के रोबोट भाई-बहनों की तरह व्यवहार करते थे। यदि आपने अलग-अलग OpenAI मॉडल्स (जैसे GPT-4o, GPT-5 और उनके "मिनी" संस्करणों) के ग्रेडिंग पैटर्न को देखा, तो वे एक समूह में आए। वे एक जैसा सोचते थे। यही बात Google के Gemini मॉडल्स और Anthropic के Claude मॉडल्स के साथ भी हुई। ऐसा लगता है जैसे OpenAI ने अपने सभी रोबोट्स को एक विशिष्ट शैली में ग्रेड करना सिखाया है, और Google ने अपने रोबोट्स को एक अलग शैली सिखाई है। अध्ययन में छह अलग-अलग समूह पाए गए: पांच मुख्य "कुल" (clans) जिनके साझा स्टाइल थे (GPT-5, GPT-4, Gemini, DeepSeek, और Claude) प्लस एक विशेष "आउटलियर क्लस्टर" जिसने दो अद्वितीय मॉडल्स को एक साथ रखा क्योंकि वे कहीं फिट नहीं बैठ रहे थे।

"मिनी" बनाम "मेगा"
अध्ययन में रोबोट के आकार को भी देखा गया। टेक कंपनियाँ अक्सर अपने मॉडल्स के "मिनी" या "नैनो" संस्करण जारी करती हैं जो छोटे, तेज़ और चलाने में सस्ते होते हैं। पेपर में पाया गया कि ये छोटे रोबोट आमतौर पर ग्रेडिंग करने में कमज़ोर थे। पूर्ण-आकार के "फ्लैगशिप" मॉडल अधिक सुसंगत और विश्वसनीय थे। यह एक पेशेवर शेफ की तुलना उस बच्चे से करने जैसा है जिसने अभी-अभी एक कुकिंग शो देखा है; बच्चा शायद व्यंजन बना ले, लेकिन पेशेवर के खाना हर बार सही स्वाद वाला होने की अधिक संभावना होती है। "मिनी" और "नैनो" मॉडल्स का मानव शिक्षकों के साथ समझौता कम था, जिससे पता चलता है कि यदि कोई स्कूल सस्ते, छोटे मॉडल्स का उपयोग करके पैसा बचाने की कोशिश कर रहा है, तो उन्हें कम-गुणवत्ता वाली ग्रेडिंग मिल सकती है।

मानवीय कारक
यहाँ एक मोड़ है जो आपको आश्चर्यचकित कर सकता है। जब लेखक ने इन सभी रोबोटों की तुलना उन्हीं असाइनमेंट को ग्रेड करने वाले वास्तविक मानव शिक्षकों से की, तो रोबोट अच्छी तरह मेल नहीं खा सके। वास्तव में, मानव शिक्षक सबसे उदार थे! उन्होंने उच्चतम औसत स्कोर (0.726) दिया और किसी भी रोबोट की तुलना में पूर्ण "1" देने की उनकी संभावना बहुत अधिक थी।

सबसे अच्छा रोबोट, Claude-haiku-3.5, मानव शिक्षकों के साथ 0.470 का सांख्यिकीय समझौता स्कोर दिखाता है। सांख्यिकी की दुनिया में, इसे "मध्यम" समझौता माना जाता है, "अच्छा" नहीं। इसे "अच्छा" होने के लिए, आपको आमतौर पर 0.75 से अधिक स्कोर की आवश्यकता होती है। इसका मतलब है कि यदि आप इस रोबोट का उपयोग अपना होमवर्क ग्रेड करने के लिए करते हैं, तो यह संभवतः आपको वह ग्रेड देगा जो आपके शिक्षक से अलग होगा, और यह अधिक सख्त होगा।

"भीड़" का विरोधाभास
अध्ययन ने रोबोटों को एक-दूसरे के विरुद्ध परखने के लिए कुछ चतुर किया। शोधकर्ताओं ने मानव शिक्षकों के बजाय यह पूछा: "यदि हम सभी 18 रोबोटों द्वारा दिए गए सबसे सामान्य ग्रेड को लें, तो क्या वह 'वास्तविक' ग्रेड है?" जब उन्होंने ऐसा किया, तो रोबोट एक-दूसरे के साथ बहुत बेहतर ढंग से सहमत हुए (शीर्ष मॉडल्स के लिए 80% से अधिक सहमति)। यह सुझाव देता है कि रोबोट अपने प्रकार के लोगों के साथ बहुत सुसंगत हैं, लेकिन वे मानव शिक्षकों से लगातार अलग हैं।

यह एक बड़ा सवाल खड़ा करता है। क्या रोबोट सही हैं और शिक्षक बहुत उदार हैं? या क्या सभी रोबोट एक ही गलती कर रहे हैं क्योंकि उन्हें समान डेटा पर प्रशिक्षित किया गया था? पेपर सुझाव देता है कि हालांकि रोबोट सुसंगत हैं, लेकिन वे "मानवीय स्पर्श" को मिस कर सकते हैं—वह क्षमता जो यह समझने में मदद करती है कि एक छात्र ने कड़ी मेहनत की है, या एक छोटी सी गलती का मतलब यह नहीं है कि उसने अवधारणा को नहीं सीखा है।

भविष्य के लिए इसका क्या अर्थ है

पेपर यह नहीं कहता कि AI ग्रेडिंग खराब है या हमें इसका उपयोग बंद कर देना चाहिए। इसके बजाय, यह स्कूलों को सावधान रहने की चेतावनी देता है। अपने होमवर्क को ग्रेड करने के लिए एक रोबोट चुनना एक तटस्थ निर्णय नहीं है; यह एक ऐसा चुनाव है जो परिणाम को बदल देता है। यदि आप एक "उदार" रोबोट चुनते हैं, तो छात्रों को उच्च ग्रेड मिल सकते हैं। यदि आप एक "प्रतिबंधात्मक" रोबोट चुनते हैं, तो छात्रों को कम ग्रेड मिल सकते हैं।

अध्ययन निष्कर्ष निकालता है कि हम AI को पूरी तरह से ग्रेडिंग संभालने के लिए नहीं छोड़ सकते। हमें चीज़ों पर नज़र रखने के लिए मानव शिक्षकों की आवश्यकता है। रोबोट बेहतरीन उपकरण हैं, लेकिन वे विभिन्न प्रकार के कैलकुलेटर की तरह हैं: कुछ राउंड अप करते हैं, कुछ राउंड डाउन करते हैं, और कुछ के पास अलग बटन होते हैं। जब तक हम यह नहीं जान लेते कि उन्हें मानव शिक्षकों के साथ कैसे सहमत किया जाए, हमें याद रखना होगा कि एक रोबोट जो ग्रेड आपको देता है, वह आपके शिक्षक द्वारा दिए जाने वाले ग्रेड से भिन्न हो सकता है। और शिक्षा की दुनिया में, यह अंतर बहुत मायने रखता है।