💬 NLP

LLM Performance on a Real, Double-Marked GCSE Benchmark

यह शोध पत्र डबल-मार्क्ड (दोहरी बार चिह्नित) GCSE परीक्षा प्रतिक्रियाओं का एक विशाल डेटासेट प्रस्तुत करता है और यह प्रदर्शित करता है कि 'ऑफ-द-शेल्फ' लार्ज लैंग्वेज मॉडल्स, हस्तलिखित गणित और व्यक्तिपरक अंग्रेजी निबंधों सहित विविध विषयों की ग्रेडिंग करने में मानव परीक्षकों की निरंतरता के बराबर या उससे भी अधिक हो सकते हैं, जो स्वचालित अंकन के लिए एक लागत प्रभावी समाधान प्रदान करते हैं।

मूल लेखक: Malachy Fox, Kavi Samra, Paul Jung

प्रकाशित 2026-06-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Malachy Fox, Kavi Samra, Paul Jung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल स्कूल परीक्षा आयोजित कर रहे हैं जहाँ हज़ारों छात्र अपने उत्तर जमा कर रहे हैं। पारंपरिक रूप से, आपको हर एक पेपर को पढ़ने और उसे ग्रेड देने के लिए दो अलग-अलग मानव शिक्षकों की आवश्यकता होती है। यह धीमा है, महंगा है, और कभी-कभी दोनों शिक्षक इस बात पर असहमत होते हैं कि एक "B" या "C" वास्तव में क्या दिखता है।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या एक कंप्यूटर (विशेष रूप से, एक लार्ज लैंग्वेज मॉडल या "AI") एक दूसरे मानव शिक्षक की तरह ही अच्छा काम कर सकता है?

यह जानने के लिए, शोधकर्ताओं ने AI के लिए एक विशाल "परीक्षण" बनाया। यहाँ इसका विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, रोज़मर्रा के उदाहरणों का उपयोग करते हुए।

1. "डबल-ग्रेडेड" टेस्ट किचन

शोधकर्ताओं ने मॉक परीक्षाओं (UK की 16 वर्ष की आयु की राष्ट्रीय परीक्षाओं के अभ्यास परीक्षण) से 32,534 वास्तविक छात्र उत्तर एकत्र किए।

सेटअप: प्रत्येक उत्तर को पहले से ही दो अलग-अलग मानव विशेषज्ञों द्वारा ग्रेड दिया जा चुका था। यह एक कुकिंग शो के दो जजों की तरह है जो दोनों डिश को चखते हैं और अपना स्कोर लिखते हैं।
विविधता: उत्तर केवल टाइप किए गए निबंध नहीं थे। इनमें हाथ से लिखे गए गणित के कठिन सवाल, आरेख (diagrams), विज्ञान की गणनाएँ और रचनात्मक लेखन भी शामिल थे।
लक्ष्य: वे यह देखना चाहते थे कि क्या एक AI, प्रश्न और "उत्तर कुंजी" (mark scheme) दिए जाने पर, एक ऐसा स्कोर दे सकता है जो मानव जजों के एक-दूसरे से मेल खाने के स्तर के जितना ही करीब हो।

2. "टेस्ट टेस्ट" के परिणाम

शोधकर्ताओं ने विभिन्न AI मॉडलों (जैसे GPT-5.5, Gemini, और Claude) को एक बहुत ही सरल निर्देश के साथ ये प्रश्न दिए: "यहाँ प्रश्न है, ग्रेडिंग के नियम हैं, और छात्र का उत्तर है। मुझे एक संख्या में स्कोर दें।" उन्होंने AI को "गहरा सोचने" या जटिल तर्क लगाने के लिए नहीं कहा; उन्होंने बस इसे काम करने के लिए कहा।

बड़ा आश्चर्य:
लगभग हर विषय में, AI ने केवल "अच्छा काम" ही नहीं किया। कई मामलों में, AI मानव जजों के साथ उतनी ही अच्छी तरह से सहमत हुआ जितना कि दो मानव जज आपस में एक-दूसरे से सहमत थे।

उदाहरण: कल्पना कीजिए कि दो मानव जज एक केक चखते हैं। जज A इसे 7/10 देता है और जज B इसे 6/10 देता है। वे एक अंक के अंतर से असहमत हैं। अब, AI उसी केक को चखता है। वह इसे 6.5/10 देता है। AI वास्तव में बिल्कुल बीच में बैठा है, एक आदर्श 'टाई-ब्रेकर' के रूप में कार्य कर रहा है।
आंकड़े:
- अंग्रेजी निबंध: AI एक "सुपर-जज" था। इसने मानव सहमति से बेहतर प्रदर्शन किया, यहाँ तक कि इंसानों के आपसी मिलान से भी बेहतर।
- गणित: गंदे हस्तलेखन और जटिल आरेखों के बावजूद, AI अविश्वसनीय रूप से सटीक था, जो मानव निरंतरता के साथ लगभग पूरी तरह से मेल खाता था।
- विज्ञान: कहानी वही थी। AI एक दूसरे मानव शिक्षक की तरह ही विश्वसनीय था।

3. आकार हमेशा मायने नहीं रखता

आप सोच सकते हैं कि आपको एक बहुत बड़े, महंगे, "सुपर-स्मार्ट" AI की आवश्यकता होगी। शोध पत्र कहता है कि नहीं।

उदाहरण: यह एक लीक होते नल को ठीक करने जैसा है। आपको $5,000 के टूलकिट वाले मास्टर प्लंबर की आवश्यकता नहीं है; एक साधारण रिंच भी वही काम समान रूप से कर सकता है।
निष्कर्ष: छोटे, सस्ते AI मॉडल बड़े और महंगे मॉडलों के समान ही अच्छा प्रदर्शन करते हैं। वास्तव में, कुछ कार्यों के लिए, एक "बजट" मॉडल प्रीमियम मॉडल जितना ही सुसंगत था।

4. "व्यक्तित्व" का गुण (पूर्वाग्रह)

हालाँकि AI इस मामले में सटीक था कि यह मनुष्यों के साथ कितना सहमत था, लेकिन कुछ AI मॉडलों का एक "व्यक्तित्व" वाला पूर्वाग्रह था।

उदाहरण: कल्पना कीजिए कि दो मानव जज हैं। एक "सख्त शिक्षक" है जो हमेशा कम स्कोर देता है, और दूसरा "दयालु शिक्षक" है जो अधिक स्कोर देता है।
निष्कर्ष: कुछ AI मॉडल स्वाभाविक रूप से "सख्त" (औसत से कम स्कोर देने वाले) थे, जबकि अन्य "उदार" (अधिक स्कोर देने वाले) थे। हालाँकि, एक बार जब आपने इस व्यक्तित्व को ध्यान में रखा, तो उनकी सही ढंग से ग्रेड देने की क्षमता अभी भी उत्कृष्ट थी। सबसे अच्छे मॉडल वे थे जो "तटस्थ" थे—वे बहुत अधिक सख्त या दयालु होने की ओर नहीं झुके थे।

5. "दूसरे शिक्षक" की लागत

अंत में, शोध पत्र ने कीमत पर नज़र डाली।

उदाहरण: 1,000 पेपर ग्रेड करने के लिए दूसरे मानव शिक्षक को काम पर रखना महंगा है। AI का उपयोग करना एक मूवी टिकट खरीदने जैसा है: यह सौ डॉलर के बजाय कुछ डॉलर खर्च करता है।
निष्कर्ष: AI के साथ 1,000 पेपर ग्रेड करने की लागत मॉडल के आधार पर $1 से$ 120 के बीच आती है। चूंकि सस्ते मॉडल महंगे मॉडलों के समान ही अच्छा प्रदर्शन करते थे, इसलिए स्कूल एक विश्वसनीय "दूसरी राय" प्राप्त करते हुए भी भारी बचत कर सकते हैं।

मुख्य निष्कर्ष

यह शोध पत्र सिद्ध करता है कि आज का AI स्कूल परीक्षाओं के लिए एक विश्वसनीय "सेकंड मार्कर" बनने के लिए तैयार है। यह गंदे हस्तलेखन को पढ़ सकता है, जटिल गणित को समझ सकता है, और निबंधों को निरंतरता के साथ ग्रेड दे सकता है जो अक्सर मानव-से-मानव सहमति से भी बेहतर होता है। यह अच्छी तरह से काम करता है, सस्ता है, और इसे काम करने के लिए सबसे बड़े या सबसे महंगे मॉडल की आवश्यकता नहीं है।

जो यह शोध पत्र नहीं कहता:

यह दावा नहीं करता कि AI को पूरी तरह से मानव शिक्षकों की जगह लेनी चाहिए।
यह नहीं कहता कि AI हर प्रकार के परीक्षा प्रश्न के लिए एकदम सही है (हालांकि इसने परीक्षण किए गए प्रश्नों पर बहुत अच्छा प्रदर्शन किया)।
यह इस बारे में चर्चा नहीं करता कि यह भविष्य में स्कूलों को कैसे बदलेगा, केवल यह कि यह तकनीक वर्तमान में इन विशिष्ट परीक्षण स्थितियों के तहत काम करती है।

तकनीकी सारांश: एक वास्तविक, डबल-मार्क्ड GCSE बेंचमार्क पर LLM का प्रदर्शन

समस्या विवरण

स्कूलों और परीक्षा बोर्डों को छात्रों की परीक्षाओं के मैन्युअल मूल्यांकन में महत्वपूर्ण कार्यभार का सामना करना पड़ता है, विशेष रूप से उच्च-दांव वाली राष्ट्रीय परीक्षाओं के लिए जैसे कि यूके के GCSE (जो लगभग 16 वर्ष की आयु में ली जाती हैं)। जबकि स्वचालित निबंध स्कोरिंग फीचर-आधारित प्रणालियों से न्यूरल दृष्टिकोण तक विकसित हुई है, मौजूदा बेंचमार्क अक्सर वास्तविक दुनिया की परीक्षाओं की जटिलता की कमी रखते हैं। अधिकांश स्कूल परीक्षाएं कई विषयों में फैली होती हैं, जिनमें हस्तलिखित समीकरण और आरेख शामिल होते हैं, और उन्हें मल्टीमॉडल प्रोसेसिंग की आवश्यकता होती है। पिछले अध्ययन संकेत देते हैं कि 'ऑफ-द-शेल्फ' लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर इन मल्टीमॉडल, अव्यवस्थित इनपुट के साथ संघर्ष करते हैं और ऐतिहासिक रूप से मानक बेंचमार्क पर कार्य-विशिष्ट प्रणालियों से पीछे रह गए हैं। मुख्य प्रश्न यह है कि क्या व्यावसायिक रूप से उपलब्ध LLMs, एक जेनेरिक प्रॉम्प्ट और न्यूनतम तर्क प्रयास (reasoning effort) के तहत, विविध प्रतिक्रिया प्रकारों (टाइप किया गया टेक्स्ट, हस्तलिखित कार्य और आरेख) में मानव परीक्षक सहमति की तुलना में विश्वसनीय "सेकंड मार्कर" के रूप में कार्य कर सकते हैं।

कार्यप्रणाली (Methodology)

लेखक एक नया बेंचमार्क डेटासेट पेश करते हैं जिसमें पांच विषयों—इंग्लिश लैंग्वेज, मैथ्स, बायोलॉजी, केमिस्ट्री और फिजिक्स में 32,534 डबल-मार्क्ड छात्र प्रतिक्रियाएं शामिल हैं।

डेटा संरचना: डेटासेट में टाइप किया गया टेक्स्ट और स्ट्रोक्स के रूप में कैप्चर किया गया फ्रीहैंड हैंडराइटिंग/ड्राइंग दोनों शामिल हैं। लगभग 15.3% कुल प्रतिक्रियाओं में हस्तलिखित इनपुट है, जिसमें मैथ्स का अनुपात सबसे अधिक (44.1%) है।
ग्राउंड ट्रुथ (Ground Truth): प्रत्येक उत्तर को प्रकाशित मार्क स्कीम के विरुद्ध दो योग्य परीक्षकों द्वारा स्वतंत्र रूप से मार्क किया गया था। मैथ्स और साइंसेज के लिए "हायर" टियर का उपयोग किया गया था।
मूल्यांकन प्रोटोकॉल:
- प्रॉम्प्टिंग: मॉडल्स का मूल्यांकन एक सिंगल, जेनेरिक मल्टीमॉडल प्रॉम्प्ट का उपयोग करके किया गया जिसमें प्रश्न, मार्क स्कीम और छात्र का उत्तर (हैंडराइटिंग के लिए कैनवास इमेज सहित) शामिल था। निर्देश सख्ती से एक JSON ऑब्जेक्ट आउटपुट करने के लिए सीमित था जिसमें एक सिंगल इंटीजर मार्क हो।
- तर्क प्रयास (Reasoning Effort): मॉडल्स को उनके "मिनिमम रीजनिंग एफर्ट" सेटिंग पर चलाया गया ताकि एक लागत प्रभावी, लो-लेटेंसी परिदृश्य का अनुकरण किया जा सके।
- मेट्रिक: सहमति को क्वाड्रेटिक वेटेड कप्पा (QWK) का उपयोग करके मापा गया, जिसे प्रति प्रश्न गणना किया गया और प्रश्न के अधिकतम अंक के आधार पर भारित (weighted) औसत निकाला गया। यह मेट्रिक 0 (संयोग) से 1 (समान) तक होता है।
- तुलना: अध्ययन में दो परीक्षकों के बीच की सहमति ( $R_H$ ) के विरुद्ध AI और दो परीक्षकों के बीच की औसत सहमति ( $R_A$ ) की तुलना की गई है। सफलता का प्राथमिक मेट्रिक यह है कि क्या $R_A \geq R_H$ है।
- बायस विश्लेषण (Bias Analysis): इंग्लिश निबंधों के लिए, उदारता या कठोरता का आकलन करने के लिए हस्ताक्षरित मार्किंग बायस (अनुमानित अंक माइनस कंसेंसस मीन) की गणना की गई।
मुख्य योगदान

पहला सार्वजनिक मल्टी-सब्जेक्ट हैंडराइटिंग बेंचमार्क: यह डबल-मार्क्ड GCSE प्रतिक्रियाओं के लिए पहला सार्वजनिक रूप से वर्णित बेंचमार्क है जिसमें पांच अलग-अलग विषयों में हस्तलिखित छात्र कार्य के साथ टाइप किया गया टेक्स्ट भी शामिल है।
वास्तविक दुनिया का मल्टीमॉडल मूल्यांकन: यह डेटासेट "बोर-डिजिटल" टेक्स्ट पर निर्भर पिछले बेंचमार्क के विपरीत, जटिल हस्तलिखित मैथ्स स्क्रिप्ट और आरेखों सहित सभी प्रकार के एग्जाम इनपुट पर मॉडल्स का परीक्षण करता है।
लागत-प्रभावशीलता विश्लेषण: अध्ययन मॉडल की लागत (प्रति 1,000 पेपर्स लिस्ट प्राइस) और मार्किंग निरंतरता के बीच ट्रेड-ऑफ का मूल्यांकन करता है, जो इस धारणा को चुनौती देता है कि उच्च-गुणवत्ता वाले ऑटोमेटेड मार्किंग के लिए बड़े, महंगे मॉडल्स आवश्यक हैं।

परिणाम

अध्ययन से पता चलता है कि ऑफ-द-शेल्फ LLMs, दो मानव परीक्षकों के बीच की सहमति के बराबर, और कुछ मामलों में मानव परीक्षकों के बीच की सहमति से अधिक, सहमति स्तर प्राप्त कर सकते हैं।

कुल सहमति: सभी विषयों में, अग्रणी मॉडल्स ने परीक्षक सहमति के साथ अधिक निकटता से सहमति व्यक्त की, जितनी कि परीक्षकों ने आपस में की थी।
- इंग्लिश लैंग्वेज: टॉप मॉडल (GPT-5.5) ने 0.75 का QWK प्राप्त किया, जो परीक्षक-परीक्षक सहमति ( $R_H$ ) के 0.65 ( $\Delta = +0.10$ ) से काफी अधिक है।
- मैथ्स: 0.84 के उच्च बेसलाइन परीक्षक सहमति के बावजूद, टॉप मॉडल (Gemini 3.5 Flash) ने 0.86 ( $\Delta = +0.02$ ) प्राप्त किया।
- साइंसेज: संयुक्त विज्ञान विषयों ने दिखाया कि टॉप मॉडल (Gemini 3.1 Pro) ने परीक्षक बेसलाइन 0.69 के मुकाबले 0.74 ( $\Delta = +0.06$ ) प्राप्त किया।
मॉडल का आकार और लागत: सहमति का मॉडल के आकार या लागत के साथ कोई मजबूत सहसंबंध नहीं था। छोटे, सस्ते मॉडल्स (जैसे Claude Haiku 4.5, Gemini 3.1 Flash Lite) अपने बड़े समकक्षों के समान प्रदर्शन करते हैं, और अक्सर अपने अंश लागत पर बेहतर प्रदर्शन करते हैं।
निबंध मार्किंग में बायस: हालांकि सहमति उच्च थी, लेकिन मॉडल्स ने अलग-अलग डिग्री का बायस दिखाया। कुछ मॉडल्स (जैसे GPT-5.5, Claude Opus 4.8) अपेक्षाकृत न्यूट्रल थे, जबकि अन्य (जैसे Gemma 4 26B, Claude Sonnet 4.6) में कठोर ग्रेडिंग की ओर झुकाव देखा गया।
विषय-विशिष्ट प्रदर्शन:
- मैथ्स: गूगल के जेमिनी मॉडल्स, इस डोमेन में ओपनएआई के मॉडल्स की तुलना में GCSE मार्किंग मानदंडों के साथ अधिक संरेखित (aligned) दिखाई दिए।
- साइंस: मॉडल्स ने आम तौर पर परीक्षक-स्तर की निरंतरता हासिल की।

महत्व और दावे

पेपर का दावा है कि वर्तमान LLMs, जब एक जेनेरिक प्रॉम्प्ट और न्यूनतम रीजनिंग के साथ चलाए जाते हैं, तो वे वास्तविक दुनिया के शैक्षिक मूल्यांकन संदर्भ में एक "सेकंड मार्कर" के रूप में कार्य करने के लिए पहले से ही पर्याप्त विश्वसनीय हैं। इसका महत्व इस प्रदर्शन में निहित है कि:

विश्वसनीयता: स्वचालित प्रणालियाँ जटिल, मल्टीमॉडल कार्यों (हस्तलिखित कार्य सहित) पर मानव इंटर-रेटर विश्वसनीयता से मेल खा सकती हैं या उससे अधिक हो सकती हैं।
लागत-दक्षता: उच्च-गुणवत्ता वाला स्वचालित मार्किंग के लिए सबसे महंगे या सबसे बड़े मॉडल्स की आवश्यकता नहीं है, जो शिक्षक के कार्यभार को कम करने के लिए एक व्यवहार्य मार्ग प्रदान करता है।
सामान्यीकरण (Generalizability): यह प्रदर्शन विविध विषयों और इनपुट मोडैलिटीज में बना रहता है, जिससे पता चलता है कि "वन-साइज-फिट्स-ऑल" जेनेरिक प्रॉम्प्ट दृष्टिकोण मानकीकृत परीक्षण के लिए प्रभावी है।

लेखक अपने दावों के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि डेटासेट आधिकारिक पेपर के बजाय मॉक परीक्षाओं से लिया गया है और मूल्यांकन न्यूनतम रीजनिंग सेटिंग्स तक सीमित था। वे यह भी स्वीकार करते हैं कि "एग्जामिनर लाइन" ( $R_H$ ) केवल दो रेटर्स पर आधारित है, जिसका अर्थ है कि बेंचमार्क परीक्षकों की व्यापक आबादी के बजाय एक विशिष्ट जोड़ी के सापेक्ष निरंतरता को मापता है। हालांकि, परिणाम बताते हैं कि तकनीक आज लागत प्रभावी स्वचालित मार्किंग समाधान प्रदान करने के लिए पर्याप्त परिपक्व है।