Evidence-Based AI Marking for Secondary Assessment: Alignment, Bias, and Confidence Analysis

कल्पना कीजिए कि एक ऐसी दुनिया जहाँ निबंधों को ग्रेड देना केवल एक शिक्षक द्वारा देर रात तक कागजों के ढेर को घूरने के बारे में नहीं है, बल्कि इसमें एक सुपर-स्मार्ट कंप्यूटर सहायक शामिल है। यह क्षेत्र, जिसे स्वचालित निबंध स्कोरिंग (Automated Essay Scoring) के रूप में जाना जाता है, दशकों से मौजूद है, जो ग्रेडिंग की इस अव्यवस्थित कला को एक साफ और तेज़ विज्ञान में बदलने की कोशिश कर रहा है। इसे एक रोबोट की तरह समझें जो हजारों खिलाड़ियों को देखकर खेल के नियमों को सीखने की कोशिश कर रहा है। शुरुआती रोबोट अनाड़ी थे, जो केवल यह गिनते थे कि निबंध कितना लंबा था या उसमें कितने बड़े शब्दों का उपयोग किया गया था। लेकिन आज के रोबोट, जो लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा संचालित हैं, अधिक प्रतिभाशाली पाठकों की तरह हैं जो शब्दों के पीछे की कहानी और तर्क को समझ सकते हैं।

हालाँकि, इसमें एक पेंच है। सिर्फ इसलिए कि एक रोबोट पढ़ सकता है, इसका मतलब यह नहीं है कि वह निष्पक्षता से ग्रेड देना जानता है। शिक्षक पूर्वाग्रह (bias) (क्या रोबोट बहुत उदार या बहुत सख्त हो रहा है?), पारदर्शिता (transparency) (क्या हम देख सकते हैं कि उसने एक निश्चित स्कोर क्यों दिया?), और संरेखण (alignment) (क्या वह एक मानव शिक्षक की बात से सहमत है?) को लेकर चिंतित रहते हैं। यदि एक रोबोट किसी छात्र को 'A' ग्रेड देता है जब वह 'C' का हकदार था, या इसके विपरीत, तो यह एक छात्र के भविष्य को बदल सकता है। इसलिए, बड़ा सवाल केवल यह नहीं है कि "क्या रोबोट ग्रेड दे सकता है?" बल्कि यह है कि "क्या यह इतना अच्छा ग्रेड दे सकता है कि इस पर भरोसा किया जा सके?"

---

द रोबोट ग्रेडर एक्सपेरिमेंट (रोबोट ग्रेडर प्रयोग)

इस अध्ययन में, टॉम ब्रायडेन नामक एक शोधकर्ता ने एक विशिष्ट AI रोबोट को ऑस्ट्रेलियाई सीनियर हाई स्कूल की उच्च-दबाव वाली दुनिया में परखने का निर्णय लिया। रोबोट को केवल एक 'मैजिक 8-बॉल' की तरह अंतिम स्कोर देने के लिए कहने के बजाय, उन्होंने इसे सख्त नियमों के साथ खेलने के लिए मजबूर किया: इसे एक "ब्लाइंड" दूसरे मार्कर (यानी इसे पता नहीं था कि शिक्षक ने पहले क्या ग्रेड दिया है) के रूप में कार्य करना था, और प्रत्येक अंक के लिए, इसे छात्र के काम में एक विशिष्ट वाक्य की ओर इशारा करना था और स्पष्ट रूप से समझाना था कि उस वाक्य ने वह अंक क्यों अर्जित किया। यह एक जासूस को यह बताने के लिए कहने जैसा था कि गिरफ्तारी करने से पहले उसे अपने सबूत दिखाने होंगे।

रोबोट को 13 अलग-अलग विषयों से 437 वास्तविक छात्र असाइनमेंट दिए गए थे, जिनमें गणित और भौतिकी से लेकर अंग्रेजी और आधुनिक इतिहास तक शामिल थे। लक्ष्य यह देखना था कि क्या रोबोट के ग्रेड शिक्षकों के ग्रेड से मेल खाते हैं, क्या उसकी कोई अजीब आदतें हैं, और क्या उसके अपने उत्तरों में उसका "आत्मविश्वास" वास्तव में कुछ सार्थक है।

निष्कर्ष: एक सहायक, लेकिन थोड़ा उदार, असिस्टेंट

यहाँ इस प्रयोग से प्राप्त निष्कर्ष दिए गए हैं, जिन्हें प्रमुख खोजों में विभाजित किया गया है:

1. रोबोट और शिक्षक: अच्छे दोस्त, लेकिन जुड़वां नहीं
रोबोट और मानव शिक्षक कक्षा के सामान्य माहौल के बारे में एक ही राय रखते थे, लेकिन वे सटीक अंकों पर सहमत नहीं थे। अध्ययन में दोनों के बीच एक मध्यम संबंध पाया गया, जिसका सहसंबंध स्कोर 0.51 था। सरल भाषा में, यदि एक शिक्षक छात्र को उच्च स्कोर देता था, तो रोबोट भी आमतौर पर उच्च स्कोर देता था, लेकिन विशिष्ट अंक अक्सर अलग हो जाते थे।

• सटीक मिलान दर: रोबोट और शिक्षक ने केवल 20.8% मामलों में एक ही कुल स्कोर दिया।
• औसत अंतर (Average Drift): औसतन, रोबोट का स्कोर 2.96 अंक (उस कार्य के लिए कुल संभावित अंकों में से) कम या ज्यादा था।
• "त्रुटि" का मार्जिन: जब आप कुल स्कोर के सापेक्ष गलती के आकार को देखते हैं, तो रोबol 13.24% तक गलत था।

2. "दयालु रोबोट" की समस्या
सबसे दिलचस्प निष्कर्षों में से एक यह था कि रोबोट का एक विशिष्ट व्यक्तित्व लक्षण था: वह उदार (lenient) था। वह छात्रों को संदेह का लाभ देना पसंद करता था।

• जब शोधकर्ताओं ने रोबोट के स्कोर और शिक्षक के स्कोर के बीच के अंतर को देखा, तो वितरण इस ओर झुका हुआ था कि रोबोट उच्च अंक दे रहा था।
• वास्तव में, 44.9% बार, रोबोट ने ऐसा स्कोर दिया जो शिक्षक की तुलना में 2 या अधिक अंक अधिक था।
• केवल 14.2% बार ही ऐसा हुआ जब रोबोट ने कठोर स्कोर (शिक्षक से 2 या अधिक अंक कम) दिया था।
• यह सुझाव देता है कि यदि आप बस रोबोट को सब कुछ ग्रेड करने दें, तो छात्रों को ऐसे ग्रेड मिल सकते हैं जो थोड़े अधिक ऊंचे हों, जैसा कि एक मानव द्वारा दिया जाता।

3. विषय का महत्व: गणित बनाम इतिहास
रोबोट हर चीज़ में समान रूप से अच्छा नहीं था। ऐसा लगा कि वह उन विषयों के साथ अधिक संघर्ष करता है जिनमें गहरी, रचनात्मक व्याख्या की आवश्यकता होती है और उन विषयों में बेहतर प्रदर्शन करता है जिनमें स्पष्ट, चरण-दर-चरण उत्तर होते हैं।

• संघर्ष करने वाले विषय: इंग्लिश एंड लिटरेचर एक्सटेंशन और जनरल मैथमेटिक्स जैसे विषयों में, रोबोट और शिक्षक के बीच औसत अंतर काफी बड़ा था (क्रमशः लगभग 18.57% और 19.0%)।
• सितारे (बेहतरीन प्रदर्शन): स्पेशलिस्ट मैथमेटिक्स और केमिस्ट्री में, रोबोट शिक्षकों के बहुत करीब था, जिसमें औसत अंतर केवल 6.67% और 6.91% था।
• यह हमें बताता है कि रोबोट सख्त नियमों (जैसे गणित में) का पालन करने में महान है, लेकिन जब नियम "एहसास" या "तर्क" (जैसे अंग्रेजी या इतिहास में) के बारे में होते हैं, तो वह थोड़ा भ्रमित हो जाता है।

4. आत्मविश्वास का जाल (The Confidence Trap)
रोबोट ने शोधकर्ताओं को यह भी बताया कि वह अपने ग्रेडिंग में कितना "आत्मविश्वासी" था, जिसके स्कोर 0.80 से 1.00 के बीच थे। आप सोच सकते हैं कि जब रोबोट कहता है, "मैं 100% निश्चित हूँ!" तो इसका मतलब है कि वह निश्चित रूप से सही है। अध्ययन सुझाव देता है कि यह सच नहीं है।

• उच्च आत्मविश्वास का अर्थ उच्च सटीकता नहीं था। वास्तव में, जब रोबोट बहुत आत्मविश्वासी था ( 0.95 और 1.00 के बीच), तो वह कम आत्मविश्वासी होने की तुलना में अधिक उदार (उच्च स्कोर देना) होने की संभावना रखता था।
• शोधकर्ताओं ने पाया कि रोबोट का आत्मविश्वास इस बात का माप नहीं था कि ग्रेड कितना सही था, बल्कि यह इस बात का माप था कि सबूत रोबोट को कितने स्पष्ट दिखाई दे रहे थे। यह एक ऐसे जासूस की तरह है जो अपने सिद्धांत के बारे में बहुत आश्वस्त है क्योंकि सुराग स्पष्ट हैं, भले ही सिद्धांत थोड़ा गलत हो।

5. "जासूसी" कार्य: साक्ष्य और फीडबैक
चूंकि रोबोट को अपना काम दिखाना था, इसलिए शोधकर्ता यह जांच सकते थे कि क्या वह तर्कसंगत था।

• अच्छी बात: फिजिक्स, इकोनॉमिक्स और मैथ जैसे विषयों में, रोबोट छात्र के निबंध में सही वाक्यों को खोजने और यह समझाने में उत्कृष्ट था कि उन्होंने अंक क्यों अर्जित किए। इसने एक पारदर्शी जासूस की तरह काम किया।
• बुरी बात: फिल्म, टेलीविजन और न्यू मीडिया जैसे विषयों में, रोबोट कभी-कभी बहुत सतही फीडबैक देता था। किसी फिल्म के दृश्य के गहरे अर्थ का विश्लेषण करने के बजाय, वह केवल व्याकरण पर टिप्पणी कर सकता था।
• निर्णय: साक्ष्य दिखाने की रोबोट की क्षमता ने इसे मॉडरेशन (यह जांचने के लिए कि क्या एक शिक्षक निष्पक्ष था) या ड्राफ्ट फीडबैक देने के लिए एक बेहतरीन उपकरण बनाया, लेकिन यह पूरी तरह से शिक्षक को बदलने के लिए तैयार नहीं था।

6. गति और लागत: एक सस्ता सुपरकंप्यूटर
अंत में, अध्ययन ने व्यावहारिक पक्ष को देखा: यह कितना तेज़ और सस्ता था?

• गति: रोबोट ने पूरे 437 पेपर्स को लगभग 5.8 घंटे (कुल प्रोसेसिंग समय 20,929.35 सेकंड) में प्रोसेस किया, जो कि प्रति पेपर लगभग 47.89 सेकंड है।
• लागत: सभी 437 पेपर्स को ग्रेड करने की कुल लागत केवल $4.23 USD थी। यह लगभग $0.01 प्रति छात्र पेपर है।
• यह साबित करता है कि AI का उपयोग ग्रेडिंग में मदद के लिए करना अविश्वसनीय रूप से सस्ता और तेज़ है, जो इसे स्कूलों के लिए एक दूसरा दृष्टिकोण (second pair of eyes) के रूप में उपयोग करने के लिए एक बहुत ही व्यवहार्य उपकरण बनाता है।

निचोड़ (The Bottom Line)

यह पेपर यह नहीं कहता कि AI कक्षा में अकेले संभालने और डिप्लोमा बांटने के लिए तैयार है। रोबोट अभी भी थोड़ा अधिक उदार है, यह रचनात्मक विषयों में भ्रमित हो जाता है, और इसका "आत्मविश्वास" सत्य की गारंटी नहीं है।

हालाँकि, अध्ययन एक बहुत ही आशाजनक भविष्य का सुझाव देता है जहाँ AI एक सुपर-एफिशिएंट असिस्टेंट के रूप में कार्य करता है। कल्पना कीजिए कि एक शिक्षक निबंधों के ढेर को ग्रेड कर रहा है, और AI तुरंत उनमें से गुजरता है, प्रत्येक अंक के लिए साक्ष्य को हाइलाइट करता है, उन मामलों को फ्लैग करता है जहाँ वह शिक्षक से असहमत है, और फीडबैक का एक ड्राफ्ट देता है। यह अंतिम निर्णायक नहीं है, लेकिन यह शिक्षकों को अधिक सुसंगत होने में मदद करने और समय बचाने के लिए एक शानदार, सस्ता और पारदर्शी उपकरण है। रोबोट एक बेहतरीन "सेकंड मार्कर" है, लेकिन फिलहाल, मानव शिक्षक को ही ड्राइविंग सीट में रहना होगा।