Creating and Evaluating K-12 GenAI Assessment Graders Through Context Engineering
यह शोध पत्र रूब्रिक्स के विरुद्ध K-12 छात्रों के कार्यों को ग्रेडिंग करने में कॉन्टेक्स्ट-इंजीनियर्ड (context-engineered) LLMs की प्रभावशीलता का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि ये मॉडल गणित और विज्ञान में मानव रेटर्स के साथ मजबूत सहमति प्राप्त करते हैं और वर्णनात्मक फीडबैक के लिए अच्छी तरह से स्वीकार किए जाते हैं, लेकिन इनका सर्वोत्तम उपयोग हाइब्रिड सिस्टम के भीतर फॉर्मेटिव टूल्स के रूप में किया जाना चाहिए जो समेटिव स्कोरिंग के लिए शिक्षक की देखरेख को बनाए रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक कक्षा है जहाँ एक शिक्षक को सैकड़ों निबंधों, गणित की समस्याओं और विज्ञान की रिपोर्टों को ग्रेड देना है। यह काम का एक विशाल पहाड़ है। दशकों तक, कंप्यूटरों ने मदद करने की कोशिश की, लेकिन वे कठोर रोबोट की तरह थे जिन्हें हर एक नियम शून्य से सिखाने की आवश्यकता थी।
यह शोध पत्र एक नए प्रकार के सहायक के बारे में है: जेनरेटिव एआई (जैसे कि स्मार्ट चैटबॉट्स जिन्हें आप जानते होंगे)। लेकिन एआई को स्वतंत्र रूप से चैट करने देने के बजाय, शोधकर्ताओं ने इसके लिए एक बहुत ही विशिष्ट "निर्देश पुस्तिका" बनाई है। वे इसे कॉन्टेक्स्ट इंजीनियरिंग (Context Engineering) कहते हैं।
यहाँ बताया गया है कि उन्होंने क्या किया, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "खाली कैनवास" बनाम "ब्लूप्रिंट"
यदि आप किसी स्मार्ट एआई को बिना किसी निर्देश के गणित का परीक्षण ग्रेड करने के लिए कहते हैं, तो यह एक शेफ से रेसिपी, सामग्री या स्वाद परीक्षण के बिना भोजन पकाने के लिए कहने जैसा है। शेफ या तो कुछ स्वादिष्ट बना सकता है, या वह आपको एक जूता परोस सकता है। एआई अनुमान लगा सकता है, भ्रमित हो सकता है (गलत बातें बना सकता है), या पक्षपाती हो सकता है।
शोधकर्ताओं ने महसूस किया कि एआई को एक अच्छा ग्रेडर बनाने के लिए, आप केवल यह नहीं कह सकते कि "ग्रेड दो।" आपको एक ग्रेडिंग बंडल (Grading Bundle) बनाना होगा। इस बंडल को एक पूरी तरह से व्यवस्थित टूलबॉक्स के रूप में सोचें जिसका उपयोग एआई प्रत्येक छात्र के लिए करेगा। इस टूलबॉक्स के अंदर, उन्होंने रखा:
- वास्तविक प्रश्न।
- आधिकारिक "उत्तर कुंजी" (सही समाधान)।
- "रूब्रिक" (एक चेकलिस्ट कि एक अच्छा उत्तर कैसा होता है)।
- एक "परफेक्ट," "ठीक-ठाक," और "खराब" उत्तर के उदाहरण कि वे कैसे दिखते हैं।
एआई को हर बार यह टूलबॉक्स देकर, उन्होंने यह सुनिश्चित किया कि एआई अनुमान नहीं लगा रहा है; यह छात्र के काम की तुलना एक निश्चित मानक से कर रहा था, ठीक वैसे ही जैसे एक मानव शिक्षक करता है।
2. प्रयोग: "स्वाद परीक्षण"
शोधकर्ताओं ने इस "कॉन्टेक्स्ट इंजीनियरिंग" टूलबॉक्स को मैसाचुसेट्स (MCAS टेस्ट) के वास्तविक छात्र कार्यों पर तीन विषयों में परखा: गणित, विज्ञान और अंग्रेजी (ELA)।
उन्होंने ग्रेडिंग करने के लिए चार अलग-अलग "मस्तिष्क" (AI मॉडल) का उपयोग किया:
- बड़े मस्तिष्क: GPT-5 और Claude Sonnet 4 (बहुत शक्तिशाली, एक वरिष्ठ प्रोफेसर की तरह)।
- छोटे मस्तिष्क: GPT-5 Mini और Claude Haiku 4.5 (तेज़ और सस्ते, एक स्मार्ट इंटर्न की तरह)।
इसके बाद उन्होंने एआई के ग्रेड की तुलना वास्तविक मानव शिक्षकों द्वारा दिए गए ग्रेड से की। उन्होंने मुख्य रूप से दो चीजों को देखा:
- क्या उन्होंने बिल्कुल एक ही स्कोर चुना? (सटीक सहमति)
- यदि उन्होंने एक ही स्कोर नहीं चुना, तो क्या वे करीब थे? (जैसे, मानव ने 4 दिया, AI ने 3 दिया। यह एक "नियर मिस" है, जो ठीक है। यदि AI ने 1 दिया, तो यह एक आपदा है।)
3. परिणाम: "विषय वस्तु" मायने रखती है
परिणाम एक रिपोर्ट कार्ड की तरह थे, और उन्होंने दिखाया कि आप क्या ग्रेड दे रहे हैं, यह इस बात से अधिक महत्वपूर्ण है कि एआई कितना स्मार्ट है।
गणित और विज्ञान ("सही या गलत" वाले विषय):
- फैसला: एआई यहाँ शानदार था।
- उपमा: गणित एक विशिष्ट चाबी वाले ताले की तरह है। यदि चाबी फिट बैठती है, तो यह खुल जाता है। यदि नहीं, तो नहीं खुलता। क्योंकि एआई के टूलबॉक्स में "सही चाबी" (उत्तर कुंजी) थी, वह मानव शिक्षकों के साथ लगभग पूरी तरह से मेल खा सका।
- आंकड़े: एआई सटीक स्कोर पर मानव के साथ 54% से 84% बार सहमत हुआ। जब वे असहमत हुए, तो वे आमतौर पर केवल एक अंक के अंतर पर थे (जैसे 4 बनाम 3), जो बहुत करीब है।
अंग्रेजी/ELA ("राय" वाला विषय):
- फैसला: एआई यहाँ मिला-जुला रहा।
- उपमा: एक निबंध को ग्रेड देना एक पेंटिंग को जज करने जैसा है। एक व्यक्ति रंगों को पसंद कर सकता है; दूसरा शैली से नफरत कर सकता है। यह व्यक्तिपरक है।
- आंकड़े: यहाँ, परिणाम इस बात पर निर्भर करते थे कि किस "AI ब्रेन" का उपयोग किया गया है।
- बड़े मस्तिष्क (Claude Sonnet): इन्होंने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया, रीडिंग कॉम्प्रिहेन्शन (पढ़ने की समझ) को समझने में मानव शिक्षकों के लगभग बराबर रहे।
- छोटे मस्तिष्क: और कुछ अन्य मॉडल लेखन की गुणवत्ता के मामले में बुरी तरह संघर्ष करते हैं। उन्होंने अक्सर ऐसे स्कोर दिए जो बहुत ही अनिश्चित थे, कभी-कभी तो औसत अनुमान लगाने से भी बदतर।
- सीख: लेखन के लिए, आपको एक "सीनियर प्रोफेसर" एआई की आवश्यकता है, न कि एक "स्मार्ट इंटर्न" की। फिर भी, यह पूर्ण नहीं है।
4. मानवीय प्रतिक्रिया: "शानदार फीडबैक, संदिग्ध स्कोर"
शोधकर्ताओं ने शिक्षकों और छात्रों से भी पूछा कि वे क्या सोचते हैं।
- अच्छी खबर: सभी ने लिखित फीडबैक को पसंद किया। एआई लिख सकता था कि एक छात्र को एक निश्चित स्कोर क्यों मिला और सुधार कैसे किया जाए। यह मददगार और उत्साहजनक लगा।
- बुरी खबर: सभी स्कोर (अंकों) को लेकर संशय में थे। शिक्षकों को रिपोर्ट कार्ड पर अंतिम ग्रेड देने के लिए एआई पर भरोसा नहीं था। उन्हें लगा कि एआई एक बेहतरीन "अभ्यास साथी" है, लेकिन "अंतिम निर्णायक" नहीं।
5. निष्कर्ष: "को-पायलट" मॉडल
पेपर यह निष्कर्ष निकालता है कि हमें शिक्षकों को एआई से बदलने की कोशिश नहीं करनी चाहिए। इसके बजाय, हमें एक हाइब्रिड मॉडल का उपयोग करना चाहिए।
- एआई को एक को-पायलट के रूप में सोचें: वह विमान उड़ाता है (पढ़ने और फीडबैक ड्राफ्ट करने का भारी काम करता है), लेकिन शिक्षक कप्तान है। शिक्षक एआई के काम की जांच करता है, अंतिम स्कोर देखता है, और आधिकारिक निर्णय लेता है।
- ऐसा क्यों करें? यह शिक्षकों के काम के घंटों को बचाता है और छात्रों को तत्काल फीडबैक देता है, लेकिन यह सुनिश्चित करने के लिए मानव विशेषज्ञ को प्रभारी रखता है कि निष्पक्षता और सटीकता बनी रहे।
संक्षेप में: यदि आप एक स्मार्ट एआई को स्पष्ट नियम पुस्तिका और सही उत्तर देते हैं, तो वह गणित और विज्ञान को लगभग मानव के समान ग्रेड दे सकता है। अंग्रेजी निबंधों के लिए, उसे एक बहुत ही स्मार्ट एआई की आवश्यकता होती है और फिर भी उसे अंतिम ग्रेड देने के लिए एक मानव द्वारा जांच की आवश्यकता होती है। वर्तमान में इस तकनीक का सबसे अच्छा उपयोग शिक्षकों को फीडबैक देने में मदद करने के लिए है, न कि उन्हें बदलने के लिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।