Multimodal examination answer data with expert-designed Outcome-Based Education rubrics for criterion-level assessment
यह शोध पत्र एक मल्टीमॉडल डेटासेट प्रस्तुत करता है जिसमें चार संस्थानों के 415 छात्रों के 485 स्कैन किए गए परीक्षा उत्तरों को विशेषज्ञ-निर्मित आउटकम-बेस्ड एजुकेशन (Outcome-Based Education) रूब्रिक्स और व्यापक मेटाडेटा के साथ जोड़ा गया है, ताकि स्वचालित मूल्यांकन, मल्टीमॉडल दस्तावेज़ समझ और गोपनीयता-जागरूक मूल्यांकन में अनुसंधान का समर्थन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
शिक्षा की दुनिया में, किसी परीक्षा का अंतिम ग्रेड अक्सर केवल एक संख्या होती है, जो हफ्तों की सीख का सारांश प्रस्तुत करने वाला एक एकल स्कोर है। लेकिन उस संख्या के पीछे एक जटिल प्रक्रिया छिपी होती है जहाँ एक शिक्षक छात्र की लिखावट को पढ़ता है, एक रेखाचित्र (स्केच) की व्याख्या करता है, एक गणना की जाँच करता है, और यह निर्णय लेता है कि किसी विशिष्ट विचार को कितनी अच्छी तरह समझा गया है। इस प्रक्रिया को परिणाम-आधारित मूल्यांकन (outcome-based assessment) कहा जाता है, जो एक ऐसी विधि है जहाँ ध्यान केवल सही उत्तर प्राप्त करने पर नहीं, बल्कि रास्ते में विशिष्ट कौशल और ज्ञान के चरणों को प्रदर्शित करने पर होता है। दशकों से, कंप्यूटर इस मानवीय पक्ष को समझने में संघर्ष कर रहे हैं। वे टाइप किए गए टेक्स्ट को पढ़ने में उत्कृष्ट हैं, लेकिन वे हाथ से लिखे गए परीक्षा पत्र की अव्यवस्थित वास्तविकता के सामने अक्सर लड़खड़ा जाते हैं, जिसमें कटे हुए शब्द, बिखरे हुए आरेख और हाशिए में लिखे गए समीकरण शामिल होते हैं। कंप्यूटर को इंसान की तरह ग्रेडिंग करने के लिए सिखाने हेतु, शोधकर्ताओं को वास्तविक उदाहरणों के एक विशाल पुस्तकालय की आवश्यकता होती है, जो उन विस्तृत नोट्स के साथ जुड़े हों जिनका उपयोग शिक्षक स्कोर तय करने के लिए करते हैं। इसके बिना, आर्टिफिशियल इंटेलिजेंस इस सूक्ष्मता को समझने में अंधा रहता है कि छात्र वास्तव में अपनी जानकारी को कैसे प्रदर्शित करते हैं।
बांग्लादेश आर्मी यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने ठीक इसी तरह का पुस्तकालय बनाया है। उन्होंने 415 छात्रों से प्राप्त 485 स्कैन किए गए परीक्षा पत्रों का एक नया संग्रह तैयार किया है, जो चार अलग-अलग संस्थानों से लिए गए हैं। ये साधारण टेक्स्ट फाइलें नहीं हैं; ये वास्तविक परीक्षा पत्रों के डिजिटल फोटोग्राफ हैं, जिनमें मूल लिखावट, मुद्रित आरेख, तालिकाएँ और कोड शामिल हैं। यह संग्रह इसे अनूठा बनाता है कि प्रत्येक स्कैन किया गया पृष्ठ एक विस्तृत डिजिटल रिकॉर्ड से जुड़ा है जो यह स्पष्ट करता है कि एक मानव विशेषज्ञ ने इसे कैसे ग्रेड किया। इस रिकॉर्ड में मूल प्रश्न, एक मॉडल उत्तर और 'रुब्रिक' (rubric) नामक विशिष्ट नियमों का एक सेट शामिल है। एक रुब्रिक प्रश्न को छोटे हिस्सों में विभाजित करता है, जैसे कि "अवधारणा की समझ" या "प्रस्तुति की स्पष्टता", और प्रत्येक भाग के लिए प्रदर्शन के आधार पर अंक आवंटित करता है। यह डेटा को यह दिखाने की अनुमति देता है कि केवल एक छात्र ने 15 में से 11 अंक प्राप्त किए, बल्कि यह भी कि उनके उत्तर के कौन से हिस्से ने वे अंक अर्जित किए और कौन से हिस्से छूट गए।
शोधकर्ताओं ने इन सामग्रियों को आठ अलग-अलग संकायों (faculty members) से एकत्र किया जिन्होंने नौ विशिष्ट विषयों को पढ़ाया, जिनमें मशीन लर्निंग और एल्गोरिदम जैसे कंप्यूटर विज्ञान के विषय से लेकर मत्स्य पालन (fisheries) और ई-कॉमर्स जैसे अधिक विशिष्ट क्षेत्र शामिल हैं। यह संग्रह 12 अलग-अलग प्रकार के प्रश्नों को कवर करता है, जिनमें मूल्यांकन के 47 विशिष्ट मानदंड शामिल हैं। यह सुनिश्चित करने के लिए कि डेटा वास्तविक दुनिया की स्थितियों को संभालने के लिए कंप्यूटर को प्रशिक्षित करने में उपयोगी हो, टीम ने कागजों को केवल एक आदर्श, समान तरीके से स्कैन नहीं किया। उन्होंने मोबाइल फोन ऐप और पारंपरिक फ्लैटबेड स्कैनर का मिश्रण उपयोग किया। इसका अर्थ है कि संग्रह में चित्र चमक, कंट्रास्ट और कोण में भिन्न होते हैं, जैसा कि वास्तविक दस्तावेज़ कक्षा में होते हैं। कुछ पृष्ठ थोड़े झुके हुए हैं, कुछ में छाया है, और अन्य अलग तरह से कंप्रेस किए गए हैं। छात्रों का कार्य भी व्यापक रूप से भिन्न है; कुछ पेपर साफ-सुथरे हैं, जबकि अन्य में कटे हुए शब्द, डाले गए सुधार और विशिष्ट विवरणों की ओर इशारा करने वाले तीर शामिल हैं। यह विविधता जानबूझकर की गई है, जिसे शोधकर्ताओं को ऐसे सिस्टम बनाने में मदद करने के लिए डिज़ाइन किया गया है जो दस्तावेज़ों को तब भी पढ़ और समझ सकें जब वे अव्यवस्थित या अपूर्ण हों।
इस कार्य का मूल डेटा की संरचना ही है। प्रत्येक स्कैन की गई PDF फ़ाइल के लिए, एक संबंधित डिजिटल फ़ाइल है जो एक मानचित्र (map) के रूप में कार्य करती है। यह मानचित्र छवि को पूछे गए प्रश्न, सही उत्तर और उन विशिष्ट मानदंडों से जोड़ता है जिनका उपयोग शिक्षक ने इसे ग्रेड करने के लिए किया था। प्रत्येक मानदंड के लिए, मानचित्र यह रिकॉर्ड करता है कि छात्र ने कितने अंक अर्जित किए और उस विशिष्ट प्रश्न के लिए एक 'परफेक्ट', 'गुड', 'एवरेज' या 'पुअर' प्रदर्शन कैसा दिखता है। यह स्तर का विवरण अत्यंत महत्वपूर्ण है क्योंकि यह एक साधारण कुल स्कोर से आगे बढ़ता है। यह शोधकर्ताओं को कंप्यूटर को यह पहचानने के लिए प्रशिक्षित करने की अनुमति देता है कि हाथ से लिखे गए उत्तर का कौन सा हिस्सा सही है और कौन सा नहीं, न कि केवल एक अंतिम संख्या का अनुमान लगाने के लिए। टीम ने इस डेटा को साफ करने और व्यवस्थित करने में काफी समय बिताया। उन्होंने हर स्कोर की जाँच की ताकि गणित सही रहे, विषयों के नामों को मानकीकृत किया, और गोपनीयता बनाए रखने के लिए सभी छात्र नामों और आईडी को रैंडम कोड से बदल दिया। उन्होंने यह भी सुनिश्चित किया कि प्रत्येक फ़ाइल का नाम उसकी सही छवि से मेल खाता हो, जिससे एक सुरक्षित और विश्वसनीय डेटासेट बना।
यह संग्रह अब अन्य शोधकर्ताओं द्वारा उपयोग के लिए उपलब्ध है, लेकिन इसमें शामिल छात्रों की सुरक्षा के लिए सख्त नियम हैं। चूंकि छवियों में मूल लिखावट और कभी-कभी दृश्यमान नाम या लोगो भी शामिल हैं, इसलिए यह डेटा जनता के लिए खुला नहीं है। यह स्वीकृत अनुसंधान परियोजनाओं के लिए आरक्षित है जहाँ लक्ष्य यह सुधारना है कि कंप्यूटर दस्तावेजों और मूल्यांकनों को कैसे समझते हैं। शोधकर्ता इस बात पर जोर देते हैं कि यह डेटा अध्ययन के लिए एक उपकरण है, न कि वास्तविक छात्रों को ग्रेड देने की एक प्रणाली। संग्रह में स्कोर मानव शिक्षकों द्वारा उनकी अपनी कक्षाओं के लिए निर्धारित किए गए थे, और डेटासेट का उद्देश्य भविष्य के बेहतर उपकरण बनाने में मदद करना है, न कि आज किसी छात्र का वास्तविक ग्रेड निर्धारित करना। वास्तविक परीक्षा पत्रों का एक बड़ा, विविध और सावधानीपूर्वक लेबल किया गया सेट प्रदान करके, यह कार्य शैक्षिक तकनीक की अगली पीढ़ी के लिए एक ठोस आधार प्रदान करता है, जो मानवीय निर्णय और मशीन की समझ के बीच के अंतर को पाटने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।