Credibility Aware Explainable Evaluation of Teaching Reform from Online Reviews
यह शोध पत्र EduReview-QE का प्रस्ताव करता है, जो एक विश्वसनीयता-जागरूक और व्याख्यात्मक बहु-मानदंड ढांचा है जो समीक्षाओं को पहलू-भावना इकाइयों में विघटित करके, विश्वसनीयता और सामयिक प्रासंगिकता के लिए फ़िल्टर करके, और बेहतर मूल्यांकन प्रदर्शन प्राप्त करने के लिए एंट्रॉपी/CRITIC वेटिंग और TOPSIS अंशांकन के माध्यम से आयाम-स्तरीय स्कोर को एकत्रित करके शोर युक्त ऑनलाइन समीक्षाओं को नैदानिक शिक्षण सुधार साक्ष्य में परिवर्तित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह आंकने की कोशिश कर रहे हैं कि कोई रेस्टोरेंट कितना अच्छा है। आप मालिक से रिपोर्ट कार्ड मांग सकते हैं, या आप किसी फूड ऐप पर स्टार रेटिंग देख सकते हैं। लेकिन क्या होगा अगर असली कहानी उन बिखरे हुए, अव्यवस्थित कमेंट्स में छिपी हो जो लोग छोड़ते हैं? कुछ लोग कह सकते हैं, "खाना लाजवाब था, लेकिन सर्विस बहुत खराब थी," जबकि अन्य लोग शोर-शराबे की शिकायत करते हुए भी पांच स्टार दे सकते हैं। यदि आप केवल उन सभी स्टार्स का औसत निकाल लेते हैं, तो आप बारीकियों को खो देते हैं। यह एजुकेशनल डेटा माइनिंग (Educational Data Mining) की समस्या है: हजारों छात्र कमेंट्स को पढ़कर यह पता लगाने की कोशिश करना कि क्या कोई क्लास वास्तव में अच्छी है। यह केवल खुश चेहरों को गिनने के बारे में नहीं है; यह समझने के बारे में है कि किस चीज़ ने एक छात्र को खुश या दुखी किया। क्या वह शिक्षक की शैली थी? होमवर्क की कठिनाई? या वीडियो की गुणवत्ता? यह शोध पत्र उन शब्दों के ढेर में गहराई से उतरता है ताकि यह देखा जा सके कि क्या हम उन्हें शिक्षण सुधारों के लिए एक स्पष्ट, भरोसेमंद रिपोर्ट कार्ड में बदल सकते हैं।
इस पेपर के लेखक, जुन लियांग (Jun Liang) ने गौर किया कि स्कूल अक्सर यह आंकने के लिए कि उनके शिक्षण के तरीके सुधर रहे हैं या नहीं, सरल सर्वेक्षणों या पुराने जमाने के विशेषज्ञ प्रेक्षणों (observations) पर निर्भर रहते हैं। ये तरीके कक्षा की एक धुंधली तस्वीर लेने की तरह हैं; वे एक सामान्य विचार तो देते हैं लेकिन विशिष्ट विवरणों को छोड़ देते हैं। इसे ठीक करने के लिए, टीम ने ऑनलाइन समीक्षाओं (online reviews) को देखा—कोर्स वेबसाइटों पर छात्रों द्वारा छोड़े गए हजारों कमेंट्स। हालांकि, वे जानते थे कि ये समीक्षाएं पेचीदा हैं। वे अनौपचारिक हैं, कभी-कभी विरोधाभासी हैं (एक छात्र कंटेंट को पसंद कर सकता है लेकिन ग्रेडिंग से नफरत कर सकता है), और समय के साथ बदलती रहती हैं। तीन साल पहले का कमेंट किसी ऐसी किताब के बारे में हो सकता है जो अब अस्तित्व में ही नहीं है।
इसे हल करने के लिए, शोधकर्ताओं ने EduReview-QE नामक एक नया सिस्टम बनाया। इसे स्कूल फीडबैक के लिए एक सुपर-स्मार्ट, सुपर-ऑर्गनाइज्ड जासूस के रूप में समझें। केवल एक समीक्षा को पढ़कर यह कहने के बजाय कि "यह अच्छा है" या "यह बुरा है," यह सिस्टम हर एक कमेंट को छोटे, विशिष्ट टुकड़ों में तोड़ देता है। यह पूछता है: "क्या यह कमेंट शिक्षण पद्धति के बारे में है? क्या यह डिजिटल संसाधनों के बारे में है? क्या यह इस बारे में है कि शिक्षक होमवर्क कितनी जल्दी वापस देते हैं?"
यहाँ जादू का कमाल है: सिस्टम हर आवाज को समान रूप से नहीं सुनता है। यह समीक्षा की विश्वसनीयता (credibility) की जांच करता है। क्या कमेंट उपयोगी होने के लिए बहुत छोटा है? क्या यह कॉपी-पेस्ट स्पैम है? क्या स्टार रेटिंग शब्दों से मेल खाती है (जैसे एक स्टार देना लेकिन लिखना "शानदार क्लास!")? यदि कोई समीक्षा अजीब या पुरानी है, तो सिस्टम उसकी आवाज़ को कम कर देता है। यह समय की भी जांच करता है। पिछले महीने की समीक्षा तीन साल पहले की तुलना में अधिक प्रभावशाली होती है क्योंकि शिक्षण पद्धतियां बदलती रहती हैं।
एक बार जब सिस्टम शोर को फिल्टर और व्यवस्थित कर लेता है, तो वह प्रत्येक कोर्स के लिए एक "क्वालिटी प्रोफाइल" बनाता है। यह केवल एक नंबर नहीं देता; यह सात अलग-अलग क्षेत्रों के लिए एक स्कोर देता है, जैसे कि एक वीडियो गेम कैरेक्टर शीट जिसमें "स्ट्रेंथ," "स्पीड," और "मैजिक" जैसे आंकड़े होते हैं। यह इन आंकड़ों को एक अंतिम स्कोर में मिलाने के लिए एक विशेष गणितीय सूत्र (जिसे TOPSPSIS कहा जाता है) का उपयोग करता है, जो आपको ठीक से बताता है कि किस कोर्स को मदद की जरूरत है और क्यों।
उनके परीक्षणों के परिणाम प्रभावशाली थे। उन्होंने अपने कंप्यूटर प्रोग्राम के अभ्यास परीक्षणों की तरह तीन अलग-अलग सिम्युलेटेड डेटा सेटों पर इस सिस्टम का परीक्षण किया और इसकी तुलना बीस अन्य तरीकों से की। नया सिस्टम, EduReview-QE, स्पष्ट विजेता था। इसने केवल 2.8898 की त्रुटि दर (MAE) के साथ कोर्स की गुणवत्ता का सटीक अनुमान लगाया, जो कि अगली सबसे अच्छी विधि से कहीं बेहतर था जिसकी त्रुटि 4.0206 थी। इसने कोर्स को सही ढंग से रैंक करने में भी शानदार काम किया, जिसका रैंकिंग सहसंबंध (Spearman) 0.8814 था।
पेपर यह तर्क देता है कि केवल स्टार रेटिंग का औसत लेना या बुनियादी शब्द-गिनती वाले टूल्स का उपयोग करना पर्याप्त नहीं है क्योंकि वे विभिन्न समस्याओं को आपस में मिला देते हैं। यदि किसी कोर्स के वीडियो बेहतरीन हैं लेकिन होमवर्क बहुत खराब है, तो एक साधारण औसत इस तथ्य को छिपा सकता है कि होमवर्क में समस्या है। EduReview-QE सुझाव देता है कि समीक्षाओं को अलग-अलग "पहलूओं" (जैसे कंटेंट या इंटरेक्शन) में तोड़ने और यह जांचने के बाद कि समीक्षा भरोसेमंद है या नहीं, स्कूलों को एक बहुत अधिक स्पष्ट तस्वीर मिल सकती है। लेखक ने पाया कि यह दृष्टिकोण तब सबसे अच्छा काम करता है जब यह समीक्षाओं को विशिष्ट "एस्पेक्ट्स" में तोड़ देता है और उपयोग करने से पहले यह देखता है कि समीक्षा विश्वसनीय है या नहीं।
अंत में, यह केवल एक बेहतर नंबर पाने के बारे में नहीं है; यह एक बेहतर कहानी पाने के बारे में है। यह सिस्टम किसी विशिष्ट कोर्स की ओर इशारा कर सकता है और कह सकता है, "यह क्लास इसलिए संघर्ष कर रही है क्योंकि छात्रों को लगता है कि डिजिटल संसाधन पुराने हो गए हैं," और फिर उन सटीक कमेंट्स को दिखा सकता है जो इसे साबित करते हैं। इससे शिक्षकों और स्कूल लीडरों को अंदाजे लगाने के बजाय सही समस्याओं को ठीक करने में मदद मिलती है। हालांकि इस अध्ययन में विचार को सिद्ध करने के लिए जनरेटेड डेटा (सिम्युलेटेड समीक्षाओं) का उपयोग किया गया था, लेकिन इसके परिणाम बताते हैं कि यह "क्रेडिबिलिटी-अवेयर" (विश्वसनीयता-जागरूक) दृष्टिकोण शिक्षा को बेहतर बनाने के लिए छात्रों की बात सुनने का एक शक्तिशाली नया तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।