Incremental Predictive Value of Item-Adjusted Process Indicators for Mathematics Achievement among Korean Students in PISA 2022: A School-Level Out-of-Sample Validation Study
यह अध्ययन प्रदर्शित करता है कि कंप्यूटर-आधारित मूल्यांकनों से प्राप्त आइटम-समायोजित प्रक्रिया संकेतक, एक कठोर स्कूल-स्तरीय आउट-ऑफ-सैंपल सत्यापन डिजाइन के तहत भी, पारंपरिक प्रश्नावली डेटा की तुलना में PISA 2022 के कोरियाई छात्रों के बीच गणितीय उपलब्धि के पूर्वानुमान में महत्वपूर्ण रूप से सुधार करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हर साल, दुनिया भर में लाखों पंद्रह साल के बच्चे पीसा (PISA) नामक एक बहुत बड़ी परीक्षा देते हैं, जिसे यह देखने के लिए डिज़ाइन किया गया है कि वे वास्तविक जीवन की स्थितियों में अपने ज्ञान का कितनी अच्छी तरह उपयोग कर सकते हैं। इस परीक्षा के गणित वाले हिस्से के लिए, छात्र एक कंप्यूटर पर बैठते हैं और समस्याओं को हल करते हैं। जबकि अंतिम स्कोर हमें बताता है कि उन्होंने कितने प्रश्नों के सही उत्तर दिए, कंप्यूटर डेटा की एक छिपी हुई परत भी रिकॉर्ड करता है: उन्होंने प्रत्येक समस्या पर कितना समय बिताया, कितनी बार क्लिक किया, और कितनी बार उत्तर बदलने के लिए वापस गए। वर्षों से, शोधकर्ता यह जानना चाहते रहे हैं कि क्या व्यवहार के ये डिजिटल पदचिह्न हमें छात्र की उस क्षमता के बारे में कुछ बता सकते हैं जो एक साधारण प्रश्नावली नहीं बता सकती। हम जानते हैं कि छात्रों से उनके आत्मविश्वास, उनकी चिंता और उनके स्कूल के वातावरण के बारे में पूछने से उनकी क्षमता की एक अच्छी तस्वीर मिलती है, लेकिन हम यह भी जानते हैं कि एक छात्र जो कहता है कि वह क्या करता है और समस्या हल करते समय वह वास्तव में क्या करता है, इसमें बहुत अंतर हो सकता है। बड़ा सवाल यह है कि क्या किसी छात्र के परीक्षण के साथ होने वाली बातचीत का कच्चा, अनफ़िल्टर्ड रिकॉर्ड कोई नई, उपयोगी जानकारी जोड़ता है, एक बार जब हम उनसे उनकी पृष्ठभूमि और भावनाओं के बारे में पूछ लेते हैं।
दक्षिण कोरिया के एक शोधकर्ता ने एक बहुत ही सावधानीपूर्ण दृष्टिकोण अपनाते हुए इस प्रश्न का उत्तर देने का प्रयास किया, जिसमें 2022 की गणित परीक्षा देने वाले 6,000 से अधिक छात्रों के डेटा का उपयोग किया गया। उन्होंने केवल सर्वेक्षण में छात्रों द्वारा दी गई जानकारी का उपयोग करके एक मजबूत आधारभूत मॉडल (baseline model) बनाने से शुरुआत की। इस सर्वेक्षण में कई विषयों को शामिल किया गया था, जिनमें उनके परिवार की आर्थिक स्थिति, उन्हें अपने गणित कौशल पर कितना विश्वास था, वे कितनी घबराहट महसूस करते थे, वे स्कूल को कितना पसंद करते थे, और कक्षा में उन्होंने किस प्रकार की गणितीय समस्याओं को देखा था। केवल यह सर्वेक्षण डेटा छात्रों के अंतिम स्कोर का एक शक्तिशाली भविष्यवक्ता (predictor) साबित हुआ। जब शोधकर्ता ने कंप्यूटर रिकॉर्ड को देखा कि छात्रों ने वास्तव में परीक्षण के माध्यम से कैसे काम किया—उन्होंने कितना समय लिया और उन्होंने कितने कार्य किए—तो उन्होंने पाया कि यह व्यवहार संबंधी डेटा अपने आप में भी उपयोगी था, लेकिन यह सर्वेक्षण डेटा जितना सटीक नहीं था। एक छात्र की स्वयं रिपोर्ट की गई भावनाएं और पृष्ठभूमि की स्थितियां, क्लिक और बिताए गए सेकंडों की कच्ची गिनती की तुलना में उनके अंतिम स्कोर की भविष्यवाणी करने में कहीं अधिक बेहतर थीं।
हालाँकि, कहानी तब बदल गई जब शोधकर्ता ने यह देखा कि ये दो प्रकार की जानकारी मिलकर कैसे काम करती हैं। चुनौती यह थी कि कंप्यूटर रिकॉर्ड अव्यवस्थित थे; किसी समस्या पर बिताया गया अधिक समय यह संकेत दे सकता था कि छात्र संघर्ष कर रहा था, या यह भी हो सकता था कि वह विशेष समस्या दूसरों की तुलना में कठिन थी। इसे ठीक करने के लिए, शोधकर्ता ने डेटा को इस तरह समायोजित किया कि प्रत्येक छात्र के समय और कार्यों की तुलना केवल उन अन्य छात्रों से की जाए जिन्होंने बिल्कुल वही समस्या का सामना किया था। इससे परीक्षण के डिज़ाइन का प्रभाव समाप्त हो गया और केवल छात्र का सापेक्ष व्यवहार शेष रह गया। जब उन्होंने इन समायोजित व्यवहार संबंधी संकेतकों को सर्वेक्षण मॉडल में जोड़ा, तो छात्रों के गणित स्कोर की भविष्यवाणी में महत्वपूर्ण सुधार हुआ। संयुक्त मॉडल ने टेस्ट स्केल पर अकेले सर्वेक्षण मॉडल की तुलना में लगभग 11 अंक कम त्रुटियां कीं। यह सुधार विभिन्न कंप्यूटर एल्गोरिदम में सुसंगत था और यह तब भी सत्य रहा जब शोधकर्ता ने मॉडल का परीक्षण उन स्कूलों पर किया जो सिस्टम के लिए पूरी तरह से नए थे, जिसका अर्थ है कि मॉडल उन छात्रों के प्रदर्शन की भविष्यवाणी कर सकता था जिन्हें उसने पहले कभी नहीं देखा था।
शोधकर्ता ने यह समझाने में सावधानी बरती कि इस सुधार का क्या अर्थ है और इसका क्या अर्थ नहीं है। उन्होंने इस बात पर जोर दिया कि व्यवहार संबंधी डेटा यह सिद्ध नहीं करता कि अधिक समय बिताना या अधिक बटन क्लिक करना छात्र को बेहतर स्कोर प्राप्त करने के लिए प्रेरित करता है। इसके बजाय, अध्ययन ने दिखाया कि छात्र के प्रयास और रणनीति का डिजिटल रिकॉर्ड छात्र की क्षमता के बारे में अतिरिक्त सुरागों को समाहित करता है जो उनसे प्रश्न पूछकर प्राप्त नहीं किए जा सकते। अध्ययन ने इस विचार को भी खारिज कर दिया कि यह सुधार केवल परीक्षण के प्रारूप का परिणाम था। डेटा को प्रत्येक समस्या की विशिष्ट कठिनाई को ध्यान में रखते हुए समायोजित करके, उन्होंने दिखाया कि इसका मूल्य छात्र के वास्तविक व्यवहार से आया था, न कि इस तथ्य से कि कंप्यूटर परीक्षण ने कुछ छात्रों को कठिन या आसान प्रश्नों की ओर निर्देशित किया था। निष्कर्ष बताते हैं कि बड़े पैमाने पर होने वाले परीक्षणों में, एक छात्र कंप्यूटर के साथ कैसे बातचीत करता है, यह उनके बारे में बताने वाली बातों का एक मूल्यवान पूरक है, जो उनकी गणितीय क्षमताओं की एक स्पष्ट और अधिक पूर्ण तस्वीर पेश करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।