How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education

आधुनिक विश्वविद्यालय में, छात्र जीवन का एक विशाल हिस्सा डिजिटल पदचिह्न (डिजिटल फुटप्रिंट) छोड़ देता है। हर बार जब कोई शिक्षार्थी किसी पाठ्यक्रम वेबसाइट में लॉग इन करता है, किसी लिंक पर क्लिक करता है, या कोई दस्तावेज़ डाउनलोड करता है, तो एक रिकॉर्ड बन जाता है। शिक्षक और शोधकर्ता लंबे समय से इन डिजिटल निशानों को छात्र की सफलता के एक झरोखे के रूप में देखते आए हैं। तर्क सीधा सा प्रतीत होता है: यदि कोई छात्र ऑनलाइन सक्रिय है, तो वह संभवतः जुड़ा हुआ है, और यदि वह जुड़ा हुआ है, तो उसके अच्छे अंक प्राप्त करने की संभावना अधिक है। इस विश्वास ने डैशबोर्ड और 'अर्ली-वार्निंग सिस्टम' (पूर्व चेतावनी प्रणालियों) के निर्माण को प्रेरित किया है, जिन्हें क्लिकों की गिनती करके संघर्ष कर रहे छात्रों की पहचान करने के लिए डिज़ाइन किया गया है। हालाँकि, एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया है: क्या गतिविधि स्वयं अच्छे ग्रेड का कारण बनती है, या अच्छे ग्रेड केवल एक ऐसे छात्र का संकेत हैं जो पहले से ही तैयार और प्रेरित था? यह अंतर अत्यंत महत्वपूर्ण है। यदि गतिविधि केवल सफलता का एक लक्षण है, तो किसी छात्र को अधिक बटन क्लिक करने के लिए मजबूर करना उन्हें सीखने में मदद नहीं करेगा। यदि, हालांकि, गतिविधि सीखने का एक वास्तविक चालक है, तो अधिक अंतःक्रिया (इंटरैक्शन) को प्रोत्साहित करना सुधार के लिए एक शक्तिशाली उपकरण हो सकता है।

शोधकर्ताओं की एक टीम ने यूनाइटेड किंगडम के 'ओपन यूनिवर्सिटी' के डेटा के एक विशाल संग्रह का उपयोग करके इस संबंध को सुलझाने का प्रयास किया। उन्होंने उन इक्कीस हजार से अधिक छात्रों के रिकॉर्ड की जांच की जिन्होंने बाईस अलग-अलग ऑनलाइन पाठ्यक्रम प्रस्तुतियों में भाग लिया था। यह डेटासेट समृद्ध था, जिसमें छात्रों की पृष्ठभूमि, उनके पिछले शैक्षणिक प्रदर्शन और वर्चुअल लर्निंग एनवायरनमेंट के साथ दस मिलियन से अधिक अंतःक्रियाओं का विवरण शामिल था। शोधकर्ताओं ने विशेष रूप से उस अवधि पर ध्यान केंद्रित किया जो किसी छात्र द्वारा असाइनमेंट (कोर्सवर्क) जमा करने से ठीक पहले की थी। उन्होंने सबमिशन की समय सीमा से पहले होने वाली क्लिक और गतिविधियों की संख्या गिनी, यह सुनिश्चित करते हुए कि काम जमा करने के बाद होने वाली किसी भी गतिविधि को नहीं गिना गया। यह सावधानीपूर्वक की गई टाइमिंग महत्वपूर्ण थी ताकि यह सुनिश्चित किया जा सके कि वे उस व्यवहार को देख रहे हैं जो परिणाम ज्ञात होने से पहले हुआ था।

अध्ययन की शुरुआत कच्चे आंकड़ों (रॉ नंबर्स) से हुई, जो अक्सर मानक रिपोर्टों में दिखने वाले साधारण जुड़ाव का प्रकार है। उन्होंने एक मजबूत संबंध पाया: ऑनलाइन गतिविधि के आयतन में प्रत्येक मानक वृद्धि के लिए, मूल्यांकन स्कोर लगभग साढे तीन अंक बढ़ गया। यह वह संख्या है जिसे एक विशिष्ट डैशबोर्ड बेहतर प्रदर्शन का सुझाव देने के लिए हाइलाइट कर सकता है। हालाँकि, शोधकर्ता जानते थे कि इस कच्चे नंबर में संभवतः कई अन्य कारकों का प्रभाव शामिल था। जिन छात्रों ने अतीत में अच्छा प्रदर्शन किया था, वे स्वाभाविक रूप से अधिक क्लिक कर सकते हैं क्योंकि वे आत्मविश्वासी हैं, या वे इसलिए अधिक क्लिक कर सकते हैं क्योंकि वे पहले से ही उस विषय में कुशल हैं। गतिविधि के वास्तविक प्रभाव को खोजने के लिए, शोधकर्ताओं ने एक परिष्कृत सांख्यिकीय पद्धति का उपयोग किया जिसे इन पूर्व-मौजूदा अंतरों को दूर करने के लिए डिज़ाइन किया गया था। उन्होंने डेटा को उन सभी चीजों के आधार पर समायोजित किया जो वे गतिविधि विंडो खुलने से पहले छात्रों के बारे में जानते थे, जिसमें उनके पिछले ग्रेड, उनकी जनसांख्यिकीय पृष्ठभूमि और प्लेटफॉर्म के उपयोग का उनका इतिहास शामिल था।

जब शोधकर्ताओं ने यह समायोजन लागू किया, तो कहानी काफी बदल गई। गतिविधि और ग्रेड के बीच का संबंध पूरी तरह से गायब नहीं हुआ, लेकिन यह काफी सिकुड़ गया। पूर्व इतिहास को ध्यान में रखने के बाद, स्कोर में वृद्धि गतिविधि में समान वृद्धि के लिए साढे तीन अंकों से घटकर एक पौने दो अंक से भी कम रह गई। इसका अर्थ है कि गतिविधि और स्कोर के बीच के मूल संबंध का लगभग आधा हिस्सा वास्तव में छात्रों की पृष्ठभूमि और पिछले प्रदर्शन के कारण था, न कि गतिविधि के कारण। शेष संबंध, हालांकि वास्तविक और सांख्यिकीय रूप से महत्वपूर्ण था, मूल आंकड़ों की तुलना में बहुत छोटा था। यह इंगित करता है कि हालांकि ऑनलाइन गतिविधि सफलता के बारे में उपयोगी जानकारी देती है, लेकिन अन-एडजस्टेड (असमायोजित) आंकड़ों पर भरोसा करने से संस्थान इस बात का अत्यधिक अनुमान लगा लेंगे कि केवल क्लिक बढ़ाने से छात्र के ग्रेड में कितना सुधार होगा।

शोधकर्ताओं ने यह भी देखा कि क्या यह समायोजित संबंध विभिन्न प्रकार के छात्रों या विभिन्न प्रकार के असाइनमेंट के लिए अलग दिखता है। उन्होंने पाया कि लिखित, खुले-अंत वाले उत्तरों के लिए, जिनका मूल्यांकन मानव ट्यूटर द्वारा किया जाता है, संबंध उन बहुविकल्पीय प्रश्नों की तुलना में अधिक मजबूत था जिनका मूल्यांकन कंप्यूटर द्वारा किया जाता है। यह सुझाव देता है कि कार्य का प्रकार मायने रखता है; डिजिटल गतिविधि निबंध-शैली के कार्यों के लिए आवश्यक गहन सोच के साथ अधिक निकटता से जुड़ी हो सकती है, बजाय त्वरित, स्वचालित क्विज़ के। उन्होंने यह भी खोजा कि यह संबंध उन छात्रों के लिए अधिक मजबूत था जिनके पिछले ग्रेड कम थे। इन शिक्षार्थियों के लिए, ऑनलाइन गतिविधि उनके वर्तमान प्रदर्शन का एक अधिक विश्वसनीय संकेत प्रतीत होती थी। इसके विपरीत, डेटा में यह स्पष्ट अंतर नहीं दिखा कि क्या छात्र वंचित पृष्ठभूमि से आया था या उसने विकलांगता घोषित की थी, हालांकि डेटा इतना सटीक नहीं था कि पूरी तरह से छोटे अंतरों को खारिज किया जा सके।

इन निष्कर्षों के बावजूद, शोधकर्ता यह दावा करने में सतर्क रहे कि गतिविधि ग्रेड का कारण बनती है। उन छिपे हुए कारकों के लिए परीक्षण करने के लिए जिन्हें वे माप नहीं सकते थे, उन्होंने एक विशिष्ट जाँच की। उन्होंने पूछा कि क्या वर्तमान ऑनलाइन गतिविधि पिछले असाइनमेंट के ग्रेड की भविष्यवाणी कर सकती है जो वर्तमान गतिविधि शुरू होने से पहले ही पूरा किया जा चुका था। तार्किक रूप से, भविष्य के क्लिक पिछले ग्रेड को नहीं बदल सकते। फिर भी, डेटा ने दिखाया कि वर्तमान विंडो में अधिक क्लिक करने वाले छात्रों के उस पिछले असाइनमेंट पर भी उच्च अंक थे, भले ही उन सभी समायोजनों के बाद भी। यह परिणाम संकेत देता है कि अभी भी कुछ अनदेखी ताकतें काम कर रही हैं। शायद कुछ छात्र स्वाभाविक रूप से अधिक प्रेरित होते हैं या उनकी अध्ययन की आदतें बेहतर होती हैं जो डिजिटल प्रणाली के बाहर मौजूद होती हैं, जो उनकी ऑनलाइन गतिविधि और उनके ग्रेड दोनों को संचालित करती हैं। इस कारण से, शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि समायोजित संबंध वास्तविक है, लेकिन यह गारंटी नहीं है कि क्लिक बढ़ाने के लिए किए गए किसी भी हस्तक्षेप से स्कोर अपने आप समायोजित संख्या के पूर्ण भाग तक बढ़ जाएगा।

यह अध्ययन छात्रों की सहायता के लिए विश्वविद्यालयों द्वारा डेटा के उपयोग के बारे में एक स्पष्ट सबक प्रदान करता है। शिक्षार्थियों द्वारा छोड़े गए डिजिटल निशान मूल्यवान हैं, लेकिन वे सीखने को चालू करने वाला एक साधारण स्विच नहीं हैं। गतिविधि और सफलता के बीच का कच्चा संबंध मजबूत है, लेकिन यह इस बात से अत्यधिक प्रभावित है कि छात्र कौन है और उसने पहले क्या किया है। जब शिक्षक इन नंबरों का उपयोग यह तय करने के लिए करते हैं कि किसे मदद की आवश्यकता है, तो उन्हें यह समझना चाहिए कि ये नंबर सहसंबंध (कोरिलेशन) की कहानी बताते हैं, न कि अनिवार्य रूप से कारण और प्रभाव की। कम गतिविधि वाला छात्र सहायता की आवश्यकता महसूस कर सकता है, लेकिन केवल उन्हें अधिक क्लिक करने के लिए कहना समस्या को हल करने में सफल नहीं होगा यदि अंतर्निहित मुद्दा पूर्व ज्ञान या प्रेरणा की कमी है। सबसे प्रभावी दृष्टिकोण इन व्यवहारिक संकेतों का उपयोग बातचीत और निदान के लिए एक संकेत (प्रॉम्ट) के रूप में करना है, यह पहचानते हुए कि गतिविधि छात्र की स्थिति की ओर इशारा करने वाला एक संकेत चिह्न है, न कि एक लीवर जिसे बेहतर परिणाम प्राप्त करने के लिए खींचा जा सकता है।