Do Option-Elimination Logs Improve Student Models? A Preregistered Negative Result on EdNet-KT4
EdNet-KT4 डेटासेट पर यह पूर्व-पंजीकृत अध्ययन यह निष्कर्ष निकालता है कि छात्र मॉडलों में विकल्प-उन्मूलन (option-elimination) लॉग जोड़ने से शुद्धता की भविष्यवाणी करने या लेक्चर उपभोग को रैंक करने में कोई सांख्यिकीय रूप से महत्वपूर्ण सुधार नहीं होता है, जिससे मूल्यांकित मॉडलों में उनके समावेश के विरुद्ध तर्क दिया जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल शिक्षा की दुनिया में, सॉफ्टवेयर को तेजी से एक छात्र के मस्तिष्क को समझने के नाजुक काम के लिए नियुक्त किया जा रहा है। ये प्रणालियाँ, जिन्हें अक्सर 'एडेप्टिव लर्निंग प्लेटफॉर्म' कहा जाता है, एक "छात्र मॉडल" (student model) पर निर्भर करती हैं—जो कि एक शिक्षार्थी क्या जानता है, वह कहाँ संघर्ष कर रहा है, और वह आगे कैसा प्रदर्शन कर सकता है, इसका एक डिजिटल स्नैपशॉट है। इस स्नैपशॉट को बनाने के लिए, सॉफ्टवेयर छात्र के इतिहास पर नज़र रखता है: उन्होंने कौन से प्रश्न सही उत्तर दिए, उन्हें उत्तर देने में कितना समय लगा, और उन्होंने पहले किन विषयों का अध्ययन किया। वर्षों से, शोधकर्ता यह सोच रहे थे कि क्या सीखने के इन बीच के अनिश्चित क्षणों को देखकर मॉडल को अधिक सटीक बनाया जा सकता है। जब एक छात्र बहुविकल्पीय प्रश्न का सामना करता है, तो वह अक्सर अंतिम विकल्प चुनने से पहले उन उत्तरों को काट देता है जिन्हें वह गलत जानता है। उन्मूलन (elimination) की यह क्रिया, जो सिस्टम के डिजिटल लॉग में दिखाई देती है, अंतर्दृष्टि का एक समृद्ध स्रोत प्रतीत होती थी। यह सुझाव देती थी कि छात्र सोच रहा है, तर्क कर रहा है, या शायद हिचकिचा रहा है। यदि सॉफ्टवेयर इन काटे गए विकल्पों को देख पाता, तो क्या वह केवल अंतिम उत्तर देखकर प्राप्त जानकारी की तुलना में छात्र को बेहतर समझ पाता?
शोधकर्ताओं की एक टीम ने वास्तविक छात्र अंतःक्रियाओं के एक विशाल डेटासेट का उपयोग करके एक कठोर, पूर्व-नियोजित प्रयोग के साथ इस प्रश्न का उत्तर देने का प्रयास किया। उन्होंने एक विशिष्ट प्रकार के डेटा पर ध्यान केंद्रित किया: उन छात्रों के लॉग जिन्होंने गलत उत्तरों को काटा और कभी-कभी उन्हें वापस बहाल करके अपने मन को भी बदला। शोधकर्ताओं ने एक सरल, सीधा प्रश्न पूछा: क्या इन काटे गए विकल्पों का रिकॉर्ड छात्र मॉडल में जोड़ने से वास्तव में भविष्य के प्रदर्शन की भविष्यवाणी करने या सही अगला पाठ सुझाने की प्रणाली की क्षमता में सुधार होता है? उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक नियंत्रित परीक्षण बनाया जहाँ उन्होंने एक मानक मॉडल की तुलना उस मॉडल से की जिसमें उन्मूलन इतिहास शामिल था, यह सुनिश्चित करते हुए कि अन्य सभी कारक बिल्कुल समान रहे।
परिणाम स्पष्ट थे और वैज्ञानिक खोज की दुनिया में काफी निर्णायक थे। 70,000 से अधिक शिक्षार्थियों के लगभग बीस लाख भविष्यवाणी बिंदुओं का विश्लेषण करने के बाद, शोधकर्ताओं ने पाया कि उन्मूलन लॉग (elimination logs) को जोड़ने से छात्र मॉडल में कोई सुधार नहीं हुआ। अगले प्रश्न को सही बताने की प्रणाली की क्षमता लगभग अपरिवर्तित रही। प्रदर्शन में अंतर इतना कम था—जिसे एक मानक सटीकता स्कोर के पाँचवें दशमलव स्थान में मापा गया था—कि वह यादृच्छिक शोर (random noise) से अलग नहीं था। वास्तव में, यह सुझाव देने के कार्य के लिए कि छात्र को अगला व्याख्यान (lecture) कब देखना चाहिए, वह मॉडल जिसमें उन्मूलन लॉग शामिल थे, उस मॉडल से थोड़ा खराब प्रदर्शन करता था जिसने उन्हें अनदेखा कर दिया था। अध्ययन ने निष्कर्ष निकाला कि इस विशिष्ट प्रकार के लर्निंग प्लेटफॉर्म के लिए, एक उत्तर को काटने की क्रिया छात्र के ज्ञान की स्थिति के बारे में कोई उपयोगी नई जानकारी प्रदान नहीं करती है। सिस्टम पहले से ही छात्र के सही और गलत उत्तरों के इतिहास, उनकी गति और उनके द्वारा सामना किए गए प्रश्नों की कठिनाई से पर्याप्त जानकारी जानता है।
यह सुनिश्चित करने के लिए कि उनका नकारात्मक परिणाम किसी त्रुटिपूर्ण मापने वाले उपकरण के कारण हुई गलती नहीं था, शोधकर्ताओं ने एक अंतर्निहित जांच शामिल की। उन्होंने कुछ ऐसे फीचर्स को हटा दिया जिन्हें वे महत्वपूर्ण जानते थे—विशेष रूप से, छात्र के क्लिक करने का समय और उन्हें उत्तर देने में लगा समय—और मॉडल के प्रदर्शन में गिरावट देखी। प्रदर्शन गिरा, और इतना महत्वपूर्ण रूप से कि यह साबित हुआ कि सिस्टम वास्तविक परिवर्तनों का पता लगाने के लिए पर्याप्त संवेदनशील था। इसने पुष्टि की कि सिस्टम सही ढंग से काम कर रहा था; यह बस उन्मूलन लॉग में कोई मूल्य नहीं पा सका। अध्ययन बताता है कि इस प्लेटफॉर्म पर, एक विकल्प को काटना अक्सर एक कम-प्रयास वाली आदत या एक रूटीन इंटरफ़ेस क्रिया है, न कि छात्र की सोच प्रक्रिया का कोई गहरा संकेत। क्योंकि इस क्रिया में कोई लागत नहीं लगती और न ही कोई दंड है, इसलिए कई छात्र बिना अधिक सोचे इसे करते हैं, या वे इसे ऐसे तरीकों से करते हैं जो वास्तव में उनकी सामग्री की समझ के साथ मेल नहीं खाते।
नियम में एक छोटा अपवाद था। शोधकर्ताओं ने देखा कि छात्रों के एक विशिष्ट समूह के लिए, जो बहुत बार उत्तर काटते थे, उन्मूलन लॉग ने एक सूक्ष्म संकेत का मूल्य प्रदान किया। हालांकि, यह समूह छोटा था, और प्रभाव तब गायब हो गया जब शोधकर्ताओं ने डेटा को यह सुनिश्चित करने के लिए पुनर्व्यवस्थित (shuffle) किया कि यह केवल एक विशिष्ट प्रकार के छात्र की पहचान नहीं कर रहा था बल्कि उन्मूलन की क्रिया की पहचान कर रहा था। मुख्य निष्कर्ष अडिग रहा: अधिकांश शिक्षार्थियों के लिए, अतिरिक्त डेटा ने मदद नहीं की। अध्ययन ने स्वयं में एक अलग, संरचनात्मक समस्या भी उजागर की। उन्होंने पाया कि जिस तरह से सिस्टम व्याख्यान सुझाने का चयन करता है वह इतना कठोर है कि यह उन लगभग एक-तिहाई व्याख्यानों को सुझाना असंभव बना देता है जिन्हें छात्र वास्तव में देखते हैं। यह सीमा, जो इस कारण से उत्पन्न हुई है कि सिस्टम केवल उन्हीं वीडियो को सुझाता है जो अभी-अभी उत्तर दिए गए प्रश्नों के साथ विशिष्ट टैग साझा करते हैं, प्रभावी शिक्षण के लिए एक बहुत बड़ी बाधा है।
अंततः, यह शोध शैक्षिक तकनीक के भविष्य के लिए एक मूल्यवान मार्गदर्शिका के रूप में कार्य करता है। यह प्रदर्शित करता है कि छात्र द्वारा छोड़े गए डिजिटल पदचिह्नों (digital footprints) में से हर एक उपयोगी नहीं होता है। केवल इसलिए कि एक सिस्टम किसी क्रिया को रिकॉर्ड कर सकता है, इसका मतलब यह नहीं है कि वह क्रिया शिक्षार्थी को समझने में मदद करती है। यह सिद्ध करके कि उन्मूलन लॉग ने मॉडल में सुधार नहीं किया, यह अध्ययन अन्य शोधकर्ताओं को एक ऐसे सिग्नल के इर्द-गिर्द जटिल प्रणालियों को इंजीनियर करने में समय बर्बाद करने से बचाता है जो वहां मौजूद ही नहीं है। यह सुझाव देता है कि सबसे प्रभावी छात्र मॉडलों को अलग प्रकार के डेटा पर ध्यान केंद्रित करने की आवश्यकता हो सकती है, शायद उन प्लेटफार्मों पर जहाँ छात्रों द्वारा ली जाने वाली क्रियाएं अधिक विचारशील और महंगी हों, न कि एक टेस्ट-प्रिपरेशन ऐप के त्वरित, मुफ्त क्लिकों की तरह। सबक सटीकता का है: डेटा के माध्यम से मानव मन को समझने की खोज में, कभी-कभी सबसे महत्वपूर्ण खोज यह जानना होता है कि किसे अनदेखा करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।