Learning Analytics and Early Warning Systems for Mathematics Achievement: A Multi-Country Comparative Programme Evaluation
यह समीक्षा गणितीय उपलब्धि के लिए लर्निंग एनालिटिक्स और अर्ली वार्निंग सिस्टम के डिज़ाइन, प्रदर्शन और समता संबंधी निहितार्थों का मूल्यांकन करने के लिए कई देशों के तीस अध्ययनों के साक्ष्यों को संश्लेषित करती है, जो उनकी भविष्य कहने वाली क्षमता को उजागर करते हुए एल्गोरिदम की निष्पक्षता, अंतर-देशीय तुलनीयता और डोमेन-विशिष्ट नैदानिक अंतर्दृष्टि के एकीकरण में महत्वपूर्ण अंतराल की पहचान करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि शिक्षा की दुनिया एक विशाल, हलचल भरा रेलवे स्टेशन है। दशकों से, स्टेशन मैनेजर (शिक्षक और प्रशासक) यह समझने की कोशिश कर रहे हैं कि कौन से यात्री (छात्र) अपनी ट्रेन (कक्षा में फेल होना या पढ़ाई छोड़ देना) चूक सकते हैं। वे पहले अंदाज़ा लगाते थे कि कौन सा छात्र सुस्त दिख रहा है या किसने अभी तक टिकट नहीं खरीदा है। लेकिन पिछले दस वर्षों में, स्टेशन को एक सुपर-स्मार्ट डिजिटल सिस्टम के साथ अपग्रेड किया गया है। यह सिस्टम, जिसे लर्निंग एनालिटिक्स (Learning Analytics) कहा जाता है, एक विशाल, अदृश्य कैमरा नेटवर्क की तरह है जो हर यात्री के हर कदम पर नज़र रखता है। यह रिकॉर्ड करता है कि वे कितनी बार प्रस्थान बोर्ड (departure board) देखते हैं, वे शेड्यूल को कितनी देर तक घूरते हैं, और वे कितनी तेज़ी से प्लेटफॉर्म की ओर दौड़ते हैं।
डेटा के इस पहाड़ से, एक विशिष्ट उपकरण जिसे अर्ली वार्निंग सिस्टम (EWS) कहा जाता है, बनाया गया है। इसे एक डिजिटल "रेड फ्लैग" (लाल झंडी) के रूप में सोचें जो कंडक्टर की स्क्रीन पर पॉप-अप होता है। जब सिस्टम एक ऐसा पैटर्न देखता है जो संकेत देता है कि एक यात्री अपनी ट्रेन चूकने वाला है, तो यह तुरंत मदद भेजने के लिए एक अलर्ट भेजता है। बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: क्या यह हाई-टेक सिस्टम वास्तव में लोगों को गणित सीखने में मदद करने के लिए काम करता है? और यदि यह एक देश में काम करता है, तो क्या यह दूसरे देश में भी काम करेगा? यह एक नई स्टडी की कहानी है जो इन जवाबों की तलाश में अलग-अलग देशों के बीच इन डिजिटल सुरक्षा जालों की तुलना कर रही है।
द मैथ रेस्क्यू मिशन: ए ग्लोबल चेक-अप
यह पेपर दुनिया भर के तीस अध्ययनों का एक विशाल "चेक-अप" है, जो यह देख रहा है कि चिली, जर्मनी, यूके और मैक्सिको जैसी जगहों के स्कूल गणित में संघर्ष करने वाले छात्रों की मदद करने के लिए इन डिजिटल अर्ली वार्निंग सिस्टम का उपयोग कैसे कर रहे हैं। शोधकर्ताओं ने केवल नंबरों को नहीं देखा; उन्होंने यह भी देखा कि ये सिस्टम कैसे बनाए गए थे, वे क्या देख रहे थे, और क्या वे सभी के लिए निष्पक्ष थे।
यहाँ जो उन्होंने पाया है, उसका विवरण दिया गया है, जिसे बिना किसी तकनीकी शब्दावली के समझाया गया है।
"रेड फ्लैग" की सटीकता
सबसे पहले, अच्छी खबर: ये सिस्टम मुश्किलों को पहचानने में काफी अच्छे हैं। जब शोधकर्ताओं ने यह जांचा कि ये सिस्टम एक सफल होने वाले छात्र और फेल होने वाले छात्र के बीच अंतर बताने में कितने सक्षम हैं, तो स्कोर प्रभावशाली थे। उनके द्वारा समीक्षा किए गए अध्ययनों में, सिस्टम 0.70 और 0.93 के बीच सही पहचान करते थे। इसे समझने के लिए, यदि आप केवल अनुमान लगा रहे होते, तो आप 50% बार सही होते। ये सिस्टम एक सिक्के के उछाल (coin flip) की तुलना में बहुत बेहतर प्रदर्शन कर रहे हैं।
हालाँकि, पेपर हमें चेतावनी देता है कि केवल उच्च स्कोर देखकर बहुत उत्साहित न हों। यह एक ऐसे स्मोक डिटेक्टर की तरह है जो बहुत ज़ोर से बीप करता है। यदि यह हर बार टोस्ट जलने पर बीप करता है, तो तकनीकी रूप से यह "संवेदनशील" है, लेकिन यदि यह आपको असली आग को अनदेखा करने पर मजबूर कर दे, तो यह बहुत उपयोगी नहीं है। शोधकर्ताओं ने पाया कि इन सिस्टमों की वास्तविक उपयोगिता इस बात पर निर्भर करती है कि छात्र आबादी कितनी स्थिर है और स्कूल "अलार्म थ्रेशोल्ड" (अलार्म की सीमा) कैसे निर्धारित करता है। यदि अलार्म बजाने के नियम हर हफ्ते बदलते हैं, तो सिस्टम गलत सूचनाओं (false alarms) का एक भ्रमित करने वाला ढेर बन जाता है।
"जेनेरिक बनाम स्पेसिफिक" का जाल
यहाँ कहानी थोड़ी पेचीदा हो जाती है। शोधकर्ताओं ने पाया कि अधिकांश अर्ली वार्निंग सिस्टम गलत चीजों पर नज़र रख रहे हैं। वे मुख्य रूप से जेनेरिक (सामान्य) संकेतों को देख रहे हैं, जैसे:
- एक छात्र कंप्यूटर में कितनी बार लॉग-इन करता है।
- वे कितने क्लिक करते हैं।
- उनका उपस्थिति रिकॉर्ड (attendance record)।
यह एक कोच की तरह है जो केवल यह देखता है कि एक सॉकर खिलाड़ी मैदान पर कितनी बार दौड़ता है, लेकिन यह कभी नहीं देखता कि क्या वह वास्तव में गेंद को नेट में किक मार सकता है।
पेपर एक बड़ी कमी की ओर इशारा करता है: गणित विशेष है। गणित में संघर्ष करना अक्सर विशिष्ट, भ्रमित करने वाले विचारों से आता है—जैसे ग्राफ बनाने में अटक जाना या यह समझना कि 'फंक्शन' (function) कैसे काम करता है। लेकिन वर्तमान सिस्टम शायद ही कभी इन विशिष्ट "गणित की गलतियों" को देखते हैं। वे बस देखते हैं कि एक छात्र "जुड़ा हुआ नहीं है" (disengaged) और एक सामान्य अलर्ट भेज देते हैं। शोधकर्ताओं का सुझाव है कि यदि ये सिस्टम वास्तव में यह पहचान पाते कि छात्र क्यों अटका हुआ है (जैसे ग्राफिंग में एक विशिष्ट त्रुटि), तो वे शिक्षकों के लिए बहुत अधिक उपयोगी होते। अभी, वे केवल यह कह रहे हैं, "हे, यह बच्चा मुसीबत में है," बिना यह कहे कि "हे, यह बच्चा फंक्शन्स को लेकर भ्रमित है।"
"वन-साइज़-फिट्स-ऑल" की समस्या
अध्ययन ने फैंसी, हाई-टेक डेटा सिस्टम वाले देशों (जैसे यूके और एस्टोनिया) की तुलना कम तकनीक वाले सेटअप वाले देशों (जैसे चिली और लैटिन अमेरिका के कुछ हिस्सों) के साथ भी की। आप सोच सकते हैं कि फैंसी देशों के पास सबसे अच्छे सिस्टम होंगे। लेकिन पेपर ने कुछ आश्चर्यजनक पाया: सरल सिस्टम भी उतने ही प्रभावी हो सकते हैं जितने जटिल वाले।
कुछ स्थानों पर जहाँ संसाधन कम हैं, वहाँ एक बहुत ही सरल मॉडल, जो केवल छात्र द्वारा प्राप्त किए गए पहले टेस्ट ग्रेड को देखता था, वह अमीर देशों के फैंसी, हाई-टेक मॉडल्स के लगभग समान सटीकता के साथ यह बताने में सक्षम था कि कौन संघर्ष करेगा। यह सुझाव देता है कि स्कूलों को एक अच्छा अर्ली वार्निंग सिस्टम पाने के लिए विशाल डेटा केंद्रों पर बहुत सारा पैसा खर्च करने की आवश्यकता नहीं है; उन्हें बस शुरुआत में सही, सरल संकेतों पर ध्यान देने की आवश्यकता है।
निष्पक्षता का अंतर
अंत में, पेपर एक गंभीर चिंता पैदा करता है। भले ही कोई सिस्टम औसत रूप से सटीक हो, इसका मतलब यह नहीं है कि वह सभी के लिए निष्पक्ष है। शोधकर्ताओं ने पाया कि कुछ मामलों में, सिस्टम पुरुष छात्रों की तुलना में जोखिम में फंसी महिला छात्रों को पहचानने में कम सक्षम थे। यह एक सुरक्षा स्कैनर की तरह है जो धातु खोजने में तो माहिर है लेकिन प्लास्टिक को मिस कर देता है। यदि सिस्टम उन छात्रों को पहचानने में विफल रहता है जिन्हें मदद की सबसे अधिक आवश्यकता है, तो यह अमीर और गरीब, या विभिन्न समूहों के बीच के अंतर को और चौड़ा कर देता है। पेपर नोट करता है कि उनके द्वारा देखे गए बहुत कम अध्ययनों ने वास्तव में यह जांचा कि क्या उनके सिस्टम सभी समूहों के लिए निष्पक्ष थे।
आगे क्या?
अध्ययन निष्कर्ष निकालता है कि हालांकि ये डिजिटल सुरक्षा जाल शक्तिशाली उपकरण हैं, लेकिन वे अभी तक जादू की छड़ी नहीं हैं। इन्हें वास्तव में प्रभावी बनाने के लिए, स्कूलों को चाहिए कि वे:
- केवल जेनेरिक क्लिक्स पर निर्भर रहना बंद करें और गणित की विशिष्ट गलतियों को देखना शुरू करें।
- निष्पक्षता की जाँच करें ताकि यह सुनिश्चित हो सके कि किसी भी समूह की अनदेखी नहीं की जा रही है।
- इसे सरल रखें यदि वही काम करता है; आपको छात्र के ग्रेड बचाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है।
शोधकर्ता यह भी संकेत देते हैं कि जैसे-जैसे छात्र सीखने (या अपने काम में बदलाव करने) के लिए नए AI टूल्स का उपयोग करना शुरू करेंगे, पूरे सिस्टम को फिर से अनुकूलित होने की आवश्यकता होगी। लेकिन फिलहाल, संदेश स्पष्ट है: हमारे पास मुश्किलों को जल्दी पहचानने की तकनीक है, लेकिन हमें यह सुनिश्चित करने की आवश्यकता है कि हम सही संकेतों को देख रहे हैं और प्रत्येक छात्र के साथ निष्पक्ष व्यवहार कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।