Target-Adaptive Probability Calibration for Reliable Student Risk Prediction under Cross-Module Dataset Shift

ऑनलाइन शिक्षा के विशाल परिदृश्य में, प्लेटफॉर्म डिजिटल पदचिह्नों की एक निरंतर धारा उत्पन्न करते हैं: पाठ्यक्रम सामग्री पर क्लिक करना, असाइनमेंट जमा करना और लॉगिन गतिविधि के पैटर्न। शिक्षक और प्रशासक इन डिजिटल निशानों का उपयोग उन छात्रों की पहचान करने के लिए करना चाहते हैं जो संघर्ष कर रहे हैं, ताकि समय रहते उन्हें मदद दी जा सके और उन लोगों को बचाया जा सके जो अन्यथा पढ़ाई छोड़ सकते थे। हालाँकि, इन डिजिटल निशानों को एक विश्वसनीय चेतावनी प्रणाली में बदलना अत्यंत कठिन है। एक ऐसा मॉडल जो एक कोर्स के लिए पूरी तरह से काम करता है, वह दूसरे कोर्स पर लागू होने पर अक्सर विफल हो जाता है, क्योंकि छात्र, शिक्षण शैली या ग्रेड देने का तरीका अलग होता है। इसके अलावा, एक कंप्यूटर प्रोग्राम छात्रों को "सबसे अधिक जोखिम वाले" से "सबसे कम जोखिम वाले" के क्रम में रैंक करने में बहुत अच्छा हो सकता है, लेकिन यदि किसी छात्र को दिया गया विशिष्ट संख्यात्मक मान गलत है, तो यह खतरनाक हो जाता है। यदि कोई सिस्टम एक शिक्षक को बताता है कि एक छात्र के असफल होने की संभावना नब्बे प्रतिशत है जबकि वास्तविक संभावना केवल तीस प्रतिशत है, तो शिक्षक उस छात्र पर कीमती समय बर्बाद कर सकता है जिसे इसकी आवश्यकता नहीं है, या इससे भी बुरा, उस छात्र को अनदेखा कर सकता है जिसे वास्तव में इसकी आवश्यकता है। मुख्य चुनौती केवल यह अनुमान लगाना नहीं है कि कौन संघर्ष करेगा, बल्कि यह सुनिश्चित करना है कि कंप्यूटर द्वारा दिए गए संभाव्यता (प्रोबेबिलिटी) के अंक ईमानदार और भरोसेमंद हों, भले ही सिस्टम को एक नए कक्षा वातावरण में स्थानांतरित किया जाए।

शेडोंग यिंगकाई यूनिवर्सिटी के शोधकर्ताओं ने इस समस्या का समाधान करने के लिए एक ऐसा ढांचा तैयार किया जो इन जोखिम भविष्यवाणियों को विभिन्न विश्वविद्यालय मॉड्यूल, या पाठ्यक्रमों में विश्वसनीय बनाने के लिए डिज़ाइन किया गया है। उन्होंने ओपन यूनिवर्सिटी के एक विशाल, अनाम डेटासेट का उपयोग किया, जिसमें सात अलग-अलग मॉड्यूल के लगभग तीस हजार छात्रों के रिकॉर्ड शामिल थे। टीम ने एक कठोर परीक्षण स्थापित किया जहाँ उन्होंने छह मॉड्यूल के डेटा पर अपने मॉडल को प्रशिक्षित किया और फिर उन मॉडलों को सातवें मॉड्यूल पर लागू करने का प्रयास किया, जिसे उन्होंने पहले कभी नहीं देखा था। यह दृष्टिकोण, जिसे "लीव-वन-मॉड्यूल-आउट" परीक्षण कहा जाता है, एक वास्तविक दुनिया के परिदृश्य का अनुकरण करता है जहाँ एक स्कूल एक सेट कक्षाओं के लिए बनाए गए सिस्टम का उपयोग कक्षाओं के पूरी तरह से अलग सेट में छात्रों की मदद करने के लिए करना चाहता है। उन्होंने भविष्यवाणियों की सटीकता की जांच चार अलग-अलग समय बिंदुओं पर की: पाठ्यक्रम शुरू होने के दो सप्ताह, चार सप्ताह, छह सप्ताह और आठ सप्ताह बाद। इसने उन्हें यह देखने की अनुमति दी कि छात्रों के बारे में अधिक जानकारी उपलब्ध होने के साथ भविष्यवाणियों की सटीकता कैसे बदलती है।

अध्ययन से पता चला कि हालांकि मॉडल छात्रों को रैंक करने में काफी अच्छे थे—अर्थात यह पहचानने में कि कौन से छात्र दूसरों की तुलना में असफल होने की अधिक संभावना रखते हैं—लेकिन उनके द्वारा उत्पन्न कच्चे संभाव्यता अंक अक्सर एक नए कोर्स में भ्रामक होते थे। जब शोधकर्ताओं ने बिना किसी समायोजन के एक मॉड्यूल पर प्रशिक्षित मॉडल को सीधे दूसरे पर लागू किया, तो अनुमानित संभाव्यता वास्तविक परिणामों से मेल नहीं खाती थी। उदाहरण के लिए, सिस्टम एक निश्चित स्तर का जोखिम अनुमान लगा सकता था जो वास्तव में जो हुआ उसके मुकाबले लगातार बहुत अधिक या बहुत कम था। यह एक प्रारंभिक चेतावनी प्रणाली के लिए एक गंभीर विफलता है, क्योंकि प्रशासकों को यह जानने की आवश्यकता होती है कि "उच्च जोखिम" का लेबल वास्तव में विफलता की उच्च संभावना को दर्शाता है, न कि केवल एक सापेक्ष तुलना को। इसे ठीक करने के लिए, शोधकर्ताओं ने 'टारगेट-एडेप्टिव कैलिब्रेशन' नामक एक विधि विकसित की। इस प्रक्रिया में नए कोर्स से थोड़ा सा ऐतिहासिक डेटा लेना शामिल है—विशेष रूप से, उसी कोर्स के पिछले सत्रों के परिणाम—और उसका उपयोग मॉडल के अंकों को धीरे से समायोजित करने के लिए करना है। उन्होंने यह देखने के लिए परीक्षण किया कि कितने समायोजन की आवश्यकता है, जिसमें नए कोर्स के छात्र जनसंख्या का दस, बीस या तीस प्रतिशत ऐतिहासिक डेटा का उपयोग किया गया।

परिणामों ने दिखाया कि नए कोर्स के थोड़े से ऐतिहासिक डेटा का उपयोग करने से भविष्यवाणियों की विश्वसनीयता में नाटकीय रूप रूप से सुधार हो सकता है। जब शोधकर्ताओं ने मॉडल को पुन: अंशांकित (recalibrate) करने के लिए छात्र समूह के तीस प्रतिशत ऐतिहासिक डेटा का उपयोग किया, तो संभाव्यता अनुमानों की सटीकता में उल्लेखनीय सुधार हुआ। त्रुटि का माप, जिसे ब्रायर स्कोर (Brier score) कहा जाता है, 0.243 से घटकर 0.205 हो गया, और यह मापने का एक अन्य तरीका कि संभाव्यता वास्तविकता से कितनी अच्छी तरह मेल खाती है, जिसे अपेक्षित अंशांकन त्रुटि (expected calibration error) कहा जाता है, 0.158 से गिरकर 0.076 हो गया। महत्वपूर्ण रूप से, इस समायोजन ने छात्रों के रैंकिंग क्रम को नहीं बदला; सबसे अधिक जोखिम वाले छात्र सूची में शीर्ष पर ही रहे। इसके बजाय, समायोजन ने केवल उन छात्रों से जुड़े नंबरों को अधिक सटीक बनाया। इसका अर्थ यह है कि एक शिक्षक जो एक छात्र के लिए "उच्च जोखिम" स्कोर देख रहा है, वह इस बात पर भरोसा कर सकता है कि वह नंबर वास्तव में उस छात्र के असफल होने की संभावना को दर्शाता है, न कि किसी दूसरे कोर्स पर आधारित एक विकृत अनुमान है।

शोधकर्ताओं ने यह भी पता लगाया कि क्या अधिक जटिल तरीके, जैसे कि पाठ्यक्रमों के बीच अंतर को ध्यान में रखने के लिए डेटा को गणितीय रूप से पुन: भारित (reweight) करने से बेहतर परिणाम मिल सकते हैं। उन्होंने पाया कि ये अधिक जटिल दृष्टिकोण ऐतिहासिक डेटा का उपयोग करके संभावनाओं को समायोजित करने के सरल तरीके की तुलना में कोई महत्वपूर्ण लाभ नहीं देते थे। सबसे प्रभावी रणनीति केवल मॉडल के आउटपुट को लेना और उसे नए कोर्स के ज्ञात परिणामों का उपयोग करके थोड़ा बदलना था। यह निष्कर्ष महत्वपूर्ण है क्योंकि यह सुझाव देता है कि स्कूलों को प्रत्येक कोर्स के लिए पूरी तरह से नए, जटिल मॉडल बनाने की आवश्यकता नहीं है। इसके बजाय, वे एक सामान्य मॉडल का उपयोग कर सकते हैं और फिर इसे भरोसेमंद बनाने के लिए थोड़े से स्थानीय डेटा के साथ सूक्ष्म रूप से ट्यून कर सकते हैं।

संख्याओं से परे, अध्ययन ने यह भी देखा कि ये अंशांकित (calibrated) संभाव्यताएं वास्तविक दुनिया के कार्यों में कैसे परिवर्तित होती हैं। एक स्कूल के परिवेश में, शिक्षकों और सहायता कर्मचारियों के पास सीमित समय होता है और वे केवल कुछ ही छात्रों की समीक्षा कर सकते हैं। शोधकर्ताओं ने इस बाधा का अनुकरण करते हुए पूछा: यदि एक शिक्षक केवल सबसे जोखिम भरे शीर्ष दस प्रतिशत छात्रों की समीक्षा कर सकता है, तो वे वास्तव में भविष्य में होने वाले कितने ड्रॉपआउट्स (पढ़ाई छोड़ने वालों) को पकड़ पाएंगे? उन्होंने पाया कि अंशांकित संभाव्यताओं ने इस संतुलन को समझने में बहुत स्पष्टता प्रदान की। बिना अंशांकन के, एक शिक्षक एक ऐसा थ्रेशोल्ड (सीमा) निर्धारित कर सकता है जो उचित लगता है लेकिन अंततः बहुत अधिक छात्रों की समीक्षा करने या जोखिम वाले व्यक्तियों को बहुत अधिक मिस करने का कारण बनता है। अंशांकित संभावनाओं के साथ, एक शिक्षक एक विशिष्ट सीमा निर्धारित कर सकता है और जान सकता है कि कितने छात्र चिह्नित किए जाएंगे और कितने जोखिम वाले छात्रों को पकड़ा जाएगा। उदाहरण के लिए, एक विशिष्ट जोखिम सीमा पर, अंशांकित प्रणाली ने कार्यभार को लगभग आधा कम कर दिया, जबकि पर्याप्त संख्या में उन छात्रों को पकड़ा जो असफल होने वाले थे, जिससे यह प्रणाली व्यस्त शैक्षणिक संस्थानों के लिए बहुत अधिक व्यावहारिक बन गई।

अध्ययन ने यह भी जांचा कि क्या ये भविष्यवाणियां विभिन्न समूहों के छात्रों, जैसे कि अलग-अलग पृष्ठभूमि या क्षमताओं वाले छात्रों के बीच निष्पक्ष हैं। उन्होंने पाया कि हालांकि समग्र प्रणाली अच्छी तरह से काम करती थी, फिर भी विशिष्ट उपसमूहों के लिए परिणामों की भविष्यवाणी करने में सटीकता में भिन्नताएं थीं। यह इस बात पर प्रकाश डालता है कि एक अच्छी तरह से अंशांकित प्रणाली को भी निरंतर निगरानी की आवश्यकता होती है ताकि यह सुनिश्चित किया जा सके कि यह अनजाने में शिक्षार्थियों के कुछ समूहों को नुकसान न पहुँचाए। शोधकर्ताओं ने यह समझाने के लिए उपकरणों का उपयोग किया कि कौन से कारक भविष्यवाणियों को संचालित करते हैं, और पाया कि सबसे महत्वपूर्ण संकेत छूटे हुए असाइनमेंट और हालिया निष्क्रियता से संबंधित थे। यह पारदर्शिता शिक्षकों को यह समझने में मदद करती है कि सिस्टम छात्रों को ठोस व्यवहारों, जैसे कि काम जमा न करना या जुड़ाव कम होना, के आधार पर चिह्नित कर रहा है, न कि छिपे हुए या पक्षपाती कारकों के आधार पर।

अंततः, यह शोध शिक्षा में आर्टिफिशियल इंटेलिजेंस को अधिक विश्वसनीय और उपयोगी बनाने के लिए एक रोडमैप प्रदान करता है। यह प्रदर्शित करता है कि एक भविष्य कहने वाली प्रणाली को एक कोर्स से दूसरे कोर्स में ले जाने में सबसे बड़ी बाधा आवश्यक रूप से छात्रों को सही ढंग से रैंक करने की क्षमता नहीं है, बल्कि संभाव्यता के नंबरों को ईमानदार बनाने की क्षमता है। एक छोटे से स्थानीय ऐतिहासिक डेटा के साथ मॉडल को समायोजित करने की एक सरल प्रक्रिया का उपयोग करके, स्कूल यह सुनिश्चित कर सकते हैं कि उनकी प्रारंभिक चेतावनी प्रणालियाँ सटीक और कार्रवाई योग्य दोनों हों। अध्ययन निष्कर्ष निकालता है कि जबकि तकनीक शक्तिशाली है, इसका वास्तविक मूल्य इसे कक्षा के विशिष्ट संदर्भ में अनुकूलित करने की इसकी क्षमता में निहित है, जिससे यह सुनिश्चित होता है कि शिक्षकों को भेजी जाने वाली चेतावनियाँ न केवल सांख्यिकीय रूप से सुदृढ़ हैं, बल्कि संघर्ष कर रहे छात्रों की सहायता करने में वास्तव में सहायक भी हैं।