Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

हर साल, दुनिया भर के विश्वविद्यालय एक शांत संकट का सामना करते हैं: उनके छात्रों का एक महत्वपूर्ण हिस्सा डिग्री पूरी करने से पहले ही पढ़ाई छोड़ देता है। यह न केवल छात्रों के लिए एक नुकसान है, जिन्हें अक्सर खराब नौकरी के अवसर और कम आय का सामना करना पड़ता है, बल्कि संस्थानों के लिए भी एक भारी वित्तीय झटका है। दशकों से, शोधकर्ताओं ने कंप्यूटर प्रोग्राम बनाकर इस पहेली को सुलझाने की कोशिश की है जो यह पहचान सकें कि कौन से छात्र पढ़ाई छोड़ने वाले हैं। ये प्रोग्राम, जिन्हें मशीन लर्निंग मॉडल कहा जाता है, छात्र के इतिहास—उनके ग्रेड, उनकी वित्तीय स्थिति और उनकी पृष्ठभूमि—का विश्लेषण करके उनके भविष्य की भविष्यवाणी करते हैं। लक्ष्य हमेशा जोखिम वाले छात्रों को जल्दी पकड़ना रहा है ताकि स्कूल बहुत देर होने से पहले मदद दे सकें। हालाँकि, इन प्रयासों में एक गंभीर खामी बनी रही है। जबकि कंप्यूटर एक भविष्यवाणी कर सकते हैं, वे शायद ही कभी स्कूल को यह बताते हैं कि उन्हें उस भविष्यवाणी पर कितना भरोसा करना चाहिए। एक मॉडल कह सकता है कि एक छात्र जोखिम में है, लेकिन वह यह बताने का कोई तरीका नहीं देता कि वह चेतावनी एक ठोस तथ्य है या एक कमजोर अनुमान। भविष्यवाणी की विश्वसनीयता को जाने बिना, स्कूल उन छात्रों पर संसाधन बर्बाद करने का जोखिम उठाते हैं जो वास्तव में ठीक हैं, या इससे भी बदतर, उन छात्रों को मिस कर देते हैं जिन्हें वास्तव में मदद की जरूरत है।

केंटकी विश्वविद्यालय के एक शोधकर्ता काजी शब्बीर अहमद नहीन का एक नया अध्ययन इस समस्या को हल करने के लिए इस बात को बदलकर संबोधित करता है कि ये भविष्यवाणियाँ कैसे दी जाती हैं। कंप्यूटर से "यह छात्र पढ़ाई छोड़ देगा" या "यह छात्र स्नातक होगा" जैसा एक एकल, निश्चित उत्तर देने के बजाय, यह अध्ययन 'कॉन्फ़ॉर्मल प्रेडिक्शन' (conformal prediction) नामक पद्धति का उपयोग करता है। यह दृष्टिकोण कंप्यूटर से यह मांग करता है कि वह परिणामों के एक संभावित सेट के साथ-साथ इस बात की गारंटी भी दे कि वह सेट कितनी बार सही होगा। इसे एक मौसम पूर्वानुमानकर्ता के बीच के अंतर के रूप में सोचें जो बिना किसी संदर्भ के कहता है "कल बारिश होगी", बनाम यह कहना कि "95 प्रतिशत संभावना है कि कल बारिश होगी, और यदि हम गलत हुए, तो वह इस विशिष्ट सीमा के भीतर होगा।" शोधकर्ता ने एक पुर्तगाली विश्वविद्यालय के 4,400 से अधिक छात्रों के डेटा पर इस पद्धति को लागू किया, यह देखने के लिए छह अलग-अलग प्रकार के कंप्यूटर मॉडलों का परीक्षण किया कि कौन से मॉडल यह बेहतर भविष्यवाणी कर सकते हैं कि छात्र स्नातक होगा, पढ़ाई छोड़ देगा, या केवल नामांकित रहेगा।

अध्ययन में पाया गया कि कंप्यूटर मॉडल वास्तव में स्नातक होने वाले और पढ़ाई छोड़ने वाले छात्रों के बीच अंतर करने में काफी अच्छे थे। सबसे अच्छा प्रदर्शन करने वाले मॉडलों ने, जो डेटा से सीखने के लिए उन्नत तकनीकों का उपयोग करते थे, केवल दो अंतिम परिणामों: स्नातक या ड्रॉपआउट को देखते समय लगभग 90 प्रतिशत मामलों में परिणाम को सही ढंग से पहचाना। हालाँकि, वास्तविक सफलता तब आई जब शोधकर्ताओं ने अनिश्चितता की एक परत जोड़ी। जब मॉडलों से अत्यधिक आश्वस्त होने के लिए कहा गया—विशेष रूप से, 95 प्रतिशत समय सही होने के लिए—तो उन्होंने प्रत्येक छात्र के लिए एक एकल उत्तर देने के लिए दबाव नहीं डाला। इसके बजाय, लगभग 9 से 12 प्रतिशत छात्रों के लिए, मॉडलों ने "स्नातक" और "ड्रॉपआउट" दोनों को शामिल करने वाला एक सेट वापस किया। यह कंप्यूटर की विफलता नहीं थी; यह नई पद्धति की सफलता थी। इसका अर्थ था कि इन विशिष्ट छात्रों के लिए, उपलब्ध साक्ष्य एक भविष्य के ऊपर दूसरे को चुनने के लिए पर्याप्त मजबूत नहीं थे। कंप्यूटर ईमानदारी से स्वीकार कर रहा था, "मैं अभी निश्चित नहीं हो सकता।"

जब शोधकर्ताओं ने एक तीसरा वर्ग शामिल किया: वे छात्र जो अभी भी नामांकित हैं लेकिन स्नातक नहीं हुए हैं, तो यह अनिश्चितता और भी स्पष्ट हो गई। इस अधिक जटिल परिदृश्य में, मॉडलों ने पाया कि लगभग 40 प्रतिशत छात्रों के लिए, साक्ष्य कई संभावित भविष्य की ओर इशारा करते थे। "अभी नामांकित" समूह एक संक्रमणकालीन अवस्था का प्रतिनिधित्व करता है जहाँ छात्र का मार्ग वास्तव में अनिश्चित होता है। इन छात्रों पर एक एकल लेबल थोपकर, पिछले अध्ययनों ने इस तथ्य को छिपा दिया होगा कि भविष्यवाणी अस्थिर थी। हालाँकि, नया ढांचा इस अस्पष्टता को दृश्यमान बनाता है। इसने दिखाया कि छात्रों के एक बड़े हिस्से के लिए, प्रक्षेपवक्र (trajectory) अभी स्पष्ट नहीं था, और कंप्यूटर अंतिम परिणाम की भविष्यवाणी नहीं कर सकता था। स्कूल प्रशासकों के लिए यह एक महत्वपूर्ण अंतर है, क्योंकि यह उन्हें एक कमजोर अनुमान को ठोस तथ्य के समान महत्व देने से रोकता है।

केवल अनिश्चितता को मापने के अलावा, अध्ययन ने यह भी देखा कि कौन से कारक इन भविष्यवाणियों को संचालित कर रहे थे। कंप्यूटर की निर्णय लेने की प्रक्रिया को तोड़ने वाली एक तकनीक का उपयोग करते हुए, शोधकर्ताओं ने पाया कि सबसे मजबूत संकेत छात्र की शैक्षणिक प्रगति से आए थे। विशेष रूप से, छात्र द्वारा पास किए गए पाठ्यक्रमों की संख्या और उनके दूसरे सेमेस्टर के ग्रेड उनके भविष्य के सबसे शक्तिशाली संकेतक थे। वित्तीय तनाव ने भी बड़ी भूमिका निभाई; छात्र जो ट्यूशन भुगतान में पीछे थे या कर्ज में डूबे हुए थे, उनके जोखिम में होने की संभावना अधिक थी। ये निष्कर्ष छात्रों के स्कूल छोड़ने के कारणों के बारे में लंबे समय से चली आ रही थ्योरीज़ के अनुरूप हैं, जो पुष्टि करते हैं कि शैक्षणिक एकीकरण और वित्तीय स्थिरता दोनों ही निरंतरता के प्रमुख स्तंभ हैं। अध्ययन ने यह दावा नहीं किया कि ये कारक छात्रों को स्कूल छोड़ने के लिए मजबूर करते हैं, बल्कि यह कि वे सबसे विश्वसनीय सुराग हैं जिनका उपयोग कंप्यूटर परेशानी को पहचानने के लिए कर सकता है।

इस कार्य के निहितार्थ व्यावहारिक और तत्काल हैं कि विश्वविद्यालय अपने संसाधनों का प्रबंधन कैसे करें। अध्ययन इन भविष्यवाणियों पर कार्रवाई करने के लिए एक स्तरीय प्रणाली का प्रस्ताव करता है। यदि किसी छात्र का 'प्रेडिक्शन सेट' में केवल "ड्रॉपआउट" है, तो स्कूल उन्हें ट्यूटरिंग या वित्तीय परामर्श जैसे तत्काल, गहन समर्थन के लिए प्राथमिकता दे सकता है। यदि सेट में केवल "ग्रेजुएट" है, तो छात्र को बिना किसी अनावश्यक हस्तक्षेप के अपनी पढ़ाई जारी रखने के लिए अकेला छोड़ा जा सकता है। लेकिन जिन छात्रों के प्रेडिक्शन सेट में कई परिणाम शामिल हैं—जिनके बारे में कंप्यूटर तय नहीं कर पा रहा है—अध्ययन उनके लिए एक अलग दृष्टिकोण का सुझाव देता है। इन छात्रों को करीबी नज़र के लिए मानव सलाहकारों के पास भेजा जाना चाहिए। एक परामर्शदाता अधिक जानकारी एकत्र कर सकता है, जैसे छात्र से बात करना या उनकी उपस्थिति की जाँच करना, ताकि निर्णय लेने से पहले अनिश्चितता को हल करने में मदद मिल सके। यह कंप्यूटर को एक अंतिम न्यायाधीश के बजाय एक सहायक उपकरण में बदल देता है जो यह उजागर करता है कि मानव निर्णय की सबसे अधिक आवश्यकता कहाँ है।

अंततः, यह शोध बताता है कि छात्र सहायता का भविष्य हमेशा सही रहने वाले कंप्यूटर बनाने में नहीं है, बल्कि ऐसे सिस्टम बनाने में है जो यह बताने में ईमानदार हों कि वे कब अनिश्चित हैं। अनिश्चितता को मापकर, स्कूल अनुमान लगाना बंद कर सकते हैं और सूचित निर्णय ले सकते हैं। वे अपने सीमित संसाधनों को उन छात्रों की ओर निर्देशित कर सकते हैं जिन्हें उनकी सबसे अधिक आवश्यकता है, जबकि उन मामलों में हस्तक्षेप के कलंक और बर्बादी से बच सकते हैं जहाँ परिणाम वास्तव में स्पष्ट है। अध्ययन निष्कर्ष निकालता है कि जबकि मशीन लर्निंग छात्र डेटा में पैटर्न खोजने के लिए एक शक्तिशाली उपकरण है, इसे विश्वसनीयता मापने वाली पद्धतियों के साथ जोड़ा जाना चाहिए। तभी ये सिस्टम वास्तव में हर छात्र को सफलता की रेखा तक पहुँचाने के लक्ष्य में सहायता कर सकते हैं।