Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
यह अध्ययन प्रदर्शित करता है कि उच्च शिक्षा स्नातक होने की पूर्व में रिपोर्ट की गई लगभग पूर्ण भविष्यवाणियाँ परिणाम-निर्धारित गुणों से उत्पन्न 'टारगेट लीकेज' के कृत्रिम प्रभाव थे, और यह स्थापित करता है कि गाजा के प्रशासनिक अभिलेखों पर एक सुधारा गया, लीकेज-मुक्त प्रोटोकॉल उपयोग करने पर, मशीन लर्निंग मॉडल उच्च लेकिन यथार्थवादी सटीकता (89.16% तक) प्राप्त करते हैं जिसमें पूर्ण किए गए सेमेस्टर की संख्या सबसे मजबूत भविष्यवक्ता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक विश्वविद्यालय में, प्रत्येक छात्र द्वारा एक विशाल डिजिटल पदचिह्न पीछे छोड़ा जाता है। आवेदन करने के क्षण से ही, उनके नाम, ग्रेड और उपस्थिति प्रशासनिक प्रणालियों में दर्ज की जाती है, जिससे शैक्षणिक इतिहास का एक विशाल संग्रह बन जाता है। दशकों से, शोधकर्ता इस डेटा को खोजने के लिए इसका खनन (माइनिंग) करने का प्रयास कर रहे हैं ताकि उन पैटर्न को ढूंढा जा सके जो यह अनुमान लगा सकें कि कौन अपनी डिग्री पूरी करेगा और कौन पढ़ाई छोड़ सकता है। इसका लक्ष्य संघर्ष कर रहे छात्रों की पहचान जल्द से जल्द करना है, ताकि स्कूल समय रहते मदद की पेशकश कर सकें। 'एजुकेशनल डेटा माइनिंग' के रूप में ज्ञात यह क्षेत्र एक सरल लेकिन सख्त नियम पर निर्भर करता है: भविष्यवाणी केवल उस विशिष्ट क्षण में उपलब्ध जानकारी का उपयोग करके की जानी चाहिए। यदि कोई मॉडल ऐसी जानकारी का उपयोग करता है जो उस परिणाम के होने के बाद ही अस्तित्व में आती है, तो वह भविष्य की जानकारी का उपयोग कर रहा है। इस गलती को 'टारगेट लीकेज' कहा जाता है, जो निश्चितता का एक झूठा अहसास पैदा करती है, जिससे एक मॉडल एकदम सटीक दिखने लगता है जबकि वास्तव में वह केवल उत्तर कुंजी (answer key) पढ़ रहा होता है।
गाजा, फिलिस्तीन के शोधकर्ताओं की एक टीम ने वर्ष 2000 से 2019 के बीच यूनिवर्सिटी कॉलेज ऑफ एप्लाइड साइंसेज के बीस वर्षों के रिकॉर्ड का उपयोग करके इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने सूचना प्रौद्योगिकी (इन्फॉर्मेशन टेक्नोलॉजी) के अध्ययन करने वाले लगभग 4,700 छात्रों की फाइलों की जांच की। उनकी जांच की शुरुआत एक चौंकाने वाली खोज के साथ हुई। जब उन्होंने स्कूल के सिस्टम में संग्रहीत डेटा का उपयोग करके स्नातक होने की भविष्यवाणी करने के लिए कंप्यूटर मॉडल बनाए, तो परिणाम संदिग्ध रूप से पूर्ण थे। मॉडलों ने 100 प्रतिशत सटीकता प्राप्त की, जिसका अर्थ था कि उन्होंने एक भी गलती नहीं की। यह एक बड़ी सफलता लग रही थी, लेकिन शोधकर्ताओं को एहसास हुआ कि मॉडल वास्तव में भविष्य की भविष्यवाणी नहीं कर रहे थे। वे केवल डेटाबेस के दो विशिष्ट कॉलमों को देख रहे थे: वह वर्ष जब छात्र स्नातक हुआ और उसका अंतिम ग्रेड औसत। ये संख्याएँ सिस्टम में तभी दिखाई देती हैं जब छात्र ने अपनी डिग्री पूरी कर ली हो। उन्हें शामिल करके, मॉडल को वास्तव में टेस्ट शुरू करने से पहले ही उत्तर बताया जा रहा था।
एक बार जब शोधकर्ताओं ने इन दो "भविष्य की जानकारी" वाले कॉलमों को हटा दिया, तो तस्वीर पूरी तरह बदल गई। मॉडलों को, जिनमें डिसीजन ट्री (decision trees), रैंडम फॉरेस्ट (random forests) और ग्रेडिएंट बूस्टिंग एल्गोरिदम (gradient boosting algorithms) शामिल थे, केवल उस जानकारी के साथ काम करना पड़ा जो छात्र के अध्ययन के दौरान उपलब्ध थी। इन ईमानदार परिस्थितियों में, सटीकता गिरकर एक अधिक यथार्थवादी स्तर पर आ गई, जो लगभग 89 प्रतिशत के आसपास रही। हालांकि यह अभी भी एक मजबूत परिणाम है, लेकिन यह पहले देखी गई असंभव पूर्णता से बहुत दूर है। शोधकर्ताओं ने पाया कि छात्र के स्नातक होने का सबसे शक्तिशाली संकेत उनका ग्रेड पॉइंट औसत (GPA) नहीं था, बल्कि केवल यह था कि उन्होंने कितने सेमेस्टर सफलतापूर्वक पूरे किए हैं। एक छात्र जो लगातार उपस्थित रहा और सत्र समाप्त करता रहा, उसके स्नातक होने की संभावना उस छात्र की तुलना में कहीं अधिक थी जिसके ग्रेड उच्च थे लेकिन जिसने आना बंद कर दिया था। यह सुझाव देता है कि सफलता के लिए निरंतरता (persistence), क्षणिक शैक्षणिक प्रदर्शन की तुलना में एक अधिक मजबूत भविष्यवक्ता है।
अध्ययन ने यह भी देखा कि ये भविष्यवाणियां कितनी जल्दी की जा सकती हैं। जब शोधकर्ताओं ने मॉडलों को केवल उस जानकारी का उपयोग करने के लिए प्रतिबंधित किया जो छात्र के विश्वविद्यालय में आवेदन करते समय उपलब्ध थी—जैसे कि उनके हाई स्कूल के ग्रेड और आयु—तो सटीकता गिरकर लगभग 70 प्रतिशत हो गई। यह इंगित करता है कि हालांकि स्कूल छात्र के आने से पहले ही जोखिम का एक सामान्य अंदाजा लगा सकते हैं, लेकिन वास्तविक तस्वीर तभी उभरती है जब छात्र अपनी यात्रा शुरू करता है और उसकी उपस्थिति का इतिहास बनना शुरू होता है। शोधकर्ताओं ने यह भी जांचा कि क्या मॉडलों ने पुरुष और महिला छात्रों के साथ निष्पक्ष व्यवहार किया। उन्होंने पाया कि मॉडलों ने भेदभाव नहीं किया; वास्तव में, क्योंकि इस विशिष्ट समूह में महिला छात्रों की स्नातक होने की प्राकृतिक दर अधिक थी, इसलिए मॉडलों ने सही ढंग से भविष्यवाणी की कि उनके सफल होने की संभावना अधिक है। अध्ययन के पिछले संस्करण ने लिंग के आधार पर एक अलग नियम का सुझाव दिया था, लेकिन वह एक त्रुटिपूर्ण डेटा से उत्पन्न भ्रम था।
इस कार्य के निहितार्थ केवल गाजा के एक विश्वविद्यालय तक सीमित नहीं हैं। यह उन संस्थानों के लिए एक चेतावनी भरे उदाहरण के रूप में कार्य करता है जो छात्र सफलता के प्रबंधन के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करने के इच्छुक हैं। शोधकर्ताओं ने प्रदर्शित किया कि एक मॉडल अविश्वसनीय रूप से शक्तिशाली दिख सकता है, लेकिन यदि उसे उत्तर देखने की अनुमति दी जाए, तो वह पूरी तरह से बेकार है। उन्होंने अन्य स्कूलों के लिए अपने स्वयं के डेटा में इन छिपे हुए दोषों की जांच करने के लिए एक स्पष्ट पद्धति प्रदान की। विश्वविद्यालय सलाहकारों के लिए, सुधारे गए निष्कर्ष एक व्यावहारिक मार्ग प्रदान करते हैं: केवल कम ग्रेड वाले छात्रों के बजाय उन छात्रों पर ध्यान केंद्रित करें जो कक्षाओं में आना बंद कर देते हैं, और इन भविष्यवाणियों का उपयोग स्वचालित निर्णय के बजाय मानवीय संवाद के लिए एक संकेत के रूप में करें। अध्ययन का निष्कर्ष है कि उच्च सटीकता एक अच्छे मॉडल का एकमात्र पैमाना नहीं है; एक मॉडल जो इस बात के प्रति ईमानदार है कि वह क्या जानता है और वह कैसे जानता है, वह छात्रों को उनकी शिक्षा के माध्यम से मार्गदर्शन करने के लिए कहीं अधिक मूल्यवान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।