EMSEIF Provides an Explainable AI Framework for Multi Stakeholder Curriculum Feedback and Quality Assurance in Higher Education

विश्वविद्यालय विशाल, डेटा-समृद्ध स्थान हैं जो अक्सर एकत्र की गई सूचनाओं की भारी मात्रा को सार्थक कार्रवाई में बदलने के लिए संघर्ष करते हैं। हर साल, छात्र, शिक्षक, पूर्व छात्र, अभिभावक और नियोक्ता फॉर्म भरते हैं, टिप्पणियाँ लिखते हैं और इस पर चर्चा करने के लिए समितियों में बैठते हैं कि एक पाठ्यक्रम कितनी अच्छी तरह काम कर रहा है। यह फीडबैक गुणवत्ता आश्वासन की जीवनधारा है, फिर भी कई संस्थानों में, यह मैनुअल पठन, सरल प्रतिशत चार्ट और उन समिति विवरणों के कोहरे में खो जाता है जिन्हें विशिष्ट निर्णयों से ट्रैक करना कठिन होता है। मुख्य चुनौती सूचना की कमी नहीं है, बल्कि स्पष्टता की कमी है: आप हजारों व्यक्तिगत आवाजों को, जिनमें से प्रत्येक का एक अलग दृष्टिकोण और बोलने का एक अलग तरीका है, उन्हें सुधार के लिए एक स्पष्ट, निष्पक्ष और कार्रवाई योग्य योजना में कैसे बदल सकते हैं?

यहीं पर शैक्षिक डेटा माइनिंग (educational data mining) का क्षेत्र काम आता है, जो मानवीय फीडबैक में पैटर्न खोजने के लिए कंप्यूटर का उपयोग करने का प्रयास करता है। हालांकि, केवल कंप्यूटर से यह पूछना कि कोई टिप्पणी "अच्छी" है या "बुरी", अक्सर बहुत ही सतही उपकरण साबित होता है। एक छात्र शिक्षक की ऊर्जा की प्रशंसा कर सकता है जबकि साथ ही यह शिकायत भी कर सकता है कि पाठ्यक्रम में वास्तविक दुनिया के प्रोजेक्ट्स की कमी है। उपयोगी होने के लिए, एक प्रणाली को इन बारीकियों को समझने, यह पहचानने की आवश्यकता है कि पाठ्यक्रम का ठीक कौन सा हिस्सा चर्चा में है, और यह समझाने की आवश्यकता है कि उसने उस निष्कर्ष तक पहुँचने के लिए क्या आधार लिया। इसके अलावा, क्योंकि ये निर्णय वास्तविक लोगों की शिक्षा और करियर को प्रभावित करते हैं, इसलिए प्रणाली एक 'ब्लैक बॉक्स' नहीं हो सकती; इसे इतना पारदर्शी होना चाहिए कि मानव नेता इसके सुझावों पर भरोसा कर सकें और इसकी निष्पक्षता को सत्यापित कर सकें।

भारत में एमआईटी आर्ट, डिजाइन एंड टेक्नोलॉजी यूनिवर्सिटी के शोधकर्ताओं ने इस समस्या को हल करने के लिए EMSEIF नामक एक नया ढांचा विकसित किया है। केवल एक ऐसा उपकरण बनाने के बजाय जो परिणामों की भविष्यवाणी करता है, उन्होंने एक पूर्ण प्रणाली बनाई जो कच्चे फीडबैक को ठोस पाठ्यक्रम परिवर्तनों से जोड़ती है और अंतिम निर्णय के लिए एक मानव को प्रभारी रखती है। टीम ने अपने स्वयं के विश्वविद्यालय के वास्तविक, वास्तविक दुनिया के डेटासेट का उपयोग करके इस प्रणाली का परीक्षण किया: 2023-24 का वार्षिक गुणवत्ता आश्वासन रिकॉर्ड। यह संग्रह एक 1,542 पृष्ठों का दस्तावेज़ था जिसमें हजारों फीडबैक फॉर्म, रेटिंग टेबल और आधिकारिक पत्र शामिल थे। शोधकर्ताओं ने इस पूरे संग्रह को 8,742 व्यक्तिगत फीडबैक इकाइयों के एक संरचित डिजिटल पुस्तकालय में परिवर्तित किया, यह सुनिश्चित करते हुए कि प्रत्येक डेटा को यह टैग किया गया हो कि वह किसने कहा, वह किस विभाग से आया और वह किस विशिष्ट विषय से संबंधित था।

इस प्रणाली का हृदय विभिन्न आवाजों को बिना उनके स्वरूप को बदले सुनने की क्षमता है। एक विशिष्ट विश्वविद्यालय में, एक छात्र अधिक "प्रायोगिक अभ्यास" (hands-on practice) के लिए कह सकता है, जबकि एक नियोक्ता "उद्योग एक्सपोजर" (industry exposure) के लिए कह सकता है। ये सुनने में अलग लगते हैं, लेकिन वे एक ही चीज़ की मांग कर रहे हैं। शोधकर्ताओं ने अपने सिस्टम को इन अलग-अलग बोलने के तरीकों को पहचानने और उन्हें एक सामान्य थीम, जैसे कि "व्यावहारिक एक्सपोजर" (practical exposure), के तहत समूहबद्ध करने के लिए प्रशिक्षित किया। उन्होंने एक डिजिटल मानचित्र भी बनाया, जिसे 'नॉलेज ग्राफ' (knowledge graph) कहा जाता है, जो इन विषयों को विशिष्ट पाठ्यक्रमों और सीखने के लक्ष्यों से जोड़ता है। यह प्रणाली को यह देखने की अनुमति देता है कि एक विभाग में "अधिक प्रोजेक्ट्स" की मांग दूसरे विभाग में "बेहतर उपकरणों" की मांग से कैसे जुड़ी हुई है, जिससे सुधार की एक एकीकृत तस्वीर बनती है।

यह सुनिश्चित करने के लिए कि प्रणाली भरोसेमंद हो, शोधकर्ताओं ने इसे व्याख्या योग्य (explainable) बनाया है। जब कंप्यूटर किसी बदलाव का सुझाव देता है, तो वह केवल 'हाँ' या 'ना' में उत्तर नहीं देता। इसके बजाय, यह एक "एविडेंस कार्ड" (evidence card) प्रस्तुत करता है जो दिखाता है कि फीडबैक के किन शब्दों ने सुझाव की ओर संकेत किया, सिस्टम का आत्मविश्वास स्तर कितना है, और क्या विभिन्न समूहों—जैसे छात्रों और नियोक्ताओं—के बीच उस मुद्दे पर सहमति है। यदि सिस्टम पता लगाता है कि वह किसी समूह के साथ अनुचित व्यवहार कर रहा है, तो वह किसी भी सिफारिश से पहले मानव समीक्षा के लिए इसे फ्लैग (flag) करता है। यह "ह्यूमन-इन-द-लूप" (human-in-the-loop) दृष्टिकोण यह सुनिश्चित करता है कि कंप्यूटर डेटा को छाँटने और विश्लेषण करने का भारी काम संभाले, लेकिन एक मानव शैक्षणिक नेता को हमेशा अंतिम कार्रवाई को मंजूरी देनी होगी।

अध्ययन के परिणामों ने दिखाया कि यह दृष्टिकोण पुराने तरीकों की तुलना में काफी बेहतर है। मानक कंप्यूटर मॉडलों के विरुद्ध परीक्षण करने पर, नया सिस्टम विशिष्ट पाठ्यक्रम संबंधी मुद्दों की पहचान करने और यह अनुमान लगाने में बहुत अधिक सटीक पाया गया कि कौन सा फीडबैक कार्रवाई योग्य है। इसने सफलतापूर्वक तीन प्रमुख क्षेत्रों की पहचान की जहाँ सभी हितधारकों ने परिवर्तन की आवश्यकता पर सहमति व्यक्त की थी: अधिक व्यावहारिक, प्रायोगिक सीखने की आवश्यकता; आर्टिफिशियल इंटेलिजेंस और डिजिटल टूल्स में कौशल को अपडेट करने की आवश्यकता; और छात्रों को नौकरी के बाजार के लिए बेहतर तैयार करने की आवश्यकता। उदाहरण के लिए, सिस्टम ने पाया कि जबकि एयरोस्पेस प्रोग्राम के छात्र आम तौर पर संतुष्ट थे, वे विशेष रूप से एयरक्राफ्ट मॉडल और फील्ड विजिट तक अधिक पहुंच चाहते थे, एक ऐसा विवरण जो साधारण समग्र संतुष्टि स्कोर में छूट सकता था।

महत्वपूर्ण रूप से, अध्ययन ने प्रदर्शित किया कि सिस्टम विभिन्न समूहों के बीच निष्पक्षता बनाए रख सकता है। समायोजन से पहले, सिस्टम में कुछ छोटे पूर्वाग्रह देखे गए थे जहाँ यह कुछ विभागों या हितधारक भूमिकाओं के लिए कम सटीक हो सकता था। विशिष्ट सुधार लागू करके, शोधकर्ताओं ने इन अंतरों को एक ऐसे स्तर तक कम कर दिया जो सख्त शासन मानकों को पूरा करता है, यह सुनिश्चित करते हुए कि किसी भी एक आवाज को व्यवस्थित रूप से नजरअंदाज न किया जाए। सिस्टम ने यह भी सिद्ध किया कि यह वास्तव में लिए गए कार्यों के साथ संरेखित हो सकता है। जब शोधकर्ताओं ने कंप्यूटर की सिफारिशों की तुलना विश्वविद्यालय के आधिकारिक "एक्शन-टेकन" (action-taken) पत्रों और समिति विवरणों से की, तो उन्हें एक मजबूत मिलान मिला, जो साबित करता है कि सिस्टम केवल विचार उत्पन्न नहीं कर रहा था, बल्कि उन परिवर्तनों की पहचान कर रहा था जिन्हें संस्थान पहले से ही करने का प्रयास कर रहा था।

शोधकर्ता सावधानीपूर्वक यह नोट करते हैं कि यह कोई जादुई छड़ी नहीं है जो सभी शैक्षिक समस्याओं को स्वचालित रूप से हल कर देती है। यह प्रणाली समर्थन के लिए एक उपकरण है, मानव निर्णय के प्रतिस्थापन के लिए नहीं। यह निर्णय नहीं ले सकता कि सबसे अच्छा पाठ्यक्रम क्या है; यह केवल साक्ष्य को व्यवस्थित कर सकता है ताकि निर्णय लेने वाले लोग पूरी तस्वीर को स्पष्ट रूप से देख सकें। अध्ययन यह भी रेखांकित करता है कि हालांकि यह प्रणाली इस विशिष्ट विश्वविद्यालय के भीतर अच्छी तरह से काम करती है, अन्यत्र इसे लागू करने के लिए विभिन्न संस्कृतियों और नियमों के अनुरूप स्थानीय समायोजन की आवश्यकता होगी। फिर भी, यह कार्य एक स्पष्ट, पुनरुत्पादक ब्लूप्रिंट प्रदान करता है कि कैसे विश्वविद्यालय फीडबैक एकत्र करने से लेकर वास्तव में उसका उपयोग करने तक की प्रक्रिया को पूरा कर सकते हैं, जिससे लोगों के कहने और संस्थानों के करने के बीच के चक्र को पूरा किया जा सके।

अंत में, यह अध्ययन गुणवत्ता आश्वासन के बारे में सोचने का एक नया तरीका प्रदान करता है। यह सुझाव देता है कि फीडबैक का मूल्य अंतिम स्कोर या औसत रेटिंग में नहीं, बल्कि टिप्पणियों के भीतर छिपे विशिष्ट, कार्रवाई योग्य साक्ष्य में निहित है। उन्नत कंप्यूटर विश्लेषण को मानव निरीक्षण और निष्पक्षता के प्रति प्रतिबद्धता के साथ जोड़कर, शोधकर्ताओं ने दिखाया है कि यह संभव है कि एक अराजक कागजी ढेर को सुधार के एक स्पष्ट, सुगम पथ में बदला जा सके। सिस्टम केवल विश्वविद्यालयों को यह नहीं बताता कि क्या गलत है; यह उन्हें दिखाता है कि उन्हें कहाँ देखना चाहिए, यह क्यों महत्वपूर्ण है, और इसे कैसे ठीक किया जाए, और इस पूरी प्रक्रिया में मानवीय आवाज को केंद्र में रखता है।