A Transparent Fuzzy-Inference Layer for Explainable Knowledge Tracing: Why Prerequisite Graphs Must Be Expert-Supplied, and Which T-Norm to Use
यह शोध पत्र यह प्रदर्शित करता है कि क्षमता-कठिनाई के संलग्नीकरण (confounds) के कारण छात्र इंटरेक्शन लॉग से पूर्वोत्तरता ग्राफ (prerequisite graphs) को विश्वसनीय रूप से अनुमानित नहीं किया जा सकता है, और इसके बजाय एक पारदर्शी, विशेषज्ञ-प्रदत्त फजी-अनुमान परत (fuzzy-inference layer) का प्रस्ताव करता है जो, एक पुन: प्रयोज्य स्थानीयकरण-ऑडिट ढांचे के साथ जुड़कर, यह सुनिश्चित करती है कि उत्पाद टी-नॉर्म (product t-norm) पूर्वोत्तरता प्रभावों के मॉडलिंग के लिए इष्टतम सिद्ध होता है, जिससे व्याख्यात्मक ज्ञान अनुरेखण (explainable knowledge tracing) संभव होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कक्षा में, तकनीक एक निरंतर साथी बन गई है, जो ऐसी प्रणालियाँ प्रदान करती है जो यह ट्रैक करती हैं कि छात्र कैसे सीखते हैं और वास्तविक समय में पाठों को अनुकूलित करती हैं। ये प्रणालियाँ, जिन्हें 'नॉलेज ट्रेसिंग' (knowledge tracing) कहा जाता है, एक डिजिटल ट्यूटर की तरह कार्य करती हैं जो गणित की समस्याओं या पढ़ने के प्रश्नों के उत्तरों के छात्र के क्रम पर नज़र रखती है। वे यह भविष्यवाणी करने में बेहद कुशल हैं कि छात्र अगला प्रश्न सही करेगा या गलत। हालाँकि, ये डिजिटल ट्यूटर अक्सर एक 'ब्लैक बॉक्स' की तरह काम करते हैं। वे संकेत तो दे सकते हैं कि एक छात्र किसी विशिष्ट अवधारणा (concept) के साथ संघर्ष कर रहा है, लेकिन वे यह नहीं समझा सकते कि क्यों। वे यह चिह्नित कर सकते हैं कि एक छात्र "भिन्नों के विभाजन" (dividing fractions) में विफल हो रहा है, लेकिन वे शिक्षक को यह नहीं बता सकते कि छात्र ने कौन सी पिछली अवधारणा गलत की थी जिसके कारण यह विफलता हुई। एक मानव शिक्षक के लिए, मूल कारण जानना आवश्यक है; यह वर्तमान विषय को फिर से पढ़ाने और नींव को ठीक करने के बीच का अंतर है। इस स्पष्टता के बिना, सबसे शक्तिशाली भविष्यवाणियाँ भी वास्तविक हस्तक्षेप के लिए बेकार रहती हैं।
शोधकर्ताओं ने कंप्यूटर को यह सिखाकर इस समस्या को हल करने की लंबे समय से आशा की है कि वह अवधारणाओं के जुड़ाव के छिपे हुए मानचित्र को स्वचालित रूप से खोज सके। विचार यह था कि लाखों छात्रों के उत्तरों का विश्लेषण करके, एक एल्गोरिदम यह पता लगा सकेगा कि "भिन्नों का गुणन" (multiplying fractions), "भिन्नों के विभाजन" से पहले एक आवश्यक चरण है, बिना किसी मनुष्य द्वारा मानचित्र बनाए। यदि यह संभव होता, तो सिस्टम किसी भी विषय के लिए सहजता से विस्तार कर पाता और केवल डेटा से ही अपने स्वयं के स्पष्टीकरण उत्पन्न कर पाता। हालाँकि, एक नया अध्ययन इस आशावादी धारणा को चुनौती देता है। यह परीक्षण करके कि क्या इन स्वचालित मानचित्रों को छात्र लॉग से बनाया जा सकता है, शोधकर्ताओं ने पाया कि डेटा में आवश्यक सुराग ही नहीं हैं। कंप्यूटर द्वारा नियमों की खोज करने के बजाय, अध्ययन यह निष्कर्ष निकालता है कि ये मानचित्र मानव विशेषज्ञों द्वारा प्रदान किए जाने चाहिए, और वास्तविक सफलता एक पारदर्शी प्रणाली बनाने में निहित है जो उन विशेषज्ञ मानचित्रों का उपयोग करके कंप्यूटर की भविष्यवाणियों को स्पष्ट करती है।
शोधकर्ताओं ने शुरुआत में तीन अलग-अलग तरीकों का परीक्षण किया जिनका उपयोग कंप्यूटर इन संबंधों को स्वयं सीखने के लिए कर सकता है। उन्होंने एल्गोरिदम को एक लोकप्रिय ऑनलाइन गणित मंच के विशाल इंटरैक्शन लॉग दिए, जहाँ वे उन पैटर्न की तलाश कर रहे थे जहाँ एक कौशल में महारत हासिल करना दूसरे में सफलता की ओर ले जाता प्रतीत होता था। पहला तरीका सूचना प्रवाह (information flow) को देखता था, दूसरा स्वाभाविक रूप से बुद्धिमान छात्रों की सब कुछ सही करने की प्रवृत्ति को फ़िल्टर करने का प्रयास करता था, और तीसरा शेष का अनुमान लगाने के लिए कुछ ज्ञात उदाहरणों का उपयोग करता था। विभिन्न गणितीय दृष्टिकोणों का उपयोग करने के बावजूद, तीनों विफल रहे। जब शोधकर्ताओं ने कंप्यूटर के अनुमानों की तुलना सोलह गणितीय अवधारणाओं के एक ज्ञात, विशेषज्ञ-सत्यापित मानचित्र से की, तो परिणाम यादृच्छिक संयोग (random chance) से मिलते-जुलते थे। एल्गोरिदम एक वास्तविक पूर्व शर्त (prerequisite) और दो असंबंधित कौशलों के बीच अंतर नहीं कर सके, जो केवल एक ही छात्रों द्वारा हल किए गए थे।
इस विफलता का कारण डेटा में एक सूक्ष्म लेकिन शक्तिशाली जाल है। किसी भी कक्षा में, छात्रों की समग्र क्षमता भिन्न होती है; कुछ स्वाभाविक रूप से तेज़ सीखने वाले होते हैं, जबकि अन्य हर चीज़ में संघर्ष करते हैं। यह एक भ्रमित करने वाला संकेत पैदा करता है जहाँ लगभग हर कौशल दूसरे कौशल से संबंधित प्रतीत होता है। एक मेधावी छात्र "भिन्नों को जोड़ने" और "भिन्नों को घटाने" दोनों को सही करता है, इसलिए नहीं कि एक दूसरे का कारण है, बल्कि इसलिए क्योंकि वह गणित में अच्छा है। एक कमजोर छात्र भी उसी कारण से दोनों को गलत करता है। यह "क्षमता का जाल" (ability trap) वास्तविक कारण संबंधी संबंधों को दबा देता है, जिससे कंप्यूटर के लिए अकेले लॉग से मानचित्र सीखना असंभव हो जाता है। शोधकर्ताओं ने दो अन्य विशाल डेटासेट पर इसी समस्या का परीक्षण करके इसकी पुष्टि की, जिनमें से एक में लगभग दस लाख इंटरैक्शन थे और दूसरे में पच्चीस मिलियन से अधिक। हर मामले में, यह जाल बना रहा, जिससे सिद्ध हुआ कि सीमा विशिष्ट एल्गोरिदम की खामी नहीं बल्कि स्वयं डेटा का एक मौलिक गुण है।
चूँकि कंप्यूटर मानचित्र नहीं बना सकता, इसलिए शोधकर्ताओं ने अपना ध्यान एक अलग प्रश्न पर केंद्रित किया: यदि हम कंप्यूटर को एक विशेषज्ञ-सत्यापित मानचित्र दें, तो क्या वह उस मानचित्र का उपयोग अपनी भविष्यवाणियों को स्पष्ट और विश्वसनीय तरीके से समझाने के लिए कर सकता है? उन्होंने मानक भविष्यवाणी इंजन के ऊपर एक नया स्तर बनाया, एक ऐसी प्रणाली जो एक अनुवादक (translator) के रूप में कार्य करती है। यह अनुवादक कंप्यूटर के छात्र के कौशल स्तर के आंतरिक अनुमान को लेता है और उसकी विशेषज्ञ मानचित्र के विरुद्ध जाँच करता है। यदि कंप्यूटर भविष्यवाणी करता है कि एक छात्र कठिन अवधारणा में विफल होगा, तो अनुवादक मानचित्र को देखता है कि कौन सी पिछली अवधारणाएँ आवश्यक हैं। इसके बाद यह एक सरल, पठनीय कथन उत्पन्न करता है: "छात्र जोखिम में है क्योंकि उनकी पूर्व शर्त वाली कौशल की समझ कमजोर है।" महत्वपूर्ण रूप से, यह अनुवादक सीखता या बदलता नहीं है; यह नियमों का एक निश्चित सेट है जिसे कोई भी देख सकता है। यह डिज़ाइन सुनिश्चित करता है कि स्पष्टीकरण हमेशा एक विशिष्ट, ऑडिट योग्य नियम से जुड़ा हो, न कि किसी जटिल न्यूरल नेटवर्क के रहस्यमय आउटपुट से।
टीम ने फिर परीक्षण किया कि क्या यह दृष्टिकोण आज AI निर्णयों को समझाने के लिए उपयोग की जाने वाली मानक विधियों की तुलना में बेहतर काम करता है। उन्होंने अपने नए अनुवादक की तुलना उन लोकप्रिय तकनीकों से की जो यह उजागर करने के लिए कंप्यूटर की सोच को रिवर्स-इंजीनियर करने का प्रयास करती हैं कि कौन से पिछले इंटरैक्शन सबसे महत्वपूर्ण थे। परिणाम चौंकाने वाले थे। मानक विधियाँ अविश्वसनीय थीं; वे अक्सर गलत पिछले इंटरैक्शन की ओर इशारा करती थीं या कई अप्रासंगिक विवरणों पर अपना ध्यान बिखेर देती थीं, जिससे कंप्यूटर की भविष्यवाणी सही होने पर भी वास्तविक कारण की पहचान करने में विफल रही। इसके विपरीत, नया अनुवादक, क्योंकि इसे विशेषज्ञ मानचित्र पर बनाया गया था, लगातार सही पूर्व शर्त की पहचान करता था। इसने यह काम किसी भी अंतर्नि층 कंप्यूटर आर्किटेक्चर के बावजूद किया, और विभिन्न प्रकार के मॉडलों पर समान रूप से प्रभावी रहा। अध्ययन ने दिखाया कि जबकि कंप्यूटर का आंतरिक तर्क मानक स्पष्टीकरण उपकरणों के लिए अक्सर अपारदर्शी था, विशेषज्ञ मानचित्र ने एक विश्वसनीय मार्ग प्रदान किया जिसका अनुवादक बिना किसी विफलता के पालन कर सका।
शोधकर्ताओं ने यह भी जांचा कि इन स्पष्टीकरणों को बनाने के लिए विभिन्न सूचनाओं के टुकड़ों को सर्वोत्तम रूप से कैसे जोड़ा जाए। उन्होंने यह तय करने के लिए चार अलग-अलग गणितीय तरीकों का परीक्षण किया कि कब एक पूर्व शर्त वास्तव में समस्या का कारण होती है। एक विधि बहुत सख्त थी, एक बहुत ढीली थी, और दो बीच की थीं। कंप्यूटर मॉडल के व्यवहार के विरुद्ध अपने विकल्पों की तुलना करके, उन्होंने पाया कि एक विशिष्ट विधि, जिसे 'प्रोडक्ट रूल' (product rule) कहा जाता है, वास्तविकता के साथ सबसे अच्छा तालमेल बिठाती है। यह विधि केवल तभी समस्या को चिह्नित करती थी जब पूर्व शर्त कमजोर होती थी और वर्तमान कौशल भी जोखिम में होता था, जो बहुत संवेदनशील होने और बहुत सख्त होने के बीच सही संतुलन बनाता था। यह निष्कर्ष बताता है कि इन तार्किक चरणों को संयोजित करने का तरीका मायने रखता है, और एक सावधानीपूर्वक चुनाव स्पष्टीकरण को अधिक सटीक बना सकता है।
अंततः, यह अध्ययन शैक्षिक तकनीक के लिए एक स्पष्ट मार्ग प्रदान करता है। यह प्रदर्शित करता है कि छात्र लॉग से ज्ञान की संरचना को स्वचालित रूप से खोजने का प्रयास करना एक असफल प्रयास है; डेटा बहुत शोर भरा है और संबंध सामान्य छात्र क्षमता द्वारा बहुत अधिक धुंधले हैं। इसके बजाय, सबसे प्रभावी दृष्टिकोण यह स्वीकार करना है कि मानव विशेषज्ञों को यह प्रदान करना होगा कि अवधारणाएँ कैसे जुड़ती हैं। एक बार जब वह मानचित्र स्थापित हो जाता है, तो एक पारदर्शी, नियम-आधारित प्रणाली इसका उपयोग अस्पष्ट भविष्यवाणियों को शिक्षकों के लिए स्पष्ट, कार्रवाई योग्य सलाह में बदलने के लिए कर सकती है। इसका मतलब यह नहीं है कि कंप्यूटर कम शक्तिशाली है; इसका अर्थ यह है कि कंप्यूटर अब स्पष्टीकरण प्रदान करने के लिए एक मानव मार्गदर्शक के साथ मिलकर काम कर रहा है जो न केवल सांख्यिकीय रूप से संभावित है, बल्कि तार्किक रूप से सुसंगत और विश्वसनीय भी है। इस कार्य का मूल्य एक ऐसे नए एल्गोरिदम में नहीं है जो तेज़ी से सीखता है, बल्कि एक नए डिज़ाइन सिद्धांत में है जो स्वचालित खोज के भ्रम के बजाय स्पष्टता और शुद्धता को प्राथमिकता देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।