From Mastery Profile to Simulated Response: Stochastic Student Knowledge Graphs (SSKG) for Faithful LLM Student Simulation
यह शोध पत्र एक स्टोकेस्टिक स्टूडेंट नॉलेज ग्राफ (SSKG) फ्रेमवर्क प्रस्तुत करता है जो उत्तर की शुद्धता को जनरेशन से अलग करके मानक LLMs की उच्च महारत (high mastery) की ओर झुकने की प्रवृत्ति को दूर करता है, जिससे एक स्पष्ट महारत ग्रेडिएंट के साथ विविध छात्र दक्षता स्तरों का निष्ठापूर्ण अनुकरण सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
शिक्षा की दुनिया में, एक छात्र वास्तव में क्या जानता है और वह कहाँ संघर्ष कर रहा है, इसे ठीक से समझना प्रभावी शिक्षण की कुंजी है। दशकों से, शोधकर्ताओं ने ऐसे कंप्यूटर मॉडल बनाने की कोशिश की है जो एक छात्र के मस्तिष्क की नकल कर सकें, जिससे नए ट्यूटरिंग सिस्टम का परीक्षण करने या वास्तविक छात्रों के किसी पाठ को देखने से पहले आर्टिफिशियल इंटेलिजेंस को प्रशिक्षित करने के लिए सिंथेटिक डेटा बनाया जा सके। उम्मीद यह है कि वास्तविक कक्षाओं को भर्ती करने की समय, लागत और नैतिक बाधाओं के बिना हजारों यथार्थवादी अभ्यास परिदृश्य उत्पन्न किए जा सकें। हाल ही में, शक्तिशाली लैंग्वेज मॉडल्स (भाषा मॉडल) इस कार्य के लिए एक आशाजनक उपकरण के रूप में उभरे हैं। ये उसी प्रकार के आर्टिफिशियल इंटेलिजेंस हैं जो निबंध लिख सकते हैं, जटिल तर्क पहेलियों को हल कर सकते हैं, और कठिन अवधारणाओं को सरल शब्दों में समझा सकते हैं। विचार यह है कि बस कंप्यूटर को "एक संघर्ष कर रहे छात्र की तरह व्यवहार करने" के लिए कहें और उसे उत्तर उत्पन्न करने दें। हालाँकि, एक मौलिक समस्या बनी हुई है: ये मॉडल इतने बुद्धिमान हैं कि वे कम बुद्धिमान होने का ढोंग आसानी से नहीं कर सकते। जब उन्हें एक ऐसे छात्र का अनुकरण करने के लिए कहा जाता है जिसे बहुत कम जानकारी है, तो कंप्यूटर अक्सर निर्देश को अनदेखा कर देता है और फिर भी सही उत्तर देता है, क्योंकि इसकी आंतरिक जानकारी एक साधारण अनुरोध द्वारा दबाने के लिए बहुत मजबूत होती है।
ड्रेक्सल यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस "नकली संघर्ष" की समस्या को हल करने के लिए हाथ डाला। वे एक ऐसा सिमुलेशन बनाना चाहते थे जहाँ एक कृत्रिम छात्र का प्रदर्शन उनके ज्ञान में कमी आने पर एक अनुमानित और यथार्थवादी तरीके से गिरे, न कि निर्देश के बावजूद हमेशा पूर्ण बना रहे। इसे करने के लिए, उन्होंने कंप्यूटर से यह अनुमान लगाने के बजाय कि एक छात्र कैसे व्यवहार करेगा, एक विस्तृत विषय मानचित्र (मैप) बनाया। उन्होंने एक ओपन अलgebra (बीजगणित) की पाठ्यपुस्तक ली और उसे हजारों छोटे, विशिष्ट तथ्यों और चरणों में विभाजित किया, जिससे ज्ञान का एक संरचित नेटवर्क तैयार हुआ। इसके बाद उन्होंने एक सिम्युलेटेड छात्र के लिए प्रत्येक इन छोटे चरणों के लिए सफलता की संभावना निर्धारित की। यदि किसी छात्र के पास एक विशिष्ट तथ्य जानने की 20 प्रतिशत संभावना थी, तो सिमुलेशन बेतरतीब ढंग से यह निर्णय लेता था कि वे उसे जानते हैं या नहीं, ठीक वैसे ही जैसे एक वास्तविक व्यक्ति दबाव में किसी विवरण को भूल सकता है।
शोधकर्ताओं ने इस नए दृष्टिकोण का परीक्षण SAT (एक मानकीकृत परीक्षा जिसका उपयोग कॉलेज तत्परता का आकलन करने के लिए किया जाता है) के 379 बीजगणित प्रश्नों का उपयोग करके किया। उन्होंने पहले पारंपरिक विधि का प्रयास किया, जिसमें तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स को कौशल के विभिन्न स्तरों—विशेषज्ञों से लेकर गंभीर रूप से संघर्ष करने वालों तक—के रूप में कार्य करने के लिए कहा गया। परिणाम स्पष्ट थे। चाहे कंप्यूटर को जीनियस बनने के लिए कहा गया हो या नौसिखिया बनने के लिए, इसने 96.8 से 100 प्रतिशत प्रश्नों के उत्तर सही दिए। मॉडल गणित में खराब होने के निर्देशों को प्रभावी ढंग से अनदेखा कर रहे थे। सिमुलेशन एक ऐसे छात्र के बीच अंतर करने में विफल रहा जो सब कुछ जानता है और एक ऐसा जो लगभग कुछ भी नहीं जानता।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नई प्रणाली पेश की जो इस निर्णय को कि उत्तर सही है या नहीं, से अलग करती है कि कारण क्या है। सबसे पहले, सिस्टम किसी गणितीय समस्या को हल करने के लिए आवश्यक तथ्यों की विशिष्ट श्रृंखला (चेन) की जांच करता है। यह छात्र के ज्ञान के मानचित्र की इस श्रृंखला के साथ तुलना करता है। यदि छात्र को किसी विशिष्ट अवधारणा के साथ संघर्ष करना है, तो सिस्टम बेतरतीब ढंग से निर्णय लेता है कि छात्र उस विशिष्ट चरण में विफल रहा। यह निर्णय एक सरल गणितीय प्रक्रिया द्वारा किया जाता है, न कि लैंग्वेज मॉडल द्वारा। केवल यह तय करने के बाद कि उत्तर सही है या गलत, और किस चरण के कारण त्रुटि हुई, सिस्टम लैंग्वेज मॉडल से स्पष्टीकरण लिखने के लिए कहता है। मॉडल को फिर एक प्रथम-पुरुष कहानी (first-person story) सुनाने का निर्देश दिया जाता है जो पूर्व-निर्धारित परिणाम से मेल खाती हो। यदि सिस्टम ने यह तय किया कि छात्र इसलिए विफल हुआ क्योंकि वह इकाइयों को बदलना भूल गया था, तो मॉडल उस विशिष्ट भ्रम के बारे में एक कहानी लिखता है। यदि सिस्टम ने तय किया कि छात्र सफल रहा, तो वह एक आत्मविश्वासी स्पष्टीकरण लिखता है।
इस नई पद्धति के परिणाम पारंपरिक दृष्टिकोण का पूर्ण उलट थे। जब इस नए सिस्टम का उपयोग किया गया, तो सिम्युलेटेड छात्रों की सटीकता एक सुचारू, तार्किक ढाल (ग्रेडिएंट) में गिरी। "निकट-विशेषज्ञ" छात्रों ने लगभग 85 प्रतिशत प्रश्न सही किए, जबकि "संघर्ष कर रहे" छात्रों ने केवल लगभग 44 प्रतिशत। महत्वपूर्ण रूप से, त्रुटियां यादृच्छिक (रैंडम) नहीं थीं। जब शोधकर्ताओं ने एक ऐसे छात्र का प्रोफाइल बनाया जो शुरुआती बीजगणित में अच्छा है लेकिन उन्नत विषयों में बुरा है, तो सिमुलेशन ने विशेष रूप से उन प्रश्नों पर विफल होते हुए दिखाया जिनमें उन्नत ज्ञान की आवश्यकता थी। इसी तरह, बुनियादी बातों में अंतराल वाले छात्र के लिए, सिमुलेशन ने आधारभूत प्रश्नों पर विफलता दिखाई। सिस्टम हर गलत उत्तर को ठीक उस सूक्ष्म तथ्य तक ट्रैक कर सकता था जिसे छात्र ने मिस किया था, जिससे निदान (डायग्नोस्टिक) का एक ऐसा स्तर प्राप्त हुआ जो वास्तविक कक्षा के डेटा में दुर्लभ है।
शोधकर्ताओं ने अपने नए सिस्टम के विभिन्न स्तरों का परीक्षण भी किया ताकि देखा जा सके कि कौन से हिस्से सबसे महत्वपूर्ण हैं। उन्होंने पाया कि केवल कंप्यूटर को तथ्य भूलने के लिए कहना पर्याप्त नहीं था; सिस्टम को यह समझने की आवश्यकता थी कि कुछ तथ्य दूसरों की तुलना में अधिक महत्वपूर्ण हैं। उदाहरण के लिए, शब्दावली की परिभाषा भूलना अनिवार्य रूप से एक पूरे प्रश्न में विफल होने का कारण नहीं होना चाहिए, लेकिन एक प्रक्रियात्मक चरण को चूक जाना ऐसा कर सकता है। इन विभिन्न प्रकार के ज्ञान को भार (weight) देकर, सिमुलेशन बहुत अधिक यथार्थवादी बन गया। उन्होंने यह भी पाया कि सिस्टम सामान्य छात्र गलतियों से मेल खाने वाले विशिष्ट गलत उत्तर उत्पन्न कर सकता था, न कि केवल एक यादृच्छिक गलत विकल्प चुन सकता था। इसने सिमुलेशन को न केवल एक स्कोर, बल्कि एक विस्तृत मानचित्र बनाने में सक्षम बनाया कि एक छात्र का दिमाग कैसे काम करता है, जिससे यह पता चलता है कि उनकी समझ में दरारें कहाँ हैं।
यह कार्य बताता है कि मानव सीखने का वास्तव में अनुकरण करने के लिए, हम आर्टिफिशियल इंटेलिजेंस पर यह अनुमान लगाने के लिए भरोसा नहीं कर सकते कि एक छात्र कैसे सोचता है। इसके बजाय, हमें एक ऐसा ढांचा बनाना होगा जो स्पष्ट रूप से ज्ञान की संरचना और मानवीय त्रुटि की अनिश्चितता को मॉडल करता हो। पाठ्यक्रम के मानचित्र में सिमुलेशन को स्थापित करके और प्रत्येक चरण के परिणाम को संयोग (चांस) पर छोड़कर, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जो बड़ी मात्रा में यथार्थवादी, नैदानिक डेटा उत्पन्न कर सकता है। यह शिक्षकों और डेवलपर्स को नए शिक्षण तरीकों का परीक्षण करने और बेहतर ट्यूटरिंग सिस्टम बनाने में मदद कर सकता है, जिससे यह सुनिश्चित हो सके कि वे वास्तविक कक्षा में उपयोग किए जाने से पहले मानव सीखने की जटिल और अप्रत्याशित वास्तविकता के लिए तैयार हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।