Incorporating Feedback into Elo-Based Knowledge Tracing for Iterative Problem Solving
यह शोध पत्र एलो रेटिंग सिस्टम (Elo Rating System) के दो फीडबैक-जागरूक विस्तारों—न्यू आइटम (New Item) और प्रोबेबिलिटी मॉडिफायर (Probability Modifier) मॉडलों—का प्रस्ताव और सत्यापन करता है, जो पुनरावृत्ति समस्या-समाधान परिवेशों में सहायता प्राप्त और बिना सहायता वाले सफलताओं के बीच स्पष्ट रूप से अंतर करके मानक दृष्टिकोणों की तुलना में ज्ञान अनुमान सटीकता में महत्वपूर्ण सुधार करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप कोई जटिल कौशल सीख रहे हैं, जैसे कि किसी नए वीडियो गेम लेवल में महारत हासिल करना या किसी कठिन रसायन विज्ञान की पहेली को हल करना। वास्तविक दुनिया में, यदि आप कहीं अटक जाते हैं, तो आप संकेत के लिए अपने शिक्षक से पूछ सकते हैं, या शायद वे आपको सीधे उत्तर ही बता दें। लेकिन डिजिटल दुनिया में, कंप्यूटर अक्सर आपके उत्तरों के आधार पर यह अनुमान लगाने की कोशिश करता है कि आप कितने बुद्धिमान हैं। ऐसा करने के लिए, वे "नॉलेज ट्रेसिंग" (Knowledge Tracing) नामक एक प्रणाली का उपयोग करते हैं, जो मूल रूप से आपके ज्ञान और आपकी अज्ञानता का एक चलता-फिरना स्कोर रखने का एक तरीका है। इसे करने का एक लोकप्रिय तरीका "एलो रेटिंग सिस्टम" (Elo Rating System) है, जो एक ऐसी विधि है जिसका आविष्कार मूल रूप से शतरंज के खिलाड़ियों को रैंक करने के लिए किया गया था। यह एक सीढ़ी की तरह काम करता है: यदि आप एक कठिन प्रतिद्वंद्वी को हराते हैं, तो आप ऊपर चढ़ते हैं; यदि आप एक आसान प्रतिद्वंद्वी से हार जाते हैं, तो आप नीचे गिरते हैं। बड़ा सवाल यह है कि क्या होता है जब कंप्यूटर आपकी मदद करता है? यदि आप कंप्यूटर द्वारा संकेत दिए जाने के बाद किसी समस्या को हल करते हैं, तो क्या इसे अपने दम पर हल करने के समान माना जाता है? यदि कंप्यूटर अंतर नहीं करता है, तो वह यह सोच सकता है कि आप एक जीनियस हैं जबकि वास्तव में आपको बस थोड़े से धक्के की आवश्यकता थी, या वह यह सोच सकता है कि आप संघर्ष कर रहे थे जबकि आप बस मदद का इंतज़ार कर रहे थे। इस स्कोर को गलत समझना एक समस्या है क्योंकि इसका मतलब है कि कंप्यूटर अगली बार आपको गलत तरह के सबक दे सकता है।
यह शोध पत्र ठीक इसी समस्या को हल करने के लिए इस बात पर ध्यान केंद्रित करता है कि "फीडबैक" (प्रतिपुष्टि) के प्रति एलो रेटिंग सिस्टम को और अधिक स्मार्ट कैसे बनाया जाए। शोधकर्ताओं ने 296 विश्वविद्यालय के छात्रों का अध्ययन किया जो एक जटिल रसायन विज्ञान कार्य पर काम कर रहे थे: एक टाइट्रेशन प्रोटोकॉल (रसायनों को मिलाने की एक चरण-दर-चरण योजना) तैयार करना। ये छात्र जितनी बार चाहें उतनी बार प्रयास कर सकते थे, और हर गलत अनुमान के बाद, सिस्टम ने उन्हें विशिष्ट फीडबैक दिया, जो एक छोटे से संकेत से लेकर पूर्ण सही उत्तर तक विस्तृत था। टीम ने छात्रों के स्कोर को अपडेट करने के दो नए तरीकों का परीक्षण किया जो वास्तव में इस मदद पर ध्यान देते हैं।
पहला विचार, जिसे "न्यू आइटम" (New Item) मॉडल कहा जाता है, समस्या के प्रत्येक संस्करण को एक पूरी तरह से अलग खेल मानता है। यह कहता है, "बिना मदद के इस पहेली को हल करना एक बात है, लेकिन संकेत के साथ इसे हल करना एक पूरी तरह से अलग चुनौती है।" इसलिए, कंप्यूटर उस "संकेत वाले" (hinted) संस्करण के लिए एक अलग स्कोर बनाता है। दूसरा विचार, "प्रोबेबिलिटी मॉडिफायर" (Probability Modifier) मॉडल, थोड़ा जादू की शक्ति जैसा है। यह कहता है, "समस्या वही है, लेकिन संकेत होने से इसे सही करना बहुत आसान हो जाता है।" यह सफलता की संभावनाओं को इस आधार पर समायोजित करता है कि संकेत कितना बड़ा था।
जब शोधकर्ताओं ने इन विचारों का पुराने, मानक तरीके (जो यह अनदेखा करता है कि मदद दी गई थी या नहीं) के मुकाबले परीक्षण किया, तो परिणाम स्पष्ट थे। दोनों नए मॉडल इस बात की भविष्यवाणी करने में काफी बेहतर थे कि छात्र अगला चरण सही करेगा या नहीं। वे न केवल बेहतर अनुमान लगाते थे; वे विभिन्न समूहों के छात्रों में अधिक सुसंगत थे और यहाँ तक कि नए, अनदेखे छात्रों के प्रदर्शन की भी भविष्यवाणी कर सकते थे। इस अध्ययन ने यह सिद्ध करने के लिए 47,224 इंटरैक्शन के डेटासेट का उपयोग किया कि फीडबैक को अनदेखा करने से शिक्षार्थी के ज्ञान की एक धुंधली और गलत तस्वीर बनती है। मदद को स्पष्ट रूप से मॉडल करके, कंप्यूटर को छात्र के वास्तविक ज्ञान का एक स्पष्ट और निष्पक्ष दृश्य प्राप्त होता है, जिससे यह सुनिश्चित होता है कि "स्कोर" वास्तविक कौशल को दर्शाता है, न कि केवल उपलब्ध सहायता की मात्रा को।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।