Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems
यह शोध पत्र KCGen-KT को प्रस्तुत करता है, जो एक स्वचालित LLM-आधारित पाइपलाइन है जो ओपन-एंडेड कोडिंग समस्याओं के लिए नॉलेज कंपोनेंट्स (ज्ञान घटकों) को उत्पन्न और टैग करती है, और व्यापक मूल्यांकन के माध्यम से यह प्रदर्शित करती है कि ये AI-जनरेटेड घटक छात्र प्रदर्शन की भविष्यवाणी करने और लर्निंग कर्व्स को मॉडल करने में पारंपरिक मानव-लिखित घटकों से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो यह समझने की कोशिश कर रहे हैं कि एक छात्र को कोडिंग क्लास में वास्तव में किस चीज़ में कठिनाई हो रही है। पुराने दिनों में, आपको मैन्युअल रूप से विशिष्ट कौशल (जैसे "लूप का उपयोग करना जानना" या "संख्याओं को जोड़ना समझना") की एक सूची लिखनी पड़ती और फिर हर होमवर्क समस्या को उन कौशलों के साथ टैग करना पड़ता। यह एक लाइब्रेरियन द्वारा एक विशाल लाइब्रेरी के लिए हर किताब का कार्ड कैटलॉग मैन्युअल रूप से लिखने जैसा है; इसमें बहुत समय लगता है, मानवीय त्रुटियों की संभावना होती है, और यह बेहद उबाऊ है।
यह पेपर इस काम को करने के एक नए, स्वचालित तरीके को पेश करता है जो आर्टिफिशियल इंटेलिजेंस (विशेष रूप से, लार्ज लैंग्वेज मॉडल्स या LLMs) का उपयोग करता है, लेकिन एक ट्विस्ट के साथ: यह ओपन-एंडेड कोडिंग समस्याओं के लिए काम करता है, जहाँ छात्र शून्य से अपना खुद का कोड लिखते हैं, न कि केवल बहुविकल्पीय उत्तरों को चुनते हैं।
यहाँ इसका विवरण दिया गया है कि उन्होंने क्या किया, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "ओपन-एंडेड" अराजकता
बहुविकल्पीय प्रश्नों में, केवल एक ही सही उत्तर होता है, इसलिए यह अनुमान लगाना आसान है कि किस कौशल का परीक्षण किया जा रहा था। लेकिन कोडिंग में, छात्र एक ही समस्या को दस अलग-अलग तरीकों से हल कर सकते हैं। एक छात्र "for loop" का उपयोग कर सकता है, जबकि दूसरा "रेगुलर एक्सप्रेशंस" का उपयोग कर सकता है। दोनों सही उत्तर प्राप्त करते हैं, लेकिन उन्होंने अलग-अलग कौशलों का उपयोग किया।
- उपमा: कल्पना कीजिए कि लोगों को पक्षी का घर (birdhouse) बनाने के लिए कहा जा रहा है। यदि आप उन्हें एक बहुविकल्पीय क्विज़ देते हैं, तो आप जानते हैं कि उन्होंने क्या सीखा। लेकिन यदि आप उनसे इसे बनाने के लिए कहते हैं, तो एक व्यक्ति हथौड़े और कीलों का उपयोग कर सकता है, जबकि दूसरा गोंद और लकड़ी का। तैयार पक्षी के घर को देखकर यह पता लगाना कि प्रत्येक व्यक्ति ने वास्तव में किन कौशलों का उपयोग किया है, बहुत कठिन है।
2. समाधान: AI "स्किल डिटेक्टिव" (कौशल जासूस)
लेखकों ने एक तीन-चरणीय स्वचालित पाइपलाइन बनाई है जो एक "स्किल डिटेक्टिव" के रूप में कार्य करती है:
- चरण 1: जांच (जेनरेशन): वे AI को एक कोडिंग समस्या और विभिन्न छात्र समाधानों (सही और गलत दोनों) का एक समूह देते हैं। AI एक जासूस की तरह कार्य करता है, कोड को पढ़ता है और कहता है, "आह, इसे हल करने के लिए, आपको 'If statement' का उपयोग करना और 'Absolute values के साथ Math' करना जानने की आवश्यकता थी।" यह इन कौशलों (जिन्हें नॉलेज कंपोनेंट्स, या KC कहा जाता है) की एक सूची बनाता है।
- चरण 2: सॉर्टिंग हैट (क्लस्टरिंग): AI एक ही कौशल के लिए 100 थोड़े अलग नाम उत्पन्न कर सकता है (जैसे, "If-Else," "Conditional Logic," "Decision Making")। यह सिस्टम समान विचारों को एक साथ समूहित करता है, जैसे मिश्रित मोजों के ढेर को जोड़ों में छाँटना।
- चरण 3: लेबल मेकर (समराइजेशन): अंत में, AI प्रत्येक समान कौशल समूह को देखता है और उन्हें एक स्पष्ट, मानव-पठनीय नाम (जैसे "Conditional Logic") देता है। फिर यह इन नए, साफ लेबल के साथ प्रत्येक समस्या को टैग करता है।
3. परिणाम: एक स्मार्ट ट्यूटर (KCGen-KT)
एक बार जब AI के पास ये स्किल लेबल आ जाते हैं, तो उन्होंने एक नया "नॉलेज ट्रेसिंग" सिस्टम बनाया जो KCGen-KT कहलाता है।
- यह कैसे काम करता है: केवल यह अनुमान लगाने के बजाय कि छात्र अगला प्रश्न सही करेगा या गलत, यह सिस्टम विशिष्ट कौशलों के साथ छात्र के इतिहास को देखता है। यह पूछता है, "क्या यह छात्र 'Loops' के साथ संघर्ष कर रहा है लेकिन 'Variables' में माहिर है?"
- जादू: सिस्टम छात्र के कौशल स्तर को एक "सॉफ्ट टोकन" (एक डिजिटल सिग्नल) में अनुवादित करता है जिसे AI पढ़ सकता है। यह AI को न केवल यह बताने की अनुमति देता है कि छात्र विफल होगा या नहीं, बल्कि यह भी कि उसका अगला कोड कैसा दिखेगा।
4. प्रमाण: क्या यह काम कर गया?
शोधकर्ताओं ने दो वास्तविक दुनिया के डेटासेट्स पर इसका परीक्षण किया जिसमें छात्रों के हजारों कोडिंग सबमिशन शामिल थे (एक जावा में, एक पायथन में)।
- इंसानों से बेहतर: आश्चर्यजनक रूप से, AI-जनरेटेड स्किल टैग ने वास्तव में मानव विशेषज्ञों द्वारा लिखे गए टैग की तुलना में प्रदर्शन का बेहतर अनुमान लगाया।
- पुराने AI से बेहतर: नया सिस्टम उन पिछले अत्याधुनिक AI मॉडल्स को भी पछाड़ गया जिनमें ये विशिष्ट स्किल टैग नहीं थे।
- "लर्निंग कर्व" की जाँच: उन्होंने यह जाँचने के लिए कि क्या सिस्टम "लॉ ऑफ प्रैक्टिस" (यह विचार कि अभ्यास करने से लोग बेहतर होते हैं) का पालन करता है, इसकी जांच की। AI-जनरेटेड स्किल्स ने एक स्पष्ट पैटर्न दिखाया: जैसे-जैसे छात्रों ने एक विशिष्ट कौशल का अधिक अभ्यास किया, उनकी त्रुटि दर कम होती गई। इससे यह सिद्ध हुआ कि AI वास्तविक, सार्थक कौशलों की पहचान कर रहा था।
- मानवीय स्वीकृति: जब उन्होंने AI के काम को वास्तविक कंप्यूटर साइंस शिक्षकों को दिखाया, तो शिक्षकों ने सहमति व्यक्त की कि AI के कौशल विवरण स्पष्ट, समझने योग्य और सटीक थे।
सारांश
संक्षेप में, यह पेपर कहता है: "हमने एक AI को यह सिखाया कि छात्र अपने कोडिंग होमवर्क में वास्तव में किन कौशलों का उपयोग कर रहे हैं, इसे स्वचालित रूप से कैसे पहचाना जाए। फिर हमने इन AI-जनरेटेड स्किल टैग्स का उपयोग करके एक स्मार्ट सिस्टम बनाया जो भविष्य में छात्रों के प्रदर्शन की भविष्यवाणी करता है। यह मानव विशेषज्ञों और पिछले AI तरीकों दोनों से बेहतर काम करता है, और यह हमें छात्र सीखने को एक ऐसे तरीके से समझने में मदद करता है जो स्पष्ट और व्याख्या योग्य है।"
उन्होंने क्या दावा नहीं किया:
- उन्होंने यह दावा नहीं किया कि यह शिक्षकों की जगह लेता है; उन्होंने स्पष्ट रूप से कहा कि यह उन्हें सहायता करने के लिए है।
- उन्होंने अभी तक इस पर गणित या विज्ञान की समस्याओं का परीक्षण नहीं किया है (केवल कोडिंग)।
- उन्होंने यह दावा नहीं किया कि यह पूर्ण है; उन्होंने नोट किया कि कभी-कभी AI उन कौशलों को मिस कर देता है जो समस्याओं के बीच साझा किए जाते हैं क्योंकि यह एक-एक करके उनका विश्लेषण करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।