Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems
यह शोध पत्र ओपन-एंडेड छात्र कोड से सूक्ष्म-स्तरीय ज्ञान घटक-स्तर (knowledge component-level) की शुद्धता लेबल उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाने वाला एक स्वचालित ढांचा प्रस्तावित करता है, जो यह प्रदर्शित करता है कि यह दृष्टिकोण पारंपरिक समस्या-स्तर की लेबलिंग विधियों की तुलना में अधिक संज्ञानात्मक रूप से सुसंगत लर्निंग कर्व्स और बेहतर भविष्य कहनेवाला प्रदर्शन प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र के निबंध को ग्रेड दे रहे हैं। यदि निबंध में कुछ टाइपिंग की गलतियाँ (typos) हैं और निष्कर्ष गलत है, तो आप उसे "B" या "C" दे सकते हैं। यह एक समस्या-स्तर का ग्रेड (problem-level grade) है। यह आपको अंतिम परिणाम तो बताता है, लेकिन यह नहीं बताता कि छात्र ने वास्तव में क्या सीखा है। क्या उन्होंने व्याकरण को समझा? क्या उन्होंने मुख्य तर्क को पकड़ा? या क्या वे केवल निष्कर्ष के मामले में भाग्यशाली थे?
कंप्यूटर विज्ञान शिक्षा में, यह एक बहुत बड़ी समस्या है। जब एक छात्र किसी समस्या को हल करने के लिए कोड लिखता है, तो कंप्यूटर आमतौर पर केवल "पास" या "फेल" कहता है। यदि कोड विफल हो जाता है, तो हम मान लेते हैं कि छात्र सब कुछ करने में विफल रहा है। लेकिन वास्तव में, एक छात्र ने "लूप" (एक दोहराव वाली क्रिया) का उपयोग करना पूरी तरह से समझ लिया होगा, लेकिन उसने "स्ट्रिंग मैनिपुलेशन" (टेक्स्ट को हैंडल करना) में गलती की होगी।
समस्या: "सब-या-कुछ-नहीं" वाली गलती
पारंपरिक प्रणालियाँ कोडिंग को एक लाइट स्विच की तरह मानती हैं: यह या तो चालू (सही) है या बंद (गलत)। यह गणित के टेस्ट को केवल अंतिम उत्तर देखकर ग्रेड देने जैसा है। यदि छात्र उत्तर गलत देता है, तो सिस्टम मान लेता है कि उसे गणित के किसी भी चरण का ज्ञान नहीं है। यह उन कंप्यूटर मॉडलों को भ्रमित करता है जो यह अनुमान लगाने की कोशिश करते हैं कि छात्र कैसे सीखते हैं, जिससे उनके "लर्निंग कर्व्स" (सीखने के वक्र) ऊबड़-खाबड़ और अवास्तविक दिखाई देते हैं।
समाधान: "AI शिक्षण सहायक"
इस शोध पत्र के लेखकों ने लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके एक स्मार्ट सिस्टम बनाया है—वही प्रकार का AI जो चैटबॉट्स को शक्ति देता है—जो एक अत्यंत सूक्ष्म अवलोकन करने वाले शिक्षण सहायक के रूप में कार्य करता है। केवल अंतिम "पास/फेल" परिणाम को देखने के बजाय, यह AI छात्र के कोड को लाइन-दर-लाइन पढ़ता है ताकि विशिष्ट कौशलों की जांच की जा सके, जिन्हें वे नॉलेज कंपोनेंट्स (KCs) कहते हैं।
कोडिंग की समस्या को एक केक की रेसिपी के रूप में सोचें।
- KC 1: क्या आप जानते हैं कि ओवन को पहले से गर्म (preheat) कैसे करना है?
- KC 2: क्या आप जानते हैं कि बैटर (मिश्रण) कैसे मिलाना है?
- KC 3: क्या आप जानते हैं कि केक पर फ्रॉस्टिंग कैसे करनी है?
यदि केक जल जाता है (कोड विफल हो जाता है), तो एक पारंपरिक प्रणाली कहती है, "आप बेकिंग में विफल रहे।"
नया AI सिस्टम कहता है, "ठहरिए! छात्र ने ओवन को पूरी तरह से गर्म किया और बैटर को सही ढंग से मिलाया। उन्होंने बस केक पर फ्रॉस्टिंग करना भूल गए। आइए उन्हें पहले दो कौशलों के लिए श्रेय दें और केवल फ्रॉस्टिंग को गलत चिह्नित करें।"
यह कैसे काम करता है (जादुई ट्रिक)
- जासूसी कार्य (The Detective Work): AI छात्र के कोड और समस्या के लिए आवश्यक कौशलों की सूची को पढ़ता है। यह एक जासूस की तरह काम करता है, पूछते हुए: "क्या छात्र ने लूप का उपयोग किया? हाँ। क्या उन्होंने इसका सही उपयोग किया? हाँ। क्या उन्होंने स्ट्रिंग मैनिपुलेशन का उपयोग किया? हाँ, लेकिन यहाँ उन्होंने एक गलती की है।"
- संदर्भ का सुराग (The Context Clue): कभी-कभी, छात्र का पहला प्रयास एक कच्चा ड्राफ्ट होता है, और उनका अंतिम प्रयास एक परिष्कृत समाधान होता है। AI छात्र के अंतिम प्रयास को देखता है ताकि यह पता लगाया जा सके कि वे किस रणनीति का उपयोग करने की कोशिश कर रहे थे, फिर उसी रणनीति के आधार पर उनके पहले प्रयास को ग्रेड देता है। यह एक छात्र के अंतिम निबंध को समझने के बाद, उसके पहले कच्चे ड्राफ्ट को उस संदर्भ के साथ ग्रेड देने जैसा है।
- विचारों की श्रृंखला (The Chain of Thought): AI केवल अनुमान नहीं लगाता है। इसे "सोचते हुए बोलने" (Chain of Thought) के लिए प्रेरित किया जाता है, जो ग्रेड देने से पहले अपने तर्क को समझाता है। यह इसकी सटीकता को बढ़ाता है, ठीक वैसे ही जैसे एक मानव शिक्षक यह समझाता है कि कोई उत्तर क्यों गलत है।
परिणाम: सुचारू लर्निंग कर्व्स
जब शोधकर्ताओं ने इसका परीक्षण किया, तो परिणाम ऐसे थे जैसे एक धुंधली फोटो अचानक स्पष्ट हो गई हो।
- पुराना तरीका: लर्निंग कर्व एक उलझे हुए स्केच की तरह दिखता था। यह समझ में नहीं आता था क्योंकि सिस्टम को लगता था कि छात्र उन कौशलों में विफल रहे जिन्हें वे वास्तव में जानते थे।
- नया तरीका: लर्निंग कर्व एक चिकनी, नीचे की ओर जाती ढलान बन गया। यह इस बात से मेल खाता है कि मनुष्य वास्तव में कैसे सीखते हैं: जैसे-जैसे आप एक विशिष्ट कौशल (जैसे लूप) का अभ्यास करते हैं, आप गलतियाँ कम करते जाते हैं।
यह क्यों महत्वपूर्ण है
यह केवल बेहतर ग्रेड के बारे में नहीं है। यह व्यक्तिगत सीखने (personalized learning) के बारे में है।
- यदि सिस्टम जानता है कि एक छात्र लूप में बहुत अच्छा है लेकिन स्ट्रिंग्स में कमजोर है, तो यह उसे केवल स्ट्रिंग्स पर ध्यान केंद्रित करने के लिए अभ्यास प्रश्न दे सकता है।
- यदि सिस्टम सोचता है कि छात्र सब कुछ करने में विफल रहा है, तो यह उसे पूरा पाठ फिर से करने के लिए मजबूर कर सकता है, जिससे उसका समय बर्बाद होता है।
संक्षेप में
यह शोध पत्र एक तरीका पेश करता है जिससे AI का उपयोग छात्र के कोड के सामग्री (ingredients) को ग्रेड देने के लिए किया जा सकता है, न कि केवल अंतिम व्यंजन के लिए। छात्र द्वारा किए गए सही हिस्सों के लिए श्रेय देकर, यह सिस्टम यह कितना स्पष्ट और सटीक चित्र बनाता है कि छात्र कैसे सीखते हैं। यह एक रूखे "फेल" को सुधार के लिए एक सहायक रोडमैप में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।