CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems
यह शोध पत्र CodeGENCAT का प्रस्ताव करता है, जो एक जनरेटिव कंप्यूटराइज्ड एडेप्टिव टेस्टिंग फ्रेमवर्क है जो छात्र के कोड रिस्पॉन्स की भविष्यवाणी करने और कोडिंग शैली की विविधता एवं रिस्पॉन्स अनिश्चितता के आधार पर प्रश्नों का चयन करने के लिए एक जनरेटिव आइटम रिस्पॉन्स थ्योरी मॉडल का लाभ उठाता है, जिससे यह प्रोग्रामिंग ज्ञान के मूल्यांकन में पारंपरिक बेसलाइन से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो यह समझने की कोशिश कर रहे हैं कि एक छात्र कोडिंग में वास्तव में कितना अच्छा है। एक पारंपरिक परीक्षा में, शिक्षक एक प्रश्न पूछता है, छात्र उत्तर देता है, और शिक्षक उसे केवल "सही" या "गलत" के रूप में चिह्नित करता है। इस एकल निशान के आधार पर, शिक्षक अगला प्रश्न चुनता है: यदि छात्र ने सही उत्तर दिया, तो अगला प्रश्न कठिन होगा; यदि गलत दिया, तो आसान होगा।
पुराने तरीके के साथ समस्या
यह लेख तर्क देता है कि यह "सही/गलत" प्रणाली बहुत सारी उपयोगी जानकारी को बेकार कर देती है। कल्पना कीजिए कि दो छात्रों ने कोडिंग की एक समस्या को गलत हल किया।
- छात्र A ने एक छोटी सी टाइपिंग की गलती की (एक सेमीकोलन भूल गया)।
- छात्र B ने पूरी तरह से गलत लॉजिक लिखा।
एक पारंपरिक परीक्षा में, दोनों को केवल "गलत" माना जाता है। शिक्षक के बीच अंतर करने का कोई तरीका नहीं है, इसलिए वह उस विशिष्ट छात्र की मदद के लिए अगला प्रश्न तैयार नहीं कर सकता। यह एक डॉक्टर की तरह है जो टूटे हुए हाथ और सिरदर्द वाले मरीज को केवल इसलिए एक ही दवा देता है क्योंकि मरीज ने कहा "मुझे बुरा लग रहा है।"
समाधान: CodeGENCAT
लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे CodeGENCAT कहा जाता है। केवल छात्र के उत्तर देने का इंतज़ार करने के बजाय, यह सिस्टम एक "डिजिटल ट्विन" (AI) का उपयोग करता है जो छात्र के वास्तव में उत्तर देने से पहले यह अनुमान लगाता है कि छात्र क्या लिखेगा।
यह कैसे काम करता है, यहाँ स्टेप-बाय-स्टेप (एक कुकिंग एनालॉजी के माध्यम से) दिया गया है:
1. "डिजिटल ट्विन" शेफ (GIRT मॉडल)
कल्पना कीजिए कि आप जानना चाहते हैं कि एक छात्र खाना पकाने में कितना कुशल है। उन्हें तुरंत पूरा भोजन बनाने के लिए कहने के बजाय, आपके पास एक सुपर-स्मार्ट AI शेफ है जो छात्र के वर्तमान कौशल स्तर को जानता है।
- यदि छात्र एक नौसिखिया है, तो AI अनुमान लगाएगा कि वह सब्जियों को असमान रूप से काटेगा या सूप में नमक डालना भूल जाएगा।
- यदि छात्र एक विशेषज्ञ है, तो AI अनुमान लगाएगा कि वह सटीक चाकू कौशल और बेहतरीन सीजनिंग का उपयोग करेगा।
पेपर में, इस AI को जेनरेटिव आइटम रिस्पॉन्स थ्योरी (GIRT) मॉडल कहा गया है। यह छात्र के अनुमानित ज्ञान को लेता है और कोड का एक टुकड़ा उत्पन्न करता है जो बिल्कुल वैसा ही दिखता है जैसा कि वह विशिष्ट छात्र लिखेगा। यह केवल "सही" या "गलत" का अनुमान नहीं लगाता; यह वास्तविक कोड उत्पन्न करता है, जिसमें वे विशिष्ट बग और गलतियाँ भी शामिल होती हैं जो छात्र करने की संभावना रखता है।
2. "मेन्यू सिलेक्शन" (प्रश्न चयन)
एक बार जब AI ने भविष्यवाणी कर ली कि छात्र क्या लिखेगा, तो सिस्टम को यह तय करना होता है: "हमें अगला प्रश्न कौन सा पूछना चाहिए जिससे हम सबसे अधिक सीख सकें?"
पेपर में अगला प्रश्न चुनने के तीन तरीके दिए गए हैं, जैसे कि एक शेफ अगले घटक (ingredient) को टेस्ट करने के लिए चुनता है:
- अनसर्टेन्टी शेफ (Uncertainty Chef): उस प्रश्न को चुनता है जहाँ AI सबसे अधिक भ्रमित है कि छात्र इसे सही लिखेगा या गलत (50/50 का अनुमान)। यह क्लासिक "गोल्डिलॉक्स" ज़ोन है—न बहुत आसान, न बहुत कठिन।
- डाइवर्सिटी शेफ (Diversity Chef): उस प्रश्न को चुनता है जहाँ AI को लगता है कि छात्र कई अलग-अलग प्रकार के कोड लिख सकता है। यदि AI इस बात को लेकर अनिश्चित है कि छात्र इसे कैसे हल करेगा, तो वह प्रश्न बहुत जानकारीपूर्ण है।
- इंफॉर्मेशन शेफ (Information Chef): उस प्रश्न को चुनता है जो, अनुमानित कोड के आधार पर, सिस्टम की समझ में सबसे बड़ा "शॉक" पैदा करेगा, जिससे छात्र के कौशल अनुमान को सबसे तेज़ी से परिष्कृत करने में मदद मिलेगी।
3. ट्रेनिंग (AI को सिखाना)
यह सुनिश्चित करने के लिए कि यह "डिजिटल ट्विन" सटीक है, लेखकों ने इसे दो चरणों में प्रशिक्षित किया:
- सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): उन्होंने AI को छात्र के पिछले उत्तरों को देखना और उन्हें दोहराना (mimic करना) सिखाया।
- डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO): यह असली सीक्रेट सॉस है। उन्होंने महसूस किया कि AI कभी-कभी आलसी हो जाता था और नौसिखियों के लिए भी एक ही "परफेक्ट" कोड लिख देता था। इसलिए, उन्होंने AI को ईमानदार होना सिखाया: "यदि छात्र एक नौसिखिया है, तो आपको गलतियों वाला कोड बनाना ही होगा।" यह सुनिश्चित करता है कि AI के अनुमान यथार्थवादी और विविध हों।
परिणाम
शोधकर्ताओं ने वास्तविक कोडिंग डेटासेट्स (Java और Python) पर इसका परीक्षण किया। उन्होंने पाया कि पारंपरिक तरीकों की तुलना में CodeGENCAT छात्र के वास्तविक कौशल स्तर को समझने में बहुत बेहतर था, विशेष रूप से परीक्षा के पहले कुछ प्रश्नों में।
- एनालॉजी: यह एक ऐसे शिक्षक के बीच के अंतर की तरह है जो पूछता है, "क्या आपने इसे सही किया?" और एक ऐसे शिक्षक की तरह जो कहता है, "मुझे अंदाज़ा लगाने दो कि आपने इसे हल करने की कोशिश कैसे की, और फिर मैं आपके विशिष्ट गलतफहमी को ठीक करने के लिए एकदम सही फॉलो-अप प्रश्न पूछूँगा।"
मुख्य निष्कर्ष
- केवल स्कोर न देखें: पेपर का दावा है कि वास्तविक कोड (यहाँ तक कि अनुमानित कोड भी) को देखना केवल "पास/फेल" लेबल की तुलना में बहुत अधिक समृद्ध जानकारी देता है।
- जल्दी पहचान महत्वपूर्ण है: यह सिस्टम परीक्षा की शुरुआत में सबसे शक्तिशाली होता है, जिससे पुराने तरीकों की तुलना में छात्र की ताकत और कमजोरी को बहुत तेज़ी से पहचानने में मदद मिलती है।
- सुरक्षा: सिस्टम यह भी सुनिश्चित करता है कि परीक्षा सुरक्षित रहे, यह सुनिश्चित करते हुए कि सभी छात्र बिल्कुल एक जैसे प्रश्न न लें, जो एडेप्टिव टेस्टिंग में एक आम समस्या है।
संक्षेप में, CodeGENCAT छात्र के दिमाग का अनुकरण करने के लिए AI का उपयोग करता है, जिससे टेस्ट न केवल इस पर अनुकूलित (adapt) होता है कि उन्होंने सही किया या नहीं, बल्कि इस पर भी कि वे कैसे सोचते हैं, जिससे अधिक सटीक और व्यक्तिगत मूल्यांकन संभव होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।