Chatbot-Based Assessment of Code Understanding in Automated Programming Assessment Systems
यह शोध पत्र संवादात्मक मूल्यांकन दृष्टिकोणों की एक संतृप्ति-आधारित समीक्षा (saturation-based review) आयोजित करके और एक हाइब्रिड सोक्रेटिक फ्रेमवर्क (Hybrid Socratic Framework) प्रस्तावित करके, जो शैक्षणिक अखंडता सुनिश्चित करने के लिए नियतात्मक कोड विश्लेषण को दोहरी-एजेंट संवादात्मक सत्यापन के साथ एकीकृत करता है, लार्ज लैंग्वेज मॉडल्स के युग में छात्र कोड समझ को सत्यापित करने की चुनौती को संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: "कॉपी-पेस्ट" वाला चीट कोड
कल्पना कीजिए कि आप खाना बनाना सीख रहे हैं। अतीत में, यदि आप यह साबित करना चाहते थे कि आपको लाज़ानिया (lasagna) बनाना आता है, तो आपको रसोई में इसे शुरू से बनाना पड़ता था। यदि शिक्षक ने इसे चखा और यह अच्छा था, तो आप पास हो जाते थे।
लेकिन अब, कल्पना कीजिए कि एक सुपर-स्मार्ट रोबोट (ChatGPT जैसा एक AI) आपके लिए कुछ ही सेकंड में लाज़ानिया बना सकता है। आप शिक्षक को एक बेहतरीन लाज़ानिया थमा सकते हैं, लेकिन आपको यह नहीं पता कि प्याज़ कैसे काटा जाता है या "सिमर" (simmer) का क्या अर्थ है। आप परीक्षा में पास तो हो गए, लेकिन आपने वास्तव में कुछ सीखा नहीं।
आज कंप्यूटर साइंस की कक्षाओं में बिल्कुल यही हो रहा है। छात्र परफेक्ट कोड लिखने, ऑटोमेटेड टेस्ट पास करने और "A" ग्रेड पाने के लिए AI का उपयोग कर सकते हैं, लेकिन उन्हें वास्तव में यह समझ नहीं होता कि वह कोड कैसे काम करता है।
समाधान: "सॉक्रेटिक इंटररोगेटर" (Socratic Interrogator)
इस शोध पत्र के लेखक छात्रों को परखने का एक नया तरीका प्रस्तावित करते हैं। केवल यह जाँचने के बजाय कि कोड काम करता है या नहीं, वे यह जाँचना चाहते हैं कि क्या छात्र जानते हैं कि वह क्यों काम कर रहा है।
वे एक चैटबॉट का सुझाव देते हैं जो एक सहायक के रूप में नहीं, बल्कि एक कठोर, जिज्ञासु साक्षात्कारकर्ता के रूप में काम करे। इसे एक जॉब इंटरव्यू की तरह समझें जहाँ साक्षात्कारकर्ता केवल आपके रेज़्यूमे को नहीं देखता; वे आपसे पूछते हैं कि आपने वास्तव में उस विशिष्ट समस्या को कैसे हल किया।
उन्होंने समस्या का अध्ययन कैसे किया
शोधकर्ताओं ने मौजूदा दर्जनों उपकरणों का अध्ययन किया जो ऐसा करने की कोशिश करते हैं। उन्होंने तीन मुख्य प्रकार के "साक्षात्कारकर्ताओं" को पाया:
- स्क्रिप्टेड रोबोट (नियम-आधारित/Rule-Based): यह एक सख्त स्क्रिप्ट वाले गेम शो होस्ट की तरह है। यह पूछता है, "क्या आपने लूप का उपयोग किया?" यदि हाँ, तो यह पूछता है, "शुरुआती संख्या क्या थी?" यह बहुत सुसंगत है लेकिन अजीब या रचनात्मक उत्तरों को नहीं संभाल सकता। यह एक वेंडिंग मशीन की तरह है: आप एक सिक्का डालते हैं, और आपको एक विशिष्ट स्नैक मिलता है।
- बातूनी जीनियस (LLM-आधारित): यह स्वाभाविक बातचीत करने के लिए उन्नत AI का उपयोग करता है। यह एक मानव शिक्षक की तरह फॉलो-अप प्रश्न पूछ सकता है। हालाँकि, इसमें एक दोष है: कभी-कभी यह बहुत अधिक मददगार हो जाता है और उत्तर ही दे देता है, या यह "हैलुसिनेट" (भ्रमित होना) करता है यानी मनगढ़ंत बातें बनाने लगता है। यह एक बुद्धिमान लेकिन थोड़े विचलित प्रोफेसर की तरह है जो गलती से आपकी मदद (चीटिंग) भी कर सकता है।
- हाइब्रिड डिटेक्टिव (दोनों का सबसे अच्छा मिश्रण): यह रोबोट के सख्त नियमों को जीनियस की स्वाभाविक बातचीत के साथ जोड़ता है। यह तथ्यों की जाँच करने के लिए रोबोट का उपयोग करता है और प्रश्न पूछने के लिए AI का।
नया विचार: "हाइब्रिड सॉक्रेटिक फ्रेमवर्क" (Hybrid Socratic Framework)
शोध पत्र एक नया सिस्टम प्रस्तावित करता है जिसे हाइब्रिड सॉक्रेटिक फ्रेमवर्क कहा जाता है। यह एक कार मैकेनिक के उदाहरण से समझें:
कल्पना कीजिए कि आप अपनी कार को एक वर्कशॉप में लाते हैं। मैकेनिक (सिस्टम) देखता है कि कार चल रही है (कोड टेस्ट पास कर लेता है)। लेकिन यह साबित करने के लिए कि आपने इसे ठीक किया है, वे केवल आपके कहने पर विश्वास नहीं करते।
दो-अवतार प्रणाली (Two-Avatar System): सिस्टम दो AI "एजेंटों" का उपयोग करता जो मिलकर काम करते हैं:
- इंस्ट्रक्टर (Instructor): यह एजेंट आपके कोड को देखता है और जो वह देखता है उसके आधार पर विशिष्ट प्रश्न पूछता है। "हे, मैं देख रहा हूँ कि आपने यहाँ एक लूप का उपयोग किया है। यदि मैं संख्या 5 को बदलकर 10 कर दूँ, तो टायर का दबाव क्या होगा?"
- वेरिफायर (Verifier): यह एजेंट आपके उत्तर को सुनता है और उसकी तुलना आपके कोड के वास्तविक तथ्यों से करता है। इसे इस बात से फर्क नहीं पड़ता कि आपकी अंग्रेजी कितनी शानदार है; इसे इससे फर्क पड़ता है कि क्या आपका तर्क कार के इंजन से मेल खाता है।
"नो चीटिंग" नियम:
- रैंडमाइज्ड प्रश्न (Randomized Questions): सिस्टम केवल यह नहीं पूछता कि "यह कैसे काम करता है?" बल्कि यह पूछता है, "लूप रुकने के ठीक उसी क्षण वेरिएबल 'X' के साथ क्या होता है?" यह एक सामान्य AI उत्तर को कॉपी-पेस्ट करना असंभव बना देता है क्योंकि प्रश्न आपके विशिष्ट कोड के लिए विशिष्ट है।
- चरण-दर-चरण तर्क (Step-by-Step Reasoning): आप केवल अंतिम उत्तर नहीं दे सकते। आपको अपने विचार प्रक्रिया को चरण-दर-चरण मैकेनिक को समझाना होगा।
- "कोई सीधा उत्तर नहीं" का नियम: यदि आप चैटबॉट से पूछते हैं, "बस इसे मेरे लिए ठीक कर दो," तो चैटबॉट को यह कहने के लिए प्रोग्राम किया गया है, "नहीं, मैं ऐसा नहीं कर सकता। लेकिन मैं आपको बता सकता हूँ कि इंजन का कौन सा हिस्सा शोर कर रहा है।"
यह क्यों महत्वपूर्ण है
यह शोध पत्र तर्क देता है कि हमें स्कूलों में AI को प्रतिबंधित नहीं करना चाहिए। इसके बजाय, हमें AI का उपयोग यह सत्यापित (verify) करने के लिए करना चाहिए कि छात्र वास्तव में सोच रहे हैं।
- पुराना तरीका: क्या कोड चला? (हाँ/नहीं)
- नया तरीका: क्या कोड चला? और क्या आप मुझे अपने शब्दों में विस्तार से समझा सकते हैं कि वह उस तरह से क्यों चला?
कमी (सीमाएँ)
लेखक स्वीकार करते हैं कि यह अभी भी पूर्ण नहीं है।
- गोपनीयता (Privacy): आप नहीं चाहेंगे कि आपका कोड किसी विशाल क्लाउड सर्वर पर भेजा जाए यदि वह कोई गुप्त प्रोजेक्ट है।
- लागत (Cost): इन स्मार्ट AI बातचीत को चलाने के लिए पैसे और कंप्यूटिंग पावर की आवश्यकता होती है।
- विश्वास (Trust): हमें यह सुनिश्चित करने की आवश्यकता है कि AI गलत तरीके से ग्रेड न दे रहा हो या भ्रमित न हो रहा हो।
निष्कर्ष (Bottom Line)
यह शोध पत्र सुझाव देता है कि ग्रेडिंग का भविष्य AI को प्रतिबंधित करने के बारे में नहीं है, बल्कि खेल को बदलने के बारे में है। केवल यह परीक्षण करने के बजाय कि कोड काम करता है या नहीं, हमें छात्रों के साथ "20 सवाल" खेलने के लिए स्मार्ट चैटबॉट का उपयोग करना चाहिए, जिससे उन्हें यह साबित करने के लिए मजबूर किया जा सके कि वे कार के चालक हैं, न कि केवल यात्री।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।