Simulating Students' Java Programming Errors with Large Language Models
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडल, विशेष रूप से क्लॉड सोनेट 4 (Claude Sonnet 4), छात्रों की विविध और यथार्थवादी जावा प्रोग्रामिंग त्रुटियों का प्रभावी ढंग से अनुकरण कर सकते हैं, जो शैक्षिक अनुसंधान और इंटेलिजेंट ट्यूटरिंग सिस्टम के लिए वास्तविक सबमिशन एकत्र करने के एक स्केलेबल विकल्प के रूप में कार्य करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक बड़ी प्रोग्रामिंग क्लास की तैयारी करने की कोशिश कर रहे हैं। आप जानते हैं कि आपके छात्र गलतियाँ करेंगे, लेकिन आप वास्तव में यह अनुमान नहीं लगा सकते कि वे गलतियाँ क्या होंगी जब तक कि आप वास्तव में क्लास न पढ़ा लें और उनका होमवर्क इकट्ठा न कर लें। यह एक धीमी और महंगी प्रक्रिया है।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या हम एक सुपर-स्मार्ट एआई (एक लार्ज लैंग्वेज मॉडल, या LLM) का उपयोग एक भ्रमित छात्र होने का ढोंग करने और हमारे लिए समय से पहले वे गलतियाँ उत्पन्न करने के लिए कर सकते हैं?
यहाँ उनके प्रयोग का विवरण दिया गया है, जिसे रोजमर्रा के उपमाओं के साथ समझाया गया है।
लक्ष्य: "नकली छात्र" परीक्षण
शोधकर्ता यह देखना चाहते थे कि क्या एक एआई जावा (Java) कोड लिख सकता है जो बिल्कुल वैसा ही दिखे जैसा कि एक शुरुआती छात्र ने लिखा हो—विशेष रूप से, जिसमें तार्किक त्रुटियाँ (logical errors) हों।
- तार्किक त्रुटियाँ (Logical errors) वैसी ही हैं जैसे कोई रेसिपी लिखना जिसमें लिखा हो "स्वाद अनुसार नमक डालें" लेकिन वास्तव में नमक डालना ही भूल गए हों। कंप्यूटर कोड को चलाता है, लेकिन परिणाम गलत होता है क्योंकि सोचने का तरीका दोषपूर्ण था।
- चुनौती: यदि आप केवल एआई से "कोड लिखने" के लिए कहते हैं, तो वह आमतौर पर परफेक्ट कोड लिखता है। यदि आप उसे "कोड तोड़ने" के लिए कहते हैं, तो वह अक्सर यादृच्छिक (random), बेतुकी गलतियाँ करता है (जैसे कि जहाँ बिंदु होना चाहिए वहाँ कॉमा लगा देना) जो वास्तविक छात्र वास्तव में नहीं करते हैं। लक्ष्य एआई को यथार्थवादी गलतियाँ करने के लिए प्रेरित करना था।
प्रयोग: "टेस्ट टेस्ट" (स्वाद परीक्षण)
शोधकर्ताओं ने एक वास्तविक कक्षा (CodeWorkout) से 37 अलग-अलग प्रोग्रामिंग समस्याएं लीं। उन्होंने पांच अलग-अलग एआई मॉडलों को इन समस्याओं को हल करने की कोशिश करने दी, लेकिन उन्होंने एआई को गलतियाँ करने के लिए मजबूर करने के लिए तीन अलग-अलग "निर्देश शैलियों" (प्रॉम्प्ट्स) का उपयोग किया:
- प्रत्यक्ष आदेश (Direct Order - IO): "यह समस्या है, मुझे एक गलत उत्तर दो।"
- सोचकर बताना (Thinking Aloud - CoT): "चरणों के माध्यम से सोचें, निर्णय लें कि आप कहाँ चूक सकते हैं, और फिर गलत कोड लिखें।"
- स्व-सुधार लूप (Self-Correction Loop - Self-Refine): "एक गलत उत्तर लिखें, फिर उसकी आलोचना करें, फिर उसे थोड़ा ठीक करें ताकि वह एक अलग प्रकार का गलत उत्तर बन जाए।"
उन्होंने एआई की "नकली गलतियों" की तुलना वास्तविक छात्रों द्वारा की गई 74,000 गलतियों से की।
एक अच्छे नकली के लिए दो मुख्य नियम
उपयोगी होने के लिए, एआई की नकली गलतियों को दो परीक्षणों को पास करना था:
- विविधता (Diversity - विविधता का परीक्षण): क्या एआई ने कई अलग-अलग प्रकार की गलतियाँ कीं, या क्या उसने एक ही गलती को बार-बार दोहराया? (कल्पना कीजिए कि एक शेफ 10 अलग-अलग जले हुए कुकीज़ बनाने की कोशिश कर रहा है। यदि वे सभी बिल्कुल एक जैसे दिखते हैं, तो वे विविध नहीं हैं)।
- संरेखण (Alignment - "वास्तविकता" का परीक्षण): क्या एआई की गलतियाँ वैसी ही थीं जैसी एक इंसान वास्तव में करेगा? (यदि एआई ऐसी गलतियाँ करता है जो एक इंसान कभी नहीं सोचेगा, तो वह एक अच्छा सिमुलेशन नहीं है)।
उन्हें क्या पता चला
1. एआई गलतियाँ कर सकता है, लेकिन सभी एआई समान नहीं हैं
सभी एआई मॉडल विभिन्न प्रकार की त्रुटियाँ उत्पन्न कर सकते थे। हालाँकि, कुछ अन्य की तुलना में बेहतर थे।
- Gemini 2.5 Pro एक अराजक कलाकार की तरह था: इसने गलतियों की एक विशाल विविधता (उच्च विविधता) बनाई, लेकिन उनमें से कई अजीब थीं और वे वास्तविक छात्र त्रुटियों जैसी नहीं दिखती थीं।
- GPT-4o एक सतर्क छात्र की तरह था: इसने बार-बार बहुत समान गलतियाँ कीं (कम विविधता)।
- Claude Sonnet 4 समूह का 'गोल्डिलॉक्स' (Goldilocks - एकदम सही संतुलन वाला) था। इसने सबसे अच्छा संतुलन पाया। इसने पर्याप्त अलग तरह की गलतियाँ कीं, लेकिन वे बहुत करीब थीं कि वास्तविक छात्र वास्तव में क्या लिखते हैं।
2. "सोचकर बताना" (Thinking Aloud) वाली ट्रिक ने मदद की
जब शोधकर्ताओं ने एआई को कोड लिखने से पहले "चरण-दर-चरण सोचने" (Chain-of-Thought) के लिए कहा, तो गलतियाँ अधिक यथार्थवादी हो गईं। यह ऐसा था जैसे एआई एक छात्र के भ्रमित होने की प्रक्रिया का अनुकरण कर रहा था, बजाय इसके कि वह केवल यादृच्छिक रूप से कोड को तोड़ रहा हो।
3. "कठिनाई" का कारक
शोधकर्ताओं ने देखा कि एक समस्या कितनी "संघर्षपूर्ण" थी (इस आधार पर कि छात्रों ने उसे हल करने की कितनी बार कोशिश की)।
- आसान समस्याएँ: एआई ने छात्रों की नकल करने में बहुत अच्छा काम किया।
- कठिन समस्याएँ: जैसे-जैसे समस्याएँ कठिन होती गईं, एआई की गलतियाँ अधिक विविध (उसने कई अलग-अलग गलत रास्तों को आज़माया) होती गईं, लेकिन वे वास्तविक छात्रों से कम मिलती-जुलती होती गईं। यह एक नौसिखिया अभिनेता की तरह है जो एक जटिल दृश्य निभाने की कोशिश कर रहा है; वे कई अलग-अलग व्याख्याएं आजमा सकते हैं, लेकिन उनमें से कोई भी वास्तव में एक वास्तविक मानव प्रदर्शन की सूक्ष्मता को नहीं पकड़ पाता।
4. "ब्लाइंड टेस्ट" (मानव विशेषज्ञ)
शोधकर्ताओं ने मानव विशेषज्ञों को वास्तविक छात्र कोड और एआई-जनित कोड के मिश्रण को देखने के लिए काम पर रखा। वे नहीं जानते थे कि कौन सा किसका है।
- परिणाम: विशेषज्ञ 83.7% बार धोखा खा गए। उन्हें लगा कि एआई का कोड एक इंसान द्वारा लिखा गया था।
- ट्विस्ट: विशेषज्ञों ने वास्तव में एआई की गलतियों को वास्तविक छात्रों की गलतियों की तुलना में अधिक विश्वसनीय (अधिक यथार्थवादी) माना। क्यों? क्योंकि एआई ने "साफ" गलतियाँ कीं (जैसे कि एक क्लासिक टेक्स्टबुक त्रुटि), जबकि वास्तविक छात्र अक्सर कई त्रुटियों के साथ अव्यवस्थित, जटिल गलतियाँ करते हैं। एआई एक "आदर्श" भ्रमित छात्र की तरह था, जबकि वास्तविक छात्र अधिक अव्यवस्थित होते हैं।
मुख्य निष्कर्ष
यह शोध पत्र साबित करता है कि एआई छात्रों के "स्टैंड-इन" (प्रतिनिधि) के रूप में कार्य करके यथार्थवादी प्रोग्रामिंग त्रुटियाँ उत्पन्न कर सकता है।
- Claude Sonnet 4 वर्तमान में सबसे अच्छा "छात्र सिम्युलेटर" है।
- कठिन समस्याएँ एआई को अधिक रचनात्मक बनाती हैं लेकिन वास्तविक मानव व्यवहार के प्रति कम सटीक बनाती हैं।
- ट्रेड-ऑफ (समझौता): आपके पास एक ऐसा एआई हो सकता है जो गलतियों की एक विशाल विविधता बनाता है, या एक ऐसा एआई जो बहुत यथार्थवादी गलतियाँ करता है, लेकिन एक साथ दोनों को पूरी तरह से प्राप्त करना कठिन है।
शोधकर्ता सुझाव देते हैं कि यह शिक्षकों और शैक्षिक सॉफ्टवेयर डेवलपर्स के लिए एक शक्तिशाली उपकरण है। हजारों वास्तविक छात्र गलतियों को एकत्र करने के लिए वर्षों इंतजार करने के बजाय, वे इन "नकली" गलतियों का उपयोग बेहतर ट्यूटरिंग टूल बनाने और शिक्षकों को यह अनुमान लगाने में मदद करने के लिए कर सकते हैं कि छात्र कहाँ फंस सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।